자동차-추론 모델 진화...LLM 성능 확장 대안으로 주목

[디지털투데이 황치규 기자]대규모 컴퓨팅 파워와 데이터로 사전 학습(pretraining) 시키는 방식에 기반한 거대 언어 모델(LLM) 개발 패러다임을 둘러싼 의문이 제기되고 있는 가운데, 추론 모델이 성능 확장을 위한 대안으로 주목 받고 있다.

오픈AI가 개발 중인 차세대 추론 모델(reasoning model) o3 성능과 관련한 내용이 공개되면서 추론 모델에 대한 관심은 더욱 커지는 모양새다.

회사 측에 따르면 오픈AI는 새 추론 모델인 o3와 o3 미니를 테스트 중이다. 1월말까지 o3 미니를 선보이고 이후 o3를 내놓을 계획이다.

o3와 o3 미니는 많은 고난이도 수학 및 코딩 벤치마크에서 인상적인 점수를 받아 경쟁사들인 앤트로픽과 구글을 크게 앞섰다.

복잡한 문제 해결 및 패턴 인식과 같이 인간이 잘하는 작업을 AI 모델이 어떻게 처리하는지 테스트하는 벤치마크인 ARC-AGI에서 인간 수준 성능을 달성했다고 이는 사전 학습에 따른 모델 개선 속도가 느려지는 것을 우려하는 연구자들에게 좋은 소식이라고 디인포메이션은 전했다.

보다 많은 컴퓨팅 파워와 데이터를 투입하면 AI 모델 성능도 거기에 비례에 좋아진다는 이른바 확장의 법칙운 최근 도전에 직면한 상황이다.

이에 대해 AI 업계 많은 관계자들은 오픈AI o3 모델에 대해 AI 확장이 벽에 부딪히지 않았다는 증거로 받아들이고 있다고 테크크런치는 전했다.

추론 모델은 사용자 쿼리(질의)를 처리하는데 보다 많은 컴퓨팅 리소스를 사용하도록 함으로써 사전 학습과 관련한 성능 저하를 보완하기 위해 디자인됐다.

오픈AI에서 o 시리즈 모델을 공동 개발한 노암 브라운은 "o1을 발표한 지 불과 3개월 만에 o3 관련해 인상적인 성능 향상에 대해 발표했는데, 상대적으로 짧은 기간에 이러한 성능 향상을 이룬 것"이라고 말했다.

테크크런치에 따르면 o3 모델 성능 개선은 테스트 타임 확장(test-time scaling)에 기반한다. 테스트 타임 확장은 사용자가 프롬프트에서 엔터를 누른 후 챗GPT 추론 단계에서 오픈AI가 보다 많은 컴퓨팅을 사용한다는 의미한다고 테크크런치는 전했다.

추론 모델 진화...LLM 성능 확장 대안으로 주목

가격대별 인기 장기 렌트카

빠르게 차량을 받고 싶다면?