자동차-"우리가 알던 사전 학습 방식 LLM이 끝이 오고 있다...에이전트·추론이 미래"

[디지털투데이 황치규 기자]오픈AI 공동 창업자 중 한명으로 챗GPT 개발에 핵심적인 역할을 맡았던 일리야 슈츠케버가 AI 학회 행사에 참석해 AI 진화 방향에 대한 입장을 공유했다.

그는 지난해말 샘 알트먼 오픈AI CEO가 이사회에 의해 해임됐다 복귀하는 과정에서 회사를 나왔고 이후 새로운 AI 스타트업인 SSI(Safe Superintelligence)를 창업했다.

오픈AI를 떠난 뒤 공식석상에 서는 건 자제하는 모습을 보였는데 최근 AI 분야 유명 학회인 신경정보처리시스템학회(뉴립스, NeurIPS)’ 발표를 통해 생성형 AI 개발 트렌드 및 미래에 대해 언급해 눈길을 끌었다.

더버지, 테크크런치 등 외신들에 따르면 슈츠케버는 챗GPT로 대표되는 거대 언어 모델(LLM) AI 개발과 관련해 대규모 데이터를 고성능 컴퓨팅 인프라에서 학습시켜 만드는 이른바 사전 학습(Pre-training) 방식이 계속되기는 어렵다는 점을 분명히 했다. 쓸 수 있는 데이터가 없다는 이유에서였다.

그동안 LLM은 인터넷, 책, 다른 출처들에 있는 대용량 데이터를 기반으로 학습하는 과정을 과정을 개발됐다. 하지만 슈츠케버는 쓸 수 있는 데이터가 한계에 다다르면서 이같은 방식이 지속 되기는 어렵다는 입장이다.

더버지에 따르면 그는 발표를 통해 "데이터는 정점에 이르렀고 더 이상 없을 것이다"면서 "기존 데이터는 여전히 AI 개발을 더 진전시킬 수 있겠지만 업계는 학습을 위해 새로운 데이터를 활용하고 있다. 이같은 움직임은 모델들이 학습되는 방식을 결국은 바꾸게 할 것이다"고 말했다.

그는 "하드웨어, 알고리즘, AI 서버 클러스터는 계속 좋아지고 커지고 있는 반면 데이터는 성장하지 않고 있다"면서 "우리가 알고 있는 사전 학습이 결국 끝이 날 것이다"고 강조했다.

슈스케버는 이같은 상황을 화석 연료에 비유했다. 그는 "석유가 유한한 자원인 것 처럼 인터넷에 있는 사람이 생성한 콘텐츠도 한계가 있다"고 말했다. 그는 차세대 AI가 진실적으로 에이전트적인(agentic) 것이 될 것으로 내다봤다. 그는 에이전트에 대해 구체적으로 정의하지 않았지만 살짝 에이전트적인 요즘 AI 모델들과는 다르다는 점을 부각했다.

에이전트와 함께 그는 미래 AI 시스템 키워드로 추론(Reason)도 강조했다. 그는 "지금까지 AI는 주로 모델들이 이전에 봤던 걸 기반으로 패턴을 매칭하는 것과 달리 미래 AI 시스템은 인간의 사고(thinking)와 더 가까운 방식으로 단계적으로 문제를 해결할 수 있을 것이다"고 말했다.

그에 따르면 시스템이 추론을 많이 할수록 예측하기는 어려워진다. 이와 관련해 슈츠케버는 진정한 추론 시스템을 둘렀러싼 예측 불가능성을 첨단 체스 AI가 ‘최고 인간 체스 선수도 예측할 수 없는 것과 마찬가지라고 설명했다. 그는 "이들 시스템은 제한된 데이터에서도 헷갈리지 않고 상황을 이해할 것이다"고 말했다.