[디지털투데이 황치규 기자]오픈AI가 코드명 오리온(Orion)으로 알려진 차세대 거대 언어 모델(LLM)인 GPT-5 개발과 관련해  관련해 만만치 않은 도전에 직면해 있다는 보도가 계속 나오고 있다.

디인포메이션에 이어 이번에는 월스트리트저널(WSJ)이 20일(현지시간) 오리온과 관련해 예정보다 출시가 늦어지고 있고, 언제 출시될지, 의도한 대로 제대로 작동할지도 확실치 않다고 보도했다.

보도에 따르면 기술적으로 중대한 진전을 제공할 것이란 기대 속에 오리온은 18개월 넘게 개발이 진행됐지만 출시가 예정보다 늦어지는 상황이다. 오픈AI 최대 파트너인 마이크로소프트는 2024년 중반 오리온을 볼 수 있을 것으로 기대했다고 WSJ이 내부 사정에 정통한 소식통들을 인용해 전했다.

오픈AI는 오리온 성능을 끌어 올리기 위해 최소 2번에 걸쳐 대규모 학습을 진행했다. 각각의 학습에는 방대한 데이터를 분석하는 작업도 포함됐다. 그럼에도 학습때마다 새로운 문제들이 발생했고 오리온은 연구원들이 기대했던 결과에 미치지 못했다고 WSJ이 프로젝트에 가까운 관계자들을 인용해 전했다.

앞서 디인포메이션도 오리온에 대해 이전 모델들보다 성능이 우수하지만 품질 증가율만 놓고 보면이전 GPT-3와 GPT-4에는 한참 못미친다고 오리온을 사용해봤고 테스트해 본 오픈AI 일부 직원들을 인용해 전했다. 한 오픈AI 직원은 "오리온은 언어 작업들에선 나은 성능을 보이지만, 코딩 같은 작업들에선 이전 모델들을 앞서지 못할 수도 있다"고 말했다.

WSJ 보도 내용도 디인포메이션과 크게 다르지 않다. 오리온은 오픈AI 현재 모델들보다는 낫지만 새 모델을 돌리는데 따르는 어마어마한 비용을 정당화하기는 충분치 않다고 WSJ은 전했다. AI 모델을 6개월 학습시킬 경우 컴퓨팅 비용에만 5억달러 가량이 소요될 수 있다는게 WSJ 분석이다.

오픈AI는 2023년 3월 GPT-4를 출시한 이후 GPT-5 개발을 진행해왔다.

샘 알트먼 오픈AI CEO는 GPT-4 학습에는 1억달러 이상이 들어갔다고 말해왔다. 차세대 AI 모델 학습 비용은 10억달러를 넘어설 것으로 전망되는 만큼, 학습 실패는 발사 직후 하늘에서 폭발하는 우주 로켓과 같다고 WSJ은 전했다.

오리온 출시가 늦어지는 건 학습에 쓸 데이터가 부족하다는 것과도 무관치 않아 보인다.

오픈AI는 그동안 LLM 학습에 뉴스 기사, 소셜 미디어, 과학 논문 등 인터넷에서 가져올 수 있는 데이터를 사용했다. 오리온 성능을 끌어올리려면 보다 많은 데이터가 필요한데, 가져다 쓸 새로운 데이터는 점점 부족해지는 상황이다.

오픈AI는 해결책으로 데이터를 처음부터 만드는 카드를 들고 나왔다. 오픈AI는 오리온 학습을 위해 새로운 소프트웨어 코드를 작성하거나 수학 문제를 풀 수 있는 인력을 고용하고 있다고 WSJ은 전했다.

오픈AI 영입한 일부 소프트웨어 엔지니어 및 수학자들은 오리온에 자신들이 작업한 결과물을 공유하는데,  이는 사람들이 생각을 설명하게 하면 보다 양질의 데이터를 만들 수 있다는 인식을  깔고 있다.

오픈AI는 이론 물리학 같은 분야 전문가들과 협력해 이들 분야에서 가장 어려운 문제에 접근하는 방법을 오리온에 설명해주고 있는데  하지만 이는 매우 느린 프로세스라고 WSJ은 전했다.

오픈AI는 오리온 학습을 위해 AI가 만든 합성 데이터도 개발하기 시작했다. 합성 데이터를 LLM 학습에 활용하면 오류가 늘어난다는 지적도 많은데 오픈AI 연구원들은 최근 선보인 추론 모델 'o1'이 생성한 데이터를 사용해 이같은 문제를 피할 수 있을 것으로 보고 있다고 WSJ이 소식통들을 인용해 전했다.
 

• "암호화폐거래소·지갑 서비스, 규제기관에 등록해야 영국서 구글 광고 가능"
• LG유플러스, 일부 해외사이트 접속장애…15시간 만에 복구
• 비트코인 스테이킹 솔브, 하이퍼리퀴드 상장 확정
• 아이겐레이어, 슬래싱 테스트넷 가동...고유 지분 할당 기능 도입
• 빠른 회복력 보인 암호화폐 시장…비트코인 9만7500달러대