오픈AI o1, 왜 중국어로 생각할까…추론 모델 의문점
||2025.01.15
||2025.01.15
[디지털투데이 김예슬 기자] 오픈AI의 첫 번째 추론 모델인 o1이 출시된 직후, 흥미로운 현상이 발견됐다.
o1은 영어로 질문을 했을 때 때때로 중국어나 페르시아어와 같은 다른 언어로 생각하는 과정을 거친다는 것이었다.
14일(현지시간) IT매체 테크크런치에 따르면 추론 모델은 스스로 생각하고 추론한 뒤 해결책을 찾을 수 있다. 예를 들어 딸기(strawberry)라는 영단어에 R이 몇 개 있냐는 질문에 o1은 스스로 생각하고 추론한 뒤 답을 찾을 수 있는 것이다. 질문이 영어로 작성됐다면 o1의 최종 응답도 영어가 되지만, o1은 답을 도출하는 과정에서 다른 언어로 몇몇 단계를 수행하는 것으로 나타났다.
최근 레딧의 한 사용자는 "o1이 중간에 갑자기 중국어로 생각하기 시작했다"고 보고했다. 그러나 오픈AI은 o1의 이상한 행동에 대한 설명을 제공하지 않았고, 아직 인정조차 하지 않은 상태다. 왜 o1에서 이런 현상이 일어나는 것일까.
클레망 드랑그(Clément Delangue) 허깅페이스 최고경영자(CEO)는 이러한 이유가 o1과 같은 추론 모델이 한자가 많이 포함된 데이터 세트로 학습되기 때문일 것으로 추측했다.
또한 테드 샤오(Ted Xiao) 구글 딥마인드 연구원은 오픈AI가 타사 중국어 데이터 라벨링 서비스를 사용하고 있기 때문에 그 영향을 받았을 것으로 봤다.
샤오는 "오픈AI나 앤트로픽과 같은 AI 연구소는 과학, 수학, 코딩을 위한 추론 데이터에 타사 데이터 라벨링 서비스를 활용한다"며 "전문 인력 가용성과 비용상의 문제로 인해 이러한 데이터 제공업체 중 상당수가 중국에 기반을 두고 있다"고 전했다.
그러나 일부 전문가는 o1의 중국어 데이터 라벨링 가설을 믿지 않는다. 이들은 o1이 단순히 목적을 달성하는 데 가장 효율적이라고 판단되는 언어를 사용하는 것일 수 있다고 주장했다.
캐나다 앨버타대학교의 AI 연구원인 매튜 구즈디알(Matthew Guzdial)은 "추론 모델은 언어가 무엇인지, 언어끼리 서로 다르다는 것을 알지 못한다. 그저 텍스트만 입력할 뿐"이라고 전했다.
티에젠 왕(Tiezhen Wang) 허깅페이스 소프트웨어 엔지니어도 구즈디알의 의견에 동의하며 추론 모델의 언어 불일치가 학습 중에 모델이 만든 연관성 때문일 수 있다고 주장했다.
왕은 "나는 중국어로 수학을 하는 것을 선호하는데, 각 숫자가 한 음절에 불과하기 때문에 계산이 선명하고 효율적이기 때문이다. 그러나 무의식적 편견과 같은 주제에서는 자동적으로 영어로 전환하는데, 이는 내가 이러한 아이디어를 처음 배우고 흡수한 곳이 바로 영어이기 때문"이라고 설명했다.
한편, 비영리 기관인 앨런 인공지능 연구소는 o1에서 언어 불일치의 원인을 확실하게 알 수 없다고 경고했다. 아울러 이는 AI 시스템 구축 방식에 대한 투명성이 기본이 되어야 하는 이유를 보여주는 사례라고 덧붙였다.