구글, ‘제미나이 1.5 프로’ 최신 버전 공개..."오픈AI·앤트로픽 모두 앞서"
||2024.08.02
구글이 선보인 ‘제미나이 1.5 프로’의 최신 버전이 인간 선호도 벤치마크에서 오픈AI와 앤트로픽을 제치고 최고 모델 자리를 탈환했다.
벤처비트는 1일(현지시간) 구글이 모델 ‘제미나이 1.5 프로’의 실험용 버전인 ‘제미나이-1.5-프로-Exp-0801’을 공개했다고 보도했다.
이 모델은 구글 AI 스튜디오와 제미나이 API를 통해 조기 테스트 및 피드백을 위해 공개됐으며, 최대 200만 토큰 길이의 컨텍스트 창이 특징이다. 이를 통해 긴 문서, 광범위한 코드 기반, 확장된 오디오나 비디오 콘텐츠를 포함한 방대한 양의 정보를 처리하고 추론할 수 있다.
새 모델은 인간 선호도를 평가하는 벤치마크 LMSYS의 '챗봇 아레나 리더보드'에서 이전 선두였던 오픈AI의 'GPT-4o'를 제치고 1위에 올랐다.
오픈AI의 챗GPT는 'GPT-3' 출시 이후 생성 AI의 표준으로 자리 잡았다. 가장 최근 모델인 GPT-4o와 최대 경쟁자인 앤트로픽의 '클로드 3'는 최근 1년 동안 대부분의 벤치마크에서 우위를 차지하며 경쟁을 벌였다.
하지만 챗봇 아레나에서 제미나이 1.5 프로 0801 버전은 1300점을 받아, 오픈AI의 GPT-4o(1286점) 및 GPT-4o 미니(1280점), 앤트로픽의 '클로드-3.5 소네트(1271점)', 메타의 '라마 3.1(1262)' 등을 능가했다.
챗봇 아레나 데이터에 따르면 이 모델은 다국어 작업에서 뛰어나며, 수학과 복잡한 프롬프트, 코딩과 같은 분야에서 강력한 성능을 보여줬다.
소셜 미디어에서도 호평이 이어지고 있다. 제미나이 팀 핵심 개발자인 사이먼 토구민은 "지금까지 만든 가장 강력하고 가장 지적인 제미나이"라고 설명했다. 레딧의 한 사용자는 이 모델이 "믿을 수 없을 정도로 좋다"라며 “기능이 축소되지 않기를 바란다”라고 말했다.
현재로서는 제미나이 1.5 프로의 실험용 버전이 향후 기본 버전이 될지는 불확실하다. 초기 릴리스나 테스트 단계에서 안전이나 미세조정 필요로 철회되거나 변경될 가능성도 있다.
박찬 기자 cpark@aitimes.com
