구글, AI 성능 비교 서비스 ‘안드로이드 벤치’ 공개…1위는?

[디지털투데이 AI리포터] 구글이 인공지능(AI) 모델의 안드로이드 개발 기여도를 평가하는 ‘안드로이드 벤치’(Android Bench)를 공개했다.

6일 온라인 매체 기가진에 따르면 이 서비스는 AI가 실제 안드로이드 개발 문제를 해결하는 능력을 측정해 순위를 매긴다. 첫 테스트 결과, 구글의 '제미나이 3.1 프로 프리뷰'가 72.4%의 문제 해결률로 1위를 차지했다. 이어 앤트로픽의 ‘클로드 오푸스 4.6'이 2위, 오픈AI의 'GPT-5.2-코덱스'가 3위를 기록했다.

안드로이드 벤치는 오픈소스 안드로이드 앱의 실제 이슈와 이를 해결하기 위한 풀 리퀘스트(PR)를 활용해 AI의 문제 해결 능력을 검증한다. 테스트에 사용되는 PR은 깃허브에서 500개 이상의 스타를 받은 프로젝트 중에서 지난 2023년 이후 병합된 사례를 엄선해 적용했다.

구글은 안드로이드 벤치의 리더보드를 지속적으로 업데이트할 계획이며, AI 성능 변화에 따라 순위가 변동될 가능성이 크다. 또한, 개발자들이 직접 AI 모델을 평가할 수 있도록 관련 테스트 도구를 깃허브에 공개했다. AI의 안드로이드 개발 지원 능력을 객관적으로 측정하려는 구글의 이번 시도가 향후 AI 모델들의 성능 경쟁에 중요한 기준점이 될 전망이다.