AI 스타트업 클레비, 글로벌 벤치마크 ‘GAIA’서 세계 상위 2.5% 진입
||2026.04.07
한국 AI 스타트업 클레비(Clevi)가 국내 최초로 글로벌 AI 에이전트 벤치마크 'GAIA(General AI Assistants)'에서 79.07%의 정답률을 기록하며, 전체 3090개 등록 모델 기준 상위 2.5% 이내에 진입했다고 7일 밝혔다.
클레비는 이번 기록이 챗GPT·클로드·제미나이 등 해외 거대언어모델(LLM)에 의존하지 않고, 기초 단계부터 독자 개발한 자체 모델(cip-5.5-agent, cip-5.5-mm)과 자체 AI 에이전트 솔루션만으로 성과를 달성했다는 점에서 의미가 깊다고 설명했다.
최고 점수를 기록한 에이전트 외에도, 클레비의 자체 모델만으로 구축된 총 5개 에이전트 전원이 70+를 기록하며 리더보드에 이름을 올렸다. 이는 단일 결과가 아닌, 자체 모델 기반 에이전트 스택 전체의 안정적 경쟁력을 보여주는 결과라는 게 업체 측 설명이다.
GAIA(General AI Assistants)는 2023년 메타(Meta) AI 연구팀이 주도해 발표한 AI 에이전트 평가 기준이다. 현재 허깅페이스(Hugging Face)가 공식 리더보드를 운영하고 있다. 단순히 언어를 잘 생성하는지를 보는 것이 아니라, 웹 검색·도구 활용·멀티스텝 추론·이미지 분석 등 실제 업무 환경에서 요구되는 복합 능력을 종합적으로 평가하는 것이 특징이다.
총 301개의 비공개 테스트 문항은 난이도에 따라 세 단계(Level 1~3)로 구성된다. 레벨 1은 단순 사실 확인, 레벨 3은 다수의 도구를 연계해 여러 단계를 거쳐야 풀 수 있는 고난도 문항이다. 벤치마크 공개 당시 GPT 모델(플러그인 포함)의 정답률은 약 15%에 그쳤고, 인간 평균은 92%로 측정되어 AI와 인간 사이의 간격이 얼마나 큰지를 극명하게 드러낸 바 있다.
이 벤치마크가 어렵다고 평가받는 이유는 문항 자체의 성격에 있다. 예컨대 레벨l 3 문항 중에는 '특정 회화 속 과일을 식별한 뒤, 영화에 등장한 여객선의 1949년 조식 메뉴와 교차 대조하라'는 식의 질문이 출제된다. AI가 이미지 인식, 영화 데이터 검색, 역사 문서 파싱, 교차 대조, 포맷 변환까지 5단계 이상을 자율적으로 수행해야 하는 것이다.
클레비는 이번 GAIA 벤치마크에 자체 모델 기반 에이전트 5개를 출전시켰다. 최고 79.07%부터 최저 70.76%까지 전원 70점대 이상을 기록했다. 사용된 모델은 클레비가 프롬 스크래치 방식으로 개발한 cip-5.5-agent(에이전틱 AI)와 cip-5.5-mm(음성·이미지·비디오 등 다양한 파일 포맷을 이해·추론하는 고성능 범용 멀티모달)이다.
이번 성과의 핵심은 '자체 모델'과 '자체 AI 에이전트 솔루션'이라는 두 가지 조건이다. 실제로 GAIA 리더보드 상위권을 살펴보면, 대부분의 에이전트가 챗GPT·클로드·제미나이 등 여러 빅테크 모델을 조합하는 '멀티 모델 믹스' 전략을 채택하고 있다. 정보 소실 등으로 인한 점수 감소를 방어하고, 각 모델의 강점을 결합해 최고 점수를 끌어올리기 위한 전략이다.
이 가운데 클레비는 다른 전략을 택했다. 동일한 방식으로 외부 모델을 혼합하면 공식 점수를 더 끌어올릴 수도 있었지만, 클레비는 이번 평가에서 자체 모델만으로 구성된 에이전트의 실제 성능을 글로벌 공개 지표로 검증하는 데 초점을 맞췄다. 이번 결과는 단순히 한 번의 점수 기록이 아니라, 국내 AI 개발사가 프롬 스크래치 방식으로 개발한 자체 모델이 글로벌 공개 벤치마크에서 경쟁 가능한 수준에 도달했는지를 보여주는 사례다.
현재 사람이 공개적으로 확인 가능한 정보 범위 내에서 재평가했을 때, 클레비의 정답률은 98% 이상으로 나타났다. 이는 인간 평균 정답률인 92%를 이미 상회하는 수치다.
클레비 관계자는 “외부 모델을 빌리지 않고, 우리가 프롬 스크래치로 만든 자체 모델과 에이전트 솔루션이 세계 무대에서 인정받았다는 것이 핵심이다”라며 “글로벌 리더보드에 이름을 올린다는 건 이미 인간 수준을 넘어선 실질적인 성능을 갖춘 우리 기술이 세계 기준으로 검증됐다는 공신력을 뜻한다”고 설명했다.
이광영 기자
gwang0e@chosunbiz.com
