자동차-AI, 답변 잘하지만 질문 못한다…성능 테스트의 맹점

[디지털투데이 AI리포터] 미국 노스이스턴 대학의 역사학 교수인 댄 코헨(Dan Cohen)은 실제로 AI의 성능을 측정하는 테스트를 사람이 직접 풀어본 경험을 바탕으로, AI를 위한 테스트는 '질문하는 능력'이라는 인간의 중요한 측면을 놓치고 있다고 지적했다.

1일 온라인 매체 기가진에 따르면 코헨은 최근 인류의 마지막 시험(Humanity's Last Exam)이라는 AI를 대상으로 한 테스트 중 자신의 전문 분야인 '역사' 부분을 직접 풀어봤다.

그 결과 코헨은 "이 시험이 AI의 지능을 평가하는 데 한계가 있다"며, 특히 AI가 복잡한 질문을 이해하는 능력보다는 정답을 찾는 능력만을 측정하는 방식에 문제를 제기했다.

AI 개발 기업은 이러한 테스트를 통해 '새로운 AI 모델이 기존 모델보다 20% 더 정답률이 높다'는 식으로 홍보하지만, 코헨은 "질문하는 능력이야말로 인간 지능의 핵심"이라고 강조했다. 그는 "AI가 정답을 맞히는 데 뛰어난 것은 맞지만, 새로운 탐구를 시작하고 의미 있는 질문을 던지는 능력은 여전히 인간의 영역"이라고 덧붙였다.