[디지털투데이 AI리포터] 인공지능(AI)이 코딩을 대체할 것이라는 기대와 달리, 최신 대규모언어모델(LLM)이 고난도의 프로그래밍 문제에서 여전히 인간을 능가하지 못한다는 연구 결과가 나왔다.

18일(현지시간) 온라인 매체 기가진은 AI 연구자들이 개발한 '라이브코드벤치 프로'(LiveCodeBench Pro) 벤치마크 테스트에서 최신 LLM이 중급 난이도 문제에서도 정답률 53%에 그쳤으며, 고난도 문제에서는 정답률이 0%로 떨어졌다고 전했다.

이 테스트는 국제 대학생 프로그래밍 경시대회(ICPC)와 국제정보올림피아드(IOI) 문제를 기반으로 하며, 알고리즘 전문가들이 AI의 코드 출력을 분석하는 방식으로 진행됐다. 

결과적으로, 최신 LLM조차 복잡한 알고리즘 문제를 해결하는 데 실패했으며, 이는 AI가 단순한 구현 문제에서는 뛰어난 성능을 보이지만, 복잡한 알고리즘 추론이나 사례 분석에서는 한계를 드러낸다는 것을 의미한다. 특히, LLM은 확신을 갖고 잘못된 답을 내놓는 경향이 있어, 고급 프로그래밍에서는 여전히 인간 개발자가 필요하다는 점을 확인시켰다.

로한 폴(Rohan Paul) AI 연구자는 "최신 LLM이 현실 세계의 복잡한 코딩 문제에서 정답률 0%를 기록했다는 것은 AI가 아직 숙련된 기술을 가진 인간 프로그래머의 수준에 도달하지 못했음을 보여준다"라고 지적했다. 
 

• 토스, 마이데이터 2.0 오픈
• 여성, AI 활용 남성보다 25% 적어…커리어 부정적 영향 우려
• 샘 알트먼 "내 아이들은 AI보다 똑똑해지지 않을 것"
• 한컴인스페이스, 기술성 평가 통과...코스닥 상장 본격 추진
• 메가존클라우드, 하나투어 'AI 패키지 일정 설계 서비스' 구축