AI 코딩 어시스턴트, 아직 갈 길 멀다…정확도 75% 밑돌아

AI 코딩 어시스턴트가 빠르게 발전하고 있지만, 여전히 인간 개발자의 감독이 필요하다는 연구 결과가 제시됐다. [사진: 셔터스톡]

[디지털투데이 AI리포터] 인공지능(AI)이 완벽에 가까운 '코딩 어시스턴트' 역할을 할 것이란 기대가 컸지만, 이를 뒷받침하기 어려운 한계가 드러났다.

22일(현지시간) IT매체 테크레이더가 인용한 워털루대 연구에 따르면, AI는 소프트웨어 개발 분야에서 기대만큼의 성과를 내지 못하는 것으로 나타났다. 가장 발전한 모델조차 구조화된 출력 작업에서 25% 이상 실패했다는 설명이다. 연구진이 11개 대규모언어모델(LLM)을 대상으로 18개 구조 형식과 44개 작업을 평가한 결과, 텍스트 기반 작업에서는 비교적 양호한 성과를 보였지만 이미지, 영상, 웹사이트 생성처럼 복잡한 구조를 요구하는 작업에서는 정확도가 크게 떨어졌다.

특히 AI가 JSON, XML, 마크다운(Markdown) 등 구조화된 형식을 따르도록 설계됐음에도, 실제로는 개발자가 기대하는 수준의 신뢰성을 제공하지 못했다는 점이 문제로 지적됐다. 연구에 따르면 고급 모델조차 정확도가 75%에 미치지 못했고, 오픈소스 대안은 65% 수준에 머물렀다.

워털루대는 "개발자가 AI 에이전트를 활용할 수는 있지만, 여전히 인간의 감독이 필수적"이라고 강조했다. AI가 구조화된 출력에서 자유로운 자연어 응답보다 진전된 모습을 보이긴 했지만, 오류는 여전히 빈번하다는 설명이다. 이는 AI 기반 코딩 도구가 아직은 실험적 단계에 머물러 있으며, 자율적인 개발 파트너로 자리 잡기까지는 갈 길이 멀다는 점을 보여준다.