자동차-AI 챗봇, 믿을 수 있을까? 신뢰성 극복이 최대 과제

[디지털투데이 AI리포터] 인공지능(AI) 챗봇은 정말 신뢰할 수 있을까. 11일(현지시간) IT매체 나인투파이브맥은 AI 챗봇의 정확도와 문제 등에 대한 콜롬비아 저널리즘 연구 내용을 전했다.

연구는 챗GPT, 제미나이, 그록 등과 같은 대형 언어 모델(LLM)을 웹 검색의 대체로 사용하려는 시도에 대한 문제를 제기하며 진행됐다.

연구에 따르면 챗봇에 한 기사에서 정확한 인용문을 제시하고 세부 정보를 요청해도, 대부분 틀린 답변을 제공했다. 특히 틀린 정보를 매우 자신 있게 제시했다.

토우 디지털 저널리즘 센터(Tow Center for Digital Journalism)는 사실을 찾기 위해 실시간 웹 검색을 수행한다고 주장하는 8개의 AI 챗봇을 테스트했다. 이들 챗봇에게는 기사에서 인용문을 찾아 온라인에서 기사를 제공하고 제목, 출판사, 출판 날짜를 제공하는 간단한 작업이 주어졌다. 정확성에 따라 완전히 정확, 일부 정보 누락, 부분적으로 틀림, 완전히 틀림, 대답 불가로 평가됐다.

하지만 결과는 좋지 않았다. 대부분의 챗봇은 대체로 부분적 또는 완전히 틀린 결과를 제공했다. 평균적으로 AI 시스템은 40% 미만의 확률로 정확했으며, 가장 정확한 것은 펄플렉서티(Perplexity)였고 가장 부정확한 것은 그록3(Grok-3)였다.

주요한 발견으로는 챗봇이 정확히 대답할 수 없는 질문에 대해 부정확한 답변을 제공하는 경향이 있고, 유료 챗봇이 무료 챗봇보다 더 자신 있게 부정확한 답변을 제공했다는 점이었다.

이번 연구는 AI 챗봇을 영감과 아이디어를 얻기 위한 도구로 사용해야 하며, 정보를 얻기 위한 수단으로는 신뢰할 수 없다는 것이 입증됐다고 매체는 전했다.