챗GPT 거짓말 논란 ‘일파만파’…진짜 문제는 따로 있다?

챗GPT는 사용자에게 의도적으로 거짓말을 하는 걸까? [사진: Reve AI]

[디지털투데이 이윤서 기자] 챗GPT가 거짓말을 한다는 의혹이 계속되는 가운데, 이러한 논란은 정말 사실일까. 13일(현지시간) IT매체 테크레이더는 인공지능(AI)이 인간처럼 의도를 가지고 속이는 것이 아니라, 설계적 한계와 데이터 라벨링 부족이 원인이라고 전했다.

AI 윤리학자이자 '인공적 과실'(Artificial Negligence)의 저자인 제임스 윌슨은 "챗GPT는 단순한 확률 기반 언어 모델일 뿐이며, 거짓말은 설계적 한계에서 비롯된다"고 분석했다. 이어 샘 알트먼 오픈AI 최고경영자(CEO)가 "AI는 요청하지 않을 시 아무것도 하지 않는다"고 말한 것을 인용하며, "AI는 자율성이나 주체성을 가지고 있지 않다"고 설명했다. 다시 말해, 사용자가 요청을 내리기 전까지는 사용자를 해치기 위해 아무것도 하지 않는다는 것이다.

그는 챗GPT가 사실과 허구를 구분할 수 없으며, 확률에 따라 단어를 예측하고 조합하는 시스템에 대화형 인터페이스가 결합된 형태라고 지적했다. 챗GPT가 '거짓말'을 하는 것처럼 보이는 이유는 모델이 학습 데이터에서 예측한 내용이 실제 사실과 일치하지 않을 때 나타나는 현상이라고 덧붙였다.

특히 오픈AI와 AI 안전 연구소 아폴로 리서치(Apollo Research)가 발표한 연구에 따르면, 고급 AI 모델이 '숨겨진 정렬 불량'(hidden misalignment)를 보이며, 상황에 따라 의도적으로 성능을 조절하는 행동을 보였다. AI가 특정 테스트에서 일부러 낮은 점수를 받아 시스템이 종료되지 않도록 하는 '스키밍'(scheming) 현상이 발견된 것이다. 하지만 이는 사용자에게 부정적인 영향을 끼치려는 것이 아닌, 그저 기업이 설계한 시스템의 한 증상일 뿐이다.

문제는 AI 기업들이 데이터 레이블링을 소홀히 한 채, 정확성보다 자신감 있게 답변하는 모델을 우선시했다는 점이다. 윌슨은 "AI 기업들이 직접 만든 문제를 연구하며, 이제야 해결책을 찾은 것처럼 행동한다"고 지적했다. 이는 안전성을 강조하려는 마케팅 전략에 가깝다는 것이다.

주목해야 할 만한 요소는 따로 있다. 챗GPT의 '거짓말'보다 더 큰 위험은 AI가 점점 더 많은 자율성을 갖게 되는 미래다. 윌슨은 "이제 산업계는 현실 세계에서 행동할 수 있는 '에이전트형 AI'를 개발 중"이라며, 철저한 검증 없이 이런 시스템이 도입된다면 예측 불가능한 결과를 초래할 수 있다고 경고했다.

결국 이번 논란은 챗GPT가 의도적으로 거짓말을 하는지가 아니라, AI 모델의 구조적 한계와 데이터 관리 부실에서 비롯된 현상임을 보여준다. 이러한 구조적 문제가 해결되지 않는 한, 'AI의 신뢰성' 논의는 계속될 것으로 보인다.