MIT·하버드 “생성형 AI, 성능 뛰어나도 ‘진짜 이해력’은 부족”
||2024.11.11
생성형 인공지능(AI)이 인상적인 성과를 보이고 있지만, 실제로는 세상을 이해하지 못한 채 단순 모방에 그치고 있다는 연구결과가 나왔다.
최근 MIT 뉴스에 따르면 미국 매사추세츠공대(MIT)와 하버드대학 공동연구팀은 GPT-4와 같은 대규모 언어모델(LLM)의 기반이 되는 트랜스포머 모델을 분석한 결과, 표면적으로 완전한 성능 뒤에 실제 이해가 부족하다는 사실을 발견했다고 밝혔다.
연구진은 생성형 AI 모델이 뉴욕시의 길 안내를 거의 완벽한 정확도로 수행할 수 있었지만, 도시의 실제 지도와는 다른 엉뚱한 내부 지도를 만들어냈다는 점을 확인했다. 실제로 일부 도로를 폐쇄하고 우회로를 추가하자 AI의 성능은 급격히 저하됐다.
AI가 만들어낸 뉴욕시 지도의 경우 연구진이 AI의 내부 모델을 분석한 결과, 실존하지 않는 수백 개의 도로가 격자 위에 무작위로 교차하는 형태의 왜곡된 지도가 발견됐다. 여기에는 불가능한 방향의 도로와 비현실적인 입체 교차로도 포함돼 있었다.
연구를 이끈 아쉐시 람바찬 MIT 교수는 "도로의 단 1%만 폐쇄해도 AI의 길안내 정확도가 100%에서 67%로 급락했다"며 "이는 AI가 실제 도시 구조를 이해하지 못한 채 단순히 패턴을 학습했다는 것을 보여준다"고 설명했다.
이번 연구는 AI가 보여주는 놀라운 성능이 실제 이해를 바탕으로 한 것이 아닐 수 있다는 점을 시사한다. 연구진은 "AI가 인상적인 결과물을 내놓더라도 그것이 세상에 대한 진정한 이해를 의미하지는 않는다"며 "정확한 세계 모델을 구축하기 위해서는 새로운 접근방식이 필요하다"고 말했다.
홍주연 기자 jyhong@chosunbiz.com
