AI도 수면 필요하다?…대화 길어질 수록 성능 저하

AI가 장기 작업으로 성능이 저하되는 것을 막기 위해선 수면 과정이 필요하다는 연구 결과가 나왔다. [사진: Reve AI]

[디지털투데이 AI리포터] 장시간 작업을 수행하는 인공지능(AI) 모델에는 외부 입력을 일시적으로 차단하고 내부 정보를 정리하는 '수면' 과정이 필요하다는 연구 결과가 나왔다.

27일(현지시간) 온라인 매체 기가진에 따르면, 카네기멜런대학교 연구팀은 장기 추론 과정에서 발생하는 성능 저하를 줄이기 위한 새로운 메모리 처리 방식을 제안했다.

대규모언어모델(LLM)은 사용자와의 대화 내용을 지속적으로 참조하면서 응답을 생성한다. 이 때문에 대화가 길어질수록 처리해야 할 정보량과 계산 비용이 증가하는 문제가 발생한다. 최근 모델들은 비용을 줄이기 위해 최근 대화 기록을 참조하는 단기 메모리와 대규모 데이터를 압축해 저장하는 장기 메모리를 함께 활용하고 있다.

그러나 연구팀은 장기 기억에 저장된 정보의 정확도가 충분하지 않을 경우, 추론이 반복될수록 출력 성능이 저하되는 현상을 확인했다.

연구팀은 동물의 수면이 장기 기억 정리에 관여한다는 가설에서 착안해, 콘텍스트 윈도의 정보를 영속적인 가중치로 이전하는 방식을 제안했다. 모델의 콘텍스트 윈도가 한계에 도달하면 외부 입력 토큰을 더 이상 받지 않는 수면 상태로 전환하고, 기존 정보를 반복적으로 재처리해 장기 기억에 해당하는 가중치로 통합하는 구조다. 이후 콘텍스트 윈도를 초기화하고, 갱신된 가중치를 기반으로 작업을 재개한다.

실험 결과 과제가 복잡할수록 이러한 수면 처리 방식의 효과가 더 크게 나타났으며, 수면 과정을 여러 차례 거칠수록 정확도도 향상되는 경향을 보였다.

연구팀은 기존 LLM이 과거 정보를 단순히 메모리에서 삭제하는 방식이라면, 이번 수면 방식은 정보를 먼저 가중치로 변환한 뒤 반영·정리하는 구조라고 설명했다. 이를 통해 기존 모델이 충분히 활용하지 못하던 과거 문맥까지 더 깊게 추론할 수 있다고 분석했다.