KAIST, AI ‘시간 오류’ 잡았다…"데이터베이스로 자동 진단"

[디지털투데이 이진호 기자] KAIST는 황의종 전기및전자공학부 교수 연구팀이 마이크로소프트연구소와 공동 연구를 통해 거대언어모델(LLM)의 시간 추론 능력을 자동으로 평가·진단하는 시스템을 개발했다고 14일 밝혔다.

인공지능(AI)은 시시각각 변화하는 현실 정보를 정확히 이해하는 능력이 필수적이다. 기존 평가 방식은 정답 일치 여부만을 확인하거나 복잡한 시간 관계를 충분히 반영하지 못하는 한계가 있었다.

연구팀은 이를 해결하기 위해 '시간 데이터베이스(Temporal Database)' 설계 이론을 AI 평가에 최초로 도입했다. 데이터의 시간적 흐름과 관계 구조를 활용해 사람이 평가용 문제를 일일이 작성하지 않아도 데이터베이스만으로 13가지 유형의 복잡한 시간 기반 문제가 자동으로 생성되도록 했다.

사람이 문제를 직접 만들던 방식에서 벗어나, 데이터를 기반으로 평가 문제가 자동 생성되는 방식으로 전환한 것이 특징이다. 데이터베이스를 기준으로 문제 생성부터 정답 도출, 검증까지 전 과정을 자동화해, 기존처럼 문제를 일일이 수정할 필요가 없다.

현실 정보가 변경될 경우에는 해당 내용을 데이터베이스에 업데이트하면 평가 문제와 정답, 검증 기준이 자동으로 반영된다. 최신 정보의 입력 자체는 외부 데이터나 관리자를 통해 이뤄지며 이러한 데이터가 갱신된 이후 평가 전반을 자동으로 수행하는 구조다.

또한 연구팀은 답변 과정에서 제시된 날짜나 기간의 논리적 타당성까지 검증하는 지표를 새롭게 도입했다. 이를 통해 시간적 근거가 잘못된 '시간 환각(Temporal Hallucination)' 현상을 기존 대비 평균 21.7% 더 정확하게 탐지하는 성과를 보였다. 정보 변경 시 데이터베이스만 갱신하면 되기 때문에 평가 유지 비용을 크게 절감할 수 있으며 입력 데이터량도 기존 대비 평균 51% 줄어드는 효과를 보였다

황의종 교수는 "고전적인 데이터베이스 설계 이론이 최신 AI의 신뢰성 문제를 해결하는 데 중요한 역할을 할 수 있음을 보여준 사례"라며 "방대한 전문 데이터를 평가 자원으로 전환해 향후 의료·법률 등 다양한 분야의 AI 성능 검증에 기반이 될 것으로 기대한다"고 말했다.

마이크로소프트연구소, 한국연구재단, 정보통신기획평가원(IITP) 글로벌 AI 프론티어랩 과제 지원을 받은 이번 연구는 김소연 KAIST 박사과정이 제1저자로 참여했다. 마이크로소프트연구소의 진동 왕(Jindong Wang)과 싱 시에(Xing Xie) 연구원이 공동 저자로 참여했다. 연구 결과는 이달 중 AI 분야 최고 권위 학술대회인 'ICLR 2026'에서 발표될 예정이다.