같은 질문 2번 하니 정답률 20% → 90% ‘껑충’…AI 정확도 높이려면

대형언어모델(LLM)은 동일한 프로프트라도 작성 방식과 정보 배열에 따라 답변이 달라질 수 있다 [사진: 셔터스톡]

[디지털투데이 홍진주 기자] 대형언어모델(LLM)은 동일한 프롬프트라도 작성 방식이나 정보 배열에 따라 서로 다른 답변을 내놓을 수 있다. 구글 리서치 연구진은 프롬프트를 그대로 두 번 반복하는 간단한 방법만으로도 LLM의 정답률이 유의미하게 높아진다는 연구 결과를 공개했다.

25일(현지시간) 온라인 매체 기가진에 따르면, 이 방법은 ‘프롬프트 반복(Prompt Repetition)’으로, 입력을 「지시문」에서 「지시문」「지시문」 형태로 바꾸는 방식이다. 즉, 지시나 문제 문장을 복사해 두 번 연속 붙여넣는 방식이다. 연구진은 이는 설득 효과가 아니라, LLM이 텍스트를 순차적으로 읽는 구조에서 발생하는 정보 누락을 줄이기 위한 것이라고 설명했다.

LLM은 문장을 왼쪽에서 오른쪽으로 한 번에 처리하기 때문에, 첫 번째 읽기 과정에서 후반부 조건이나 핵심 정보를 놓칠 수 있다. 따라서 프롬프트를 두 번 제시하면 두 번째 읽기 시점에는 이미 앞선 정보가 입력에 포함돼 있어, 조건 참조가 쉬워진다는 것이다. 연구팀은 이러한 구조가 지시나 조건 누락을 줄이고, 결과적으로 정답률을 높일 수 있다고 설명했다.

연구진은 제미나이(Gemini), GPT-4o, 클로드(Claude), 딥시크(DeepSeek) 등 7개 주요 모델을 대상으로 다양한 벤치마크에서 실험을 진행했다. 그 결과, 총 70개 조건 중 47개에서 프롬프트 반복을 적용한 경우 정답률이 유의미하게 개선됐으며, 성능이 악화된 사례는 없었다.

특히 긴 입력이나 선택지를 먼저 제시하는 문제처럼 문맥 정리가 어려운 경우 효과가 두드러졌다. 극단적인 개선 사례로 연구팀이 제시한 것은 '네임인덱스(NameIndex)' 과제로, 50명의 이름 목록 중 25번째를 묻는 과제에서 제미나이 2.0 플래시 라이트(Gemini 2.0 Flash Lite)의 정답률은 단일 입력 시 21%였으나, 프롬프트를 두 번 반복하자 97%로 급등했다. 이는 긴 입력에서 '어디를 봐야 하는지' 놓치는 실수를 반복 읽기로 보완할 수 있음을 시사한다.

입력 길이가 늘어나 비용이나 대기 시간이 증가할 수 있다는 우려에 대해 연구진은 "대부분의 조건에서 응답 지연은 발생하지 않았다"고 밝혔다. 이는 LLM 처리 과정에서 입력을 읽는 단계가 병렬 처리될 수 있기 때문이라는 설명이다.

다만 연구팀은 '단계적으로 생각하기(Think step by step)'처럼 추론을 유도하는 조건에서는 효과가 나타나지 않거나 개선이 미미했다고도 보고했다. 추론을 유도하는 설정에서는 답변 생성 중에 질문을 다시 말하거나 요점을 반복하는 경향이 있어, 입력 반복이 비효율적으로 작용할 수 있다는 것이다. 추론을 유도한 조건에서의 결과를 보면, 추론을 유도하지 않은 조건만큼 큰 개선이 나타나지 않는 경우가 많았다.

연구진은 동일한 내용을 반복하는 것이 중요하며, 단순히 입력 길이를 늘리는 방식은 효과가 없었다고 덧붙였다. 이번 연구는 복잡한 튜닝 없이도 LLM 성능을 개선할 수 있는 실용적인 접근법을 제시했다는 평가를 받고 있다.