AI에 의존할수록 성적 ‘와르르’…힌트·설명 요청은 OK

AI에 과하게 의존할수록 성적은 오히려 낮아진다는 연구 결과가 나왔다. [사진: Reve AI]

[디지털투데이 이윤서 기자] 인공지능(AI)의 도움을 받아 공부한 학생들이 실제 시험 단계에서는 오히려 정답률과 응답률이 더 낮아졌다는 연구 결과가 나왔다.

8일(현지시간) 온라인 매체 기가진에 따르면 연구팀은 'AI 도움은 끈기를 약화시킬 수 있다'(AI Assistance Reduces Persistence) 논문을 통해 AI가 학습 성과를 높일 수는 있지만, 지원이 사라졌을 때 문제를 끝까지 붙드는 끈기를 약화시킬 수 있다고 봤다.

연구팀은 먼저 354명을 대상으로 분수 계산 문제 실험을 진행했다. 참가자들은 무작위로 AI 사용 그룹과 비사용 그룹으로 나뉘었다. 전체 15문항 가운데 앞선 12문항은 점차 어려워지는 연습 문제였고, 마지막 3문항은 시험으로 구성됐다. 참가자들은 언제든 문제를 건너뛸 수 있었고, AI 사용 그룹은 시험 단계에 들어가면 예고 없이 AI 접근이 차단됐다.

결과는 분명했다. AI 사용 그룹은 연습 단계에서는 더 높은 성과를 보였지만 시험으로 넘어가자 정답률이 급격히 떨어졌고, 문제를 건너뛰는 비율도 높아졌다. 반면 AI를 사용하지 않은 그룹은 시험과 연습 단계 사이 성과 차이가 크지 않았다. 연구팀은 이를 두고 "AI 사용은 학습 단계에서의 퍼포먼스를 향상시키지만 테스트 성적은 악화시킨다"고 정리했다.

연구팀은 결과를 다시 확인하기 위해 두 번째 실험도 진행했다. 이번에는 667명이 참여했고, 총 17문항 중 첫 3문항을 사전 문제로 배치해 원래 실력 차이 영향을 줄였다. 또 비사용 그룹에도 AI가 있던 위치에 같은 형태의 사이드바를 띄워 화면 구성 차이도 없앴다.

그러나 해당 실험에서도 같은 결과가 반복됐다. AI를 쓰는 동안의 성과는 좋았지만, 시험에서는 오히려 효율이 떨어졌다.

어떤 방식으로 AI를 사용했는지도 차이를 만들었다. 연구팀 조사에 따르면 AI 사용 그룹의 61%는 AI에 정답을 직접 물었다. 이 집단은 시험 성적 하락 폭이 가장 컸다. 반면 AI를 사용하더라도 힌트나 설명만 요청한 경우에는 시험 성적이 크게 나빠지지 않았다. AI를 답안 제공 도구로 쓸 때와 보조 학습 도구로 쓸 때 결과가 달랐다는 의미다.

연구팀은 수학에만 국한된 현상인지도 확인했다. 이를 위해 미국 대학 입학 공통시험인 SAT 형식의 독해 문제로 세 번째 실험을 진행했고 201명이 참여했다. 첫 문항은 사전 문제, 2~6번은 연습 문제, 7~9번은 시험 문제로 구성했다. 여기서도 AI 사용 그룹은 시험 단계에 들어서자 성적이 급락했고, 문제를 건너뛰는 비율이 높아졌다.

세 차례 실험을 종합한 연구팀의 결론은 일관됐다. 연구팀은 "AI의 지원을 받으면 AI가 사라졌을 때 문제를 포기하거나 성적이 악화된다"고 결론지었고, 최종적으로 "AI 지원은 끈기를 낮춘다"고 정리했다.

이번 결과는 AI를 학습 보조 도구로 도입하는 방식에 직접적인 시사점을 남긴다. 답을 바로 얻는 사용은 실전 수행을 해칠 수 있지만, 힌트와 설명 중심의 사용은 부작용이 상대적으로 작을 수 있다는 점이 드러났기 때문이다. 이에 따라 AI 학습 도구 설계에서도 정답 제시보다 풀이 유도와 설명 중심 지원이 더 중요해질 가능성이 커졌다.