"글쓰기에 AI 너무 많이 쓰면 밋밋해져...사람은 절대 안 쓸 문장 나와"

[디지털투데이 황치규 기자]거대언어모델(LLM)을 과도하게 활용하면 글 스타일뿐 아니라 내용 자체가 달라진다는 연구 결과가 나왔다.

20일(현지시간)미국 서부 해안 지역 대학 연구자들로 구성된 연구팀은 참가자 100명을 대상으로 실험을 진행했다. 실험 주제는 '돈이 행복에 미치는 영향'이었다. 연구팀은 LLM 의존도에 따라 참가자들 답변이 어떻게 달라지는지 분석했다.

연구팀은 작성한 텍스트 40% 이상을 거대언어모델로 생성한 참가자를 '고의존 사용자'로 분류했다. 고의존 사용자는 AI를 거의 쓰지 않은 참가자보다 중립적인 답변을 69% 더 많이 제출했다. AI를 덜 쓴 참가자들은 돈과 행복의 관계에 대해 긍정이든 부정이든 훨씬 강한 입장을 보였다.

논문 제1저자인 워싱턴대학교 컴퓨터공학과 나타샤 자크 교수는 "LLM이 인간이라면 절대 쓰지 않을 방식으로 글을 바꾸고 있다"고 말했다.

스타일 면에서도 변화가 나타났다. 고의존 사용자 글에는 1인칭 대명사가 50% 줄었다. 개인적인 일화나 실제로 겪은 이야기들에 대한 언급도 감소했다. 전체적으로 언어가 덜 개인적이고 보다 격식이 있는 스타일로 바뀌었다.

실험 후 설문에서 고의존 사용자들은 자신의 글이 창의성이 떨어지고 본인 목소리가 담기지 않았다고 평가했다. 그러면서도 최종 결과물에 대한 만족도는 AI를 적게 쓴 참가자와 비슷했다. 연구팀은 이 부분을 장기적으로 우려할 만한 요소로 꼽았다.

연구팀은 이번 실험에서 앤트로픽 클로드 3.5 하이쿠, 오픈AI GPT-4o 미니, 구글 제미나이 2.5 플래시 등 세 모델을 활용했다.

LLM이 기존 글을 어떻게 수정하는지도 분석했다. 인간 편집자는 단어를 하나씩 바꾸고 원문 어휘 대부분을 유지하는 반면, 세 모델 모두 인간보다 훨씬 많은 부분을 교체했다. 원문 의미까지 달라지는 경우도 확인됐다.

자크 교수는 LLM이 인간 피드백 기반으로 학습하는 방식에서 이 같은 현상의 원인을 찾을 수 있다고 설명했다. 그는 "모델은 인간을 만족시키는 것과 인간이 원하는 것 자체를 모델에 맞게 바꾸는 것을 구별하지 못한다"고 말했다.