가짜 잡으랬더니 진짜도 헷갈려…AI 탐지의 민낯 ‘뉴욕타임스 사례’

[디지털투데이 AI리포터] 실제와 구분하기 어려운 AI 생성 이미지와 영상이 범람하는 가운데, 이를 가려내는 AI 탐지 도구들 역시 얼마나 신뢰할 수 있는지에 대한 검증 결과가 공개됐다.

2일(현지시간) 온라인 매체 기가진은 뉴욕 타임스의 실험 결과를 인용해, 총 12종의 AI 탐지 서비스를 대상으로 가짜 이미지와 영상의 식별 정확도를 검증했다고 전했다.

검증 대상에는 챗GPT, 클로드, 제미나이 프로, AI 오어 낫(AI or Not), 브랜드웰(BrandWell), 하이브 디텍트(Hive Detect), 리얼리티 디펜더(Reality Defender), 리젬블에이아이(Resemble.ai), 센시티(Sensity), 사이트엔진(Sightengine), 슈퍼그록(SuperGrok) 등이 포함됐다. 뉴욕타임스는 이들 서비스가 실제로 AI 생성 콘텐츠를 얼마나 정확히 가려내는지 비교 분석했다.

이를 위해 뉴욕타임스는 챗GPT와 그록 등 생성형 AI로 이미지와 영상을 만든 뒤, 각 탐지 AI에 해당 콘텐츠가 AI 제작물인지 판별하도록 했다. 그 결과 일부 사례에서는 브랜드웰, 클로드, 리젬블에이아이를 제외한 대부분의 서비스가 AI 생성 이미지를 정확히 식별했다. 그러나 챗GPT가 만든 이미지를 챗GPT 스스로는 AI 제작물로 판별하지 못하는 경우도 확인됐다. 또한 제미나이가 생성한 비교적 복잡한 이미지의 경우 AI 오어 낫, 제미나이 프로, 하이브 디텍트, 리젬블에이아이 등 4개 서비스만이 AI 생성물로 판단했다.

영상 분야에서는 성능 차이가 더욱 두드러졌다. 일부 서비스는 아예 영상 탐지를 지원하지 않았고, 지원하는 경우에도 실제 영상을 AI 생성물로 오인하거나 반대로 AI 영상을 실제로 판단하는 사례가 나타났다. 반면 실제 식물을 촬영한 사진에 대해서는 모든 AI 서비스가 만장일치로 진짜라고 판별해, 실제 이미지 식별에서는 비교적 높은 정확도를 보였다.

뉴욕타임스는 최근 AI 탐지 도구가 광범위하게 활용되고 있으나, 그 판독 결과를 결코 절대적인 기준으로 신뢰해서는 안 된다고 지적했다. 현재 은행과 보험사, 교육 현장 및 온라인 조사 기관 등 수많은 이용자가 AI 탐지 도구를 강력한 진실의 심판자로 인식하며 앞다투어 도입하는 추세다. 하지만 탐지 결과가 언제나 정확한 것은 아닌 만큼, 이를 맹목적으로 수용하기보다는 공식 사진이나 보도 등 객관적인 자료를 통한 교차 검증이 반드시 병행되어야 한다고 강조했다.