AI 유해 콘텐츠 범람하는 SNS…단속 손도 못 대는 정부

AI가 생성한 자살·마약·폭력 콘텐츠가 아동과 청소년에게 무차별적으로 노출되고 있다. 인스타그램, 페이스북 같은 해외 플랫폼뿐 아니라 제타AI 등 국내 챗봇에서도 같은 문제가 나타난다. 현행법은 이런 신종 유해 콘텐츠를 규율하지 못하고 있다. 방송미디어통신위원회와 방송통신심의위원회가 관리 책임을 지지만, 규제 체계가 미비해 실효성 논란이 크다.

플랫폼 넘나드는 AI 유해 콘텐츠… 정부는 관망 중

15일 국회와 관련 업계에 의하면 최근 인스타그램, 페이스북, 제타AI 등 국내외 다양한 플랫폼 서비스에 AI로 생성된 유해 콘텐츠가 범람하고 있다. 14일 열린 국회 과학기술정보방송통신위원회 국정감사에서는 실제 AI로 생성된 유해 콘텐츠 사례가 다수 지적을 받았다. 국회 과학기술정보방송통신위원회 소속 의원들은 청소년 유해물인게 분명한데도 문제가 해결되지 않는 이유를 질타했다.

노종면 국회 과학기술정보방송통신위원회 소속 의원(더불어민주당)은 “국내에서 서비스되는 AI챗봇에 15세로 접속해 이용했는데도 마약과 관련된 대화도 청소년 성인 가릴 것 없이 마구 이뤄지는 것을 확인했다”며 “이 AI챗봇은 이용자가 15세여도 자살을 미화하고 방법도 알려주기도 하는데 여태까지 과학기술정보통신부, 방송미디어통신위원회, 방송통신심의위원회 어느 한 곳도 이 업체에 공문 하나 보낸 적이 없다”고 지적했다.

노종면 의원이 지적한 AI챗봇은 스캐터랩의 제타 AI다. 스캐터랩은 과거 챗봇 ‘이루다’로 개인정보 노출 논란을 겪은 기업이다. 제타AI는 스캐터랩이 지난해 4월 오픈베타 서비스를 시작한 이후 10대 이용자를 중심으로 성장한 AI챗봇 서비스다. 국내 제타AI 월평균 1인당 이용시간은 챗GPT의 7.5배에 달한다. 글로벌 이용자는 올해 6월 300만명을 돌파했다.

이 같은 현상은 국내 기업 한 곳에서만 발생하는 게 아니다. 최민희 국회 과학기술정보방송통신위원회 위원장(더불어민주당)은 인스타그램의 숏폼 ‘릴스’에 유흥업소 미화, 자해·폭력 조장, 도박·음주·흡연 관련 영상이 청소년들에게도 무분별하게 노출된다고 지적했다.

한민수 국회 과학기술정보방송통신위원회 소속 의원(더불어민주당)은 인스타그램의 라이브 기능을 이용해 음란방송을 하는 이들이 계좌 후원까지 받고 있다고 짚었다. 최수진 국회 과학기술정보방송통신위원회 소속 의원(국민의힘)은 페이스북에 성매매 광고가 버젓이 노출된다고 비판했다.

“모니터링 한다”는 플랫폼 …“책임져야 한다”는 사회

문제는 여전히 아동·청소년을 보호할 수 있는 법적 근거가 부족하다는 점이다. 김영관 방송미디어통신위원회 사무처장 직무대리는 AI 챗봇이 기존 콘텐츠처럼 정보통신망을 통해 유통되는 게 아니라 이용자에게 1대 1 메시지 형태로 제공돼 기존 정보통신망법 규제의 사각지대에 있는 상황이라고 짚었다.

플랫폼의 자율적인 조치로는 유해 콘텐츠로부터 아동·청소년이 제대로 보호받지 못한다는 점 역시 플랫폼 쪽 규제가 강화될 것으로 보이는 이유다.

14일 국회 과학기술정보방송통신위원회 국정감사에 출석한 허욱 메타코리아 부사장과 이희진 메타코리아 법무총괄은 “기술적 조치와 모니터링을 통해 커뮤니티 규정을 위반한 경우 해당 콘텐츠를 즉시 삭제한다”는 원론적인 답변만 반복했다.

청소년 보호가 중요하다는 걸 메타도 알고 있고 청소년을 보호하기 위해 다양한 수단을 동원하고 있지만 현실적으로 콘텐츠를 전부 모니터링하고 관리하는 게 어려워 AI 유해 콘텐츠 차단이 늦어진다는 말이다.

유명무실한 플랫폼의 아동·청소년 보호조치

플랫폼이 자체적으로 하는 보호조치의 실효성이 부족하다는 점릉 특히 문제로 지적된다. 우회가 쉽기 때문이다.

예를 들어 메타는 10월 15일 인스타그램 10대 전용 계정에 ‘13세 이용가(PG-13)’ 등급 콘텐츠 기준을 도입하고 18세 이상 성인 계정과 상호작용을 원천 차단하는 시스템을 도입했다. PG-13은 우리나라의 영상물등급분류 체계상 ‘12세 관람가’와 비슷한 수위다.

이렇게 보호조치를 도입해도 로그아웃하면 무용지물이다. 워싱턴포스트는 이런 서비스가 부모가 모르는 새 계정을 만드는 것을 기술적으로 막는 장치가 없다고 지적했다.

전문가들은 이런 상황을 AI 윤리 문제라고 진단한다. 개발진이 AI 산출물에 AI로 만든 콘텐츠라고 워터마크를 표기하는 등의 AI 안전 조치를 해놔도 그걸 이용자가 어디서 어떻게 사용하는지까지는 알 수 없다는 것이다.

해외 주요국이 플랫폼에 더 많은 책임을 부과하는 배경으로 분석된다. AI 유해 콘텐츠가 많아질수록 이용자를 일일이 단속하는 것보다 플랫폼에 단속 의무를 부여하고 해당 플랫폼의 의무 이행 여부를 점검하는 게 효율적이라서다.

김명주 인공지능안전연구소장은 “AI 유해 콘텐츠는 해당 기술을 제공한 AI 개발사, 유해 콘텐츠가 유통되게 놔둔 플랫폼, 유해 콘텐츠를 사용한 이용자 측까지 세 곳으로 책임이 나눠진다”며 “AI 기본법에 어떤 콘텐츠를 AI로 만들었다면 AI 산출물이라는 것을 표시해야 한다는 항목이 있는데 개발 단계에서 해당 의무를 지켰더라도 그 산출물이 어디에 어떻게 사용되는지까지는 통제할 수 없는 부분이다”라고 말했다.

이런 상황이 계속될 경우 AI 서비스 플랫폼의 규제 리스크는 점점 커질 것으로 전망된다. AI 서비스 플랫폼 관련 규제 강화가 글로벌 추세라서다. 미국 캘리포니아주는 13일(현지시각) AI 챗봇 운영 기업에 플랫폼 이용자의 연령을 확인하고 모든 답변이 생성된 것을 표시하도록 규정한 법안을 제정했다. 호주 정부는 이미 만 16세 미만의 인스타그램, 틱톡, X(트위터), 유튜브 등 SNS 플랫폼 사용을 금지시켰다.

변인호 기자
jubar@chosunbiz.com