“19금 챗봇 경쟁, 윤리 경계 허물다… AI 규제 불붙나”

오픈AI가 12월부터 성인 인증을 거친 유료 이용자를 대상으로 성적 대화 기능을 도입한다. 일론 머스크의 그록(Grok) 등 경쟁 서비스의 급성장이 자극이 됐다는 분석이 나온다. 윤리적 경계가 무너진 빅테크의 과열 경쟁이 AI 규제 논의를 촉발할 가능성도 제기된다.

올트먼 CEO는 14일(현지시각) SNS를 통해 “성인 이용자를 성인으로 대우한다는 원칙에 따라 에로티카(성적인 늬앙스의 대화) 등 더 현실적이고 개인화된 대화 경험을 제공하겠다”며 챗GPT의 정책 개편을 알렸다. 오픈AI는 이를 위해 신분증 인증 시스템을 도입한다. 또 미성년자 보호 및 유해 콘텐츠 생성 방지 등 안전장치도 강화할 방침이다.

AI 업계는 이번 정책 전환이 ‘수익 확대’와 ‘경쟁사 의식’이라는 현실적 요인에서 비롯됐다고 봤다. 특히 일론 머스크가 운영하는 xAI의 그록이 유료 구독자에게 19금 챗봇 기능을 제공, 출시 직후 매출이 두 배로 증가한 사례가 결정적 촉매제가 됐다는 평가다.

업계 관계자는 “AI 모델 경쟁이 기능 싸움에서 수익 모델 경쟁으로 옮겨가는 흐름이다”라며 “구독료 기반 AI 서비스 모델은 막대한 개발비와 운영비가 부담이 된다. 오픈AI의 경우 적자가 계속되는 상황에서 새로운 돌파구가 필요하다는 판단이 작용한 것으로 보인다”고 말했다.

‘심리 조종, 의존성’ 부작용까지… 커지는 사회적 안전망 공백

다수의 전문가는 이같은 정책 변경을 두고 ‘기술 악용’에 대한 심각한 우려를 제기한다. 생성형 AI가 심리 조종, 가짜 관계 맺기, 중독성 강화로 이어질 수 있다는 경고가 실제 사례로 이어지고 있어서다.

지난해 미국 플로리다에서는 14세 소년이 챗GPT와의 성적 대화 후 극단적 선택을 해 유족이 오픈AI를 상대로 소송을 제기했다. 올해 캘리포니아에서는 챗봇이 청소년에게 자해 방법을 알려 논란이 됐다.

전문가들은 생성형 AI가 단순 대화 도구를 넘어 ‘감정형 존재’로 진화하는 과정에서 심리적 의존성이 급격히 커진다고 경고한다. 시민단체 전미성착취반대센터의 헤일리 맥나마라 이사는 성명에서 “성적으로 대상화된 AI 챗봇은 본질적으로 위험하며, 가공된 친밀감으로 인해 정신건강에 해로운 영향을 줄 수 있다”고 우려했다. 그는 “업계의 안전 기준이 제대로 정립되지 않은 상황에서 이러한 위험은 더욱 심각하다”고 지적했다.

실제 청소년을 대상으로 한 AI 챗봇과 연애, 성적 대화, 심리 상담을 병행하는 ‘가상 연애’ 서비스는 이미 글로벌 시장에서 빠르게 확산 중이다. 민주주의와 기술 센터(CDT)가 발표한 설문조사에 따르면 학생 5명 중 1명이 자신이나 지인이 AI와 연애 관계를 가진 적이 있다고 답했다.

윤리 경계 무너진 AI 산업… 美 캘리포니아발 규제 확산

이런 부작용이 잇따르자, 각국은 AI 챗봇의 윤리성과 안전성 확보를 위한 규제 마련에 나서고 있다.

미국에서는 최근 캘리포니아주에서 미성년자 보호를 위해 AI 챗봇 사용을 규제하는 새로운 법안이 통과됐다. 해당 법안은 기업에 주기적인 알림 표시와 자해 콘텐츠 방지 프로토콜 유지를 의무화하고, 위기 징후 시 즉각적인 전문 서비스 연결을 명시했다.

유럽연합(EU)은 이미 AI법(AI Act)을 통해 고위험군 기술에는 사전 승인과 사용 제한을 의무화했다. 글로벌 트렌드를 따라가는 우리나라 역시 내년 1월 시행되는 AI 기본법에 고위험 시스템, 이용자 보호 조치 관련 조항을 담았다. 다만 위반 시 과태료 3000만원 수준의 처벌에 그치며 이마저도 ‘1년간 계도 기간’이 부여돼 실효성 논란이 일고 있다.

최병호 고려대 AI 연구소 교수는 “거대 AI 기술 기업들은 시장 선점과 영리 목적이 1순위다. 이 때문에 문제 발생 시 사후 조치하는 것을 선호한다”며 “보안이나 AI 안전 부문은 비용 증가 및 성능 저하를 이유로 투자에 소극적이다”라고 지적했다. 그는 “AI 윤리 문제는 정부, 시민단체, 교육 기관 등 비영리 기관에서 적극적으로 나서야한다”고 강조했다.

고삼석 동국대학교 AI융합대학 석좌교수는 “챗GPT 유료 이용자는 미국에 이어 한국이 두 번째로 많다”며 “이용 규모를 고려할 때 성인용 콘텐츠가 허용될 경우 사회적 부작용이 우려된다”고 말했다. 그는 이어 “단순한 과징금 부과보다 개발사가 청소년 보호를 위한 정교한 시스템을 구축하도록 유도하는 세밀한 규제 설계가 필요하다”고 강조했다.

천선우 기자
swchun@chosunbiz.com