로블록스, 아동 보호 AI 시스템 ‘센티넬’ 오픈소스 공개…온라인 안전 강화

[디지털투데이 AI리포터] 온라인 게임 플랫폼 로블록스가 아동 보호를 위한 인공지능(AI) 시스템 '센티넬'(Sentinel)을 오픈소스로 전환한다.

지난 7일(현지시간) 블룸버그는 AP 통신의 보도를 인용해 로블록스가 게임 내 채팅에서 유해한 언어를 사전에 감지할 수 있는 AI 시스템인 센티넬을 오픈소스로 공개한다고 전했다.

이번 조치는 회사가 아동 보호를 충분히 하지 않았다는 비판과 소송에 직면한 가운데 나왔다. 최근 미국 아이오와주에서 13세 소녀가 로블록스를 통해 성인 범죄자와 접촉 후 유괴·성착취를 당한 사건이 발생하면서, 로블록스의 설계가 아동을 범죄자들의 쉬운 표적으로 만든다는 비판이 제기됐다.

센티넬은 채팅 내 성착취적 언어를 감지해 아동 위험을 사전에 차단하는 역할을 한다. 로블록스는 이 시스템을 통해 2025년 상반기에만 1200건의 아동 착취 시도를 미국 실종아동센터(NCMEC)에 보고했다고 밝혔다. AI가 위험 신호를 감지하면, 인간 모니터링 팀이 추가 검토 후 법 집행 기관에 보고하는 구조다.

하지만 AI가 잠재적 위험을 감지하는 것은 쉽지 않다. '몇 살이야?', '어디 살아?' 같은 질문은 단독으로는 문제없지만, 대화 맥락에 따라 위험 신호로 변할 수 있기 때문이다. 로블록스는 사용자가 채팅에서 영상·이미지를 공유하지 못하도록 하고, 개인정보 유출을 막기 위한 필터를 적용했지만, 이를 우회하는 사례도 있다.

이 같은 문제를 해결하기 위해 센티넬은 하루 60억 건의 메시지를 분석해 위험 패턴을 식별한다. 단순히 특정 단어를 감지하는 것이 아니라 대화의 맥락까지 고려해 판단하는 것이다. 로블록스는 이를 통해 사용자 행동을 장기적으로 분석하고, 잠재적 위험 인물을 식별해 추가 조치를 취할 계획이다.