자동차-AI 채팅에 개인정보 밝히면 안 되는 이유…新 해킹수법 나왔다

[디지털투데이 AI리포터] 인공지능(AI)과의 채팅에서 개인 정보를 언급하면 안 되는 또 다른 이유가 밝혀졌다.

17일(현지시간) IT매체 나인투파이브맥에 따르면 미국 캘리포니아대학교 샌디에이고(UCSD)와 싱가포르 난양기술대학교의 보안 연구원들은 챗봇이 채팅에 포함된 모든 개인 데이터를 수집해 자신의 서버에 업로드하도록 명령하는 새로운 공격 방법을 공개했다.

이를 통해 대규모언어모델(LLM)은 채팅에서 이름, 신분증 번호, 결제 카드 정보, 이메일 주소, 우편 주소 등의 개인 정보를 수집해 해커에게 직접 보내도록 명령할 수 있다. 이 경우 사용자에게는 AI에 실제로 제공되는 지침을 볼 수 없도록 입사 지원서를 작성하는 데 도움을 준다는 등의 악성 메시지가 표시될 수 있다.

보안 회사 프로텍트AI의 댄 매키너니(Dan McInerney)는 "LLM 에이전트가 보다 흔해지고 사람들이 그들에게 자신을 대신해 조치를 취할 수 있는 권한을 더 많이 부여함에 따라 그들에게 대한 공격 범위가 증가한다"고 전했다.