자동차-구글 제미나이, 화이트 해커에게 뚫렸다…AI 보안 경계령

[디지털투데이 AI리포터] 화이트 해커들이 구글 인공지능(AI) 모델 '제미나이'(Gemini)를 해킹해 일부 소스코드를 유출하는 데 성공했다는 소식이다.

31일(현지시간) 온라인 매체 기가진은 구글이 주최한 'LLM bugSWAT' 이벤트에서 사이버 보안 엔지니어 로니 칼타(Roni Karta)와 그의 팀이 AI 시스템의 보안 결함을 찾아냈다고 전했다.

이들은 간단한 '헬로 월드' 코드를 입력해 제미나이가 파이썬 실행 환경을 구축하도록 유도했고, 이를 통해 AI가 외부 구글 서버와 통신하며 데이터를 가져오는 과정을 포착했다. 이후 악의적인 명령어를 삽입하는 '프롬프트 인젝션' 공격을 시도해 더 높은 권한을 가진 샌드박스 환경에 접근하는 데 성공했다고 한다.

칼타는 "이번 버그 발견 과정은 매우 흥미로웠고, 제미나이의 샌드박스 한계를 테스트하는 것이 도전적이었다"며 "다음 bugSWAT에서도 새로운 취약점을 찾을 수 있기를 기대한다"라고 말했다.

다만 해커 뉴스(Hacker News) 등 보안 전문가들은 이번 사건이 단순한 파일명 추출 수준에 불과하며, 실제 해킹이라고 보기 어렵다는 의견을 내놓고 있다. 이번 해킹이 구글 보안팀의 협조를 받아 진행된 실험이었고, 유출된 정보도 깃허브에서 공개된 데이터였기 때문이다.

그럼에도 불구하고 AI 시스템 내부에서 직접 정보를 공개했다는 점에서 보안상의 문제로 볼 수 있다는 반론도 있다. 이에 따라 AI 시스템의 보안 강화 필요성을 다시 한번 부각시키며, 향후 LLM 보안이 중요한 이슈로 떠오를 가능성을 높이고 있다