보안 스타트업, AI로 맥킨지 AI 해킹…"완전 자율, 사람 개입 없었다"

[디지털투데이 황치규 기자]레드팀 보안 스타트업 코드월 연구진이 자사 AI 에이전트로 맥킨지 내부 AI 플랫폼을 2시간 만에 해킹하고, 챗봇 전체에 대한 읽기·쓰기 권한을 확보했다고 밝혔다고 더레지스터가 9일(현지시간) 보도했다.

맥킨지는 2023년 7월 생성형 AI 플랫폼 '릴리'를 출시했다. 전체 임직원 72%, 약 4만 명이 릴리를 쓰고 있으며, 월간 처리 프롬프트는 50만건을 넘는다.

코드월은 고객사 인프라를 AI 에이전트로 지속 공격해 보안 취약점을 찾아주는 서비스를 제공한다. 코드월 에이전트는 맥킨지 책임 공개 정책(responsible disclosure policy)과 릴리 최근 업데이트를 언급하며 맥킨지를 공격 대상으로 맥킨지를 삼자고 제한한 뒤 맥킨지 자산 접근 권한 없이 공격을 시작해 2시간 만에 운영 데이터베이스 전체 권한을 확보했다고 더레지스터는 전했다.

확보한 데이터는 전략·인수합병·고객 업무 관련 대화 4650만건, 기밀 고객 데이터 파일 72만8000건, 사용자 계정 5만7000개, AI 행동 제어 시스템 프롬프트 95개였다. 시스템 프롬프트까지 쓰기 권한이 열려 있어, 공격자가 릴리 답변 전체를 오염시킬 수 있는 상태였다.

맥킨지는 코드월로부터 통보를 받고 나서 몇 시간 내 취약점을 모두 패치했다. 고객 데이터에 무단 접근한 증거는 없다고 밝혔다. 폴 프라이스 코드월 최고경영자(CEO)는 "해커들도 같은 방식으로 데이터를 훔치거나 랜섬웨어를 심는 데 이 기술을 쓸 수 있다"고 경고했다.