자동차-코드 생성 AI 악용…신종 사이버 공격 ‘슬롭스쿼팅’ 부상

AI 코드 확산에 따라 슬롭스쿼팅 등 신종 사이버 공격이 등장하고 있다 [사진: 셔터스톡]

[디지털투데이 AI리포터] AI에 의한 코드 생성이 확산하면서 개발 효율성이 크게 향상되는 한편, 새로운 보안 위협도 등장하고 있다.

15일 온라인 매체 기가진에 따르면 대규모언어모델(LLM)은 환각 현상으로 존재하지 않는 패키지명을 생성할 위험이 있으며, 이를 악용한 신종 소프트웨어 공급망 공격 '슬롭스쿼팅'(Slope Squatting)이 우려되고 있다.

슬롭스쿼팅은 사용자의 오타를 노리는 기존 타이포스쿼팅과 달리, AI의 오류를 이용한 공격이다. 예를 들어 챗GPT나 깃허브 코파일럿 같은 도구가 존재하지 않는 패키지를 추천하면, 이를 그대로 복사해 설치하는 과정에서 악성코드가 프로젝트에 포함될 수 있다.

미국 텍사스대 샌안토니오, 오클라호마대, 버지니아공대 연구팀이 LLM 16종을 대상으로 57만6000개의 파이썬 및 자바스크립트 코드 샘플을 생성·분석한 결과, 19.7%의 패키지가 환각인 것으로 나타났다. 특히 오픈소스 모델의 평균 환각률은 21.7%로 높았다.

500개의 환각 생성 프롬프트를 10회씩 반복한 결과, 43%는 모든 시도에서 동일한 환각을 반복 생성했으며, 39%는 한 번도 재현되지 않았다. 이는 환각이 무작위가 아니라 일정한 패턴을 가진다는 것을 의미하며, 공격자들이 AI 출력을 몇 번만 관찰해도 노릴 패키지명을 쉽게 특정할 수 있음을 시사한다.

최근 AI에 상세한 코드를 입력하지 않고 '이런 기능을 원한다'고 지시하는 '바이브 코딩'이 확산되면서 AI 출력을 무비판적으로 수용하는 경향이 강해지고 있다. 이에 따라 환각 패키지가 실제 개발 환경에 유입될 위험도 커지고 있다고 매체는 경고했다.