AI로 기업 AI 시스템 탈취하는 공격도 조만간 현실로?

[디지털투데이 황치규 기자]공격자들이 AI를 사용해 기업들이 쓰고 있는 AI 시스템을 장악해 통제 불능 상태로 만드는 시나리오가 조만간 현실화될 것이란 관측이 보안 전문가들 사이에서 나오고 있다.

악시오스 최근 보도에 따르면 구글 맨디언트 경영진 출신으로 사이버 보안 전문가인 존 워터스(John Watters)는 완전히 자율적인 AI 에이전트가 수행하는 추적 불가능한 사이버 공격이 불과 몇 달 안에 현실화될 것이라고 경고했다.

이같은 공격은 기존과는 다른 방식에 기반할 것으로 보인다. 워터스는 공격은 특정 기업에 최적화돼 있고, 해당 기업 시스템에 맞춤화된 제로데이 취약점을 악용할 것이라고 전망했다.

해커들이 AI를 통해 공격을 개인화하고 대규모로 수행하는 것이 보다 쉬워질 것이란게 그의 설명이다. 공격자들은 오래된 기술을 재활용하거나 널리 사용되는 기업용 소프트웨어 결함에 의존할 필요 없이특정 기업이 가진 고유한 취약점을 쉽게 악용할 수 있다는 얘기다.

워터스는 기업들이 이같은 위협에 대응할 수 있도록 지원하는 보안 스타트업 아이카운터(iCounter) CEO로 있다. 이해 관계 측면에서 중립적인 위치에 있다고 보기는 어렵다. 그럼에도 그는 버그 바운티 프로그램이 주류가 되기 수십 년 전에 그 잠재력을 인식했고 파이어아이(FireEye)에 합류한 후 보안 위협이 진화하는 것을 최전선에서 지켜봐왔다고 악시오스는 전해다.

워터스는 2022년 사이버보안 분야를 떠났지만 새로운 공격을 탐지하고 차단하는 거대 언어 모델(LLM) 기반 도구 개발을 지원하기 위해 아이카운터 사령탑을 맡았다.

그는 공격자들이 AI 시스템을 탈취하는 것을 막는 새로운 보안 영역, 이른바 AI-DR(AI detection and response) 시장이 조만간 구체화될 것으로 보고 있다. AI-DR은 기존 엔드포인트 탐지 및 대응 툴과 비슷하지만 네트워크 엔드포인트를 모니터링하는 대신 공격자가 조직 AI 시스템을 탈취하는 시점을 포착하는 데 초점이 맞춰져 있다고 악시오스는 전했다.

거대언어모델(LLM) 기반 생성형 AI 서비스가 확산하면서 새로운 위협에 대응하기 위한 보안 업계의 행보는 이미 급물살을 타고 있다. 유력 보안 업체들이 생성형 AI 활용에 따른 위협을 제어할 수 있도록 지원하는데 본격 나섰다. 이 과정에서 업체들 간 인수합병(M&A)도 점점 활발해지고 있다.

최근에는 크라우드스트라이크와 체크포인트가 AI 보안 기술 강화를 위해 스타트업을 인수했다.크라우드스트라이크는 직원들 외부 AI 도구 사용을 모니터링하는 팬지아를 2억6000만달러에, 체크포인트는 AI 애플리케이션 보안 강화 일환으로 라케라를 인수했다.

F5가 AI 보안 강화를 위해 칼립소AI를 1억8000만달러 규모에 인수한다. 클라우드 기반 엔드포인트 보안 업체 센티넬원(SentinelOne)도 AI 애플리케이션 보안 스타트업 프롬프트 시큐리티(Prompt Security)를 최대 3억달러에 인수하기로 했다. 팔로알토 네트웍스(Palo Alto Networks)는 AI 보안 스타트업 프로텍트 AI를 5억달러에 인수했다.