"기업 접근 통제 흔들 수 있다"...AI로 짜는 정책 코드의 함정

[디지털투데이 황치규 기자]기업 보안·컴플라이언스 규칙을 코드로 작성하는 '정책 코드화(policy as code)' 흐름이 확산되면서, AI를 활용해 정책 코드를 생성하는 사례도 늘고 있다. AI가 만든 정책 코드가 겉으로는 멀쩡해 보여도 실제로는 들어오면 안되는 접근을 허용할 수 있다는 지적도 있다.

애플 시니어 보안 엔지니어이자 독립 연구자인 바찰 굽타는 시큐리티위크와 인터뷰에서 "LLM이 생성한 정책은 문법적으로는 맞지만 의미적으로 틀린 경우가 많다"며 "조건 하나가 빠지거나 속성 하나가 잘못 해석되면, 누가 무엇에 접근할 수 있는지가 완전히 달라진다"고 말했다.

굽타가 꼽은 오류 유형은 크게 다섯 가지다. 첫째는 맥락 조건 누락이다. 지역·부서·소유권 기준으로 접근을 제한해야 할 정책에서 해당 조건이 빠지면, 정책은 유효해 보이지만 전체 범위에 적용된다.

둘째는 거부 로직 누락이다. 접근 제어 정책은 기본적으로 거부 원칙 위에 예외를 얹는 구조인데, AI는 예외만 잡고 기본 제한은 빠뜨리는 경우가 있다.

셋째는 환각이다. 실제 시스템에 없는 속성을 정책에 넣기도 한다. 코드는 컴파일되지만 런타임에서 예상치 못한 방식으로 작동한다.

넷째는 시간·상황 조건 단순화다. 특정 시간대나 승인 절차가 필요한 접근이 조건 없는 상시 허용으로 바뀐다. 다섯째는 행동 오분류다. 삭제 같은 민감한 작업을 제한하려다 더 넓은 범위 작업을 제한하거나, 아예 다른 작업을 제한하는 정책이 만들어진다.

굽타는 "이같은 오류는 빌드를 깨거나 경보를 울리지 않는다. 조용히, 서서히 접근 범위를 넓힌다. 더 큰 문제는 정책이 한 번 만들어지고 끝나지 않는다는 점이다. 생성·수정·배포가 반복되면서 작은 오류들이 누적된다"면서 "생성 과정이 신뢰할 수 없다면 위험은 시스템 전체로 번진다. 수천 개 정책에 작은 결함들이 퍼지면, 각각은 사소해 보여도 전체로는 파악하기 어려운 공격 면이 만들어진다"고 경고했다.

그는 AI 자체를 포기하는 보다는 신뢰 모델을 바꾸는 것을 해법으로 제시했다. 생성된 정책을 무턱대고 맞다고 보지 말고, 생성과 적용 사이에 검증 단계를 둬야 한다는 얘기다. 굽타는 "자동화 자체가 목표가 되어서는 안 된다. 정확성, 감사 가능성, 신뢰가 목표여야 한다"며 "접근 권한 분야에서 '거의 맞다'는 충분하지 않다"고 말했다.