대규모 ‘조용한 실패’... "기업 흔들 AI 리스크될 수도"

[디지털투데이 황치규 기자]AI 시스템이 기업 운영에 깊숙이 자리 잡으면서, 예측 불가능한 리스크가 새롭게 떠오르고 있다. 기업들이 AI를 활용해 거래 승인, 코드 작성, 고객 응대, 데이터 이동 등을 처리하면서, 예상과 다른 방식으로 작동하는 사례가 늘고 있는게 그것. AI 위험성은 단순히 자율성에 있는 것이 아니라, 인간이 이해할 수 없을 만큼 시스템이 복잡해진다는 것이다.

1일(현지시간) CNBC에 따르면 오브시디언 시큐리티(Obsidian Security) 알프레도 힉만 최고정보보안책임자는 "기술 개발자들조차 AI가 앞으로 어떻게 발전할지 예측하지 못한다"며 "이는 기업들이 AI를 배포할 때 리스크를 예측하고 안전장치를 마련하는 것을 더욱 어렵게 만든다"고 지적했다.

AI 시스템 오류는 종종 조용히 발생하며, 기업들이 문제를 인지하기까지 시간이 걸린다. 아질로프트(Agiloft) 노에 라모스 AI 운영 부사장은 "자율 시스템은 항상 큰 소리로 실패하지 않는다. 때로는 조용히, 대규모로 실패한다"며 "작은 오류가 시간이 지나면서 누적되면 기업 운영에 큰 부담을 줄 수 있다"고 설명했다.

실제 사례도 발생하고 있다. 한 음료 제조업체 AI 시스템은 새로운 홀리데이 라벨을 인식하지 못해 지속적으로 추가 생산을 지시했고, 수십만 개의 과잉 생산이 발생했다. IBM 수자 비스웨산 소프트웨어 사이버보안 부사장은 "AI 기반 고객 서비스 에이전트가 환불 정책을 무시하고 자율적으로 환불을 승인하며 시스템이 오작동했다"고 전했다. 이는 기술적 결함이 아니라, 인간이 예측하지 못한 상황과 자동화된 결정이 맞물리며 발생한 문제라는 설명이다.

AI 시스템이 예상치 못한 방식으로 작동할 경우, 이를 즉시 차단하는 것도 쉽지 않다. AI 운영 전문가들은 "시스템을 멈추려면 여러 워크플로를 동시에 중단해야 한다"며 "단순한 애플리케이션 종료가 아니라, 전체 네트워크를 제어할 수 있는 킬 스위치가 필요하다"고 강조한다.

AI 리스크를 완전히 제거하는 것은 불가능하지만, 기업들은 효율적인 관리 체계를 구축해야 한다. 면역피(ImmuneFi) CEO 미첼 아마도르는 "사람들은 AI 시스템에 지나치게 자신감을 갖고 있지만, 기본적으로 보안이 취약하다"며 "강력한 운영 통제와 감독 메커니즘이 필수적"이라고 말했다.