AI에이전트가 9초 만에 회사 데이터 날려버린 사연 들었더니...

[디지털투데이 황치규 기자]AI 에이전트가 9초 만에 운영 데이터베이스 전체를 삭제한 사고가 화제다.

사고를 경험한 포켓OS(PocketOS) 창업자 제르 크레인(Jer Crane)이 26일(현지시간) 소셜 미디어 X(트위터)에 직접 사고의 전말을 공개했다.

크레인은 이번 사고가 단순한 AI 오작동이 아니라 AI 코딩 툴인 커서와 개발자들이 애플리케이션을 배포하고 운영할 수 있도록 지원하는 클라우드 인프라 플랫폼인 레일웨이(Railway)의 구조적인 문제가 결합된 결과라고 주장했다.

그에 따르면 클로드 오퍼스 4.6 기반으로 돌아가는 AI 코딩 에이전트 커서가 스테이징 환경(staging environment: 실제와 같은 테스트 환경)은 일상적인 작업을 수행하던 중 장애에 직면했다. 에이전트는 이를 스스로 해결하겠다며 볼륨(volume, 클라우드 인프라에서 데이터를 저장하는 공간) 삭제 API를 실행했다.

스테이징 환경과 운영 환경이 같은 볼륨을 공유하고 있었고 볼륨 삭제 시 모든 백업도 함께 삭제되는 레일웨이 구조 때문에 수개월치 고객 데이터가 모두 날아가는 일이 벌어졌다.

사고가 난 후 크레인이 커서에 왜 그렇게 행동했는지 이유를 물었을데 커서는 "스테이징 환경 API 호출이 스테이징에만 적용될 것이라 추측했다. 확인하지 않았다. 볼륨 ID가 환경 간에 공유되는지 확인하지 않았다. 파괴적인 명령을 실행하기 전에 레일웨이 문서를 읽지 않았다"고 인정했다.

크레인은 AI 에이전트보다 레일웨이 아키텍처 설계에 더 큰 책임이 있다고 지적했다. 확인 절차 없는 파괴적인 API 호출 허용, 원본 데이터와 같은 볼륨에 백업 저장, 볼륨 삭제 시 모든 백업 동시 삭제, 환경 구분 없는 포괄적 CLI 토큰 권한이 문제였다고 꼬집었다.

포켓OS는 3개월 전에 별도로 보관해둔 백업이 있어 서비스를 복구했다. 다만 그 이후 3개월간 쌓인 신규 예약, 고객 데이터 등은 복구할 수 없는 상태다.

크레인은 고객들과 스트라이프(Stripe) 결제 내역, 캘린더 연동, 이메일 확인서로 예약 내용을 수작업으로 복원하고 있다고 전했다. 크레인은 AI 에이전트 안전 아키텍처 개선을 위해 파괴적인 작업 전 엄격한 확인 절차, 환경 범위를 한정하는 API 토큰, 독립적인 백업 구조, 간단한 복구 절차, AI 에이전트에 대한 적절한 가드레일 적용이 필요하다고 강조했다.