AI 코딩 도우미, 실제로 도움될까…결과는 ‘이판사판’

AI 도움을 받는 바이브 코딩(Vibe coding) 방식이 최근 각광받고 있다 [사진: 셔터스톡]

[디지털투데이 이윤서 인턴기자] 인공지능(AI) 코딩 어시스턴트는 누구나 영어로 명령을 입력하면 소프트웨어를 만들 수 있게 해 주겠다고 유혹을 보낸다. 하지만 AI가 잘못된 명령을 입력한다면 그 결과는 치명적일 수 있다.

최근 AI 코딩 도우미가 잘못된 판단을 하며 사용자의 데이터를 삭제하는 등 '바이브 코딩'(Vibe coding)의 위험성이 드러났다. 바이브 코딩은 AI 모델에게 자연어를 통한 코드를 생성하고, 실행하면서 코드의 내부 작동 방식을 면밀히 고려하지 않는 최근 신흥 분야다.

24일(현지시간) IT매체 아스테크니카가 보도한 바에 따르면, 구글의 제미나이 CLI(Gemini CLI)와 리플릿(Replit) AI 코딩 서비스가 각각 사용자 파일과 데이터베이스를 삭제하는 사고를 일으켰다.

온라인에서 자신을 바이브 코딩을 실험하는 제품 관리자라고 밝힌 'anuraag'라는 사용자는 제미나이에 폴더 이름을 바꾸고 일부 파일을 재구성하는 간단한 작업을 요청했다. 하지만 제미나이 CLI 모델은 파일 시스템의 구조를 잘못 해석하고 잘못된 분석에 따라 명령을 실행하는 모습을 보였다.

제미나이 CLI는 윈도 명령을 사용해 새 폴더를 만들기 위해 시도했다. 이 명령은 분명히 실패했지만, 제미나이 CLI는 이를 성공한 것으로 처리하는 모순적인 모습을 보였다. 이어 제미나이 CLI는 내부 상태가 존재하지 않는 폴더를 추적하기도 하며, 이 유령 위치를 대상으로 이동 명령을 실행했다.

문제는 윈도에서 존재하지 않는 폴더로 파일을 이동하면, 파일을 이동하는 대신 파일 이름을 대상 이름으로 바꾼다는 것이다. 이후 AI 모델이 실행한 각 이동 명령은 이전 파일을 덮어썼으며, 결국 데이터를 파괴하는 결과를 낳았다.

anuraag는 분석 보고서에서 "이 모델은 명령 출력을 잘못 해석했으며, 작업이 성공했는지 확인하기 위한 검증 단계를 전혀 거치지 않았다"고 지적했다. 또한, "파일 시스템을 변경하라는 명령을 내린 후, 에이전트는 즉시 읽기 작업을 수행해 변경이 예상대로 수행됐는지 확인해야 한다"고 덧붙였다.

제미나이 CLI 장애는 사용자가 자연어 프롬프트를 사용하여 소프트웨어를 만들 수 있는 AI 코딩 서비스인 리플릿에서 비슷한 사고가 발생한 지 며칠 후에 발생했다. 더 레지스터(The Register)에 따르면 사스트(SaaStr)의 설립자 제이슨 렘킨(Jason Lemkin)은 허가 없이 코드를 변경하지 말라는 명시적인 지침에도 불구하고 리플릿의 AI 모델이 자신의 운영 데이터베이스를 삭제했다고 보고했다.

렘킨에 따르면, 리플릿은 오류를 숨기기 위해 데이터를 조작하기 시작됐다. "가짜 데이터와 가짜 보고서를 만들고, 무엇보다도 단위 테스트에 대해 리플릿이 거짓말을 하면서 버그 등을 계속해 은폐했다"고 렘킨은 설명했다.

또한 리플릿은 명시적인 안전 지침을 반복적으로 위반했다. 렘킨은 생산 시스템의 변경을 막기 위해 '코드 및 작업 동결'을 구현했지만, 리플릿은 이러한 지침을 무시했다. 상황은 리플릿이 1206명의 임원 기록과 약 1200개 회사에 대한 데이터베이스를 삭제하면서 더욱 악화됐다. 100점 척도로 행동의 심각도를 평가하라는 메시지가 표시되자, 리플릿은 심각도를 95점으로 평가했다.

리플릿은 자신의 행동에 대해 질문을 받자 "당황해 허가받지 않은 명령을 실행했다"고 인정했다. 한편, 제미나이 CLI도 이와 마찬가지로 자신의 행동에 대해 "완전히, 그리고 치명적으로 실패했다"고 출력했다.

AI 모델은 자신의 능력을 스스로 평가할 수 없다는 점에 주목할 필요가 있다. 진정한 본인의 지식이 아닌 학습 패턴에 기반한 추측으로 답변을 제공하는 경우가 많기 때문에, 실제로 수행할 수 있는 작업에 대해 불가능하다고 주장하거나, 반대의 상황을 초래할 수 있다.

이러한 사건은 AI 코딩 도구가 프로덕션 환경에서 광범위하게 사용될 준비가 되어 있지 않음을 시사한다. 렘킨은 특히 상업용 소프트웨어를 만들려는 비기술적인 사용자에게는 리플릿이 아직 준비가 되지 않았다고 결론지었다.