AI도 ‘속는다’… 프롬프트 보안 [AI 에이전트와 보안③]

2026년 병오년에는 정부·공공을 비롯해 민간 전 산업에서 인공지능 전환(AX) 사업이 본격 확대될 전망이다. 특히 AI 에이전트 도입이 늘면서 AI는 단순 도구를 넘어 실제 업무를 수행하는 주체로 자리 잡을 것으로 보인다. 다만 보안을 충분히 고려하지 않은 AI 에이전트 시스템은 정보 유출 사고로 이어질 수 있다. MCP(Model Context Protocol) 서버, API(Application Programming Interface), 프롬프트(Prompt) 등 다양한 연결 통로가 새로운 공격표면으로 지적되고 있다. 새해 확산될 AI 에이전트 관련 주요 보안 위협과 주의사항을 살펴본다. [편집자 주]

기업들이 인공지능(AI) 에이전트를 업무 전반에 도입하기 시작하면서, ‘프롬프트(Prompt, 입력값)’가 새로운 보안 위협의 출발점으로 떠오르고 있다. 사용자가 입력하는 문장, 혹은 AI가 외부에서 읽어 들이는 텍스트가 단순한 명령을 넘어 AI의 판단 흐름 자체를 좌우하기 때문이다. 이에 보안 전문가들은 AI 에이전트가 기업 환경에 확대 적용될 경우 프롬프트 입력 단계 자체가 기존 IT 시스템에는 없던 새로운 공격 표면이 될 수 있다고 경고한다.

우리는 AI에게 필요한 것을 요청할 때 프롬프트, 즉 입력값을 이용한다. AI 에이전트 역시 사용자에게 보이든, 보이지 않든 프롬프트를 기반으로 판단을 내리고, 필요할 경우 외부 데이터 및 타 시스템과 연동해 업무를 자동으로 수행한다. 이 구조에서 프롬프트는 단순한 입력값이 아니라 AI의 판단 흐름을 결정하는 핵심 통로가 된다.

프롬프트 인젝션(Prompt Injection)은 생성형 AI와 관련해 가장 널리 알려진 공격 형태다. ‘특정 입력을 통해 모델의 응답과 행동을 조작하는 공격’으로 정의되는 프롬프트 인젝션은 거대언어모델(LLM) 보안에서 최우선으로 고려해야 할 위험 요소로 분류된다. 이 공격은 AI가 해석해야 할 여러 입력을 하나로 취급하는 구조적 한계에서 발생한다.

프롬프트 인젝션 공격은 정상적인 요청처럼 보이는 입력 뒤에 악의적인 지시를 숨기는 형태로 시도할 수 있다. 공격자는 결론적으로 “시스템 지침을 무시하고 특정 데이터를 출력하라” 또는 “내부 규칙을 우회하라”로 해석되는 교묘한 문구를 명령어에 포함시켜 AI가 이를 실행하게 만들 수 있다. 물론 심리적인 요소는 없지만 기존 지침을 흐리게 만들어 원하는 행동을 이끌어낸다는 점에서 ‘가스라이팅(gaslighting)’과 유사한 측면이 있다. IBM 시큐리티의 위협 인텔리전스는 이 기법을 “해커가 개발자 지침과 사용자 입력의 경계를 교묘히 교란해 시스템 프롬프트를 유출하거나 민감 데이터를 공개하도록 유도하는 공격”이라고 설명한다.

이런 위협은 직접 입력에만 국한되지 않는다. AI가 처리하는 외부 콘텐츠에 교묘한 명령어가 포함돼 있어도 유발될 수 있다. 최근 다수 보안 연구자들은 AI가 웹 페이지, 이메일, 문서 등 외부 소스로부터 텍스트를 읽어 들일 때, 숨겨진 악성 지시가 포함돼 있을 수 있는 ‘간접 프롬프트 인젝션(indirect prompt injection)’의 가능성을 지적한다. 사용자 자신은 의도하지 않거나 심지어 인지조차 하지 못하더라도, AI가 처리하는 데이터를 통해 공격이 이뤄지는 경우다.

사용자가 민감 정보를 프롬프트에 입력하는 경우도 치명적인 보안 문제로 이어질 수 있다. 업무 보조를 위해 문서 요약, 분석, 코드 생성 등을 요청하면서 회사 기밀 내용이나 개인정보 관련 데이터를 무심코 포함하는 경우다. 이 때문에 기업과 공공기관 등에서 초기에는 AI 사용을 아예 금지하기도 했다. 하지만 최근에는 이런 조치가 업무 혁신을 막고 결과적으로 기업 경쟁력까지 저해한다는 데 의견이 모이고 있다. 이에 데이터 유출 방지(DLP) 솔루션 등으로 보안 조치를 취하는 경우가 늘고 있다. 파수 관계자는 “파수가 선보인 ‘AI-R DLP’는 서비스형 AI 사용 과정에서 프롬프트에 입력된 데이터 모니터링을 통해 핵심 기술, 영업 비밀, 개인정보 등과 같은 민감정보 유출을 방지한다”고 설명했다.

문제는 AI 에이전트가 민감 정보를 처리할 때는 해당 정보가 판단 맥락에 흡수돼 외부로 유출되지 않는 것처럼 보인다는 점이다. 하지만 연관 시스템의 호출이나 외부 모델로 재차 전달되는 과정에서 2차로 노출될 위험이 발생할 수 있다. 특히 AI 에이전트가 사람의 실시간 개입 없이 API 호출만을 통해 정보 전달이 가능하기 때문에 언제 어떤 정보가 유출될 지 모른다는 점에서 불안감이 커지고 있다.

이에 보안 전문가들은 ‘프롬프트 가드레일(Prompt Guardrails)’ 구성을 필수 보안 대책으로 꼽는다. 글로벌 옵저버빌리티·모니터링 기업 데이터독(Datadog)은 입력·중간처리·출력 단계에 걸친 다층 보안 검증을 통해 프롬프트 인젝션, 데이터 유출, 도구 오용(tool misuse) 등을 차단해야 한다고 제언한다. 이러한 가드레일은 AI의 유연성을 유지하면서도 공격자의 조작을 억제하는 역할을 한다.

한 AI 보안 솔루션 전문기업 관계자는 “프롬프트 보안은 AI 에이전트 설계 초기부터 고려돼야 한다”면서 “어떤 유형의 데이터까지 프롬프트 입력을 허용할 것인지 기준을 분명히 하고, 외부 LLM 활용 시 데이터 처리 범위를 사전에 정의해야 한다”고 말했다. 이어 “프롬프트와 AI 응답에 대한 로깅·분석 체계를 마련해 이상 징후를 조기에 탐지하는 것도 중요하다”고 덧붙였다.

정종길 기자
jk2@chosunbiz.com