젠슨 황도 띄운 AI 에이전트 뒤 숨은 현실…‘비용 폭탄’에 기업들 비명

AI 에이전트 확산에 따른 높은 비용과 운영 복잡성이 핵심 문제로 떠올랐다. [사진: 셔터스톡]

[디지털투데이 AI리포터] 인공지능(AI) 에이전트가 차세대 업무 자동화 도구로 주목받고 있지만, 기업 현장에서는 비용 부담과 운영 복잡성이 주요 장애물로 지적되고 있다.

19일(이하 현지시간) 경제매체 CNBC에 따르면, 이번 주 실리콘밸리에서 열린 두 개의 행사에서 기업 경영진과 엔지니어들은 AI 에이전트에 대한 기대와 함께 기술적 한계를 동시에 제기했다.

핵심 쟁점은 모든 업무를 거대언어모델(LLM)에 의존하는 방식이 오히려 비용을 키울 수 있다는 점이다. 케빈 맥그래스(Kevin McGrath) AI 스타트업 메이벌 최고경영자(CEO)는 업계의 가장 큰 문제로 "모든 작업을 LLM으로 처리해야 한다는 잘못된 인식"을 지목했다. 그는 기업이 어떤 업무를 AI 에이전트에 맡길지 더 신중해야 하며, 그렇지 않으면 "모든 토큰과 비용이 AI 챗봇에 투입되고 결국 수백만 개의 토큰만 낭비될 수 있다"라고 경고했다.

AI 에이전트는 여러 AI 모델을 활용해 디지털 비서를 대규모로 구축·운영할 수 있는 기술로, 최근 업계의 핵심 화두로 떠올랐다. 엔비디아의 젠슨 황(Jensen Huang) CEO도 지난 3월 이를 "분명 다음 챗GPT"라고 평가한 바 있다. 그러나 실제 기업 환경에서는 기대만큼 단순하게 작동하지 않는다는 지적이 이어지고 있다.

현장 전문가들은 구축과 운영 단계에서 다양한 난관이 발생한다고 입을 모았다. 산호세에서 열린 생성형 AI·에이전트형 AI 서밋에서 구글, 딥마인드, 아마존, 마이크로소프트, 메타 관계자들은 공통적으로 운영 복잡성을 문제로 꼽았다. 구글 소프트웨어 엔지니어 딥 샤(Deep Shah)는 대규모 AI 에이전트 운영에서 가장 큰 부담으로 추론 비용을 지적했다.

스타트업 싱크트론(Synchtron)의 라비 불루수(Ravi Bulusu) CEO는 기업마다 데이터 구조, 기술 스택, 개발·운영 방식, 조직 구조가 달라 AI 에이전트가 이 모든 요소와 얽히면서 문제를 더욱 복잡하게 만든다고 설명했다.

또 다른 행사에서도 비슷한 지적이 나왔다. 크리스 한(Chris Han) 씽킹AI(ThinkingAI) 공동창업자는 회사가 모바일 게임 분석 기업 씽킹데이터에서 AI 에이전트 관리 플랫폼으로 사업 방향을 전환했다고 밝혔다. AI 에이전트 수요는 증가하고 있지만 산업별 전문성이 부족해 이를 보완하기 위한 전략이라는 설명이다.

그는 오픈클로의 인기가 중국 등에서 확산되고 있음에도 기업용으로는 구조가 복잡하고 보안 취약점이 존재한다고 지적했다. 또한 기업 환경에서는 메모리 관리, 에이전트 운영, 조직 간 협업 등 해결해야 할 과제가 많다고 강조했다. 씽킹AI는 오픈AI와 구글 등 다양한 AI 모델을 지원하는 플랫폼을 제공하고 있다.