IBM “기업용 ‘에이전틱 AI’ 우리가 먼저 검증… 5조원 생산성 효과 거둬”
||2025.04.21
“기업을 위한 IBM의 '에이전틱 AI'는 개방성, 비용 효율성, 하이브리드, 도메인 전문성이라는 특징을 갖추고 있다. IBM은 전 세계 27만명 직원에게 적용해 2년여간 35억달러(약 4조9647억원) 규모의 생산성 향상 효과를 거둔 검증된 이 기술을 전달한다.”
이지은 한국IBM 최고기술책임자(CTO, 전무)는 21일 서울 여의도 한국IBM 본사에서 열린 기자간담회에서 IBM의 기업용 에이전틱 AI 전략이 제공하는 차별점에 대해 이와 같이 제시했다.
IBM, 기업용 ‘에이전틱 AI’ 먼저 검증, 생산성 향상 효과는 ‘5조원’
이지은 전무는 이 자리에서 “IBM은 지금까지 수년간 기업용 AI 환경을 구축해 오고 있었다”며 엔터프라이즈 AI를 위한 핵심 요소로 개방성, 비용효율성, 하이브리드, 도메인 전문성 등 네 가지 요소를 꼽았다. IBM은 거버넌스와 보안이 이 네 가지 핵심 요소 모두를 뒷받침하며 이 부분을 늘 고민하며 전략에 반영하고 있다고 덧붙였다.
이 중 ‘개방성’은 오픈 소스 측면을 고려한 것이다. 이지은 전무는 “AI 기술의 발전과 오픈 소스는 함께 한다”며 “IBM은 기업이 AI와 오픈소스를 최대한 함께 활용할 수 있게 제공하고자 한다. 파트너들의 기술까지도 유연하게 활용할 수 있게 지원하고자 한다”고 밝혔다. 또한 ‘도메인 전문성’은 전략 수립에서부터 방향을 잡고 여정을 함께 할 수 있는 것으로 고객의 산업과 분야에 대한 전문성이라고 설명했다.
비용 측면은 영역별로 특화된 소형 거대언어모델(LLM)을 통해 기업의 업무에 필요한 요건을 경제적으로 충족시키고, ‘하이브리드’는 퍼블릭-프라이빗 클라우드와 온프레미스 환경까지 다양한 환경에서 기업의 AI 기술을 잘 활용할 수 있게 지원하는 것이라 설명했다.
IBM의 기업용 에이전틱 AI에 대한 접근법은 ‘클라이언트 제로(Client Zero)’로 표현된다. 이는 새로운 기술 구성이 첫 고객에게 제공되기 전부터 이미 내부에서 적용, 검증하는 것으로 ‘0번째 고객’이라는 의미를 가지고 있다.
이지은 전무는 “IBM은 전 세계 175개국에서 약 28만명 직원이 근무하고 있다. 이러한 환경에서 70여개 이상의 업무 영역에 AI를 도입했다”며 “2023년 1월 이후 약 2년간 35억달러(약 4조9647억원) 규모의 생산성 향상 효과를 거뒀다”고 언급했다. 이어 “IBM은 이미 70개 이상의 업무 영역에 AI를 도입했다. 대표적으로 HR에서는 ‘애스크HR(AskHR)’ 디지털 에이전트가 단순 업무의 94%를 자동화하는 등의 성과를 거뒀다”고 소개했다.
기업을 위한 AI 기술에서 어시스턴트와 에이전트는 다양한 영역의 업무와 AI 기술을 연결하는 ‘고리’로 꼽힌다. 이제는 LLM을 실험하고 개별 작업에 적용하는 단계를 넘어 업무와 연결하는 방향으로 발전하고 있다. 하지만 이 또한 사용 사례에 따라 꼭 ‘멀티 에이전트 어시스턴트’를 사용할 필요는 없다. 이지은 전무는 이에 대해 “기술은 하고자 하는 작업 유형에 따라 선택하면 된다”고 말했다.
한편, ‘어시스턴트’와 ‘에이전트’의 차이는 ‘자동’과 ‘자율’의 차이라고 제시했다. ‘에이전틱 AI’는 다양한 AI 어시스턴트 및 비즈니스 애플리케이션들이 연계돼 다양한 시스템과 연계해 자율적으로 복합적인 업무 수행이 가능하다.
IBM은 이를 빠르고 효과적으로 구현하기 위해 공용으로 사용할 수 있는 ‘사전 구축된 에이전트’와 여러 에이전트를 효과적으로 조합할 수 있는 ‘오케스트레이션’, 사용자가 필요한 에이전트를 쉽게 만들 수 있는 환경을 모두 갖추고, 서로 엮으며 원하는 업무를 구현할 수 있게 지원한다.
여러 어시스턴트와 에이전트를 연결·조율하는 ‘왓슨x 오케스트레이트’
이어 김지관 한국IBM 클라이언트 엔지니어링 총괄 상무가 에이전틱 AI 구현을 위한 ‘왓슨x 오케스트레이트(watsonx Orchestrate)’를 소개했다. 이미 이 ‘왓슨x 오케스트레이트’는 IBM이 자체적으로 사용하는 ‘AskIBM’ 서비스에 활용되고 있다. AI가 적용된 다양한 업무들을 하나의 접근 경로에서 모두 활용할 수 있어, 통합된 사용자 경험을 제공할 수 있게 지원한다.
‘왓슨x 오케스트레이트’는 자연어 기반의 직관적인 대화형 인터페이스를 통해 사용자의 요청을 수집하고, 다양한 비즈니스 애플리케이션과 연결해 자동화된 방식으로 처리한다. 사용자의 요청을 지능적으로 분석하고 적절한 경로로 연결하며, 단순한 질의응답을 넘어 특정 업무 수행, 지식 베이스 검색, 필요시 사람 개입 연결까지 유연하게 확장할 수 있다. 이와 함께, 사전 구축된 AI 에이전트를 제공해 ‘에이전틱 AI’ 환경을 쉽게 구축할 수 있고, ‘스킬 카탈로그’와 ‘스튜디오’ 기능으로 필요한 스킬을 생성하고 다단계 흐름으로 구성한 뒤 자동화 작업에 적용할 수도 있다.
김지관 상무는 왓슨x 오케스트레이트에 대해 “기업을 위한 에이전트 메시(Mesh)를 구현한다”고 설명했다. 이 ‘왓슨x 오케스트레이트’에는 AI 어시스턴트나 AI 에이전트, 사전 구축된 스킬, 인텔리전트 문서 프로세싱, 자동화, 워크플로우 구성 등을 모두 모아 관리하고, 다양한 업무 시스템들과의 연결을 제공한다. 이러한 ‘오케스트레이트’는 데이터 관리와 AI 모델, 프로세스 디자인 관련 구성 요소들이 기반 환경으로 필요한데 IBM은 이들 기반 환경이 꼭 IBM의 기술일 필요는 없다고 밝혔다.
이번 행사에서는 IBM의 세일즈 담당 직원이 해야 할 고객 대상 프로모션 오퍼 메일 발송과 회사 지원 보험 상품 갱신, 노트북 고장 신고 접수 처리 등 서로 상이한 영역의 업무 작업을 통합 어시스턴트로 모두 해결하는 사례를 시연했다. 이 시연에서는 단일 인터페이스에서 질의를 기반으로 필요한 어시스턴트나 에이전트를 호출해 영역이 나뉘어져 있는 업무들을 이어 처리할 수 있음을 보였다. 이를 통해 복잡하게 나뉜 업무 경계를 단순화하고, 많은 수작업들을 자동화하는 등으로 1시간 이상 걸릴 업무를 4분만에 끝낼 수 있었다고 제시했다.
김지관 상무는 IBM의 ‘에이전틱 AI’ 전략의 차별성으로 빠른 구현과 통합된 경험 제공, 신뢰성 있는 AI 구현 역량, 어느 위치에서나 구현 가능한 하이브리드 클라우드 역량을 꼽았다. 이러한 전략은 다양한 기술과 자산들을 하나의 생태계로 통합 가능하게 하는 ‘오픈’을 통해 구현되며 컨설팅을 통해 각 분야별 전문성을 갖춘 서비스로 구현한다.
권용만 기자
yongman.kwon@chosunbiz.com
