"AI 효과 없는 이유? 기술 중심 접근·데이터 복잡성 무시·공급자 관점이 문제"
||2026.04.01
[디지털투데이 황치규 기자]"기술 중심적으로 접근하는 경우가 많습니다. 데이터만 있으면 된다고 생각하고 데이터 관련 복잡성도 크게 고민하지 않아요. 여기에 공급자 중심 설계가 맞물려 기업들이 AI에 투자한 만큼 성과를 내지 못하고 있어요."
베스핀글로벌 최고AI책임자(CAIO) 한선호 부사장은 여전히 많은 기업들이 AI 투자 효과를 체감하지 못하는 이유를 이렇게 요약했다.
한 부사장은 베스핀글로벌이 31일 개최한 AI 파트너스 데이 2026(AI Partners Day 2026) 행사 기조연설에서 "AI는 기술이 아니라 경영의 문제다. IT팀과 AI팀이 따로 움직이면 안 된다. 기술을 제대로 아는 파트너와 소통하며 내부 역량을 동시에 키워나가는 과정이 필요하다. AI로 성과를 낸 기업들은 좋은 기술을 써서가 아니라 문제를 제대로 정의했기 때문"이라고 강조했다.
그에 따르면 기술 중심적인 접근은 좋은 도구부터 쓰고 문제는 나중에 찾는 것을 말한다. 시장에서 주목받는 기술을 모르면 뒤처질 수 있다는 불안감이 기술 중심 접근을 부추기고 있다는게 그의 설명이다.
이와 관련해 한 부사장은 자연어로 질문하면 AI가 데이터베이스에서 실시간으로 정보를 가져다주는 텍스트-투-SQL을 대표적인 사례로 들었다.
그는 "텍스트-투-SQL은 직원이 IT팀에 요청하지 않아도 원하는 데이터를 2~5분 안에 받을 수 있다. 기존에는 짧게는 일주일, 길면 2주가 걸리던 과정이다. 기술 자체는 강력하다"면서도 정확도 이슈에서 자유롭지 않다고 지적했다.
텍스트-투-SQL 기술은 곱셈의 법칙을 따르는데, 사용자 의도 파악 95%, 데이터 검색 95%, SQL 생성 90%, 답변 생성 99% 등 각 단계별 정확도를 곱하면 실제 정확도는 80% 수준으로 떨어진다는 것이다.
그는 "리더보드 1위 모델은 특정 환경에서 95.8%를 기록하지만, 실제 한국 엔터프라이즈 환경에서는 65.8%에 머물고 있다. 90%를 넘기지 못하면 현장에 적용하기 어렵다. 정말 필요할 때만 써야 한다"고 말했다.
그는 문제를 먼저 정의하고 다음에 기술을 선택하는 것을 해법으로 제시했다. 한 부사장은 "특정 과제가 비즈니스에 실질적인 영향을 주는지 먼저 판단한다. 그 다음 그 문제를 해결하는 데 가장 가성비 높은 기술을 고른다. 순서가 거꾸로 되면 비용만 쓰고 효과는 없는 시스템이 나온다"고 말했다.
데이터 복잡성도 기업들이 AI 프로젝트에서 자주 간과하고 넘어가는 부분이다. 파싱(parsing: 데이터를 AI가 읽을 수 있는 형태로 변환)과 청킹(chunking: 변화된 텍스트를 일정 크기로 쪼개는 작업) 창업으로 벡터 데이터베이스를 구축하면 끝이라는 생각도 현실성이 떨어진다는 것이다.
한 부사장은 "벡터 데이터베이스는 비정형 데이터를 다차원 공간에 표현해 확률 기반으로 가장 가까운 답을 찾아주는 기술이다. 유용하지만, 절대적인 정답을 보장하지 않는다. 구조적인 한계들도 있다"고 말했다.
그는 벡터 데이터베이스 관련해 다차원 관계와 계층 구조를 다루지 못한다는 점, 정형 데이터와 비정형 데이터를 함께 처리하기 어렵다는 점, 도메인 전용 용어가 청크 단위로 충돌하면 AI가 잘못된 정보를 끼워넣는 '환각(hallucination)'이 발생한다는 점, 복합 추론을 못 한다는 것 4가지를 문제로 꼽았다.
그는 백터 데이터베이스 한계를 보완할 기술로 그래프 데이터베이스와 온톨로지 기반 접근을 제시했다.
그는 "실제 보험사 사례에서 벡터 방식과 그래프 방식을 비교했을 때, 그래프 방식은 상품과 특약, 질병 간 관계를 구조적으로 연결해 LLM에 정확한 정보만 전달했고 제조업 현장에서도 공급 데이터를 도메인 특화 온톨로지로 구축한 기업은 단계별 피드백을 통해 실질적인 효과를 냈다"고 전하며 "데이터는 많다고 좋은 게 아니다. 구조가 맞아야 한다"고 말했다.
공급자 중심 설계 관련해선 한 부사장은 실제 사용자가 아닌 만드는 쪽 관점으로 시스템을 구축하는 것이 문제라고 지적했다. 그는 "기술적으로 인상적이고, 데모에서 잘 작동하고, 경영진 발표에서 박수를 받아도 현업이 쓰지 않으면 아무 의미가 없다"면서 한 물류 기업을 사례로 들었다.
이 회사는 ML 모델 기반으로 여러 솔루션을 연결해 창고 관리 시스템을 고도화했다. 경영진들은 성공을 예상했다. 그런데 고객에게 배송이 이뤄지는 마지막 1km 구간에서 고객 경험이 완전히 무너졌다.
한 부사장은 "고객은 원하는 시간에 물건을 받고 실시간으로 배송을 추적하고 싶었다. 시스템은 그 부분을 설계하지 않았다. 공급자 효율만 봤고, 고객 페인포인트는 보지 않았다"고 지적했다. 이어 "문제처럼 보이는 것은 대부분 현상이다. 머리가 아프다고 진통제를 먹는 게 아니라, 왜 아픈지를 파고들어야 한다. 팀장들이 모여 유스케이스 10개를 뽑고 3개로 좁혀 시작하더라도, 현업이 실제로 겪는 문제에서 출발하지 않으면 성과로 이어지지 않는다"고 거듭 강조했다. 또 "올바른 과제를 찾는 데 시간을 써야 한다. 보이는 문제가 아닌 근본 원인을 찾고, 비즈니스 임팩트와 연결되는 사례 중심으로 시작한다. 또 빅뱅 방식보다는 작게 시작해 실제 데이터로 확인하고, 단계별로 확장해 나가야 한다. AI 에이전트를 만드는 시간보다 진단하고 모니터링하는 시간이 더 중요하다"고 덧붙였다.
