코딩은 잘하는데 데이터 정리는 글쎄…기업용 AI, 성능보다 단가로

[디지털투데이 이윤서 기자] 최첨단 인공지능 모델(SOTA)이 복잡한 문제 해결에는 강점을 보이지만, 기업 현장의 기본 업무에서는 오히려 비효율적인 성과를 낼 수 있다는 지적이 나왔다.

19일(현지시간) 홍콩 사우스차이나모닝포스트(SMCP)에 따르면 미국 데이터 처리·분석 기업 데이터브릭스(Databricks)의 데이비드 메이어 수석부사장은 최근 인터뷰에서 대규모언어모델(LLM)이 일상적인 사무 업무에 항상 적합한 것은 아니라고 밝혔다.

메이어는 대표 사례로 청구서 오류 식별 업무를 들었다. 그는 최첨단 모델에 잘못된 숫자를 찾아내도록 맡기면 "오류를 추출해 후속 수정이 가능하도록 하기보다, 그 숫자를 아예 고쳐 버리는 경우가 많다"고 말했다. 기업 시스템에서는 정답을 바로 만드는 것보다 어떤 항목이 문제인지 정확히 표시해 다음 처리 단계로 넘기는 일이 더 중요한데, 인공지능(AI)은 이를 임의로 넘기기 쉽다는 것이다.

이 같은 한계는 다른 기술 영역에서도 나타난다. 메이어는 앤트로픽의 클로드(Claude)처럼 고급 모델이 코딩에는 강하지만, 데이터 엔지니어링 업무에서는 해당 분야에 특화된 학습과 데이터를 갖춘 모델보다 뒤처질 수 있다고 말했다. 데이터 엔지니어링은 대규모 데이터셋을 변환하고, 결측값이나 0값을 정리하는 작업이 포함된다. 메이어는 "아무리 최첨단 AI 모델이라도 모든 일을 똑같이 잘할 수는 없다"고 했다.

이에 따라 기업용 AI 운영 방식도 변화하고 있다. 메이어는 강화학습으로 다듬은 소형 오픈소스 모델이 특정 업무를 훨씬 낮은 학습 비용으로 처리할 수 있다고 설명했다. 그는 이런 접근이 최첨단 대형 모델 대비 비용을 몇 자릿수 규모로 낮출 수 있다고 말했다.

이러한 전략은 데이터브릭스 자체 제품에도 반영되고 있다. 자연어를 데이터 질의로 바꿔주는 AI 비서 '지니'(Genie)는 여러 에이전트와 AI 모델을 결합한 구조를 채택하고 있다. 고객 사용 패턴을 분석한 결과, 실제로 기업들은 최첨단 대형 모델보다 더 작은 모델을 선호하는 흐름을 보였다. 파라미터 수가 적은 소형 모델은 비용이 낮고 지연시간이 짧다는 점이 강점으로 꼽힌다.

메이어는 "소형 모델은 특성상 첫 토큰 생성 시간과 응답 시간이 훨씬 빠르다"며, 초당 질의 수가 매우 높은 서비스로 확장될수록 기업들은 그 물량을 감당할 저비용 모델을 필요로 한다고 말했다. 기업 입장에서는 성능 자체뿐 아니라, 실제 운영 환경에서의 처리 속도와 단가가 모델 선택 기준이 되고 있다는 얘기다.

다만 기업들이 원하는 저비용·고성능 모델을 곧바로 도입할 수 있는 것은 아니다. 메이어는 알리바바 클라우드가 개발한 큐웬(Qwen) 시리즈를 두고 시장의 관심이 높고, 중국 오픈소스 모델이 성능과 지연시간, 비용 측면에서 놀라운 수준에 도달했다고 평가했다. 다만 현재 기업 환경에서는 규제와 컴플라이언스 우려로 활용이 제한되는 것도 현실이라고 짚었다.

이런 제약에도 기업의 AI 도입 속도는 빨라지고 있다. 메이어는 "많은 기업이 뒤처질까 두려워 가능한 한 빨리 AI를 밀어붙이려 한다"고 말했다. 다만 상장사는 AI 투자 지출이 재무제표에 미치는 영향을 더 신중하게 따지는 반면, 비상장사는 상대적으로 지출에 적극적인 경향을 보인다고 덧붙였다.

결국 기업용 AI 시장의 경쟁 축은 가장 큰 모델을 누가 먼저 내놓느냐에서, 실제 업무를 얼마나 빠르고 싸게 처리하느냐로 이동하는 모습이다. 데이터브릭스가 제시한 방향도 범용 초대형 모델과 업무 특화 소형 모델을 함께 쓰는 쪽에 무게가 실리고 있다.