"엔터프라이즈 LLM 전략, 하드웨어에 비용 절감하면서 데이터·거버넌스 갖춰라"
||2025.04.23
[디지털투데이 황치규 기자]"엔터프라이즈 거대 언어 모델(LLM)은 오픈 AI 같은 퍼블릭 LLM들을 제한적으로 쓰면서 다양한 용도로 소형 언어 모델(LLM)를 활용하는 환경이 될 것이다. 이와 관련해 AI 시스템 인프라에 많은 지출을 하지 않으면서 데이터와 거버넌스 인프라를 갖추고 새로운 모델들을 언제든 활용할 준비를 하는 것이 중요하다."
조규곤 파수 대표가 가장 현실적인 엔터프라이즈 LLM 전략과 관련해 이같은 가이드를 내놨다.
조 대표는 22일 오후 여의도 페어몬트 앰배서더 서울에서 개최한 연례 고객 컨퍼런스 ‘FDI 2025 심포지움(Fasoo Digital Intelligence 2025 Symposium, 이하 FDI)’ 기조연설에서 "생성형 AI는 이제 새로운 컴퓨팅 패러다임으로 받아들여야 한다"면서 엔터프라이즈 LLM과 관련해 데이터와 거버넌스, SLM을 중요한 키워드들로 제시했다.
그에 따르면 기업이 생성형AI를 제대로 쓰려면 비용, 보안 및 프라이버시, 최적화가 중요하다. 퍼블릭 LLM만으로 이같은 요구조건을 맞추기는 한계가 있다. 그렇다고 프라이빗 LLM 온니(Only) 전략으로 가야 한다는 뜻도 아니다.
조 대표는 "제한된 범위에서 퍼블릭 LLM을 쓰면서 목적에 맞게 프라이빗 기반 SLM들을 여러개 쓰는 전략을 취해야 한다"면서 "프라이빗 기반 SLM을 활용할 경우 AI 시스템, 데이터, 거버전스에 대해 많은 고민을 해야 한다"고 강조했다.
인프라와 관련해 조 대표는 하드웨어에 너무 많은 돈을 쓰지 않아야 한다고 주문했다. 지난해의 경우 대규모 프로젝트들을 보면 투자 비용 중 절반 이상이 하드웨어인데, 인프라 가격이 계속 낮아지고 있고 AI를 구현하는 다양한 방법들도 나오고 있음을 감안하면 하드웨어가 AI 프로젝트에서 너무 큰 비중을 차지하지 않도록 해야 한다는게 그의 설명이다.
생성형 AI 도입을 위해서는 AI 학습에 사용되는 내부 데이터 품질을 높여야 하는 동시에, 개인정보 등 민감 정보 유출을 막고 컴플라이언스에 대응하기 위한 강력한 데이터 관리 방안을 갖출 필요가 있다.
이와 관련해 파수는 문서 관리 솔루션 '랩소디'을 앞세워 적극적인 역할을 하겠다는 점을 분명히 했다. 조 대표는"AI데이터 인프라 전체를 랩소디로 구축할 수 있도록 지원하겠다"고 말했다
파수는 이날 FDI 2025 심포지움 행사에서 자체 개발한 SLM 엘름(Ellm) 최신 버전도 발표했다.엘름은 크게 5가지 구조로 이뤄져 있다. 데이터, 파수 데이터 FX, 파수 RAG API, 파수 프리트레이너, 엘름CX다. 이중 엘름CX의 경우 프라이빗 LLM, 퍼블릭 LLM, 벡터DB 등에 접근할 수 있도록 지원한다.
