자동차-“기업 데이터 99% AI에 미반영”… IBM, 해법은 콘텐츠 인식 스토리지

“지금까지는 현실적으로 기업의 모든 데이터를 인공지능(AI)에 활용할 수 있는 순간이 없었다. ‘콘텐츠 인식 스토리지’는 스토리지 데이터에 뭔가 변경이 발생했을 때 추출-벡터화에 이르는 과정을 모두 처리해 항상 최신의 벡터 데이터베이스를 유지하면서 검색을 위한 API까지 함께 제공할 수 있다.”

샘 워너(Sam Werner) IBM 글로벌 스토리지 부문 부사장은 27일 서울 여의도 한국IBM 사무실에서 열린 기자간담회에서 AI를 위한 ‘콘텐츠 인식 스토리지(Content Aware Storage)’를 소개하며 이와 같이 밝혔다.

IBM이 제시한 ‘콘텐츠 인식 스토리지’는 지금까지 AI의 훈련과 활용에서 서로 분리돼 있었던 데이터 흐름의 과정을 연결, 자동화한 것이 특징이다. 이 스토리지에 저장된 데이터는 AI가 사용할 수 있는 ‘벡터 데이터베이스’로도 저장되며 데이터의 변화에 따른 벡터 데이터베이스의 갱신 등도 자동으로 진행된다. 업계 표준 프로토콜 기반으로 외부 데이터와의 직접 연결도 제공되고 벡터 데이터베이스로의 접근도 스토리지를 통해 할 수 있어 환경 전반의 복잡성도 줄였다.

저장된 데이터 AI가 바로 쓸 수 있는 ‘콘텐츠 인식’ 스토리지

샘 워너 부사장은 “전 세계적으로 많은 거대언어모델(LLM)이 있고, 공개된 데이터의 상당수는 이미 LLM에 반영돼 있다. 하지만 LLM에 반영된 기업의 데이터는 1% 정도에 그친다”고 밝혔다. 이어 “이는 기업에 있어 새로운 서비스를 제공할 수 있는 기회이자, LLM에 다양한 정보를 어떻게 반영해 제공할 것인지에 대한 과제로도 다가오고 있다”고 해석했다.

현재 많은 기업들이 AI에서 원하는 결과를 얻는 데 어려움을 겪고 있는 것으로 알려졌다. 샘 워너 부사장은 “현재 기업의 56%가 AI로부터 원하는 결과를 얻기 어렵다고 느끼고 있다. 이로 인해 잃고 있는 매출 기회의 규모는 연간 평균 4억달러(약 5477억원)에 이른다”고 말했다.

기업의 데이터를 AI에 적용해 원하는 결과를 얻기 어려운 이유는 ‘기업이 가진 원시 자료 형식을 AI가 바로 쓸 수 없기 때문’이라는 점이다. 현재의 구조에서는 저장된 데이터를 AI가 활용하기 위해서는 AI가 활용할 수 있는 ‘벡터화’ 과정을 거쳐야 한다. 하지만 벡터화된 데이터베이스는 새로운 데이터가 들어올 때 즉시 반영되지 않고 새 정보를 반영하기 위해서는 기존의 벡터 데이터베이스를 새롭게 만드는 작업을 주기적으로 수행해야 한다. 이 과정에서 현실적으로 AI가 기업의 모든 데이터를 활용할 수 있는 순간이 없을 수도 있다는 지적이다.

IBM이 제시한 ‘콘텐츠 인식 스토리지(CAS: Content Aware Storage)’는 이러한 데이터의 흐름에 대한 문제를 해결한다. ‘콘텐츠 인식 스토리지’는 ‘IBM 스토리지 스케일(Storage Scale)’ 기술로 데이터 파이프라인과 벡터 데이터베이스 접근을 단일 플랫폼에서 연결, 제공하는 구성이다. 아마존 S3나 NFS 등 다양한 스토리지 형식을 마이그레이션 없이 직접 연결할 수 있다.

이를 통헤 저장된 데이터는 자동으로 벡터화되고 변경에 대한 추적 관리 등도 가능해 데이터가 최신 상태로 유지된다. 또한 애플리케이션 활용에 영향을 미치지 않으면서 AI에 활용할 수 있게 된다. 샘 워너 부사장은 이에 대해 “스토리지 데이터에 뭔가 변경이 발생했을 때 추출-벡터화에 이르는 과정을 모두 처리해 항상 최신의 벡터 데이터베이스를 유지하면서 검색을 위한 API까지 함께 제공할 수 있다”고 설명했다.

IBM의 콘텐츠 인식 스토리지는 IBM의 퓨전(Fusion) 솔루션의 구성요소로도 사용된다. 퓨전 솔루션은 주요 하드웨어 구성은 물론 레드햇의 오픈시프트와 IBM의 콘텐츠 인식 스토리지 등 다양한 데이터 서비스가 통합된 ‘AI 레디 어플라이언스’ 형태다. 샘 워너 부사장은 “퓨전 솔루션은 현재 엔터프라이즈 데이터 스토리지가 직면한 성능과 효율, 보안, 데이터 인텔리전스와 하이브리드 클라우드 등의 요구사항들을 모두 충족시키며 ‘2일차’ 운영을 위한 모든 요소를 갖췄다”고 설명했다.

국내 스토리지 시장, ‘AI’와 ‘비용절감’ 화두 꼽혀

박대성 한국IBM 스토리지 사업총괄 상무는 국내 스토리지 시장에 대해 “AI가 주목받으면서 스토리지 시장 또한 바뀌고 있다”며 “이제 스토리지는 많은 데이터를 처리하면서 새로운 데이터도 다뤄야 하는, 다양한 업무에 동시 대응할 수 있는 성격이 요구된다”고 말했다. 이어 “AI와 고성능 컴퓨팅(HPC) 등을 위한 새로운 영역의 스토리지 시장이 성장하면서 시장 전반적으로 전통적인 강자들과 새로운 기업들간 격차도 크게 줄어든 상황이다”라고 밝혔다.”

한국 시장의 주요 트렌드는 ‘AI’와 ‘비용절감’을 꼽았다. 박대성 상무는 “현재 기업들의 외부 환경이 만만치 않고 인프라 투자는 무리하지 않게 최소화하는 움직임이 보인다. 이러한 상황에서도 필요한 부분에 대해서는 선택적으로 투자하는 모습이다. 대표적인 영역이 AI이다”며 “올해도 이런 추세가 이어질 것으로 보인다”고 말했다.

IBM 또한 지난해 AI 영역에 주목했다. 박대성 상무는 “고가의 그래픽처리장치(GPU)서버 인프라 활용도를 극대화하기 위해서는 충분한 스토리지 성능도 갖춰야 한다”며 “IBM은 성능 뿐만 아니라 기능과 확장성, 대규모 환경에서의 검증된 신뢰성 등에서 높은 역량을 갖췄다”고 제시했다. 이어 샘 워너 부사장은 “GPU서버 인프라 구성에서 예산의 25% 정도는 스토리지에 투자해야 한다”고 조언했다.

다양한 국내 도입 사례 가운데 영상 분석 AI 애드테크 스타트업인 ‘파일러’는 주목할 만한 사례로 꼽는다. 파일러는 엔비디아 DGX B200 기반 인프라에 IBM 스토리지 스케일 시스템(IBM SSS3500)을 조합해 컨테이너 환경에서 AI 모델의 학습과 추론 작업을 보다 빠르고 효율적으로 수행할 수 있도록 지원했다. 이 외에 서울시복지재단과 한국전통문화대학교의 IBM 플래시시스템 도입 사례, 케어캠프의 IBM 플래시시스템 기반 랜섬웨어 탐지 솔루션 도입 등이 있다.

권용만 기자

yongman.kwon@chosunbiz.com