AI 인프라 최적화, ‘메모리 오케스트레이션’ 주목하라

삼성전자와 SK하이닉스가 주도하는 차세대 고대역폭메모리 HBM4 [사진: 셔터스톡]

[디지털투데이 황치규 기자]AI 인프라 비용에서 엔비디아 GPU가 많은 비중을 차지해왔지만 최근에는 메모리도 중요한 요소로 떠올랐다.

하이퍼스케일러(hyperscalers, 대규모 클라우드 서비스 및 인터넷 서비스 운영 업체들)들이 데이터센터에 확장에 나서면서 DRAM 칩 가격이 지난해 대비 약 7배 급등했다. 이런 가운데 메모리 최적화를 통해 적절한 데이터가 적절한 시점에 AI 에이전트에게 전달되도록 하는 메모리오케스트레이션이 중요한 요소로 자리 잡고 있다고 테크크런치가 17일(현지시간) 전했다.

메모리 오케스트레이션을 잘하는 기업은 동일한 쿼리를 더 적은 토큰으로 처리할 수 있고, 이는 수익과 손실에도 영향을 미칠 수 있다는 설명이다.

반도체 애널리스트 댄 오라우플린은 뉴스레터 플랫폼 서브스택에서 웨카(Weka) AI 최고 책임자 발 베르코비치와 인터뷰를 통해 메모리 칩의 중요성을 강조했다.

특히 베르코비치는 앤트로픽 프롬프트 캐싱 문서가 점점 복잡해지는 현상을 짚었다. 그는 "앤트로픽 프롬프트 캐싱 가격 페이지를 보면 6~7개월 전만 해도 '캐싱을 쓰면 저렴하다'는 단순한 안내였다. 지금은 캐시 쓰기를 얼마나 미리 구매해야 하는지까지 다루는 백과사전 수준이다"라고 말했다.

핵심은 클로드가 프롬프트를 캐시 메모리에 얼마나 오래 보관하느냐다. 5분, 1시간 단위로 캐시를 구매할 수 있으며, 캐시를 잘 관리하면 비용을 절감할 수 있지만, 새로운 데이터가 추가되면 기존 데이터가 밀려나는 문제가 발생할 수 있다.

이같은 문제는 스타트업들 입장에선 기회할 수 있다. 캐시 최적화를 주특기로 하는 스타트업 텐서메시(TensorMesh) 등이 이와 관련해 주목 받는 스타트업들로 꼽힌다.

데이터센터가 DRAM과 HBM을 어떻게 활용하는지, 예를 들면 HBM 대신 DRAM을 쓸 시점을 판단하는 것과 모델 스웜을 어떻게 구성해 공유 캐시를 활용할지 등도 중요한 과제가 되고 있다. 기

기업들이 메모리 오케스트레이션을 개선하면 토큰 사용량이 줄어들고 추론 비용이 낮아지며, 서버 비용 감소로 AI 애플리케이션들도 수익성을 확보할 가능성이 커진다고 테크크런치는 전했다.