“터보퀀트 쇼크, 진짜 변화는 이제 시작이다” [줌인IT]

최근 메모리 업계에는 ‘터보퀀트(TurboQuant)’발 쇼크가 한 차례 휩쓸고 지나갔다. 터보퀀트가 인공지능(AI)의 단기기억을 맡은 KV(Key-Value) 캐시의 크기를 기존보다 몇 배 줄일 수 있다는 소식이 전해지자, 자본시장에서는 AI발 메모리 수요가 줄어들 수 있다는 우려가 확산되며 메모리 관련 기업 주가가 단기적으로 조정을 받는 모습을 보였다. 물론 당시의 주가 조정이 온전히 터보퀀트만의 영향은 아니었겠지만, 그 만큼 터보퀀트가 제시한 수치의 기대와 충격은 컸다.

현재 AI의 약점 중 하나는 ‘기억’이다. 업계는 이에 대해 장기 기억은 RAG(검색증강생성)로, 단기 기억은 KV 캐시 확대로 대응하고 있다. KV 캐시는 이전에 계산된 결과를 메모리에 저장하고 필요시 꺼내 쓰는 방식으로 연산량을 줄일 수 있지만, 그만큼 메모리 사용량이 증가하는 한계가 있다. 이미 업계는 KV 캐시의 효율화 방안을 고민해 왔고, 엔비디아의 ‘베라 루빈’ 플랫폼에 포함된 스토리지 기술에서도 KV 캐시의 오프로딩이 핵심 요소 중 하나로 제시된 바 있다.

터보퀀트를 바라보는 시각은 대략 두 가지로 나뉘지만, AI 업계에서는 이를 ‘갑자기 등장한 충격적인 기술’로는 보지는 않는다. 실제로 터보퀀트는 지난해에도 발표된 바 있으나, 당시와 비교해 현재는시장의 반응과 의미가 달라진 상황이다. KV 캐시로 인한 메모리 부담은 점점 증가하고 있으며, 이를 줄이기 위한 다양한 기술도 활발히 연구되고 있다. 이런 맥락에서 터보퀀트의 등장은 메모리 수요를 단순히 줄이기보다 ‘기존보다 더 긴 단기기억을 활용하는 방향’으로 변화할 가능성이 크다. 업계는 AI 수요가 증가하는 한 전체 메모리 수요는 계속 증가할 것이라고 전망하는 분위기다.

하지만 터보퀀트가 가져올 변화는 이렇게 단순한 이분법적으로 설명되기 어렵다. AI 가속기와 메모리 기술도 여느 IT 기술과 마찬가지로 특정 ‘임계점’을 지나면 가격이 급등하는 특성을 갖는다. 현재 데이터센터용 GPU와 여기에 탑재되는 대용량 HBM은 이러한 임계점 너머에 있는 고가의 기술이다. 지금까지는 ‘대안이 없기 때문에’ 선택되어 왔지만, 앞으로는 현실적인 대안이 등장할 가능성도 있다. 구글이나 AWS, 마이크로소프트의 자체 가속기와 국내외 다양한 AI 가속기들이 수혜를 기대할 만한 대표적 사례로 거론된다.

터보퀀트의 핵심 기능인 ‘KV 캐시 줄이기’는 메모리 상의 캐시의 용량을 줄이고, 실제 서비스 과정에서 읽어야 하는 데이터의 양과 대역폭 소비를 줄인다. 이는 가속기에 탑재되는 메모리의 양과 메모리 대역폭 소비에 직접적인 영향을 미친다. 특히 대역폭 측면에서는 가속기가 기존의 경제적 임계점을 넘어선 대용량 HBM을 선택하지 않고도 실용적인 성능을 확보할 수 있는 방안이 생길 것이다. 가속기들이 더 큰 용량의 저렴한 일반형 메모리로 실용적인 성능을 확보할 수 있게 해, AI 인프라 경제성의 공식을 바꿀 수 있을 것으로도 기대된다.

AI 인프라의 경제성은 관점에 따라 다르게 해석될 수 있다. 지금까지는 상대적으로 소수의 초고성능 가속기를 긴밀하게 연결하는 ‘스케일업’ 구조가 효율적인 선택이었다. 하지만 장기적으로는 경제성의 임계점 이하의 기술을 다수 연결한 ‘스케일아웃’형 구조가 성능과 경제성 모두에서 우위가 될 것으로 예상한다. 이는 HBM을 사용하지 않거나 최소화한 GPU나 NPU의 등장으로 나타날 수 있다. 이러한 흐름은 이미 수십년 전부터 다양한 사례로 나타났던 모습이기도 하다.

터보퀀트의 등장에도 메모리 업계의 총 수요는 지속적으로 상승할 가능성이 높다. 다만 제품 단위의 구조적 관점에서는 의미 있는 변화의 계기가 될 수도 있겠다. 이미 ‘KV 캐시’를 둘러싼 변화는 메모리와 스토리지 양 측면에서 진행되고 있다. 이러한 변화가 ‘주가’에 어떤 영향을 미칠지는 또 다른 차원의 문제다. 이미 ‘터보퀀트 쇼크’는 이미 시장에서 빠르게 소진된 이벤트가 되었지만, 터보퀀트가 예고하는 변화는 앞으로 점차적으로 현실화될 것으로 보인다.

권용만 기자

yongman.kwon@chosunbiz.com