추론 AI 시대…SSD, AI 인프라 ‘성능 변수’로 급부상

AI 추론 워크로드가 늘면서 SSD가 GPU 메모리와 데이터 레이크 사이를 잇는 핵심 저장 계층으로 떠오르고 있다. [사진: Reve AI]

[디지털투데이 AI리포터] 인공지능(AI) 추론 워크로드가 급증하면서 고성능 저장장치인 SSD가 그래픽처리장치(GPU) 메모리와 데이터 레이크 사이를 잇는 핵심 변수로 부상하고 있다. 기존 저장장치가 보조 인프라에 머물렀다면, 이제는 AI 시스템 성능을 좌우하는 핵심 요소로 떠오르는 흐름이다.

23일(현지시간) 실리콘앵글에 따르면, 플랫폼 업체 AIC와 SSD 제조사 솔리디짐의 협력은 이런 변화를 상징적으로 보여준다. CT 선(CT Sun) AIC 엔지니어링 부사장 겸 최고기술책임자(CTO)는 "AI 스토리지의 핵심은 지연시간 대응만이 아니라, 대규모 데이터를 GPU에 끊김 없이 공급할 수 있는 충분한 용량"이라고 설명했다. 선 부사장과 폼페이 나그라(Pompey Nagra) 솔리디짐 제품·에코시스템 마케팅 매니저는 최근 엔비디아 GTC에서 스토리지 혁신 방향을 논의했다.

이 같은 변화는 AI 추론 확산과 맞물려 있다. 추론 규모가 커지면서 키-값 캐시가 로컬 GPU 메모리 한계를 넘어서고, 일부 데이터를 인접한 플래시 스토리지로 내려보내는 구조가 필요해졌기 때문이다. SSD가 GPU와 대규모 데이터 저장소 사이에서 속도와 용량을 동시에 받쳐주는 중간 계층으로 자리 잡는 배경이다.

AIC는 엔비디아와 협력해 NVMe와 데이터 처리 장치(DPU) 기반 플랫폼을 개발하고 있다. 특히 선 부사장은 엔비디아 베라 루빈 아키텍처와 결합된 블루필드-4가 AI 스토리지 혁신을 더 빠르게 앞당길 것으로 내다봤다.

솔리디짐은 고밀도 AI 랙의 발열 문제를 해결하기 위해 차세대 플랫폼용 액체 냉각 E1.S SSD를 개발 중이다. 다만 플래시 스토리지의 수급 불균형이 앞으로 2~3년 더 이어질 수 있다는 전망도 나온다.

이에 따라 AI 인프라 경쟁에서는 단순한 저장 용량 확대를 넘어, SSD를 어디에 어떻게 배치할지에 대한 전략이 더욱 중요해질 것으로 보인다.