엔비디아, AI 추론 컴퓨팅 겨냥 신형 칩 3월 공개...도전자들에 맞불

[디지털투데이 황치규 기자]엔비디아가 AI 모델이 사용자 질의에 답하도록 지원하는 AI 추론(inference) 컴퓨팅에 특화된 신형 칩을 선보인다고 월스트리트저널(WSJ)이 내부 사정에 정통한 소식통들을 인용해 27일(현지시간) 보도했다.

신형 칩은 3월 열리는 엔비디아 GTC 개발자 컨퍼런스에서 공개될 예정으로 엔비디아가 사실상 인수한 AI 칩 스타트업 그록(Groq) 기술을 활용할 것이라고 소식통들은 전했다.

추론 컴퓨팅 시장은 최근 테크판에서 벌어지는 AI 레이스에서 전략적 요충지로 급부상했다. 구글, 아마존과 같은 경쟁사들은 엔비디아 GPU를 겨냥한 AI 칩을 내놓고 있고 AI 코딩이 확산되면서 보다 효과적으로 AI 관련 작업을 처리하는 신형 칩들에 대한 수요가 만들어지고 있다고 WSJ은 전했다.

오픈AI는 엔비디아 신형 추론 칩을 대규모로 활용하기로 한 것으로 전해진다. 오픈AI는 최근 몇 개월 간 엔비디아 칩에 대안이 될 수 있는 보다 효과적인 칩들을 구입해왔고 지난달에는 AI 칩 스타트업 세라브라스와 거래도 체결했다.

엔비다아는 그동안 자사 GPU에 대해 학습과 추론 모두에서 리더라는 점을 강조해왔다. 이런 가운데 추론 전용 칩을 내놓은 것은 비용 효율적인 추론 칩 수요가 늘고 있는 상황을 고려한 행보로 풀이된다.

엔비디아 대안을 표방하는 회사들은 고성능이 요구되는 학습 보다는 가성비가 어필할 수 있는 추론 시장을 주로 공략해왔다는 점에서 엔비디아 이번 행보가 AI 칩 업계 판세에 어떤 변수가 될지도 주목된다.

엔비디아가 신형 추론 컴퓨팅에 탑재하는 그록 칩은 LPU(language processing unit)로 엔비디아 주력 GPU 제품군과 달리 HBM을 사용하지 않는 것이 특징이다. 그록 LPU은 칩 실리콘에 직접 내장된 SRAM(Static Random Access Memory)을 사용하기 때문에 속도가 빠른 것이 특징이다. SRAM은 GPU에 탑재된 HBM보다 최대 100배 빠르다는 평가도 있다.