엔비디아, AWS·구글·마이크로소프트·OCI와 AI 추론 가속화 협력

[디지털투데이 황치규 기자]AI 컴퓨팅 기술 업체 엔비디아는 엔비디아 다이나모를 통해 멀티 노드 추론 성능과 효율성을 향상시키고, 아마존웹서비스(AWS), 구글 클라우드, 마이크로소프트 애저, 오라클 클라우드 인프라스트럭처(OCI) 등 주요 클라우드 제공업체와 통합해 AI 추론 가속화를 지원한다고 17일 밝혔다.

회사 측에 따르면 대규모 전문가 혼합 방식(mixture-of-experts, MoE) 모델과 같은 복잡한 AI 모델에서 높은 성능을 달성하려면, 수백만 명 동시 사용자에게 서비스를 지원하고 더 빠른 응답을 제공하기 위해 추론 작업을 여러 서버(노드)로 분산시켜야 한다.

엔비디아 다이나모 소프트웨어 플랫폼은 멀티 노드 기능을 프로덕션 환경에서 지원해, 기업이 기존 클라우드 환경 전반에서도 높은 성능과 효율성을 달성할 수 있도록 지원한다.

엔비디아 다이나모는 분산형 서빙 기능을 통해 GPU 클러스터 전반에서 프로덕션 규모로 구현할 수 있도록 해준다.

예를 들어, 베이스텐(Baseten)은 엔비디아 다이나모를 활용해 장문 코드 생성을 위한 추론 서비스 속도를 2배 가속화하고 처리량을 1.6배 증가시켰으며, 이는 추가 하드웨어 비용 없이 이뤄졌다고 회사측은 강조했다.