자동차-인텔 가우디3 AI 가속기, IBM 클라우드 통해 서비스로 제공

인텔은 IBM이 클라우드 서비스 제공사로는 처음으로 ‘가우디 3(Gaudi 3)’ 인공지능(AI) 가속기 기반 상용서비스를 제공한다고 8일 밝혔다.

인텔 가우디 3 AI 가속기는 개방형 개발 프레임워크를 지원하면서 생성형 AI·대규모 모델 추론·파인튜닝 등에 대한 폭발적인 수요를 충족하도록 설계됐다. 이 가속기는 멀티모달 LLM(대규모언어모델)과 RAG(검색 증강 생성) 워크로드에도 최적화됐다.

많은 기업들이 생성형 AI와 같은 도구가 자동화와 워크플로우 개선, 혁신 촉진 등에 분명한 이점이 있다는 것을 인지하지만 AI 애플리케이션 구축에는 막대한 연산 능력이 필요하고 대개의 경우 고가의 특화된 프로세서가 요구되는 부분 등이 도입의 어려움으로 꼽히고 있다.

가우디 3 AI 가속기는 성능과 가격의 균형을 통해 AI 도입에 있어 가장 큰 과제로 꼽히는 비용 문제를 해결할 수 있게 설계됐다. 가우디 3는 시그널65(Signal65)가 인텔 의뢰로 실시한 최신 AI 추론 벤치마크 테스트에서 메타(Meta)의 라마(Llama)-3.1-405B-Instruct-FP8 모델(대용량 컨텍스트 크기 기준) 실행 시 경쟁 제품 대비 92% 높은 비용 효율성(성능 대비 가격)을 달성한 것으로 나타났다.

또한 가우디 3는 IBM의 그래니트(Granite)-3.1-8B-Instruct 모델 기준 소규모 워크로드에서 43% 높은 초당 토큰 처리량을, 라마-3.1-405B-Instruct-FP8 모델(대용량 컨텍스트 크기 기준) 실행 시에는 36% 더 높은 처리량을 제공했다. 인텔은 이에 대해 “생성형 AI가 확산하고 있는 흐름 속에서 모델 배포 혹은 미세 조정을 원하는 기업의 비용 장벽을 크게 낮춰 준다”고 소개했다.

가우디 3는 현재 독일 프랑크푸르트, 미국 워싱턴 D.C., 택사스 댈러스의 IBM 클라우드 리전에 적용되어 사용할 수 있다. 가우디 3는 IBM의 광범위한 AI 인프라스트럭처 제품에도 통합되고 있다. 고객은 현재 IBM VPC(가상 프라이빗 클라우드)의 IBM 클라우드 가상 서버를 통해 가우디 3를 사용할 수 있으며 2025년 하반기부터 다양한 아키텍처에 배포할 수 있다. 레드햇 오픈시프트와 IBM 왓슨엑스 AI 플랫폼에 대한 지원은 이번 분기 내 가능해질 예정이다.

사우라브 쿨카니(Saurabh Kulkarni) 인텔 데이터센터 AI 전략 담당은 “인텔 가우디 3 AI 가속기가 IBM 클라우드에 도입되며 기업 고객들에게 추론 및 파인 튜닝을 위해 최적화된 성능으로 생성형 AI 워크로드를 확장할 수 있도록 지원하게 됐다”며 “이번 협력은 전세계 기업이 AI를 더 쉽게, 비용효율적으로 구현할 수 있도록 지원하려는 양사의 공동 노력의 일환이다”고 밝혔다.

권용만 기자

yongman.kwon@chosunbiz.com