레드햇, AI 인퍼런스 서버 공개...컨테이너 환경 AI 추론 지원 강화
||2025.05.21
[디지털투데이 황치규 기자]레드햇이 기업들이 생성형 AI를 보다 효과적으로 활용할 수 있도록 AI 인퍼런스 서버를 선보인다고 21일 밝혔다.
레드햇 AI 인퍼런스 서버는 오픈소스 vLLM 프로젝트에 기반해 멀티클라우드 환경에서 AI 추론을 지원한다.
vLLM은 연속 배칭, GPU 다중 지원, 대형 컨텍스트 입력을 지원하는 추론 엔진으로, 라마(Llama), 제미나이(Gemma), 파이(Phi) 등 여러 모델 개발사들이 활용하고 있다.
레드햇은 이를 컨테이너화해 기업 환경에서 최적화된 AI 추론을 제공하며, 뉴럴매직(Neuralmagic) 압축 기술과 허깅페이스(Hugging Face)에서 호스팅되는 모델 카탈로그를 통합해 멀티클라우드 환경에서 효과적인 AI 추론을 지원할 계획이다.
레드햇은 검증된 AI 모델(AI Validated Models)도 공개하고 허깅페이스에서 제공되는 서드파티 모델을 레드햇 AI 스택에서 테스트해 성능을 보장할 예정이다. 조 페르난데스 레드햇 AI 사업부 총괄은 “우리가 직접 테스트한 모델을 허깅페이스 리포지토리를 통해 제공할 것”이라고 말했다.
