레드햇, AI 모델 최적화 기업 뉴럴매직 인수...오픈소스 AI 전략 탄력
||2024.11.13
[디지털투데이 황치규 기자]오픈소스 소프트웨어 기업 레드햇이 AI 모델들을 CPU와 GPU 등 어느 하드웨어에 돌릴 수 있도록 최적화하는 머신러닝 스타트업 뉴얼 매직(Neural Magic)을 인수하기로 했다고 12일(현지시간) 밝혔다.
회사 측에 따르면 거대 언어 모델(LLM) 규모가 커지고 복잡해지면서 이들 모델이 소비하는 컴퓨팅 자원도 증가하는 상황이다. 이런 가운데 기업들은 이미 배치한 하드웨어 이점을 활용할 수 있는 보다 비용 효율적인 LLM 구축을 필요로 하고 있다.
2018년 설립된 뉴럴 매직은 LLM을 최적화해 상용 CPU와 GPU에서도 특화 AI 칩과 유사한 속도로 운영할 수 있는 기술을 제공한다.
실리콘앵글에 따르면 뉴럴 매직은 모델 배포를 위한 오픈 소스 프로젝트인 vLLM에 크게 기여해왔고 레드햇도 이를 주목해왔다.
vLLM은 많은 프로세서 및 GPU 아키텍처를 지원하는 클라우드에 최적화된 AI 모델을 제공하고 배포할 수 있도록 지원하는 라이브러리를 포함하고 있다.
뉴럴 매직 인수는 레드햇 오픈소스 AI 전략에서도 나름 중요한 의미를 지닌다. 레드햇은 최근 레드햇 엔터프라이즈 리눅스 AI(RHEL AI)를 선보였다. RHEL AI는 IBM이 개발한 그라나이트 LLM 패밀리에 레드햇 인스트럭트랩 오픈소스 커뮤니티 주도 모델 조정 툴을 포함하고 있다.
회사 측에 따르면 오픈소스로 제공되는 RHEL AI는 전용 파운데이션 모델(dedicated foundation model: FM) 플랫폼으로 기업들이 맞춤형 AI 모델을 구축할 수 있도록 지원한다. 소형 언어 모델(SLM) 지원에 초점이 맞춰져 있다.
RHEL AI는 사용자들에게 무료로 쓸 수 있는 그라나이트 LLM 라이브러리를 제공하며 인스트럭트랩 툴은 모델들을 자체 지식 및 데이터를 활용해 파인튜닝할 수 있도록 지원한다
