레드햇, ‘레드햇 AI’ 최신 업데이트 발표… 엔터프라이즈 AI 강화
||2025.03.28
레드햇은 하이브리드 클라우드 전반에서 AI 솔루션의 개발 및 배포를 가속화하는 ‘레드햇 AI(Red Hat AI)’ 최신 업데이트의 주요 내용을 27일 발표했다.
레드햇 오픈시프트 AI(OpenShift AI)와 레드햇 엔터프라이즈 리눅스 AI(RHEL AI: Red Hat Enterprise Linux AI)를 포함한 ‘레드햇 AI’는 사용자가 비즈니스별 데이터에 맞춰 보다 효율적이고 최적화된 모델을 채택하고 하이브리드 클라우드 전반에 배포해 광범위한 가속 컴퓨팅 아키텍처에서 학습 및 추론을 수행할 수 있는 엔터프라이즈 AI 플랫폼을 제공한다.
레드햇 오픈시프트 AI 플랫폼의 최신 버전인 ‘레드햇 오픈시프트 AI 2.18’은 하이브리드 클라우드에 보다 최적화되고 효율적인 AI 모델을 제공하기 위해 신규 업데이트 및 기능을 추가했다. 먼저, vLLM 추론 서버를 통해 제공되는 분산 서빙(Distributed serving)은 여러 그래픽 처리 장치(GPU)에 걸쳐 모델 서빙을 분할할 수 있게 한다. 이를 통해 단일 서버에 대한 부담을 줄이고 학습 및 미세 조정 속도를 높이며, 컴퓨팅 리소스를 보다 효율적으로 사용할 수 있으며 AI 모델에 대한 노드 간 서비스 분산도 지원한다.
엔드투엔드 모델 조정 경험(An end-to-end model tuning experience)은 인스트럭트랩(InstructLab)과 레드햇 오픈시프트AI의 데이터 사이언스 파이프라인을 활용해 LLM의 미세 조정을 간소화한다. 이는 대규모 프로덕션 환경에서 확장성과 효율성, 감사 가능성을 높이며, 레드햇 오픈시프트 AI의 대시보드를 통한 관리 편의성도 제공한다.
AI 가드레일(AI Guardrails)에서는 기술 검토를 통해 사용자 입력 상호작용과 모델 출력을 모두 모니터링하고 더 잘 보호함으로써 LLM의 정확도, 성능, 지연 시간, 투명성을 개선할 수 있다. IT팀이 혐오, 욕설, 개인 식별 정보, 경쟁 정보, 또는 기업 정책에 의해 제한된 기타 데이터를 식별하고 완화하는데 도움이 되는 탐지 기능도 제공한다.
모델 평가(Model evaluation)는 언어 모델 평가(lm-eval) 구성 요소를 사용해 모델의 전반적 품질 정보를 제공한다. 이를 통해 데이터 과학자는 다양한 작업에서 LLM 성능을 벤치마킹해 보다 효과적이고 반응성이 뛰어난 맞춤형 AI 모델을 개발할 수 있다.
RHEL AI 1.4에도 신규 개선 사항이 추가됐다. 먼저 지원이 추가된 ‘그래니트 3.1 8B’ 모델은 개발자 프리뷰로 제공되는 추론 및 분류 체계/지식 커스터마이징을 위한 다국어 지원, 향상된 요약 결과 및 검색 증강 생성(RAG) 작업을 위한 128k 컨텍스트 윈도우 기능을 추가했다.
기술 및 지식 제공을 위한 신규 GUI도 개발자 프리뷰로 제공되며 데이터 수집 및 청킹(chunking) 간소화와 사용자 고유의 기술과 지식을 AI 모델에 추가할 수 있도록 지원한다. 또한 ‘문서 지식 벤치(Document Knowledge-bench, DK-bench)’는 비공개 데이터로 미세조정된 AI 모델을 동일한 기본 모델의 성능과 쉽게 비교할 수 있게 한다.
IBM 클라우드에 서비스 형태로 배포된 ‘레드햇 AI 인스트럭트랩’은 AI 모델의 학습 및 배포를 간소화하고 확장하며 보안 영역을 향상할 수 있도록 설계됐고, 곧 제공될 예정이다. 기업은 이를 활용해 인스트럭트랩 모델 조정을 간소화함으로써 자사의 고유한 요구사항에 최적화된 효율적인 모델을 구축하면서 데이터 통제권을 유지할 수 있다.
이와 함께, 레드햇은 고객에 무상 온라인 AI 파운데이션(AI Foundations) 교육을 제공한다고 소개했다. 해당 교육은 AI가 비즈니스 운영에 유용한 정보를 제공하고 의사결정 간소화와 혁신을 추진하는데 어떻게 도움이 되는지, 레드햇 AI 솔루션에서 이를 활용하는 방법으로 구성됐다.
권용만 기자
yongman.kwon@chosunbiz.com
