소버린 AI 핵심은 오픈소스...엔터프라이즈 AI 추론 주목해야"

[디지털투데이 황치규 기자]"오픈소스 소버린 AI를 실현햐는 핵심 기술이다. 오픈소스는 보안과 신뢰 측면에서 코드를 검사하고 AI에 대한 보안 및 규제 표준을 충족하는 데 필요한 투명성과 감사 가능성을 제공한다."

빈센트 칼데이라 레드햇 APAC CTO가 각국에서 주목 받고 있는 소버린AI와 관련해 오픈소스를 강조하며 오픈소스는 기업과 정부가 책임감 있고 전략적으로 AI 기반 디지털 미래를 소유할 수 있도록 지원한다고 강조했다.

그는 28일 오후 웨스틴 서울 파르나스 호텔에서 기자 간담회를 갖고 데이터 컨트롤 및 레지던시, 보안과 신뢰, 하이브리드 클라우드 컨트롤, 로컬 운영 및 생태계를 소버린AI를 위한 주요 키워드들로 제시하며 이를 통해 통제·규정 준수·경쟁 우위를 확보할 수 있다고 목소리를 높였다.

그에 따르면 오픈소스는 보안과 신뢰 측면에서 코드를 검사하고 AI가 필요로 하 보안 및 투명성을 확보할 수 있도록 지원한다.

하이브리드 클라우드 컨트롤은 단일 독점 스택에 종속되지 않고 어디서나 AI 워크로드를 실행할 수 있는 유연성을 제공하는게 골자.

그는 "레드햇 역할은 기업과 정부가 자체 소버린 클라우드를 구축하고 운영할 수 있는 오픈 하이브리드 클라우드 기반을 제공해 AI 워크로드에 대한 통제권을 제공하는 것"이라고 강조했다.
그는 파일럿과 시범 프로젝트를 넘어 AI를 실전에 배치하는 기업들이 늘면서 엔터프라이즈 AI 시장에서 추론의 중요성이 커지고 있다는 점도 부각했다.

그는 "AI 인프라 시장이 2031년까지 10배 이상 성장할 것으로 예상되는 가운데, 데이터센터 전력 수요가 2030년까지 거의 3배 증가해, 에너지 병목 현상이 발생하고 있다"면서 "기업 52%가 추론을 위한 비용 효율적인 대안을 모색하고 있다. 이를 해결하기 위해 레드햇은 레드햇A 3를 통해 엔터프라이즈 AI 워크로드 혁신을 지원한다"고 말했다.

레드햇이 최근 공개한 엔터프라이즈 AI 플랫폼 레드햇AI 3는데이터센터, 클라우드, 에지 환경에 걸쳐 있는 AI 워크로드를 관리하면서도 유연성과 제어력을 유지하도록 지원한다.

오픈시프트AI(OpenShift AI), 엔터프라이즈 리눅스 AI, AI 인퍼런스 서버를 한 플랫폼으로 통합해 여러 도구와 프레임워크를 사용하는 기업 AI 추론 환경을 둘러싼 복잡성을 해결할 수 있다는게 회사측 설명이다.

레드햇은 추론 AI 투자 일환으로 vLLM 오픈소스 라이브러리와 같은 오픈소스 프로젝트들을 개발 중이며, 이동 가능한 소프트웨어 컨테이너용 쿠버네티스 오케스트레이터에서 LLM 스케줄링 및 서비스 방식을 지능화하도록 설계된 새로운 분산 추론 엔진 llm-d도 선보였다.

추론 계층 외에 레드햇 AI 3는 레드햇 커넥티비티 링크(Red Hat Connectivity Link) 기반 통합 AI 게이트웨이를 활용한 새로운 서비스형 모델(Model-as-a-Service) 기능도 포함하고 있다.

이 기능은 사용량 추적 및 타사 소프트웨어에 대한 플러그 앤 플레이 지원을 통해 모델을 간단하고 확장 가능한 엔드포인트로 접근 가능하게 하도록 지원한다. 비용, 개인정보 보호 또는컴플라이언스 등을 이유로 내부에서 모델을 제공하려는 기업들은 자체 환경 내에서 상용 모델 서비스 제공업체처럼 운영할 수 있다고 레드햇은 설명했다.

레드햇 AI 3는 에이전트 기반 시스템의 부상도 염두에 두고 개발됐다. 에이전트 지원을 위해 레드햇 AI 3는 라마 스택(Llama Stack) 애플리케이션 프로그래밍 인터페이스 계층, LLM과 외부 서비스 들간 연동을 지원하는 모델 컨텍스트 프로토콜(MCP)도 포함하고 있다.