"AI 에이전트 확산, 보안·비용 측면서 온프레미스 AI 인프라 더 주목해야"...왜?

[디지털투데이 황치규 기자]"AI 사례 79%는 퍼블릭 클라우드가 아닌 온프레미스 환경이다. 또 조직 89%는 생성형 AI 전략에 있어 데이터가 갖는 중요성과 데이터를 보호를 비중있게 다루고 있다. AI 팩토리 전략으로 이같은 환경에 최적화된 AI 인프라를 제공하겠다."

델 테크놀로지스가 서버, 스토리지, 네트워크 전반에 걸쳐 엔드투엔드 AI 인프라 솔루션을 제공하는데 초점을 맞춘 AI 팩토리 전략 성과를 공개했다.

델 테크놀로지스는 17일 서울 코엑스에서 ‘델 테크놀로지스 포럼 2025’ 행사를 열고 "생성형AI는 이제 개념증명(PoC)을 넘어 실전에 적용하는 단계로 빠륵데 전환되고 있다"며 지난해 5월 AI 팩토리를 발표한 이후 전세계에서 걸쳐 3000개 이상 고객사를 확보했다. 다양한 활용 사례들이 계속 나오고 있다"고 강조했다.

초반에만 해도 기업들은 AI팩토리를 어디에 어떻게 쓸지 고민했는데, 올해는 사례들의 다양성 측면에서 급이 달라졌다는게 회사 측 설명이다.

AI 팩토리는 서버, 스토리지 네트워크는 물론 데이터 보호 및 관리 소프트웨어, 여기에 다양한 외부 업체 솔루션들을 통합해 고객들에게 필요한 AI 인프라를 엔드투엔드로 제공하는데 초점이 맞춰져 있다. 회사 측은 "제공할 수 있는 솔루션의 폭과 깊이, 여기에 엔비디아 GPU 등 필요한 인프라를 확보할 수 있는 공급망 열량 등에서 AI에 최적화된 인프라를 제공한다'고 표방하는 다른 회사들 대비 차별화돼 있다"고 치켜세웠다.

김경진 한국 델 테크놀로지스 대표는 "AI 혁신에 대한 관심이 높아지고 있지만, 가장 좋은 AI 모델도 적절한 인프라가 뒷받침되지 않으면 속도면에서 뒤쳐지게 된다. 새로운 종류의 AI 워크로드를 지원하기 위해 PC에서부터 데이터센터, 그리고 클라우드까지 모든 영역에서 기술이 새롭게 정의되고 있는 만큼 델은 엔드-투-엔드 포트폴리오와 개방형 생태계를 통해 AI 초기 단계에서부터 대규모로 확장된 미래 AI 까지 지원할 수 있는 기반을 제공하는데 힘쓸 것이다”고 말했다.

델 테크놀로지스는 이번 행사에서 데이터가 AI가 있는 곳으로 가는게 아니라 데이터가 있는 곳으로 AI가 와야 한다는 메시지를 거듭 부각했다. 퍼블릭 클라우드 보다는 온프레미스 AI 인프라 전략이 보안과 비용 측면에서 유리하다는 얘기였다.

이번 행사 시작을 알리는 한국 델 테크놀로지스 김경진 총괄사장 환영사에 이어 기조연설에 나선 비벡 모힌드라(Vivek Mohindra) 델 테크놀로지스 본사 수석 부사장은 "전세계 많은 기업들이 AI로 인해 더욱 빨라진 변화의 속도를 인지하고 있지만, 그에 맞게 내부 역량이 준비된 조직은 많지 않다 AI를 데이터에 가까운 곳으로 가져와 워크로드 수요를 충족할 수 있게끔 본격적으로 아키텍처를 최적화해야 한다고 주문했다.

이를 위한 방안으로 고도로 효율화 된 분리형 인프라(disaggregated infrastructure)의 중요성을 거듭 강조했다.

모힌드라 수석 부사장은 44% 기업이 2025년 주요 IT 과제로 ‘AI를 위한 데이터 준비’로 꼽았음을 언급하며 데이터의 잠재력을 활용하기 위해 확장성과 복원력을 갖춘 미래에 대비한 인프라가 중요하다고 강조했다. 비용 상승, 라이선스 모델 변화, 클라우드 비용 증가, 급격한 워크로드 변화 등에 대비하기 위해 선제적으로 데이터센터를 현대화해야 한다고 말했다.

회사 측에 따르면 비용 측면에서 AI팩토리와 같은 온프레미스(구축형) 기반 인프라가 퍼블릭 클라우드 대비 '확실하게' 유리하다.

한국 델 테크놀로지스의 조용노 전무는 "기업 데이터는 대부분은 퍼블릭 클라우드 밖에 있다. AI를 데이터가 있는 곳으로 가져가는게 비용 측면에서도 효율적이다. 추론 AI 워크로드를 온프레미스 환경에서 실행하면 퍼블릭 클라우드 대비 62% 비용 우위가 있다"고 말했다. 이어 "멀티 에이전트 환경에선 기업들이 필요로 하는 컴퓨팅 양이 더 많아질 것이기 때문에, 비용 우위는 더 중요해질 것이다"고 덧붙였다.

AI PC도 델이 AI 팩토리 전략과 관련해 강조하는 키워드다. 회사 측에 따르면 AI PC는 ‘모던 워크플레이스(업무 환경 현대화)’에 있어 핵심 인프라다.

모힌드라 부사장은 고성능에 대한 조직 구성원들의 높아진 기대치를 충족해야 하는 점, 디바이스에 탑재된 AI로 급증하는 인프라 비용을 관리할 수 있다는 것 ,데이터 및 개인정보 보호를 강화해야할 필요성 등을 이유로 AI PC가 갖는 중량감이 커지고 있다고 전했다.