AI 시대, 클라우드만으론 부족…기업 인프라 전략 재설계 필요

AI 시대에서 기업들은 클라우드를 넘어 새로운 인프라 전략을 계획해야 한다. [사진: 셔터스톡]

[디지털투데이 AI리포터] 인공지능(AI) 시대가 도래하며 클라우드는 단지 한 챕터에 불과하다는 새로운 흐름이 나타나고 있다.

지난달 31일(현지시간) IT매체 테크레이더에 따르면, 기존 소프트웨어 인프라는 예측할 수 있게 확장되고 데이터 배치 처리와 일정한 지연을 감당할 수 있었다. 그러나 AI는 비결정적 특성과 대규모 병렬 처리, 실시간 응답을 요구해 기존 인프라 모델과는 완전히 다른 접근이 필요해졌다. 이러한 변화 속에서 AI 기업들은 클라우드를 넘어 새로운 인프라 전략을 적극 모색하고 있다.

장기적인 AI 모델 학습은 클라우드의 유연성만으로 해결되지 않는다. 클라우드는 즉각적인 인프라 제공에 강점이 있지만 GPU 용량 확보는 사전 예약 없이는 어려운 상황이다. 결국 기업들은 미리 용량을 확보해 비용을 증가시키거나 비용 절감을 위해 남는 서버 자원을 빌리는 스팟 인스턴스(Spot instances)를 활용해야 한다.

이에 따라 기업들은 클라우드를 포기하는 대신 하이브리드 접근을 채택하고 있다. 하이브리드 접근이란 예측 가능한 워크로드는 기업 내부 데이터센터인 온프레미스(On-premises)에서 처리하고 갑작스러운 수요 증가 시 외부 데이터센터인 클라우드(Cloud)를 활용하는 방식이다.

AI 기업들은 이제 워크로드의 성격에 따라 인프라를 유연하게 배치하는 전략을 택하고 있다. 실험과 프로토타입은 클라우드 환경에서 수행하고 완성된 제품의 추론 작업은 지연 최소화와 안정성을 위해 온프레미스로 옮겨가는 방식이다.

이는 AI 시스템의 특수성을 고려한 맞춤형 인프라 전략이다. 클라우드 중심 접근만으로는 더 이상 모든 요구를 충족하기 어렵다는 판단에 따른 변화다. 이러한 흐름 속에서, 앞으로 10년간 가장 성공적인 AI 기업은 클라우드 퍼스트(Cloud-first)라는 전통적 사고를 넘어 알고리즘만큼 정교한 인프라 전략을 설계하는 기업이 될 것으로 보인다.