쿠버네티스 GPU 평균 사용률 5% 수준 그쳐...CPU는 8%

[디지털투데이 황치규 기자]몇만 개 쿠버네티스 클러스터 데이터를 분석한 결과 GPU 평균 사용률이 5%, CPU 8%, 메모리 20%에 불과한 것으로 나타났다고 테크진이 캐스트AI(Cast AI) 조사를 인용해 21일(현지시간) 보도했다.

쿠버네티스는 여러 서버에 흩어진 애플리케이션 컨테이너들을 자동으로 배포하고 관리할 수 있도록 지원하는 오픈소스 플랫폼이다. 하지만 쿠버네티스 도입이 늘 수록 기업들이 지불하는 클라우드 비용과 실제 사용량 사이 격차가 커지고 있다는 지적이다.

쿠버네티스가 대규모 인프라를 효율적으로 운영할 수 있도록 한다는 점에서 역설적인 결과라고 테크진은 전했다. 특히 AI·머신러닝 워크로드에서도 GPU 평균 사용률은 5%에 그쳤다. 유휴 GPU는 시간당 몇 달러 비용이 발생하는 반면 유휴 CPU는 몇 센트에 그쳐 GPU 낭비에 따른 경제적 손실이 더 큰 상황이다.

캐스트AI는 한 번만 이뤄지는 리소스 크기 조정이 근본 문제라고 지적했다. 배포 시점에 맞게 설정을 조정하더라도 워크로드는 계속 변하고 트래픽 패턴도 달라진다. 6개월 전 적절했던 설정이 지금은 맞지 않을 수 있다는 얘기다. 스팟 인스턴스(Spot Instance) 선택, 오토스케일러 설정, 노드 생명주기 관리도 마찬가지다.

캐스트AI는 인프라 비용이 잘못된 방향으로 움직이는 상황에 대응하려면 자율적이고 지속적인 최적화가 필요하다고 강조했다. 캐스트AI는 쿠버네티스 환경에서 클라우드 비용을 자동으로 최적화하는 플랫폼을 제공한다.