AI 컴퓨팅 파워 공급난 심화...속타는 AI 스타트업

[디지털투데이 황치규 기자] AI 칩 공급 부족 현상이 심화하면서 빅 클라우드 업체들이 GPU 재고를 내부 수요와 대형 고객사들에 우선 배치하고 있다. 이에 AI 스타트업들의 부담이 가중되고 있다. 스타트업들의 경우 GPU 서버에 접근하기 위해 클라우드 업체들에 상대적으로 높은 비용을 내고 있다는 얘기도 들린다.

투자를 많이 받은 AI 스타트업들도 AI 칩 공급 부족에서 자유롭지 않다. 디인포메이션의 최근 보도에 따르면 세콰이어 캐피털, 파운더스 펀드, 제너럴 캐피털리스트, 앤드리슨 호로위츠 등 유력 VC들로부터 많은 투자를 받은 AI 스타트업들도 AI 칩 공급 위기의 직접적인 영향권에 들어섰다.

이는 오픈AI가 챗GPT를 공개한지 얼마되지 않은 2023년 초에도 클라우드 업체들은 컴퓨팅 용량을 내부 수요와 오픈AI 같은 핵심 고객들에 집중 배치했을 때와 유사한 장면이다.

하지만 AI 서비스 초창기였던 당시와 달리 지금은 AI 코딩 수요가 급증하고 있어 컴퓨팅 자원 공급 부족에 따른 파장은 더욱 커진 상황이다. 특히 AI 스타트업들이 컴퓨팅 파워에 접근하기가 어려워진 것으로 전해진다. 클라우드 서비스 업체들은 앤트로픽 같은 대형 AI 개발사들 수요가 크게 증가함에 따라 소규모 고객사들에는 GPU 용량을 제한하고 있다고 디인포메이션이 클라우드 회사 및 스타트업 창업자들을 인용해 전했다.

이 과정에서 클라우드 회사들은 엔비디아 GPU 서버 사용료를 인상할 수 있게 됐고 이는 클라우드 사업자들 수익성을 크게 개선하는 결과로 이어지고 있다고 디인포메이션은 전했다.

이미지 생성 AI 모델 개발 스타트업 크레아(Krea)는 6개월 전 수백여개 엔비디아 블랙웰 칩을 칩당 시간당 2.8달러에 6개월 간 임대하는 계약을 체결했다. 계약 당시만 해도 여러 클라우드 회사들이 크레아를 고객으로 확보하려고 경쟁하는 모양새였지만 최근 상황은 180도 달라졌다.

크레아는 AI 서버가 좀더 필요해 구매에 나섰는데, 일부 클라우드 업체 영업 대표들은 처음에 연락도 되지 않았다고 한다. 이들 영업 대표는 이후 다시 연락을 해왔는데, 가격이 크게 올랐고 3년 약정을 맺지 않으면 거래를 할 수 없다는 조건을 제시했다.

결국 크레아는 이전보다 32% 비싼 가격을 주고 블랙웰 칩 수백여개 임대 계약을 맺었다고 디인포메이션이 크레아 공동 창업자 겸 CEO 빅터 파레즈를 인용해 전했다.

1000개 규모로 GPU를 임대하겠다고 해도 AI 스타트업이 클라우드 업체들에서 공간을 확보하기가 쉬운 건 아니다. 이것보다 큰 규모로 GPU 인프라를 쓰려는 고객들 수가 쉽지 않다는 이유에서다.

많은 곳들이 예전은 맺은 클라우드 임대 계약을 갱신할 때가 됐다는 점도 지금 타이밍에선 스타트업들에선 불리한 요소다. 많은 AI 스타트업들이 과거 체결했던 2~3년짜리 클라우드 계약이 만료됨에 따라, 클라우드 업체들은 이들에게 보다 비싼 요금제 계약을 제안하거나 해당 용량을 다른 고객들에 다시 배치할 기회를 얻게 됐다고 디인포메이션은 전했다.

공급 부족과 비용 상승 속에 AI 스타트업들도 나름 자구책을 마련하는 모습이다.

VC인 제너럴 캐털리스트의 경우 포트폴리오 회사들이 GPU에 접근할 수 있도록 지원하기 위해 GPU 용량 공유 풀을 활성화하거나 클라우드 업체들과 직접 협상을 하는 방안을 추진하고 있다.
클라우드에서 빌려 쓰는게 아니라 GPU를 사서 직접 구축하는, '온프레미스' 카드를 꺼내는 곳들도 나오고 있다.

AI에이전트 개발 스타트업 콜라이드도 이런 회사들 중 하나. GPU를 직접 구축하는데는 클라우드에서 빌려 쓰는 것보다 단기적으로는 보다 많은 비용이 들어가지만 콜라이드는 클라우드 임대를 둘러싼 불확실성을 고려하면 온프레미스는 해볼만한 전술이라는 입장이다. 콜라이드는 또 향후 몇년을 놓고 보면 클라우드에서 임대하는 것보다 직접 구축이 돈이 덜 들어갈 것으로 보고 있다고 디인포메이션이 회사 CEO 콜린 맥클렐랜드를 인용해 전했다.