AI 토큰 비용 급증...조만간 내려갈지는 ‘글쎄’

[디지털투데이 황치규 기자]생성형 AI과 앱·서비스를 사용하는데 따르는 비용이 증가하면서 기업 비용 부담이 커질 수 있다는 우려도 적지 않다.

차세대 GPU와 AI 가속기가 추론 비용을 낮출 것으로 기대되지만, 그 혜택이 사용자에게 돌아올 가능성은 크지 않다는 얘기도 있다.

더레지스터 최근 보도에 따르면 AI로 직원을 보다 자렴하게 대체할 수 있을 것이라고 기대한 경영진들에게 냉혹한 현실이 다가오고 있다.

클로드 코드, 코덱스, 깃허브 코파일럿 등 코딩 AI는 AI판 최대 성공 사례가 됐다. 문제는 AI 모델 학습용으로 지은 데이터센터가 많은 사용자가 동시에 서비스를 쓰는 상황에 맞게 설계되지 않았다는 점이다 학습과 추론은 전혀 다른 작업이다.

엔비디아가 200억달러로 AI 칩 스타트업 그록을 인수한 이유도 바로 이 때문이다. AMD, AWS, 인텔, 구글 모두 토큰당 비용을 낮추기 위해 GPU와 AI 가속기를 재설계하고 있다. 하지만 이들 하드웨어 대부분은 올해 하반기 출시 예정이며, 대규모 배포는 2027년 초·중반이 돼야 가능하다고 더레지스터는 지적했다.

이런 가운데 모델 개발사들은 사용자들이 AI에 중독돼 가격을 올려도 계속 쓸 것인지 간을 보는 모습이다.

오픈AI는 GPT-5.5 출시와 함께 토큰 가격을 두 배로 올렸다. 입력 토큰 100만 개당 5달러, 출력 30달러다. 구글도 가세했다. 새로 출시한 제미나이 플래시 3.5는 이전 모델보다 3~6배 비싸다.

에이전트 도구들이 일반 챗봇보다 토큰을 수십 배 빠르게 소모하면서 가격 인상 부담이 가중되고 있다고 더레지스터는 전했다.

마이크로소프트는 깃허브 코파일럿 좌석 기반 과금을 폐지하고 사용량 기반으로 전환했다. 앤트로픽도 가격 모델을 재검토하고 있다.

더레지스터는 "AI에 일을 시키면 시간당 약 30달러가 든다. 사람을 고용하면 시급 40달러에 복리후생까지 추가된다. AI 업체들은 '사람보다 싸다'는 논리로 높은 가격을 유지할 수 있다. 머지않아 AI 가격이 토큰 단위가 아니라 '정규직 1명 대체 비용'으로 표시될 수 있다"고 전망했다.

경쟁이 가격을 낮출 것이라고 기대하기도 쉽지 않다. 주요 모델 개발사들이 모두 적자를 내고 있어 깎을 마진이 없다고 더레지스터는 전했다.