토큰 많이 쓰는 게 능력?…AI 업계 뒤덮은 과시 경쟁의 결말

실리콘밸리서 AI 토큰 사용량을 생산성처럼 평가하는 토큰맥싱 문화에 대한 반발이 커지고 있다. [사잔: Reve AI]

[디지털투데이 AI리포터] 실리콘밸리에서 인공지능(AI) 토큰 사용량을 생산성 지표처럼 평가하는 흐름에 대한 반발이 커지고 있다.

27일(현지시간) 비즈니스인사이더에 따르면, 기업들이 내부적으로 AI 도입을 서두르면서, 토큰 사용량 증가가 실제 성과로 이어지는지를 둘러싼 의문도 함께 확산하고 있다.

논란의 계기는 앤드루 맥도널드(Andrew Macdonald) 우버 최고운영책임자(COO)의 발언이었다. 그는 최근 공개된 인터뷰에서 AI 토큰 사용 증가가 직접적인 생산성 향상으로 이어졌는지는 확인하지 못했다고 말했다. 이어 더 많은 결과물이 나오고 있을 수는 있지만, 그것이 실제로 소비자에게 유용한 기능을 25% 더 만들어낸 것인지는 연결하기 어렵다고 설명했다. 이 발언은 엑스(옛 트위터)에서 200만회 이상 조회됐다.

토큰은 AI 챗봇이 처리하는 기본 단위로, 대략 단어 4분의 3 수준에 해당한다. 토큰맥싱은 가능한 한 많은 토큰을 사용해 생산성을 높이고 이를 과시하는 흐름을 뜻한다.

미국 기업들은 이미 AI 사용량을 핵심 운영 지표처럼 다루고 있다. 메타는 일부 직원을 AI 빌더로 지정해 AI 중심 조직에서 일하도록 하고 있다. 디즈니와 JP모건은 직원들의 AI 사용량을 추적하고 있으며, 비자는 AI로 더 빠르게 개발한 팀에 보상을 제공하고 월간 토큰 지출이 거의 2조개에 달한다고 밝힌 바 있다.

하지만 현장에서는 비용 낭비 우려도 커지고 있다. 정보기술 업계에서는 기업들이 AI 예산을 예상보다 훨씬 빠르게 소진하고 있다는 지적이 나온다. 우버는 올해 첫 4개월 만에 연간 AI 예산을 모두 사용한 것으로 알려졌다. 악샤트 붑나(Akshat Bubna) AI 스타트업 모달의 공동창업자 겸 최고기술책임자(CTO)는 내부 토큰 지출의 최대 50%가 사실상 쓸모없을 수 있지만, 어떤 부분이 비효율인지 구분하기 어렵다고 밝혔다. 카르틱 하리하란(Karthik Hariharan) 엔지니어링 매니저도 수백만달러 규모의 토큰이 소모됐지만 뚜렷한 투자수익률은 확인되지 않았다고 말했다.

순다르 피차이(Sundar Pichai) 구글 최고경영자(CEO) 역시 이런 우려가 더 커질 수 있다고 봤다. 그는 지난주 I/O에서 최고정보책임자(CIO)들이 회사 예산 소진 속도를 크게 걱정하고 있다며, 이 문제가 올해 더 심각해질 가능성이 있다고 말했다.

토큰맥싱 논쟁은 AI 거품론으로도 번지고 있다. 영화 '빅쇼트'로 유명한 투자자 마이클 버리(Michael Burry)는 26일 토큰맥싱을 "미친 듯이 서두르는 일시적 국면"이라고 규정하며 엔비디아 주가의 급격한 하락 가능성을 경고했다. 반면 개리 탄(Garry Tan) 와이콤비네이터 CEO는 자신들이 대부분 기업보다 훨씬 오래 토큰맥싱을 해왔다며 이를 옹호했다.

비용을 통제하면서 AI를 활용해야 한다는 지적도 나온다. 젤리피시 보고서에 따르면 클로드 코드 상위 10% 사용자는 중간 수준 개발자보다 약 10배 많은 AI 토큰을 사용했지만, 산출물은 약 2배 늘어나는 데 그쳤다. 젤리피시는 기업들이 단순 토큰 소비량 자체를 기준으로 보상하거나 불이익을 주기보다, 풀리퀘스트 같은 구체적 성과 지표와 비용을 연동해야 한다고 제안했다.