‘AI 토큰’ 많이 쓸수록 유능한 개발자?…10배 써도 실제 성과는 고작 2배

이번 조사는 AI 코딩 도입 여부보다 얼마나 효율적으로 쓰느냐가 더 중요해지고 있음을 보여준다. [사진: 셔터스톡]

[디지털투데이 홍진주 기자] 기업들의 인공지능(AI) 지출 관리가 강화되면서, AI 코딩 도구를 많이 사용하는 개발자가 반드시 더 높은 생산성을 내는 것은 아니라는 분석이 나왔다. 초기에는 사용량 확대 자체가 경쟁력으로 여겨졌지만, 이제는 비용 대비 성과를 따지는 단계로 AI 활용 기준이 바뀌고 있다는 평가다.

7일(현지시간) 비즈니스인사이더에 따르면, 엔지니어링 인텔리전스 기업 젤리피시(Jellyfish)는 앤트로픽의 AI 코딩 도구 '클로드 코드'(Claude Code) 사용자 데이터를 분석한 결과를 공개했다. 분석에 따르면 상위 10% 개발자는 중간 수준 사용자보다 AI 토큰을 약 10배 더 사용했지만, 실제 산출물 증가는 약 2배 수준에 그쳤다.

토큰은 AI 모델이 텍스트와 명령어를 처리할 때 사용하는 단위이자 비용 산정 기준이다. AI 서비스를 많이 사용할수록 토큰 소비량이 증가하고, 기업의 운영 비용 부담도 커지게 된다.

젤리피시는 이번 결과가 이른바 '토큰 맥싱'(token maxxing) 전략의 한계를 보여준다고 분석했다. 단순히 AI 사용량을 극단적으로 늘리는 방식이 생산성 향상으로 직결되지 않는다는 의미다.
니콜라스 아르콜라노 젤리피시 AI·리서치 총괄은 "기업들은 이제 개발 속도뿐 아니라 비용 통제까지 동시에 요구하고 있다"며 "최고재무책임자(CFO)들이 AI 사용 비용 문제를 직접 들여다보기 시작했다"고 말했다.

실제 조사에서 AI 활용 상위 개발자들의 주간 클로드 코드 사용량은 1인당 최대 2억2500만토큰에 달했다. 반면 중간 수준 개발자의 평균 사용량은 약 3200만토큰 수준이었다. 사용량 차이는 컸지만 결과물 증가폭은 상대적으로 제한적이었다는 것이 이번 분석의 핵심이다.

다만 AI 코딩 도구 도입 자체는 생산성 개선 효과가 있는 것으로 나타났다. 젤리피시는 소프트웨어 개발 생산성을 측정하는 대표 지표인 '풀 리퀘스트'(pull request)’ 처리량을 기준으로 비교한 결과, AI 활용도가 높은 팀은 활용도가 낮은 팀보다 처리량이 약 77% 많았다고 설명했다.

결국 핵심은 AI 사용 여부 자체보다 효율적인 활용 구간을 찾는 데 있다는 분석이다. 무조건 많은 토큰을 소비하는 방식보다 일정 수준에서 비용 대비 생산성이 가장 높아지는 지점을 관리해야 한다는 의미다.

아르콜라노는 토큰 사용량만으로 개발자 생산성을 평가하는 방식에도 문제가 있다고 지적했다. 사용하는 AI 모델이나 설정이 바뀌면 토큰 소비량 자체가 크게 달라질 수 있어, 실제 업무 성과를 정확히 반영하지 못할 수 있다는 설명이다.

그는 기업들이 총 토큰 소비보다 '풀 리퀘스트당 비용'처럼 결과 중심 지표를 더 중시해야 한다고 강조했다. 또한 "토큰 비용이 급격히 증가하면 CFO들은 결국 우려할 수밖에 없다"며 AI 운영비 증가가 경영 부담으로 이어질 가능성을 언급했다.

업계에서는 여러 AI 에이전트를 동시에 돌려 같은 문제를 다양한 방식으로 해결하게 하는 사례도 늘고 있다. 예를 들어 AI 에이전트 5개가 각각 다른 코드를 생성하고, 개발자가 그중 최적 결과를 선택하는 방식이다.

다만 이런 방식은 효율을 높일 수 있는 대신 비용 부담도 커진다. 아르콜라노는 "사람을 직접 투입하는 것보다 여전히 저렴할 수는 있지만, 상당수 계산 결과가 실제로 사용되지 않고 폐기되는 비용도 발생한다"고 설명했다.

젤리피시는 기술 업계의 AI 활용 기준이 이제 많이 쓰는 것에서 효율적으로 쓰는 것으로 이동하고 있다고 진단했다. 초기에는 AI 사용량 자체가 혁신의 상징처럼 여겨졌지만, 현재는 실제 생산성과 비용 효율을 동시에 입증해야 하는 단계에 들어섰다는 것이다.

이에 따라 기업들은 일부 소수 개발자의 과도한 사용을 늘리는 전략보다, 더 많은 엔지니어들을 안정적인 중간 활용 구간으로 끌어올리는 방식에 주목하고 있다. 업계에서는 앞으로 AI 코딩 도구 경쟁 역시 단순 성능보다 비용 대비 생산성을 얼마나 최적화할 수 있는지가 핵심 경쟁력이 될 가능성이 크다고 보고 있다.