AI 칩 성능 매일 측정한다…오픈소스 벤치마크 시스템 ‘눈길’
||2025.10.15
[디지털투데이 AI리포터] 인공지능(AI) 칩 성능을 매일 측정하는 오픈소스 벤치마크 시스템 '인퍼런스맥스(InferenceMAX)'가 공개됐다.
14일(현지시간) 온라인 매체 기가진에 따르면 AI 및 반도체 정보 분석 기업 세미애널리시스(SemiAnalysis)가 개발한 이 시스템은 엔비디아, AMD 등 주요 AI 칩의 성능을 매일 지속적으로 평가하는 것이 특징이다.
AI 칩의 성능은 단순 하드웨어 성능뿐만 아니라 AI 프레임워크와 칩에서 실행되는 소프트웨어(처리 엔진)의 최적화에 따라 달라진다. 인퍼런스맥스는 이러한 변수를 반영해 지속적인 성능 측정을 수행하며, 공식 웹사이트에서 최신 결과를 확인할 수 있다.
현재 인퍼런스맥스는 엔비디아의 ‘GB200 NVL72’, ‘B200’, ‘H200’, ‘H100’과 AMD의 ‘MI355X’, ‘MI325X’, ‘MI300X’ 칩을 테스트하고 있으며, 이는 전 세계 AI 처리 능력의 80% 이상을 커버한다. 향후 구글 TPU와 아마존 트레이니엄까지 포함해 AI 처리 능력의 99% 이상을 평가할 계획이다.
테스트에는 ‘라마 3.3 70B 인스트럭트(Llama 3.3 70B Instruct)', ‘딥시크 R1 0528’, ‘gpt-oss 120B’ 등 3가지 모델이 사용되며, 입력 1000토큰/출력 1000토큰, 입력 1000토큰/출력 8000토큰, 입력 8000토큰/출력 1000토큰 등 다양한 조건에서 테스트가 진행된다. 모델의 정밀도는 FP8과 FP4 두 가지로 나뉜다.
라마 3.3 70B 인스트럭트 모델을 입력 1000토큰/출력 1000토큰, FP8 조건으로 테스트한 결과, 엔비디아 B200이 처리 속도와 응답 시간에서 가장 뛰어난 성능을 보인 것으로 나타났다. 또 다른 테스트에서도 B200이 압도적인 성능을 기록했다.
