구글, 차세대 AI 학습·추론용 TPU 2종 공개

[디지털투데이 AI리포터] 구글이 인공지능(AI) 학습용 'TPU 8t'와 추론용 'TPU 8i'를 공개했다.

22일(현지시간) 실리콘앵글에 따르면 구글은 '구글 클라우드 넥스트 2026'에서 차세대 AI 워크로드에 맞춘 텐서처리장치 2종을 발표했다.

TPU 8t는 대규모 사전학습과 임베딩 중심 작업에 최적화됐다. 3D 토러스 네트워크 토폴로지를 적용해 단일 포드에서 9600개 칩을 연결할 수 있다. 이는 아이언우드의 9216개보다 많다.

이 칩에는 대규모 언어모델 조회 과정의 불규칙한 메모리 접근을 처리하는 전용 가속기 '스파스코어'가 들어갔다. 또 4비트 부동소수점 연산을 기본 지원해 메모리 대역폭 부담을 낮췄다. 구글은 이를 통해 더 작은 메모리 용량에서도 정확도를 유지하며 처리량을 2배로 높일 수 있다고 밝혔다. 대규모 학습에서는 아이언우드보다 달러당 성능이 최대 2.7배 개선된다고 설명했다.

TPU 8i는 학습을 마친 모델을 실제 서비스에 투입하는 추론 단계에 초점을 맞췄다. 고대역폭 메모리와 전용 네트워크 구조를 기반으로 사후 학습과 고동시성 추론을 지원한다. 정적 램 용량은 아이언우드보다 3배 늘려 대규모 언어모델 추론에 필요한 키-값 캐시를 더 크게 올릴 수 있게 했고, 텍스트 생성 속도도 높일 수 있도록 했다.

TPU 8i는 낮은 지연시간 조건에서 아이언우드보다 달러당 성능이 약 80% 개선되는 것을 목표로 한다. 아울러 두 칩 모두 이전 세대보다 와트당 성능이 2배 높다고 구글은 덧붙였다.