인텔 “데이터센터용 제온 6 P-코어, 성능 두 배·전력 효율 60% 향상”
||2024.09.26
“새로운 제온 6 P-코어 프로세서 제품은 이전 세대 대비 코어 수가 두 배 늘었고 코어당 평균 성능도 20% 높아졌다. 전력 효율도 전 세대보다 60% 높고 비슷한 성능 수준에서 30% 비용 절감을 제공할 수 있다. 고성능 컴퓨팅(HPC)에서는 전 세대보다 2.5배 성능이 가능하고, AI 추론에서는 경쟁 제품보다 5.5배 빠르다.”
나승주 인텔 데이터센터 및 AI 사업부 한국 영업 총괄 상무는 26일 서울 여의도 FKI 컨벤션센터에서 열린 데이터센터용 ‘제온 6 P-코어’ 프로세서 신제품 발표 기자간담회에서 새로운 ‘제온 6 P-코어’ 제품에 대해 이와 같이 소개했다. 인텔은 이 자리에서 ‘가우디 3’ 가속기도 공식 출시한다고 알렸다.
‘제온 6 P-코어’, 이전 세대 대비 코어 수 2배, AI 성능은 경쟁제품보다 5.5배 이상 높아
인텔의 ‘제온 6’ 제품군은 고밀도가 특징인 최대 288코어의 ‘제온 6 E-코어’ 제품과 높은 코어당 성능이 특징인 최대 128코어의 ‘제온 6 P-코어’ 제품으로 나뉜다. 각 제품군은 모델명 마지막에 ‘E’와 ‘P’로 구분한다.
인텔은 지난 6월 ‘컴퓨텍스 2024’에서 ‘제온 6 E-코어’ 제품을 처음 선보인 바 있다. 이번에는 발표한 ‘제온 6 P-코어’ 이후 인텔은 내년 상반기 중 ‘제온 6 E-코어’의 최대 288코어 제품과 ‘제온 6 P-코어’에서 좀 더 적은 수의 코어를 탑재한 제품을 추가로 선보인다는 계획이다.
이번에 공식 출시된 ‘제온 6 P-코어’ 제품은 지금까지 코드명 ‘그래나이트 래피즈(Granite Rapids)’로 알려진 제품으로 새로운 마이크로아키텍처와 기술 지원들이 대거 적용됐다. 최대 128코어 구성과 함께 프로세서에서 제공하는 PCIe 5.0 레인 수도 20% 늘어났다. 소켓간 연결에 사용되는 UPI(Ultra Path Interconnect) 2.0도 이전 세대 대비 대역폭이 1.8배 늘었다.
메모리 지원에서도 12채널 DDR5-6400 지원 뿐만 아니라 8800MT/s의 MRDIMM도 공식 지원한다. MRDIMM은 하나의 메모리 모듈에서 두 개의 메모리 랭크를 동시에 연결해 전송 성능을 높이는 기술로 삼성전자와 SK하이닉스, 마이크론 등에서 이미 제품이 준비된 상태다. 이 외에도 지금까지 메모리 확장을 위해 많은 관심을 모았던 CXL 2.0의 메모리 확장 지원도 공식 지원된다.
‘제온 6 P-코어’ 제품은 크게 네 가지 유형으로 만들어진다. 이 중 이번에 발표된 제품은 3개의 컴퓨트 타일과 2개의 입출력(I/O) 타일 조합으로 최대 128코어 구성을 갖춘 UCC(Ultra Core Count) 제품이다. 컴퓨트 타일은 ‘인텔 3’ 공정을, I/O 타일은 ‘인텔 7’ 공정을 사용해 제조된다. 타일간 연결은 EMIB(Embedded Multi-die Interconnect Bridge)를 사용한다.
이 외에도 2개 컴퓨트 타일로 최대 86개 코어를 제공하는 XCC(Extreme Core Count)나 단일 컴퓨트 타일로 최대 44코어를 제공하는 HCC(High Core Count), 단일 컴퓨트 타일에서 16개 코어를 제공하는 LCC(Low Core Count)는 내년 상반기 출시된다.
‘제온 6 P-코어’는 이전 세대 대비 아키텍처 개선과 함께 코어 수가 크게 늘면서 성능과 효율 모두 크게 높아졌다. 나승주 상무는 이 자리에서 “제온 6 P-코어 제품은 이전 세대 대비로는 워크로드에 따라 2배에서 크게는 3배까지 성능이 높아졌고 전력 효율도 평균 60% 정도 높아졌다”고 소개했다. 이어 “제온 6 P-코어 제품에서 기본 제공되는 ‘파워 옵티마이즈 모드’를 사용하면 일반적인 서버의 CPU 활용 수준인 40% 정도에서 동일한 전력소비량으로 1.9배 성능을 제공한다”고 덧붙였다.
CXL 2.0 지원에서 특히 주목받는 부분은 ‘타입 3’ 메모리 장치 지원이다. 이를 통해 CPU에 직결된 메모리 컨트롤러 밖에서도 메모리 용량을 추가할 수 있다. 이를 단일 메모리 계층처럼 접근할 수도 있다. 인텔은 CXL 기반으로 메모리를 확장 구성한 ‘플랫 메모리 모드’ 사용시에도 인메모리 OLAP(OnLine Analytical Processing) 처리 성능 차이는 3% 정도에 그친다고 소개하며 대용량 메모리의 편리한 확장에 따른 장점을 강조했다.
AI 성능에서도 코어와 메모리 성능 향상, 최대 504MB까지 늘어난 캐시 메모리 등으로 상당한 성능 향상을 제공한다. AMX(Advanced Matrix Extensions)에서는 FP16 데이터 유형 지원이 추가돼 성능 효율을 높였다. 인텔은 제온 6 P-코어 프로세서가 AI 추론 성능에서 경쟁 제품 대비 같은 96코어 조건에서 크게는 5.5배까지 높은 성능을 보여주며 벡터 데이터베이스 처리에서는 인텔 스케일러블 벡터 검색(SVS) 최적화를 통해 모델에 따라서는 7배 이상의 성능을 제공할 수 있다고 소개했다.
한편, 나승주 상무는 “중앙처리장치(CPU)는 여전히 AI 실행에 중요한 역할을 한다. 실제 대부분의 기업 환경에서는 제온 기반 인프라에서 서비스와 애플리케이션을 운영한다. 특히 엔터프라이즈 애플리케이션과 AI 활용이 혼합된 환경에서 제온 6 프로세서가 제공하는 이점이 크다”고 강조했다. 이어 “생성형 AI를 위한 검색증강생성(RAG) 구현에 있어서도 제온 기반 서버의 중요성이 크다”고 덧붙였다.
가우디 3 공식 출시, 지속적 최적화로 성능 이점 높여
인텔은 이 자리에서 지난 4월 ‘인텔 비전’ 행사를 통해 발표한 ‘가우디 3’ AI 가속기를 공식 출시한다고 발표했다. 나승주 상무는 “가우디 3 가속기는 국내외에서 많은 고객들의 관심을 받고 있다. 많은 기업들이 특정 기업에 대한 종속성을 우려하고 있고 비용 측면에서도 대안을 찾고 있는 모습이다”라고 말했다.
‘가우디 3’는 기존 ‘가우디 2’의 아키텍처를 확장해 대폭 향상된 성능을 제공하는 것이 특징이다. 64개의 프로그래밍 가능한 텐서 프로세서 코어(TPC)와 8개의 MME(Matrix Multiplication Engine)가 탑재됐다. 최대 성능은 FP8/FP16 기준 1835테라플롭스(TFlops)다. 128기가바이트(GB)의 HBM2e 메모리를 탑재했으며 대역폭은 3.7TB/s다. 이와 함께 가속기마다 24개의 200Gbps 이더넷 포트가 탑재돼 다른 가우디 3 가속기와 연결할 수 있다.
제품은 OAM(OCP Accelerator Module) 2.0 폼팩터와 OAM 기반 제품 8개를 장착하는 베이스보드 구성, PCIe 기반이 제공된다. OAM 기반 제품의 열설계전력(TDP)은 900W, PCIe 기반 제품의 TDP는 600W다. PCIe 기반 제품의 경우 200Gbps 이더넷 포트가 22개로 소폭 줄어든 점도 특징이다. PCIe 기반 제품도 내부 ‘톱 보드’를 활용해 시스템당 카드 4개 구성을 지원하는 구성이 제공된다.
‘가우디 3’를 탑재한 시스템은 델과 슈퍼마이크로, HPE 등에서 준비됐다. 빠르면 10월부터 본격적으로 고객에 전달 가능할 예정이다. 인텔은 IBM과의 협력으로 IBM 클라우드에서 가우디 3 AI 가속기를 서비스 형식으로 배포한다고 발표한 바 있다.
인텔은 ‘가우디 3’가 엔비디아의 H100 GPU 대비 뛰어난 ‘비용 효율’을 제시한다는 점을 강조했다. 보편적으로 사용되는 ‘라마 3(Llama 3) 8B’ 모델에서 가우디 3는 H100 대비 9% 높은 성능을 제공할 수 있는데 비용 차이를 고려하면 효율은 1.8배 높다는 것이다. ‘라마 2 70B’ 모델에서는 H100 대비 19% 성능 우위와 함께 2배의 비용 효율을 제공한다고 제시했다.
나승주 상무는 “지속적인 소프트웨어 최적화로 이 효율은 지속적으로 높아질 것이다”라고 강조했다. 이러한 효율 강화의 일환으로는 MME와 TPC 파이프라인을 통한 병렬 처리 강화가 언급됐다. 일반적인 과정에서는 MME의 작업이 끝나야 TPC의 작업이 시작될 수 있는데, 작업이 오래 걸릴수록 칩 내부의 자원 가동 효율은 떨어진다. 인텔은 이를 그래프 컴파일러가 큰 작업을 작은 단위로 쪼개 처리함으로써 MME와 TPC가 최대한 동시에 작동할 수 있게 처리해 실제 성능을 높일 수 있게 했다.
권용만 기자 yongman.kwon@chosunbiz.com
