엔비디아의 빈틈 노리는 ‘추론용 AI 반도체’ [요즘 뜨는 AI]
||2024.09.03
인공지능(AI) 산업이 시시각각 변하고 있습니다. GPT가 나오고 생성형 AI가 무엇인지 궁금해하던 때가 불과 한 해 전입니다. 지금은 텍스트, 이미지, 영상을 한꺼번에 이해하고 생성하는 AI가 나왔고, 보다 정확한 생성을 위한 기술들이 주목받고 있습니다. 누구나 AI 챗봇을 만들 수 있는 스토어가 생기기도 했습니다. 그럼 올해는 어떤 기술이, 또는 키워드가 주목받을지 살펴보겠습니다. [편집자주]
상품이라는게 성능과 품질이 좋다고 무조건 잘 팔리는 것은 아닙니다. 상품은 수요 즉, 찾는 사람들의 니즈에 맞을 때 잘 팔리죠. 뜬금없이 하나마나 한 얘기를 꺼낸 이유는 최근 AI 시장에서 반도체를 둘러싸고 일어나는 현상이기 때문입니다.
AI 반도체 시장에서 성능 좋은 상품에 속하는 것은 엔비디아의 그래픽처리장치(GPU)입니다. 그리고 찾는 사람들의 니즈를 반영하는 상품은 ‘추론용 AI 반도체’인데요. 요즘 AI 시장에서는 바로 이 추론용 AI 반도체가 고객들의 환심을 사고 있습니다.
그럼 엔비디아의 GPU는 추론용 AI 반도체가 아닐까요. 엄밀히 따지면 추론용으로도 충분히 활용할 수 있습니다. 그런데 왜 마치 추론용에 적합하지 않은 듯한 늬앙스가 풍겨질까요.
먼저 AI 반도체를 구분하고 있는 두 가지 학습용 반도체와 추론용 반도체에 대해 간단한 설명이 필요할 것 같습니다. AI는 방대한 데이터를 바탕으로 학습(Training) 과정을 거쳐 만들어집니다. 우리가 알고 있는 오픈AI의 GPT-4, 앤트로픽의 클로드, 네이버의 하이퍼클로바X 등이 이런 과정을 거쳐 만들어진 AI 모델입니다. 그리고 이 학습 과정에 학습용 반도체가 활용되죠.
이렇게 만들어진 AI 모델은 새로운 데이터를 입력해 우리가 원하는 결과값을 얻게 되는데요. 이를 추론(Inference)이라 합니다. 챗GPT에 질문하고 답변을 받는 과정도 추론이라 할 수 있습니다. 당연하게도 이 때는 추론용 반도체가 더 적합하겠죠.
두 과정은 성격이 다릅니다. 학습 과정은 방대한 데이터를 다루는 만큼 연산처리 속도가 중요하고, 추론은 빠른 결과 도출이 필요한 만큼 연산반응 속도가 중요합니다. 추론 과정에 굳이 고성능 고품질의 엔비디아 GPU가 적합하지 않은 이유도 ‘오버스펙’이기 때문입니다. ‘이왕이면 다홍치마’라고 성능 좋은게 안 좋은 것보다 낫지 않겠냐고 생각할 수 있지만 문제는 오버스펙 제품을 사용하면서 '허세 부리기'에는 가격도 너무 비싸고 전기도 엄청나게 소모된다는 것입니다.
허세는 잠시 넣어두고 실속을 꺼내자는 것이 ‘추론용 반도체’의 출현 배경입니다. 추론용 반도체는 빠른 연산반응 속도와 저전력 설계 그리고 상대적으로 저렴한 가격이 특징입니다. 엔비디아의 대표적인 GPU ‘H100’이 4만~5만 달러 수준인데 이 보다 적게는 몇 분의 1에서 10분의 1 수준까지 가격이 저렴하다고 합니다.
이제 AI 모델은 많이 개발됐고 상당한 고도화가 이뤄졌습니다. 바꿔 말하면 학습용 반도체만을 원하던 시대는 아니라는 것입니다. 물론 학습도 여전히 필요하지만 추론에 대한 니즈가 매우 커졌습니다. 많은 고객(기업, 연구기관, 개발자 등)들이 AI 모델을 활용해 원하는 결과를 얻고 있다는 것입니다. 실속도 있고, 찾는 고객들도 많아지니 추론용 반도체가 인기 상품으로 급부상 한 것은 자연스러운 현상입니다.
사실 추론용 반도체는 이미 구글, 마이크로소프트, 메타 등이 칩 설계를 가지고 있고 최근에는 애플도 추론에 초점을 맞춘 데이터센터용 AI 칩을 개발하고 있는 것으로 알려졌습니다. AMD, 인텔 등 전통 반도체 기업들 또한 추론 부분을 강점으로 엔비디아와 경쟁하고 있습니다.
눈여겨 볼 부분은 반도체 스타트업들의 활약입니다. 미국의 세레브라스, 그로크 등은 속도와 전력 효율성을 향상시킨 AI 반도체를 출시하며 엔비디아 천하의 AI 시장을 흔들고 있습니다. 특히 세레브라스는 며칠 전 A4 용지 크기만한 AI 칩 ‘WSE-3’ 기반으로 한 ‘세레브라스 인퍼런스’ 플랫폼을 발표했습니다. 이를 이용하면 속도는 엔비디아 칩보다 20배 빠르고 가격은 정확히 밝히지는 않았지만 아주 많이 싸다고 합니다.
국내 스타트업들의 활약도 이들 못지 않습니다. 국내에는 최근 사피온과 합병한 리벨리온, 퓨리오사AI가 대표적인데요. 퓨리오사AI는 8월 26일(현지시각) 미국에서 열린 ‘핫 칩스(Hot Chips) 2024’ 컨퍼런스에서 2세대 AI 반도체 ‘레니게이드’를 발표했습니다.
사실 엄밀히 말하면 학습용과 추론용이 구분돼 있는 것은 아닙니다. 다만 어느 부분에 더 중점을 두고 있냐는 것인데요. 엔비디아도 요즘에는 학습보다는 추론에 더 초점을 맞춰 상품을 소개하고 있습니다. 추론을 중심으로 경쟁이 더욱 치열해졌다는 것을 방증하는 것 같습니다.
조상록 기자 jsrok@chosunbiz.com
