업스테이지, 차세대 LLM ‘솔라 프로' 프리뷰 공개...매개변수 220억개·1개 GPU로 구동
||2024.09.11
[디지털투데이 황치규 기자]업스테이지가 올 11월 출시 예정인 자사 차세대 LLM ‘솔라 프로(Solar Pro)’ 초기 테스트용 모델인 ‘솔라 프로 프리뷰(Solar Pro Preview)’ 버전을 오픈소스 및 무료 API를 통 공개한다고 11일 밝혔다.
회사 측에 따르면 솔라 프로는 솔라 LLM 시리즈 상위 모델로, 올 11월 출시된다. 업스테이지는 현재 개발 중인 모델을 미리 테스트해 볼 수 있는 프리뷰 버전을 오픈소스로 공개하는 한편, API 호출 비용까지 무상 지원할 예정이다. 프리뷰 버전은 영어만 지원하며, 입력 토큰 수도 4,096자로 제한된다.
솔라 프로는 220억(22B) 매개변수를 갖춰 기존 ‘솔라 미니’(107억) 대비 두 배 이상 커지고 성능도 대폭 향상됐지만, DUS(깊이 확장 스케일) 기술 등 자체 LLM 모델링 방법론을 고도화한 결과 여전히 1개 GPU에서 구동이 가능한 수준으로 경량화했다고 업스테이지는 강조했다. 이를 기반으로 GPU 가격 급등과 수급난으로 골머리를 앓는 기업용 AI시장을 파고들 수 있을 것으로 기대했다.
솔라 프로는 인문학 뿐만 아니라 과학·기술·공학·수학(STEM) 종합 지식을 평가하는 ‘MMLU Pro’, 지시 이행 능력을 평가하는 ‘IFEval’ 등 최신 LLM 벤치마크(성능 평가) 지표에서 솔라 미니보다 평균 51% 향상됐다.
이는 마이크로소프트 ‘파이(Phi)-3 미디엄(Medium)’, 메타 ‘라마(Llama) 3.1 8B’, 미스트랄AI-엔비디아 ‘네모(NeMo) 12B’, 구글 ‘젬마(Gemma) 2 27B’ 등 유사 사 모델 성능을 뛰어넘는 수치다.
매개변수가 3배 이상 큰 ‘라마 3.1 70B’ 등 다중 GPU를 요구하는 모델과 유사한 수준이다. 최신 지표인 MMLU Pro는 LLM 답변 정확도를 사지선다로 평가하던 기존 방식에서 선택지를 10개까지 늘려 정답률을 낮추고, 학부생 수준 이상의 추론을 요구한다.
김성훈 업스테이지 대표는 “자체 기술로 개발한 LLM 솔라를 통해 글로벌 AI 시장에 도전장을 내민 업스테이지가 강력한 차기 모델을 야심 차게 준비하고 있다”라며 “최소 인프라 비용으로 높은 성능을 제공하는 솔라 프로를 프리뷰 버전을 통해 많이 테스트해보기를 바란다”고 말했다.
