메타, 오픈소스 LLM 라마4 시리즈 공개...오픈AI 대항마될까?
||2025.04.06
[디지털투데이 황치규 기자]메타가 신형 오픈소스 LLM 라마4 시리즈를 공개했다.
5일(현지시간) 테크크런치에 따르면 라마 4는 '스카우트', '매버릭', '비히모스' 3가지 모델로 구성되며, 멀티모달 AI 기능을 갖춘 것이 특징이다.
메타는 라마4에 처음으로 전문가 혼합 모델(mixture of experts, MoE) 아키텍처를 도입했다.MoE는 모델 하나가 모든 작업을 처리하는 대신 사용자 프롬프트(지시문구)를 특정 분야 전문가 모델들에 연결하는 방식이다. 전문가 모델의 경우 학습을 덜 필요로 하는 만큼 상대적으로 적은 AI 칩으로 구현이 가능하다.
특히 '매버릭' 모델은 4000억개 매개변수(parameters)로 이뤄져 있지만 128개 전문가(experts) 네트워크들에 걸쳐 실제 사용되는 파라미터들 수는 170억개다. 스카우트는 170억대 활성 매개변수, 16개 전문가, 1090억개 전체 매개변수로 이뤄져 있다.
학습이 진행 중인 비히모스는 전체 2조개 파라미터에 기반한다. 활성 파라미터는 2880억개, 16개 전문가 모델들로 이뤄져 있다.
메타 내부 테스트에 따르면 매버릭은 창의적인 쓰기와 같은 범용 비서 및 채팅 활용 사례에 적합하며 특정 코딩, 추론, 이미지 벤치마크 등에서 오픈AI GPT-4o, 제미나이 2.0을 앞섰다. 그러나 제미나이 2.5 프로, 앤트로픽 클로드 3.7 소넷, 오픈AI GPT-4.5에는 미치지 못했다.
스카우트는 문서 요약 및 추론에 적합하다. 컨텍스트 윈도(context window) 크기가 1000만 토큰에 달한다. 스카우트는 이미지와 수백만 단어를 입력 가능해, 매우 길고 복잡한 문서도 처리할 수 있다.
스카우트와 매버릭은 라마닷컴과 허깅페이스 등 메타 파트너들에서 이용할 수 있다. 멀티 모달 기능은 당분간 미국에서 영어로만 제한된다.
