프랑스 인공지능 기업인 미스트랄 AI(Mistral AI)는 지연 시간을 최적화한 240억 매개변수(parameter) 규모의 인공지능(AI) 모델 ‘미스트랄 스몰 3(Mistral Small 3)’를 공개했다고 지난달 30일(현지시각) 밝혔다. 해당 모델은 아파치 2.0(Apache 2.0) 라이선스 하에 배포된다.

회사 측에 따르면 미스트랄 스몰 3는 메타의 라마 3.3 70B(Llama 3.3 70B)나 알리바바의 쿠엔 32B(Qwen 32B) 등 대형 모델과 경쟁할 수 있다. 미스트랄 AI은 특히 GPT-4o 미니(GPT-4o-mini)와 같은 폐쇄형 모델을 대체할 수 있는 강력한 오픈소스로 평가받는다고 설명했다.

미스트랄 AI에 따르면 이번 모델은 81% 이상의 MMLU(대규모 다중작업 언어 이해) 정확도를 기록했고, 초당 150 토큰(token)의 속도를 보인다. 또 기존 모델보다 적은 레이어(layer) 수를 유지해 처리 속도를 극대화했다. 이를 통해 동일한 하드웨어 환경에서 라마 3.3 70B보다 3배 이상 빠른 속도를 구현했다.

미스트랄 스몰 3는 ▲빠른 응답이 필요한 대화형 AI ▲저지연 함수 호출 ▲도메인 특화 전문가 모델 구축 ▲로컬 배포 환경 등에서 활용될 수 있다. 특히 금융, 의료, 제조 등 다양한 산업에 적용할 수 있다.

회사에 따르면 금융 서비스 기업은 미스트랄 스몰 3을 사기 탐지(Fraud Detection)에 활용할 수 있다. 의료 분야에서는 환자 분류(Triage) 및 상담 서비스로 사용할 수 있다. 또한 로봇, 자동차, 제조업에서는 기기 내 명령 제어(On-Device Command and Control) 용도로 적용할 수 있다.

미스트랄 AI은 개인 및 기업 사용자는 미스트랄 스몰 3를 로컬 환경에서 실행할 수도 있다고 밝혔다. 모델을 양자화(Quantization)하면 엔비디아(NVIDIA) RTX 4090 그래픽카드 또는 32GB RAM을 장착한 맥북에서 원활하게 구동할 수 있다.

미스트랄 스몰 3는 미스트랄 AI의 자체 플랫폼 ‘라 플라트포름(la Plateforme)’에서 ‘mistral-small-latest’ 또는 ‘mistral-small-2501′ 이름으로 제공된다.

• 오픈AI, 추론 소형 모델 'o3 미니' 출시… 딥시크와 경쟁
• 상가 경매시장에 부는 한파... 낙찰률·낙찰가율 모두 하락
• 저커버그 “오리지널 페이스북으로 귀환할 것… 반년 안에 변화”
• HDC현산, 6일 학동참사 항소심 선고 앞두고 ‘총력’
• 조국혁신당 “내란종식 원탁회의 제안…민주당 우클릭은 우려”