자동차-미스트랄AI, 강력 소형 AI 모델 공개…초당 150개 토큰 처리

[디지털투데이 AI리포터] 프랑스 인공지능(AI) 스타트업 미스트랄AI가 '미스트랄 스몰 3.1'이라는 새로운 경량 AI 모델을 오픈 소스로 공개했다.

18일 실리콘앵글에 따르면 이 모델은 오픈AI와 구글 LLC가 만든 유사 모델의 성능을 능가한다고 한다. 미스트랄 스몰 3.1은 240억개의 매개변수로 텍스트와 이미지를 처리할 수 있다.

미스트랄AI는 미스트랄 스몰 3.1이 이전 버전인 미스트랄 스몰 3에 비해 향상된 텍스트 성능, 멀티모달 이해 및 최대 12만8000개 토큰의 확장된 콘텐츠 창을 제공한다고 설명했다. 이 모델은 초당 약 150개의 토큰을 처리할 수 있어, 빠른 응답이 필요한 애플리케이션에 적합하다고 한다.

미스트랄AI의 전략적 접근은 알고리즘 개선과 학습 최적화에 초점을 맞추고 있어, 단순히 더 많은 컴퓨팅 자원을 사용하는 경쟁자들보다 작은 모델 아키텍처의 성능을 극대화할 수 있는 점이 특징이다. 이는 AI를 더 작은 장치에서도 활용할 수 있도록 만들어, AI의 접근성을 높인다는 설명이다.

미스트랄 스몰 3.1은 허깅페이스를 통해 다운로드할 수 있으며, 미스트랄의 AI API, 구글 클라우드의 버텍스 AI 플랫폼에서도 이용 가능하다.