메타, 인간 뇌 반응 예측하는 멀티모달 AI ‘트라이브v2’ 공개

[디지털투데이 AI리포터] 메타가 이미지·음성·텍스트 등 다양한 자극에 대한 인간 뇌 반응을 예측하도록 학습한 멀티모달 기반 모델 트라이브v2(TRIBE v2)를 공개했다.

메타는 관련 내용과 함께 모델, 코드베이스, 논문, 데모를 공개했다고 31일(현지시간) 온라인 매체 기가진이 보도했다.

트라이브v2는 700명 이상에게서 수집한 500시간 이상의 fMRI 기록을 활용해 인간 신경활동의 디지털 트윈을 만들고, 새로운 피험자·언어·과제에 대해 제로샷 학습이 가능하도록 설계한 모델이다.

트라이브v2는 2025년 7월 발표된 1세대 트라이브를 확장한 버전이다. 트라이브가 1000개 수준의 피질 예측을 수행했다면 트라이 v2는 7만개 복셀(voxel)에 걸친 전뇌 활동을 예측한다. 학습 대상도 트라이브의 피험자 4명에서, 방대한 녹음 데이터와 대규모 코호트를 결합하는 방식으로 확장해 제로샷 학습을 구현했다고 메타는 설명했다.

메타는 트라이브v2가 3단계 파이프라인으로 뇌 활동을 예측한다고 밝혔다. 트라이모달 인코딩 단계에서 사전학습된 음성·비디오·텍스트 임베딩을 활용해 AI 모델과 인간 뇌에 공통적인 특징을 포착한다.

유니버설 통합 단계에서는 트랜스포머가 모든 자극·과제·개인에 공통으로 적용될 수 있는 보편적 표현을 학습한다. 마지막 뇌 매핑 단계에서 피험자 레이어가 이 보편적 표현을 개별 fMRI 복셀에 매핑한다. 원문은 fMRI 복셀을 혈류와 산소화의 완만한 변화를 통해 신경활동을 추적하는 3D 픽셀로 설명했다.

메타는 트라이브v2가 재훈련 없이도 처음 보는 개인의 뇌 반응을 높은 정확도로 예측할 수 있다고 밝혔다. 영화 시청이나 오디오북 청취 상황에서의 뇌 반응을 예측한 결과, 기존 방법과 비교해 약 2~3배 높은 정확도를 기록했다고 했다.

또 메타는 트라이브v2의 예측이 실제 fMRI 스캔보다 전형적인 반응을 더 정확히 반영하는 경우가 많다고 설명했다. 심박, 움직임, 기기 요인 등으로 fMRI 생데이터에 노이즈가 포함될 수 있는 반면, 트라이브v2는 표준적 뇌 반응을 예측해 개별 기록보다 그룹 평균 신경활동과 더 높은 상관관계를 보였다는 것이다.

메타는 연구자가 신경과학 연구를 진전시키고 뇌 관련 지식을 활용해 더 나은 AI를 구축하며, 계산 시뮬레이션을 활용한 신경 질환 진단·치료 연구의 돌파구를 앞당길 수 있도록 모델뿐 아니라 코드베이스와 논문, 데모도 함께 공개했다. 트라이브v2는 허깅페이스에서 다운로드할 수 있으며 소스코드는 깃허브에 공개됐다. 웹 데모도 제공된다.