자동차-사진 3장으로 뚝딱…애플, 3D 장면 생성 AI ‘매트릭스3D’ 공개

[디지털투데이 AI리포터] 애플 기계학습 팀이 중국 난징대학교, 홍콩 과학기술대학의 연구진과 협력해 3D AI 모델 '매트릭스3D'(Matrix3D)를 발표했다.

13일(현지시간) IT매체 나인투파이브맥에 따르면 매트릭스3D는 단 몇 장의 2D 사진만으로 3D 물체와 장면을 재구성할 수 있지만, 기존 방식과는 약간 차이점이 있다. 매트릭스3D는 3D 모델이나 지도를 만들기 위해 사진을 통해 측정하는 기술인 포토그래메트리(Photogrammetry) 작업을 이전과 달리 한 번에 처리해 간소화한다.

포토그래메트리는 자세 추정, 깊이 예측과 같은 단계에 서로 다른 모델을 사용하는데, 이는 비효율성과 오류로 이어질 수 있다. 매트릭스3D는 이미지, 카메라 파라미터(각도 및 초점 거리 등), 깊이 데이터를 통합 아키텍처를 사용해 처리하며, 이를 통해 워크플로우가 간소화될 뿐만 아니라 정확도도 향상된다.

학습 방식도 독특하다. 연구진은 입력 데이터를 일부 가리고 학습시키는 '마스크드 러닝(masked learning) 전략을 사용했다. 이는 초기 트랜스포머 기반 AI 시스템과 유사한 접근으로, 매트릭스3D가 불완전한 데이터에서도 높은 성능을 발휘할 수 있도록 한다.

이를 바탕으로 매트릭스3D는 단 3장의 이미지만으로도 세밀한 3D 재구성이 가능하며, 이는 애플 비전 프로 같은 몰입형 헤드셋에서 유용하게 활용될 수 있다고 한다. 연구진은 매트릭스3D의 소스 코드를 깃허브에 공개했으며, 논문은 아카이브(arXiv)에 게재했다. 데모 영상과 상호작용 가능한 포인트 클라우드도 확인할 수 있다.