사진 한 장으로 완벽한 4K 3D 구현…애플의 차세대 공간 컴퓨팅 치트키 등장

[디지털투데이 AI리포터] 애플 연구진이 적은 연산량으로도 고해상도 3D 장면을 구현할 수 있는 새로운 프레임워크인 LGTM(Less Gaussians, Texture More)을 개발하여 애플 비전 프로 등 차세대 기기의 시각적 성능 향상을 예고했다.

2일(현지시간) IT 매체 나인투파이브맥에 따르면, 애플과 홍콩대학교 공동 연구진은 기존 피드 포워드 3D 가우시안 스플래팅(3D Gaussian Splatting) 방식의 한계를 극복한 LGTM 프레임워크를 제안했다. 피드 포워드 방식은 AI 모델이 한두 장의 이미지로 3D 장면을 빠르게 생성하는 기술이지만, 해상도가 높아질수록 연산 비용이 기하급수적으로 증가해 4K급 고해상도 구현에는 실용성이 떨어진다는 지적을 받아왔다.

LGTM의 핵심은 기하학적 구조와 시각적 세부 사항을 분리하여 처리하는 방식에 있다. 연구진은 장면의 구조는 저해상도 이미지로 학습하되, 그 위에 고해상도 텍스처를 입히는 이중 네트워크 구조를 도입했다. 첫 번째 네트워크가 장면의 기본 뼈대를 잡으면, 두 번째 네트워크가 고해상도 이미지를 바탕으로 정교한 질감을 층층이 쌓아 올린다. 이를 통해 기존 방식에서 발생하던 연산량 폭증 문제 없이도 4K 수준의 정밀한 3D 장면을 생성할 수 있게 되었다.

이 기술은 특히 총 2300만픽셀 이상의 초고해상도 디스플레이를 탑재한 애플 비전 프로에 혁신적인 변화를 가져올 전망이다. 현재 비전 프로의 디스플레이 사양은 4K TV를 상회하지만, 이를 실시간으로 채울 고해상도 3D 콘텐츠를 빠르게 생성하는 과정에서 컴퓨팅 병목 현상이 발생해 왔다. LGTM이 적용될 경우, 기기의 처리 부담을 줄이면서도 훨씬 더 선명하고 몰입감 넘치는 가상 환경과 현실적인 패스스루 경험을 제공할 수 있다.

연구진은 프로젝트 페이지를 통해 기존 모델에 LGTM을 적용했을 때 텍스트와 질감 표현이 원본 이미지(GT)에 훨씬 더 가깝게 구현되는 비교 영상을 공개했다. 업계 전문가들은 이번 연구가 단순한 모델 개발을 넘어 기존 3D 생성 시스템을 업그레이드할 수 있는 범용 프레임워크라는 점에 주목하고 있다. 향후 이 기술이 실제 제품에 이식된다면 공간 컴퓨팅 환경에서의 사용자 경험이 한 단계 더 진화할 것으로 기대된다.

LGTM from Apple: 4K feed-forward 3D Gaussian Splatting.
instant 4K 3D scenes without massive GPUs..

- predicts a few lightweight 3D shapes, wraps them in ultra-high-res 2D textures.
- low Memory usage

You take two normal photos of a room. Instantly walk around it in flawless… pic.twitter.com/20Ur1Kbfym
— Wildminder (@wildmindai) March 28, 2026