넷플릭스도 영상 AI 모델 ‘VOID’ 내놨다...오픈소스로 제공

[디지털투데이 황치규 기자]넷플릭스가 영상에서 특정 물체를 지우고 남은 장면을 물리적으로 자연스럽게 복원하는 AI 모델 VOID를 공개했다고 더레지스터가 3일(현지시간) 보도했다.

VOID(Video Object and Interaction Deletion)는 영상에서 물체를 삭제할 뿐 아니라, 삭제된 물체가 없었을 경우 나머지 요소들이 어떻게 움직였을지를 생성해 채워 넣는 비전-언어 모델(VLM)이다.

예를 들어 차량 2대가 정면충돌하는 장면에서 차량 한 대를 제거하면, VOID는 나머지 차량이 도로를 그대로 주행하는 장면을 생성한다. 충돌 후 발생한 파편, 연기, 화염도 모두 지우고 깨끗한 도로로 대체한다. 사람이 수영장에 뛰어들어 물이 튀는 장면에서 그 사람을 제거하면, 수영장이 처음부터 조용한 상태였던 것처럼 영상을 만들어 준다.

VOID를 개발한 넷플릭스, 소피아 대학교(Sofia University) 연구진은 공개 초고(preprint) 논문에서 VOID를 "복잡한 상황에서 물리적으로 그럴듯한 인페인팅(inpainting)을 수행하도록 설계된 영상 객체 제거 프레임워크"라고 설명했다.

인페인팅(inpainting)은 그림이나 사진에서 손상되거나 지워진 부분을 주변 내용을 참고해 자연스럽게 채워 넣는 기법이다.

넷플릭스는 VOID를 허깅페이스(Hugging Face)에 공개해 누구나 설치해 쓸 수 있도록 했다. 런웨이(Runway), 디퓨이레이저(DiffuEraser), 프로페인터(ProPainter) 등 유사 도구들이 있으나, 연구진은 25명을 대상으로 한 설문에서 VOID가 64.8% 선호도를 기록해 18.4%에 그친 런웨이를 크게 앞섰다고 밝혔다.