Netflix представил VOID – ИИ для реалистичного удаления объектов из видео

Инструмент анализирует сцену в три этапа:

1. Определяет области, которые могут быть затронуты изменениями.
2. Создает специальную карту (квадромаску) для учета исчезновения теней и изменения траекторий движения.
3. Генерирует новую версию видео с учетом всех корректировок и проводит дополнительный проход для уточнения движений, чтобы избежать искажений объектов.

VOID был обучен на тысячах пар цифровых последовательностей, что позволило системе освоить причинно-следственные связи между объектами. Например, если удалить опору, персонаж естественно упадет, а не зависнет в воздухе. Так, в демонстрации с падающими костяшками домино VOID корректно смоделировал остановку цепной реакции при удалении средних элементов.

Разработчики отмечают, что VOID не просто копирует пиксели, а применяет высокоуровневое мышление и знания о физических законах. В будущем планируется расширение возможностей системы для работы с еще более сложными сценариями видеомонтажа.