Netflix представил VOID – ИИ для реалистичного удаления объектов из видео

Исследователи из Netflix совместно с коллегами представили инновационный инструмент для видеомонтажа – VOID (Video Object and Interaction Deletion), который не просто удаляет объекты из кадра, но и корректирует физические последствия их исчезновения. В отличие от традиционных методов, новая система обеспечивает реалистичное поведение оставшихся объектов, исключая нарушения законов физики.

Netflix представил VOID – ИИ для реалистичного удаления объектов из видео

Инструмент анализирует сцену в три этапа:

1. Определяет области, которые могут быть затронуты изменениями.
2. Создает специальную карту (квадромаску) для учета исчезновения теней и изменения траекторий движения.
3. Генерирует новую версию видео с учетом всех корректировок и проводит дополнительный проход для уточнения движений, чтобы избежать искажений объектов.

VOID был обучен на тысячах пар цифровых последовательностей, что позволило системе освоить причинно-следственные связи между объектами. Например, если удалить опору, персонаж естественно упадет, а не зависнет в воздухе. Так, в демонстрации с падающими костяшками домино VOID корректно смоделировал остановку цепной реакции при удалении средних элементов.

Разработчики отмечают, что VOID не просто копирует пиксели, а применяет высокоуровневое мышление и знания о физических законах. В будущем планируется расширение возможностей системы для работы с еще более сложными сценариями видеомонтажа.

Читайте также

Gemini во время тестирования взломала системы трех реальных компаний

Gemini во время тестирования взломала системы трех реальных компаний

Ученые ТПУ превратили пластиковый мусор в ценные сорбенты

Ученые ТПУ превратили пластиковый мусор в ценные сорбенты

Исследователи с помощью Claude взломали OpenAI и добрались до внутреннего GitHub

Исследователи с помощью Claude взломали OpenAI и добрались до внутреннего GitHub

Китай показал проект нового термоядерного реактора HL-4 с магнитным полем 25 Тесла

Китай показал проект нового термоядерного реактора HL-4 с магнитным полем 25 Тесла

OpenAI раскрыла шесть случаев необычного поведения ИИ — одна модель переписала инструкции для самой себя

OpenAI раскрыла шесть случаев необычного поведения ИИ — одна модель переписала инструкции для самой себя

Ученые МИСИС создали сверхпрочный алюминиевый сплав для 3D-печати

Ученые МИСИС создали сверхпрочный алюминиевый сплав для 3D-печати

В Китае научились подавлять опасные колебания на солнечной электростанции мощностью 500 МВт

В Китае научились подавлять опасные колебания на солнечной электростанции мощностью 500 МВт

В MIT создали наноустройство, которое имитирует работу нейронов с помощью механической памяти

В MIT создали наноустройство, которое имитирует работу нейронов с помощью механической памяти

20 лет назад Плутон перестал быть планетой — почему с этим до сих пор не все согласны?

20 лет назад Плутон перестал быть планетой — почему с этим до сих пор не все согласны?

Состоялся запуск новейшего космического телескопа NASA

Состоялся запуск новейшего космического телескопа NASA

Пять медицинских роботов, которые уже меняют работу больниц прямо сейчас

Пять медицинских роботов, которые уже меняют работу больниц прямо сейчас

Британский визионер хочет запустить максимально дешевую миссию к Альфа Центавра

Британский визионер хочет запустить максимально дешевую миссию к Альфа Центавра

Ученые впервые перевезли антипротоны на грузовике

Ученые впервые перевезли антипротоны на грузовике

Оптические иллюзии Парфенона оказались мифом

Оптические иллюзии Парфенона оказались мифом

Математик улучшил алгоритм поиска кратчайших путей спустя почти 30 лет

Математик улучшил алгоритм поиска кратчайших путей спустя почти 30 лет

Квантовая теория не позволяет рациональным наблюдателям «согласиться не соглашаться»

Квантовая теория не позволяет рациональным наблюдателям «согласиться не соглашаться»