Netflix представил VOID – ИИ для реалистичного удаления объектов из видео

Исследователи из Netflix совместно с коллегами представили инновационный инструмент для видеомонтажа – VOID (Video Object and Interaction Deletion), который не просто удаляет объекты из кадра, но и корректирует физические последствия их исчезновения. В отличие от традиционных методов, новая система обеспечивает реалистичное поведение оставшихся объектов, исключая нарушения законов физики.

Netflix представил VOID – ИИ для реалистичного удаления объектов из видео

Инструмент анализирует сцену в три этапа:

1. Определяет области, которые могут быть затронуты изменениями.
2. Создает специальную карту (квадромаску) для учета исчезновения теней и изменения траекторий движения.
3. Генерирует новую версию видео с учетом всех корректировок и проводит дополнительный проход для уточнения движений, чтобы избежать искажений объектов.

VOID был обучен на тысячах пар цифровых последовательностей, что позволило системе освоить причинно-следственные связи между объектами. Например, если удалить опору, персонаж естественно упадет, а не зависнет в воздухе. Так, в демонстрации с падающими костяшками домино VOID корректно смоделировал остановку цепной реакции при удалении средних элементов.

Разработчики отмечают, что VOID не просто копирует пиксели, а применяет высокоуровневое мышление и знания о физических законах. В будущем планируется расширение возможностей системы для работы с еще более сложными сценариями видеомонтажа.

Читайте также

22-тонный КАМАЗ-1010 «обманывает» законы физики в карельских лесах

22-тонный КАМАЗ-1010 «обманывает» законы физики в карельских лесах

ChatGPT заблокировал запросы на имитацию стиля известных писателей

ChatGPT заблокировал запросы на имитацию стиля известных писателей

«Умный пластырь» определяет сахар в крови через пот за пять секунд

«Умный пластырь» определяет сахар в крови через пот за пять секунд

Российские специалисты научили роботов находить кратчайший путь в сто раз быстрее

Российские специалисты научили роботов находить кратчайший путь в сто раз быстрее

Физики создали необычный аналоговый ИИ из 400 вращающихся микрочастиц в капле жидкости

Физики создали необычный аналоговый ИИ из 400 вращающихся микрочастиц в капле жидкости

Нейросети научат искать потенциальные ямы: ДГТУ формирует датасеты для анализа дорог

Нейросети научат искать потенциальные ямы: ДГТУ формирует датасеты для анализа дорог

Российская Tomato Quality Station автоматически сортирует помидоры

Российская Tomato Quality Station автоматически сортирует помидоры

Ученые предупредили о новой угрозе для квантовых компьютеров

Ученые предупредили о новой угрозе для квантовых компьютеров

Рождение GEO: как бренды платят миллионы, чтобы их советовал ИИ

Рождение GEO: как бренды платят миллионы, чтобы их советовал ИИ

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Бензин как лотерея: станут ли гибриды и электромобили популярным выбором россиян?

Бензин как лотерея: станут ли гибриды и электромобили популярным выбором россиян?

7 удивительных фактов о черных дырах, которые меняют наше представление о Вселенной

7 удивительных фактов о черных дырах, которые меняют наше представление о Вселенной

Ученые предложили новый способ искать разумную жизнь во Вселенной — без поиска технологий

Ученые предложили новый способ искать разумную жизнь во Вселенной — без поиска технологий

Владение смартфоном снижает навыки чтения у детей 3–6 классов – исследование UCLA

Владение смартфоном снижает навыки чтения у детей 3–6 классов – исследование UCLA

Следы возрастом 1,43 млн лет у озера Туркана рассказали о предках человека ростом 180 см

Следы возрастом 1,43 млн лет у озера Туркана рассказали о предках человека ростом 180 см

NASA показало поврежденное колесо марсохода Curiosity после почти 14 лет работы на Марсе

NASA показало поврежденное колесо марсохода Curiosity после почти 14 лет работы на Марсе