Нью-йоркский стартап Runway представил свою первую модель искусственного интеллекта для генерации видео ещё в прошлом году, но её затмили такие мощные проекты, как OpenAI Sora и недавно представленная Luma AI Dream Machine. Теперь компания ответила конкурентам, представив новую модель Gen-3 Alpha.
Нейросеть Gen-3 Alpha, как обещает разработчик, является первой из серии моделей, обученных Runway на новой инфраструктуре, предназначенной для крупномасштабного мультимодального обучения. Эти модели ИИ смогут представлять и моделировать широкий спектр ситуаций и взаимодействий, подобных реальным.
Новая система позволяет создавать высококачественные, детализированные, и реалистичные видеоролики длиной 10 секунд, отличающиеся широким спектром эмоций у персонажей и движущейся камерой. На создание 5-секундного ролика требуется 45 секунд, а 10-секундное видео генерируется за 90 секунд. Доступ к новой модели пока ограничен, но в ближайшие дни, по словам технического директора Runway Анастасиса Германидиса, её смогут использовать платные подписчики платформы (от $15 в месяц или от $144 в год), а позже в этом году она станет доступна всем.
Модель Gen-3 Alpha обучена на видео и изображениях и создана междисциплинарной группой исследователей, инженеров и художников. Источники материалов для обучающего массива компания не раскрывает. Представитель Runway пояснил, что у них есть внутренняя исследовательская группа, которая курирует обучение моделей, используя тщательно отобранные внутренние наборы данных.
Компания также сотрудничает с ведущими развлекательными и медийными организациями для создания индивидуальных версий Gen-3, что позволит генерировать более стилистически управляемых и последовательных персонажей и учитывать конкретные художественные и повествовательные требования. Конкретные имена партнёров не разглашаются, но известно, что продукты Runway использовались в фильмах "Всё везде и сразу" и "Народный Джокер". На сайте компании есть форма запроса для заинтересованных в сотрудничестве компаний, для которых разработчик создаст собственную версию Gen-3 Alpha. Стоимость такой модели не уточняется.
Подробнее узнать о генерации видео можно из ролика компании:
