Doom уже запускали на самых неожиданных штуках — от калькуляторов и газонокосилок до стандартных приложений Windows. Но запустить его с помощью нескольких генеративных нейросетей? Это впервые происходит с этим легендарным шутером от id Software.
Команда из четырёх бывших и нынешних сотрудников Google Research и Google DeepMind представила GameNGen — игровой движок на базе нейросети, который может создавать сложные и интерактивные сцены высокого качества. GameNGen умеет симулировать геймплей Doom в реальном времени на 20 кадрах в секунду. При этом нейросеть достигает отношения сигнал/шум до 29,4, что сравнимо с качеством JPEG-сжатия с потерями.
Обучение GameNGen происходило в два этапа: сначала ИИ-агент играл в Doom и записывал свои сессии, а потом диффузионная модель училась генерировать следующий кадр на основе предыдущих и команд игрока. Проще говоря, GameNGen не создает игру на лету, а воспроизводит то, что уже видел. Вместо обычного рендеринга нейросеть просто создает серию кадров, реагируя на действия игрока.
Сейчас у GameNGen есть несколько ограничений, таких как очень короткая память (немного больше трёх секунд) и различия в поведении между обучающим агентом и реальным игроком. Хотя GameNGen пока далёк от идеала, его создатели надеются, что в будущем их работа поможет сделать разработку видеоигр дешевле и доступнее.
