Компания Яндекс начала разработку первой версии единой нейросетевой модели Alice AI ART 2.0. По заявлению разработчиков, особенность новой модели в том, что она одинаково хорошо умеет генерировать изображения и редактировать их по инструкции пользователя.
В Яндексе рассказали, что раньше генерация и редактирование изображений развивались как два независимых технологических стека со своими моделями, данными, метриками и процессами обучения, а любое улучшение приходилось внедрять отдельно для каждой системы. Переход к единой модели позволил объединить оба сценария в общей архитектуре, благодаря чему знания, полученные при обучении генерации, автоматически используются и при редактировании.
Разработчики Alice AI ART 2.0 также отмечают, что нововведения особенно заметны при работе с редкими визуальными концептами. Если модель научилась создавать по текстовому запросу изображения с элементами хохломской росписи или самоваром, она сможет корректно использовать эти же объекты при редактировании существующих изображений.
Разработчики также внедрили в архитектуру отдельный модуль, который преобразует короткий запрос пользователя в более подробное описание задачи для модели. Компания подсчитала, что это повысило точность редактирования изображений примерно на 12% без изменения самой генеративной модели.
Отдельное внимание разработчики уделили генерации текста внутри изображений. Для обучения модели были подготовлены специализированные наборы данных на русском и английском языках, что позволило повысить качество работы с надписями. Alice AI ART 2.0 уже используется в в приложениях «Алиса AI» и «Шедеврум».