Microsoft выпустила революционный синтезатор речи VibeVoice превращающий статьи в подкасты

Новая система с открытым исходным кодом генерирует длинные аудиозаписи с несколькими голосами и эмоциями. Модель уже доступна для тестирования и работает даже на домашних компьютерах.

Microsoft выпустила революционный синтезатор речи VibeVoice превращающий статьи в подкасты

Microsoft представила VibeVoice — инновационную систему синтеза речи, которая способна создавать аудиоподкасты длительностью до 90 минут. В отличие от традиционных TTS-систем, эта модель может одновременно использовать до четырех уникальных голосов, естественно передавать эмоции и управлять диалогами между участниками.

Для тестирования доступны две версии: компактная на 1.5 млрд параметров (7 ГБ VRAM) и более продвинутая на 7 млрд параметров (18 ГБ VRAM). Система пока работает только с английским и китайским языками, но разработчики promise в будущем добавить поддержку других языков. Голоса звучат реалистично, хотя искусственное происхождение еще заметно.

Особенность VibeVoice — возможность локальной установки, что позволяет использовать ее без подключения к облачным сервисам. Это открывает перспективы для интеграции в чат-ботов и голосовых ассистентов. Проект уже доступен на GitHub и Hugging Face, где можно найти подробные инструкции по установке и настройке. Для тех, кто не хочет разбираться с технической частью, есть онлайн-демо.

Читайте также

Китайский исследователь с помощью ChatGPT решил математическую задачу, над которой бились более 20 лет

Китайский исследователь с помощью ChatGPT решил математическую задачу, над которой бились более 20 лет

Мужчина спрятал инструкции для ИИ в судебных документах и получил запрет на электронную подачу

Мужчина спрятал инструкции для ИИ в судебных документах и получил запрет на электронную подачу

США и Япония хотят добывать редкоземельные металлы на глубине 6 км

США и Япония хотят добывать редкоземельные металлы на глубине 6 км

В России создали искусственное ухо с помощью гибридной 3D-биопечати

В России создали искусственное ухо с помощью гибридной 3D-биопечати

В Китае создали простую роборуку BioflexBot, которая оказалась гибче человеческой

В Китае создали простую роборуку BioflexBot, которая оказалась гибче человеческой

ИИ помог найти опасную уязвимость Zoom всего за 20 запросов

ИИ помог найти опасную уязвимость Zoom всего за 20 запросов

Цифровые двойники помогут наделить вагон-термос беспрецедентными свойствами

Цифровые двойники помогут наделить вагон-термос беспрецедентными свойствами

В МАИ научили дроны видеть препятствия и думать самостоятельно

В МАИ научили дроны видеть препятствия и думать самостоятельно

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Медицинские технологии, в которые почти невозможно поверить

Медицинские технологии, в которые почти невозможно поверить

Квантовый двигатель нарушает законы термодинамики, генерируя работу и холод одновременно

Квантовый двигатель нарушает законы термодинамики, генерируя работу и холод одновременно

ИИ в джунглях: как в Коста-Рике тестируют сообразительность диких обезьян

ИИ в джунглях: как в Коста-Рике тестируют сообразительность диких обезьян

Падение ступени Falcon 9 на Луну подняло вопрос о космическом мусоре

Падение ступени Falcon 9 на Луну подняло вопрос о космическом мусоре

Спутник CosmoCube размером с чемодан заглянет в «темные века» Вселенной

Спутник CosmoCube размером с чемодан заглянет в «темные века» Вселенной

В России созданы планарные ионные ловушки для квантовых компьютеров

В России созданы планарные ионные ловушки для квантовых компьютеров

Рождение сверхпрочных материалов: как нанопокрытия обманывают физику разрушения

Рождение сверхпрочных материалов: как нанопокрытия обманывают физику разрушения