Microsoft выпустила революционный синтезатор речи VibeVoice превращающий статьи в подкасты

Новая система с открытым исходным кодом генерирует длинные аудиозаписи с несколькими голосами и эмоциями. Модель уже доступна для тестирования и работает даже на домашних компьютерах.

Microsoft выпустила революционный синтезатор речи VibeVoice превращающий статьи в подкасты

Microsoft представила VibeVoice — инновационную систему синтеза речи, которая способна создавать аудиоподкасты длительностью до 90 минут. В отличие от традиционных TTS-систем, эта модель может одновременно использовать до четырех уникальных голосов, естественно передавать эмоции и управлять диалогами между участниками.

Для тестирования доступны две версии: компактная на 1.5 млрд параметров (7 ГБ VRAM) и более продвинутая на 7 млрд параметров (18 ГБ VRAM). Система пока работает только с английским и китайским языками, но разработчики promise в будущем добавить поддержку других языков. Голоса звучат реалистично, хотя искусственное происхождение еще заметно.

Особенность VibeVoice — возможность локальной установки, что позволяет использовать ее без подключения к облачным сервисам. Это открывает перспективы для интеграции в чат-ботов и голосовых ассистентов. Проект уже доступен на GitHub и Hugging Face, где можно найти подробные инструкции по установке и настройке. Для тех, кто не хочет разбираться с технической частью, есть онлайн-демо.

Читайте также

Робот-пожарный стреляет пеной на 60 метров

Робот-пожарный стреляет пеной на 60 метров

Сэм Альтман назвал локальный ИИ неэффективной тратой оперативной памяти

Сэм Альтман назвал локальный ИИ неэффективной тратой оперативной памяти

Российские ученые создали нанокаркас для двойной атаки на раковые клетки

Российские ученые создали нанокаркас для двойной атаки на раковые клетки

ИИ обнаружил 33 новых материала MXene в научных архивах 1970-х годов

ИИ обнаружил 33 новых материала MXene в научных архивах 1970-х годов

Nvidia выпустила открытую ИИ-модель для транскрибации аудио на 40 языках

Nvidia выпустила открытую ИИ-модель для транскрибации аудио на 40 языках

Полиэтилен низкого давления изменит судостроение

Полиэтилен низкого давления изменит судостроение

Разведка США показала секретный космоплан Китая «Шэньлун» рядом с неизвестным спутником

Разведка США показала секретный космоплан Китая «Шэньлун» рядом с неизвестным спутником

В МИСИС усовершенствовали магнитные датчики для поиска микротрещин в зданиях

В МИСИС усовершенствовали магнитные датчики для поиска микротрещин в зданиях

Что происходит с физикой, когда вы прыгаете в вагоне поезда?

Что происходит с физикой, когда вы прыгаете в вагоне поезда?

«Черный ящик»: как устроен главный свидетель авиакатастроф и почему его нельзя заменить облаком

«Черный ящик»: как устроен главный свидетель авиакатастроф и почему его нельзя заменить облаком

Комета Галлея возвращается: почему её появление в 1986 году разочаровало миллионы людей и чего ждать в 2061-м

Комета Галлея возвращается: почему её появление в 1986 году разочаровало миллионы людей и чего ждать в 2061-м

Не только чума: семь самых смертоносных эпидемий и пандемий в истории человечества

Не только чума: семь самых смертоносных эпидемий и пандемий в истории человечества

NASA потеряло связь с «Вояджером-1» перед историческим рекордом

NASA потеряло связь с «Вояджером-1» перед историческим рекордом

В Китае научились восстанавливать сознание пациентов с помощью ультразвука

В Китае научились восстанавливать сознание пациентов с помощью ультразвука

Toyota и Waymo начали испытания беспилотных такси bZ4X в Японии

Toyota и Waymo начали испытания беспилотных такси bZ4X в Японии

Nokia 2360 Flip — новая кнопочная раскладушка с кнопкой SOS и удалённым управлением

Nokia 2360 Flip — новая кнопочная раскладушка с кнопкой SOS и удалённым управлением