Команда Bytedance недавно запустила усовершенствованную модель генерации речи под названием Seed-TTS. Эта технология, основанная на авторегрессионной архитектуре Transformer, делает сгенерированную речь не только естественной, но и очень выразительной, а ее качество не уступает человеческой речи. близко, почти неразличимо. Эта революционная технология демонстрирует выдающийся потенциал применения в области контроля эмоций, нового дубляжа и создания межъязыкового контента.

Процесс рассуждения Seed-TTS включает четыре основных этапа: сначала выучите и поймите каждую фонему или фонетический символ в эталонной речи с помощью речевого токенизатора, затем авторегрессионная языковая модель генерирует речевые теги на основе входного текста и существующей речевой информации; затем используется многоуровневый подход для создания непрерывного речевого представления посредством диффузионного преобразователя, и, наконец, синтезатор акустических сигналов генерирует речевой сигнал более высокого качества на основе этих промежуточных характеристик;

Кроме того, Seed-TTS также вводит неавторегрессивные варианты для дальнейшего улучшения производительности модели, особенно при обучении контекста с нулевым выстрелом, настройке произношения и эмоциональном контроле. Сочетание этих технологий не только улучшает естественность и управляемость произношения, но и значительно повышает гибкость и адаптируемость речи, позволяя модели хорошо справляться с задачами по генерации речи на разных языках.

Seed-TTS поддерживает точный контроль таких характеристик голоса, как эмоции, интонация и стиль речи, и подходит для различных сценариев, таких как аудиокниги, озвучивание видео и т. д. Модель также обладает возможностями обучения с нулевой выборкой, может генерировать высококачественную речь даже без обучающих данных и поддерживает функции редактирования контента и многоязычного перевода. Пользователь может указать эмоцию, которая должна быть выражена в речи, например гнев, счастье, печаль или удивление, и модель соответствующим образом отрегулирует высоту, интенсивность и темп речи в соответствии с выбранной эмоцией.

Сценарии применения этой модели чрезвычайно широки, включая, помимо прочего, виртуальных помощников, аудиокниг и аудиокниг, дубляж видео, автоматизацию обслуживания клиентов, дубляж фильмов и игр, производство новостей и подкастов, а также помощь людям с ограниченными возможностями. Seed-TTS не только повышает эффективность производства, но также обеспечивает более богатый и разнообразный голосовой вывод на различных носителях.

Хотя Seed-TTS является платным продуктом, его потенциал по улучшению естественности и выразительности синтеза речи служит хорошим предзнаменованием для многих других возможностей и инновационных приложений в будущем. Заинтересованные пользователи могут дополнительно узнать об этой технологии и испытать ее на официальном сайте ByteDance. Ожидается, что посредством непрерывных исследований и разработок Seed-TTS будет способствовать развитию и применению технологии синтеза речи во всем мире.