[2]Введение

Как мы подробно рассказываем в нашей статье [3] и на веб-сайте [4], OpenVoice имеет три преимущества:

1. Точное клонирование звука. OpenVoice может точно клонировать звуки ссылок и генерировать голос на нескольких языках и с разными акцентами.

2. Гибкое управление стилем звука. OpenVoice обеспечивает детальный контроль вокального стиля (например, эмоций и акцента), а также других параметров стиля (включая темп, паузы и интонацию).

3. Межъязыковое звуковое клонирование с нулевой выборкой. Ни сгенерированный язык голоса, ни язык ссылкиголоса не должны быть представлены в крупномасштабном многоязычном наборе обучающих данных.

[5]

OpenVoice поддерживает функцию мгновенного клонирования голоса myshell.ai с мая 2023 года. По состоянию на ноябрь 2023 года модель клонирования голоса использовалась пользователями по всему миру десятки миллионов раз, и наблюдался взрывной рост числа пользователей на платформе.

[7]Основные участники

• Цзэнъи Цинь[8] в Массачусетском технологическом институте и MyShell • Вэньлян Чжао[9] в Университете Цинхуа • Сюминь Ю[10] в Университете Цинхуа • Итан Сан[11] в MyShell

[12] Живая демонстрация

[13]

[14]

[15]Отказ от ответственности

Это реализация, которая по производительности приближается к внутренней технологии клонирования звука myshell.ai[16]. Онлайн-версия на myshell.ai имеет лучшее 1) качество звука, 2) сходство клонирования голоса, 3) естественность речи и 4) вычислительную эффективность.

[17]Установка

Клонируйте этот репозиторий и запустите

conda create -n openvoice python=3.9
conda activate openvoice
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
pip install -r requirements.txt

от здесь[18] Загрузите контрольную точку и распакуйте ее в checkpoints папка

[19] Как использовать

1. Гибкое управление стилем звука. пожалуйста, проверьте demo_part1.ipynb[20] в качестве примера использования OpenVoice для гибкого управления стилями клонированных голосов.

2. Межъязыковое клонирование звуков. пожалуйста, проверьте demo_part2.ipynb[21] чтобы увидеть примеры языков, присутствующих или невидимых в обучающем наборе MSML.

3. Gradio Демо. использовать python -m openvoice_app --share[22] Запустите локальную демонстрацию Gradio.

4. передовойиспользовать。 Базовое произношение Модель можно заменить на Модель на любом языке и в любом стиле, который предпочитает пользователь. Пожалуйста, используйте, как показано в демо-версии se_extractor.get_se Функция извлекает эмбедации тембра для новых базовых динамиков.

5. Подсказки для создания естественной речи. Существует множество моно- или многоканальных методов TTS, которые могут генерировать естественную речь и легко доступны. Просто заменив базовую вокальную модель на ту, которая вам нравится, вы можете повысить естественность речи до желаемого уровня.

[23]Дорожная карта

• Код вывода • Модель преобразования тембра • Многостильная базовая модель вокализации • Многостильная и многоязычная демонстрация • Базовые модели вокализации для других языков • Более естественная базовая модель вокализации EN

[24] Цитата

@article{qin2023openvoice,
title={OpenVoice: Versatile Instant Voice Cloning},
author={Qin, Zengyi and Zhao, Wenliang and Yu, Xumin and Sun, Xin},
journal={arXiv preprint arXiv:2312.01479},
year={2023}
}

[25] Лицензия

Этот репозиторий доступен под лицензией Creative Commons Attribution-NonCommercial 4.0 International License.,Нет коммерциииспользовать。MyShell сохраняет возможность определять, был ли звук сгенерирован OpenVoice.,Независимо от того, добавлен водяной знак или нет.

[26] Благодарности

Эта реализация основана на нескольких превосходных проектах: TTS [27], VITS [28] и VITS2 [29]. Спасибо за их прекрасную работу!

ссылка

Дополнительную информацию можно получить по ссылке: https://github.com/myshell-ai/OpenVoice.

References

[1] Discord Сообщество: https://discord.gg/myshell

[2] : https://github.com/myshell-ai/OpenVoice#introduction

[3] бумага: https://arxiv.org/abs/2312.01479

[4] сайт: https://research.myshell.ai/open-voice

[5] : https://github.com/myshell-ai/OpenVoice/blob/main/resources/framework-ipa.png

[6] myshell.ai: https://app.myshell.ai/explore

[7] : https://github.com/myshell-ai/OpenVoice#main-contributors

[8] Zengyi Qin: https://www.qinzy.tech/

[9] Wenliang Zhao: https://wl-zhao.github.io/

[10] Xumin Yu: https://yuxumin.github.io/

[11] Ethan Sun: https://twitter.com/ethan_myshell

[12] : https://github.com/myshell-ai/OpenVoice#live-demo

[13] : https://www.lepton.ai/playground/openvoice

[14] : https://app.myshell.ai/bot/z6Bvua/1702636181

[15] : https://github.com/myshell-ai/OpenVoice#disclaimer

[16] myshell.ai: https://app.myshell.ai/explore

[17] : https://github.com/myshell-ai/OpenVoice#installation

[18] здесь: https://myshell-public-repo-hosting.s3.amazonaws.com/checkpoints_1226.zip

[19] : https://github.com/myshell-ai/OpenVoice#usage

[20] demo_part1.ipynb: https://github.com/myshell-ai/OpenVoice/blob/main/demo_part1.ipynb

[21] demo_part2.ipynb: https://github.com/myshell-ai/OpenVoice/blob/main/demo_part2.ipynb

[22] python -m openvoice_app --share: https://github.com/myshell-ai/OpenVoice/blob/main/openvoice_app.py

[23] : https://github.com/myshell-ai/OpenVoice#roadmap

[24] : https://github.com/myshell-ai/OpenVoice#citation

[25] : https://github.com/myshell-ai/OpenVoice#license

[26] : https://github.com/myshell-ai/OpenVoice#acknowledgements

[27] TTS: https://github.com/coqui-ai/TTS

[28] VITS: https://github.com/jaywalnut310/vits

[29] VITS2: https://github.com/daniilrobnikov/vits2