HeyGen实现流程中的语音克隆,现在有最佳开源方案了:XTTS v2,单样本即可克隆语音。现在已经能实现:让一个明星的采访视频,变成他讲述任意小故事(内容可以GPT编)的视频,声音是他的声音,嘴型也能对上。
🐸TTS 是一个用于高级文本转语音生成的库。
🚀 超过 1100 种语言的预训练模型。
🛠️ 用于以任何语言训练新模型和微调现有模型的工具。
📚 用于数据集分析和管理的实用程序。
🥇 TTS 性能
带下划线的“TTS*”和“Judy*”是未开源发布的内部🐸TTS 模型。他们来这里是为了展示潜力。以点为前缀的模型(.Jofish、.Abe 和 .Janice)是真实的人声。
特征
- 用于 Text2Speech 任务的高性能深度学习模型。
- Text2Spec 模型(Tacotron、Tacotron2、Glow-TTS、SpeedySpeech)。
- 扬声器编码器可有效计算扬声器嵌入。
- 声码器模型(MelGAN、Multiband-MelGAN、GAN-TTS、ParallelWaveGAN、WaveGrad、WaveRNN)
- 快速高效的模型训练。
- 终端和 Tensorboard 上的详细训练日志。
- 支持多扬声器 TTS。
- 高效、灵活、轻量但功能齐全 Trainer API 。
- 已发布且可供使用的模型。
- 用于在 dataset_analysis 下整理 Text2Speech 数据集的工具。
- 使用和测试模型的实用程序。
- 模块化(但不是太多)代码库可以轻松实现新想法。
安装
🐸TTS 在 Ubuntu 18.04 上测试,Python >= 3.9, < 3.12..
如果您只对使用已发布的 🐸TTS 模型合成语音感兴趣,从 PyPI 安装是最简单的选择。
pip install TTS
如果您计划编码或训练模型,请克隆 🐸TTS 并在本地安装。
git clone https://github.com/coqui-ai/TTS
pip install -e .[all,dev,notebooks] # Select the relevant extras
如果您使用的是 Ubuntu (Debian),您还可以运行以下命令进行安装。
$ make system-deps # intended to be used on Ubuntu (Debian). Let us know if you have a different OS.
$ make install
如果您使用的是 Windows,@GuyPaddock 在此编写了安装说明。
Docker 镜像
您还可以尝试 TTS,无需安装 docker 镜像。只需运行以下命令,您无需安装即可运行 TTS。
docker run --rm -it -p 5002:5002 --entrypoint /bin/bash ghcr.io/coqui-ai/tts-cpu
python3 TTS/server/server.py --list_models #To get the list of available models
python3 TTS/server/server.py --model_name tts_models/en/vctk/vits # To start a server
然后,您可以在此处享受 TTS 服务器有关 docker 映像(例如 GPU 支持)的更多详细信息可以在此处找到
项目链接
https://github.com/coqui-ai/tts
XTTS v2在线体验:https://huggingface.co/spaces/coqui/xtts
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/Yun267353.html