F5-TTS：上海交大等开源的超逼真声音克隆TTS，15秒克隆声音

F5-TTS是什么？

F5-TTS是一款基于“流匹配（Flow Matching）”的全非自回归文本到语音（TTS）转换系统，由上海交通大学、剑桥大学和吉利汽车研究院联合开发。该系统采用先进的架构，具备零样本声音克隆、多语言合成、情感控制等功能，能够生成高度自然、流畅的语音。通过在超过10万小时的多语言数据上进行训练，F5-TTS 展现出卓越的语音生成能力，支持长文本合成、实时推理和多场景应用。

F5-TTS的功能特性

• 零样本声音克隆：F5-TTS 具备强大的零样本声音克隆功能，通过仅15秒的音频样本即可快速克隆目标声音，无需大量数据支持，生成的语音自然流畅。
• 多语言合成：F5-TTS 支持中英文等多语言的无缝切换，能够生成自然流畅的多语言语音输出。
• 情感控制：该系统可以根据用户需求生成带有不同情感的语音，从愤怒到喜悦再到悲伤，使语音更加生动富有表现力。
• 高效推理与快速生成：F5-TTS 的推理速度极快，实时因素（RTF）达到0.15，能够迅速生成高质量的语音。
• 速度控制：F5-TTS 允许用户根据文本总时长灵活调整语音生成的速度，使其适应不同场景的需求。
• 并行生成：与传统的逐步生成方式不同，F5-TTS 采用并行生成技术，同时处理多个步骤，从而显著加快语音生成速度。
• 长文本合成：F5-TTS 能够处理长文本语音合成，确保生成的语音自然、连贯。它特别适合有声书、新闻播报等场景，可以连续生成高质量的语音而不影响其流畅性。
• 大规模数据训练：F5-TTS 基于10万小时的多语言数据集进行训练，保证了其在多语言、多场景中的卓越表现，能够处理复杂的语境和语言结构。
• 流匹配架构：F5-TTS 采用了流匹配架构，简化了复杂的生成流程，如持续时间模型和音素对齐，同时提高了语音生成的精确性和自然性。

F5-TTS相关资源地址

• F5-TTS论文地址：https://arxiv.org/abs/2410.06885  
• F5-TTS模型下载：https://huggingface.co/SWivid/F5-TTS  
• F5-TTS Demo：https://huggingface.co/spaces/mrfakename/E2-F5-TTS  
• F5-TTS GitHub 代码：https://github.com/SWivid/F5-TTS
• F5-TTS项目地址：https://swivid.github.io/F5-TTS/

如何使用F5-TTS？

1、在线使用

你通过官网直接体验其多语言语音生成和速度、情感控制功能。

访问F5-TTS体验官网，上传原始音色音频，最好是说话的音频，也可以录制自己的声音上传。然后输入需要转成语音的文本。同步生成，最后就可生成带预期音色的音频了。

2、本地部署

本地部署，需要保证GPU资源（算力）充足及Python环境。

F5-TTS项目地址（部署教程）：https://github.com/SWivid/F5-TTS

• 克隆项目

git clone https://github.com/SWivid/F5-TTS.git
cd F5-TTS

• 安装项目依赖包

pip install -r requirements.txt

• 安装合适的CUDA包（英伟达显卡必须）

pip install torch==2.3.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118
pip install torchaudio==2.3.0+cu118 --extra-index-url https://download.pytorch.org/whl/cu118

• 准备数据集并训练、推理、运行项目

python gradio_app.py