开源 TTS 模型深度解析 · 2026

IndexTTS2.5 语音克隆实测:跨语言与提速拆解

03

IndexTTS2.5

bilibili · 五语言升级 · 2026 年 8 月 10 日发布

IndexTTS2.5 是完整的代际更新,而非补丁。语言覆盖从两种扩展到五种(中文、英文、日文、西班牙文、阿拉伯文),推理链路重新设计以提速(快 2.28×),并新增连续语速控制和精细发音控制。它也是极少数完整支持阿拉伯语语音克隆与跨语言迁移的开源 TTS 模型之一。

技术报告
arXiv:2601.03888
参数
约 0.8B(GPT 主干)
语言
zh, en, ja, es, ar
产出
22.05 kHz 波形
VRAM
约 6 GB(bf16)——本组最低
RTF
0.2065(bf16,总体,RTX 4090)
许可证
Bilibili Model License
下载
22.5k(ModelScope),5.49 GB

升级 1 —— 语义编解码压缩(提速的主要手段)

语义 token(词元)帧率从 50 Hz 降至 25 Hz,序列长度减半,使 T2S 和 S2M 的算力及内存需求均约减半。实测 T2S RTF 从 0.232(v2.0)降至 0.119(v2.5)。

升级 2 —— S2M 主干:U-DiT → Zipformer

主干网络结构参数MACs / 帧S2M RTF
U-DiT(v2.0)12 × 512110 M200 M0.078
Zipformer(v2.5)8 × 512 + 4×FFN(1024)68 M48 M0.017

Zipformer 交替使用分组卷积与轻量注意力(O(L·d·k) + O(L·d·log L),k = 5),以较低成本改善长距离建模。最终 S2M 快约 4.6×,参数减少 38 M。在成对主观偏好测试中,尽管模型更小,56% 的听众仍偏好基于 Zipformer 的输出。

升级 3 —— 跨语言策略

多语言训练会因为语言之间的字符重叠而让 tokenizer 混淆。 评估了三项补充战略:

  • 边界感知对齐——在每个片段前后插入明确的语言标记(如 <ZH>)。
  • token(词元)级拼接——将每个文本 token 与对应语言的嵌入融合。该方法在全部四种评测语言中取得最高说话人相似度与最低 WER,发布的模型采用的正是这一方案。
  • 指令引导生成——推理时使用自然语言前缀(如“请用英语读这段文字”),无需额外语言标签。

即使没有目标语言的情感标签,零样本情感迁移仍有效:日语 ES = 0.846,西班牙语 ES = 0.924。

升级 4 —— GRPO 强化学习后训练

在 T2S 后训练阶段,团队采用 GRPO(组相对策略优化),以冻结的 ASR 模型的 WER 作为奖励信号。每个输入采样四个候选语义序列,强化奖励较高的结果,并通过 KL 正则化防止漂移。

指标在 RL 之前在RL之后
英文 WER1.889%1.732%
日语 WER9.949%9.770%
说话人相似度稳定或稍有改进

新增控制维度

能力API / 语法
语音率控制duration_factor0.5×–2.0× 连续可调
中文发音<行|XING2>——拼音 + 声调
英文发音<minute|M IH1 . N AH0 T>——CMU 音素
日语发音<上手|じょうず>——假名
情感强度emo_alpha 调整情感强度;emo_vector 接收 8 维浮点向量
情感推理从文字本身自动推断情感语气

部署

  • Python 3.10–3.11、NVIDIA GPU,bf16 下需要 ~6 GB VRAM,为这五款模型中最低。
  • 安装:克隆官方仓库 → uv sync --all-extras → 从 Hugging Face 或 ModelScope 下载 IndexTeam/IndexTTS-2.5 权重。
  • Web UI:uv run webui.py → http://127.0.0.1:7860。同时提供 Python API 与本地 Gradio 演示。
  • 包含 vLLM 部署方案,是这五款模型中最适合高吞吐生产服务的选择。
  • 辅助模型(w2v-bert-2.0、MaskGCT 语义编解码、CAMPPlus、BigVGAN)首次运行时自动下载。
  • ComfyUI社区节点存在: BSAI_ComfyUI_IndexTTS-2.5 和 ComfyUI_JR_IndexTTS25.
值得了解的社区反馈:有用户报告,中英混排时英文偶有生成不稳,相比 IndexTTS2 的英文效果提升也并非总是明显;也有用户认可其速度和多语言覆盖。建议固定参考片段、混语种脚本与情感指令,从误读率、情感符合度及本机 RTF 三方面对比 2 与 2.5。

使用案例:本组中覆盖面最广

适用场景如何运行它小心点
多语言电影与短视频配音本组唯一具备明确时长控制的模型(0.5×–2.0× 连续语速),可将译文时长压缩到原时间轴不同语言平均句长相差 20–40%,不要期待首次生成就完全对齐
有声书与长文本旁白按段落分块,保留 10% 重叠,全程复用同一参考片段交付规格由自动检测把关,见下文 ACX 清单
游戏 NPC 语音资产生产离线批量生成数千条台词,边际成本接近零真正的限制是引擎格式,而非模型,见下文
呼叫中心批量通知 / IVRRTF 0.20 加上 vLLM 部署方案,使单张 4090 可承担生产负载高峰期仍会排队,需要缓存和并发上限
阿拉伯语、日语与西班牙语克隆支持五种语言及跨语言迁移;中→日说话人相似度 75.82,为本组最佳中英混排时英文仍可能不稳,务必实测
跨语言播客分发把整档节目克隆成多语言,同时保留主播音色广告片段的 AI 披露义务正在收紧

有声书:ACX 交付规格由自动检测把关

项目ACX要求AI 生成通常会在哪些地方不达标
封装格式MP3,192 kbps 以上,CBR(固定码率)导出为 VBR 会直接被拒绝
采样率44.1 kHz模型输出 22.05 / 24 / 48 kHz,需要重采样
声道单声道或立体声, 全书一致章节之间的设置漂移
平均响度(RMS)−23 dB 至 −18 dB原始 AI 输出通常在 −26 至 −24 dB,偏安静
峰值≤ −3 dB响度归一化后,强辅音可能在 0 dB 处削波
本底噪声< −60 dB RMS合成呼吸声或房间底噪超过该值
文件时长每个文件 ≤ 120 分钟将整本书放进同一个文件
片头 / 片尾静音片头 0.5–1 s,片尾 1–5 s过度裁剪导致首个音素从第 0 个采样点开始
零售试听样本1–5 分钟,仅包含正文混入制作人员信息
AI 披露在提交元数据中宣布AI描述提交时被遗忘
这是 AI 的结构性优势:没有麦克风嘶声、空调低频噪声或真实呼吸的爆破音,本底噪声接近静音。因此,应重点处理响度归一化和峰值控制,而非降噪;也不要指望降噪器挽救错误的导出。

游戏:引擎挡住你,而不是模型

格式与采样率

虚幻引擎 5 需要 WAV(16-bit,44.1 kHz)或 OGG Vorbis。

直接使用 MP3 会增加 200–300 ms 解码时延,导致口型同步失效。

经典失败:模型输出 48 kHz,项目音频源设置为 44.1 kHz,该线以双倍速度运行。

引擎设置

UE5:Sound Class 必须设为“Dialogue”。默认 SFX 类的 4:1 压缩会放大耳语、压平喊叫。

Unity:Audio Source Load Type——10 s 以下台词使用 Compressed in Memory,更长台词使用 Streaming。

资产管理

台词超过 500 条时,应在生成前确定命名规则,例如 CHARACTER_EMOTION_LINEID.wav。

否则,将文件对应到触发事件所花的时间,可能比生成时节省的时间更多。

性能预算

一个场景中同时播放超过 50–100 条语音可能造成内存峰值;需要音频池和 LOD(对远处 NPC 关闭口型同步)。

缓存命中率目标为 50–70%:预先生成可预测的剧情片段,仅实时生成即兴对话。

配音:成本对比

方案每分钟 · 每语种交付周期适应
人工录音棚配音$100–5002–6 周影视、广播及重要品牌项目
全自动 AI$2–20当天短式视频、课程、营销量
AI + 人类审查$50–200天数品牌敏感或规范的内容
本模型自行部署≈ $0.003(仅 GPU)即时需自行搭建流程,不含人工及运维
注意能力边界:2.5 是本组最快的模型,但它是内容制作引擎,而非实时对话引擎。首段音频低于 300 ms 的能力仍属于 Cartesia Sonic、Inworld、ElevenLabs Flash 等闭源引擎。用于实时语音智能体时,须自行搭建 VAD、语义端点检测及用户打断处理(通常基于 LiveKit 或 Pipecat),并让各阶段并行衔接。朴素串行流程总时延超过一秒;人类对话的轮次间隔通常为 200–300 ms,超过 700 ms 的停顿就会显得迟滞。

面向国际用户的结论

适合使用:需要紧凑模型提供阿拉伯语、日语或西班牙语克隆,需要 vLLM 生产服务,或字幕时间轴固定的流程需要连续语速控制时。

需注意:其 Bilibili Model License 要求月活超过 100M MAU 或年营收超过 ¥1B 时另行签署书面商用协议。多数初创公司达不到这一门槛,但大型企业须仔细审核。

5 种语言 快 2.28× 0.5×–2.0× 语速 拼音 / CMU / 假名 vLLM 部署方案 限制性许可证

在头对头数据中的位置

这是唯一参加 CV3-Eval 的 IndexTTS 模型,分别以基础版和 RL 版出现。下方列出四款最接近的竞争模型,完整九模型对比表见 06.2。

模型参数中文 WER / SS英文 WER / SS西班牙语 WER / SS
IndexTTS2.50.8 B4.36 / 77.105.12 / 68.063.75 / 76.39
IndexTTS2.5-RL0.8 B3.93 / 77.923.89 / 67.793.33 / 76.68
CosyVoice3-0.5B0.5 B3.84 / 80.014.88 / 74.164.04 / 78.85
Qwen3-TTS1.7 B3.27 / 73.025.06 / 67.172.87 / 73.17
MOSS-TTS-v1.58 B4.02 / 72.684.45 / 67.463.83 / 71.75
模型中→英 WER / SS中→西 WER / SS中→日 WER / SS
IndexTTS2.53.62 / 63.835.17 / 65.486.57 / 74.16
IndexTTS2.5-RL3.55 / 67.474.86 / 64.476.38 / 75.82
CosyVoice3-0.5B3.23 / 62.794.58 / 64.04—
Qwen3-TTS5.74 / 63.045.15 / 68.0236.09 / 65.71
模型精度总体 RTF条件
IndexTTS2.5bf160.2065RTX 4090时, kv cache= True
IndexTTS2 (参考)fp160.3257RTX 4090
VoxCPM2 (参考)bf16~0.30~0.13 Nano-VLLM
OmniVoice (参考)—0.025H100 + 自定义内核;~0.9–1.2× 在苹果硅上实时
三个要点。(1)配音类跨语言任务中,本模型在组内领先:中→英 WER 最佳(3.55),中→日说话人相似度最佳(75.82),体现了时长控制带来的对齐优势。(2)单语中文相似度并非最高:CosyVoice 3 为 80.01,2.5-RL 为 77.92,相差 2.1 分。(3)参数更多不代表更好:0.8 B 的模型胜过 8 B 的 MOSS-TTS-v1.5。

自己跑起来要花多少钱

设置RTFGPU-小时/M字符点播 RTX 4090点播 A100
IndexTTS2.5(bf16)0.20653.7 h~$2.75~$5.91
参考:VoxCPM2(Nano-VLLM)~0.132.3 h~$1.73~$3.72
比较成本/ M 字符多个
ElevenLabs v3$60–180~22–65×
ElevenLabs Flash$50–55~18–20×
开放AI tts-1$15~5.5×
谷歌/ Poly 标准$4~1.5×
比质量对比表更关键的是:IndexTTS2.5 是唯一同时满足低显存(~6 GB)、低 RTF(0.2065)与五种语言覆盖的选择,因此单张 RTX 4090 即可承担生产负载,无需 A100。仍需考虑:实测 RTF 通常比论文数据慢 2–5×;部署、监控、重试、分块拼接等工程成本通常比 GPU 账单高一个数量级。

许可与披露要求

项目状态
代码许可证开源
权重许可证Bilibili Model License
商用允许,但超过 100M MAU 或 ¥1B 年营收时须另签书面协议
默认水印未说明 → 按没有水印规划
您必须添加的内容AudioSeal / SynthID / C2PA 如果您有披露义务; 该模型不自带内容过滤
数据驻留可完全离线运行
门槛有多高?100M MAU 或 ¥1B(约 $140M)营收,几乎所有初创和中型团队都达不到,但它确实将大型平台排除在外。平台型企业须提前数月讨论授权,而非等到上线前一周。见 06.5。

其他可选方案

  • 仅做中文,追求最高说话人相似度 → CosyVoice3-0.5B(中文 SS 80.01)。先核对许可证,不要默认可商用。
  • 需要明确允许商用的许可条款 → VoxCPM2,代价是中→西(zh→es)表现明显较弱。
  • 需要排名最高且可商用交付的开源模型 → Step Audio EditX(Apache-2.0,盲听 Elo 1,102)。
  • 需要阿拉伯语且不受 Bilibili 授权门槛限制 → 本组无替代品,这正是 2.5 的优势。
在 BiliVoice 上试用

准备好使用 IndexTTS2.5 创作了吗?

打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。