IndexTTS2.5 语音克隆实测:跨语言与提速拆解
IndexTTS2.5
bilibili · 五语言升级 · 2026 年 8 月 10 日发布
IndexTTS2.5 是完整的代际更新,而非补丁。语言覆盖从两种扩展到五种(中文、英文、日文、西班牙文、阿拉伯文),推理链路重新设计以提速(快 2.28×),并新增连续语速控制和精细发音控制。它也是极少数完整支持阿拉伯语语音克隆与跨语言迁移的开源 TTS 模型之一。
- 技术报告
- arXiv:2601.03888
- 参数
- 约 0.8B(GPT 主干)
- 语言
- zh, en, ja, es, ar
- 产出
- 22.05 kHz 波形
- VRAM
- 约 6 GB(bf16)——本组最低
- RTF
- 0.2065(bf16,总体,RTX 4090)
- 许可证
- Bilibili Model License
- 下载
- 22.5k(ModelScope),5.49 GB
升级 1 —— 语义编解码压缩(提速的主要手段)
语义 token(词元)帧率从 50 Hz 降至 25 Hz,序列长度减半,使 T2S 和 S2M 的算力及内存需求均约减半。实测 T2S RTF 从 0.232(v2.0)降至 0.119(v2.5)。
升级 2 —— S2M 主干:U-DiT → Zipformer
| 主干网络 | 结构 | 参数 | MACs / 帧 | S2M RTF |
|---|---|---|---|---|
| U-DiT(v2.0) | 12 × 512 | 110 M | 200 M | 0.078 |
| Zipformer(v2.5) | 8 × 512 + 4×FFN(1024) | 68 M | 48 M | 0.017 |
Zipformer 交替使用分组卷积与轻量注意力(O(L·d·k) + O(L·d·log L),k = 5),以较低成本改善长距离建模。最终 S2M 快约 4.6×,参数减少 38 M。在成对主观偏好测试中,尽管模型更小,56% 的听众仍偏好基于 Zipformer 的输出。
升级 3 —— 跨语言策略
多语言训练会因为语言之间的字符重叠而让 tokenizer 混淆。 评估了三项补充战略:
- 边界感知对齐——在每个片段前后插入明确的语言标记(如
<ZH>)。 - token(词元)级拼接——将每个文本 token 与对应语言的嵌入融合。该方法在全部四种评测语言中取得最高说话人相似度与最低 WER,发布的模型采用的正是这一方案。
- 指令引导生成——推理时使用自然语言前缀(如“请用英语读这段文字”),无需额外语言标签。
即使没有目标语言的情感标签,零样本情感迁移仍有效:日语 ES = 0.846,西班牙语 ES = 0.924。
升级 4 —— GRPO 强化学习后训练
在 T2S 后训练阶段,团队采用 GRPO(组相对策略优化),以冻结的 ASR 模型的 WER 作为奖励信号。每个输入采样四个候选语义序列,强化奖励较高的结果,并通过 KL 正则化防止漂移。
| 指标 | 在 RL 之前 | 在RL之后 |
|---|---|---|
| 英文 WER | 1.889% | 1.732% |
| 日语 WER | 9.949% | 9.770% |
| 说话人相似度 | 稳定或稍有改进 | |
新增控制维度
| 能力 | API / 语法 |
|---|---|
| 语音率控制 | duration_factor0.5×–2.0× 连续可调 |
| 中文发音 | <行|XING2>——拼音 + 声调 |
| 英文发音 | <minute|M IH1 . N AH0 T>——CMU 音素 |
| 日语发音 | <上手|じょうず>——假名 |
| 情感强度 | emo_alpha 调整情感强度;emo_vector 接收 8 维浮点向量 |
| 情感推理 | 从文字本身自动推断情感语气 |
部署
- Python 3.10–3.11、NVIDIA GPU,bf16 下需要 ~6 GB VRAM,为这五款模型中最低。
- 安装:克隆官方仓库 →
uv sync --all-extras→ 从 Hugging Face 或 ModelScope 下载IndexTeam/IndexTTS-2.5权重。 - Web UI:
uv run webui.py→http://127.0.0.1:7860。同时提供 Python API 与本地 Gradio 演示。 - 包含 vLLM 部署方案,是这五款模型中最适合高吞吐生产服务的选择。
- 辅助模型(w2v-bert-2.0、MaskGCT 语义编解码、CAMPPlus、BigVGAN)首次运行时自动下载。
- ComfyUI社区节点存在:
BSAI_ComfyUI_IndexTTS-2.5和ComfyUI_JR_IndexTTS25.
使用案例:本组中覆盖面最广
| 适用场景 | 如何运行它 | 小心点 |
|---|---|---|
| 多语言电影与短视频配音 | 本组唯一具备明确时长控制的模型(0.5×–2.0× 连续语速),可将译文时长压缩到原时间轴 | 不同语言平均句长相差 20–40%,不要期待首次生成就完全对齐 |
| 有声书与长文本旁白 | 按段落分块,保留 10% 重叠,全程复用同一参考片段 | 交付规格由自动检测把关,见下文 ACX 清单 |
| 游戏 NPC 语音资产生产 | 离线批量生成数千条台词,边际成本接近零 | 真正的限制是引擎格式,而非模型,见下文 |
| 呼叫中心批量通知 / IVR | RTF 0.20 加上 vLLM 部署方案,使单张 4090 可承担生产负载 | 高峰期仍会排队,需要缓存和并发上限 |
| 阿拉伯语、日语与西班牙语克隆 | 支持五种语言及跨语言迁移;中→日说话人相似度 75.82,为本组最佳 | 中英混排时英文仍可能不稳,务必实测 |
| 跨语言播客分发 | 把整档节目克隆成多语言,同时保留主播音色 | 广告片段的 AI 披露义务正在收紧 |
有声书:ACX 交付规格由自动检测把关
| 项目 | ACX要求 | AI 生成通常会在哪些地方不达标 |
|---|---|---|
| 封装格式 | MP3,192 kbps 以上,CBR(固定码率) | 导出为 VBR 会直接被拒绝 |
| 采样率 | 44.1 kHz | 模型输出 22.05 / 24 / 48 kHz,需要重采样 |
| 声道 | 单声道或立体声, 全书一致 | 章节之间的设置漂移 |
| 平均响度(RMS) | −23 dB 至 −18 dB | 原始 AI 输出通常在 −26 至 −24 dB,偏安静 |
| 峰值 | ≤ −3 dB | 响度归一化后,强辅音可能在 0 dB 处削波 |
| 本底噪声 | < −60 dB RMS | 合成呼吸声或房间底噪超过该值 |
| 文件时长 | 每个文件 ≤ 120 分钟 | 将整本书放进同一个文件 |
| 片头 / 片尾静音 | 片头 0.5–1 s,片尾 1–5 s | 过度裁剪导致首个音素从第 0 个采样点开始 |
| 零售试听样本 | 1–5 分钟,仅包含正文 | 混入制作人员信息 |
| AI 披露 | 在提交元数据中宣布AI描述 | 提交时被遗忘 |
游戏:引擎挡住你,而不是模型
格式与采样率
虚幻引擎 5 需要 WAV(16-bit,44.1 kHz)或 OGG Vorbis。
直接使用 MP3 会增加 200–300 ms 解码时延,导致口型同步失效。
经典失败:模型输出 48 kHz,项目音频源设置为 44.1 kHz,该线以双倍速度运行。
引擎设置
UE5:Sound Class 必须设为“Dialogue”。默认 SFX 类的 4:1 压缩会放大耳语、压平喊叫。
Unity:Audio Source Load Type——10 s 以下台词使用 Compressed in Memory,更长台词使用 Streaming。
资产管理
台词超过 500 条时,应在生成前确定命名规则,例如 CHARACTER_EMOTION_LINEID.wav。
否则,将文件对应到触发事件所花的时间,可能比生成时节省的时间更多。
性能预算
一个场景中同时播放超过 50–100 条语音可能造成内存峰值;需要音频池和 LOD(对远处 NPC 关闭口型同步)。
缓存命中率目标为 50–70%:预先生成可预测的剧情片段,仅实时生成即兴对话。
配音:成本对比
| 方案 | 每分钟 · 每语种 | 交付周期 | 适应 |
|---|---|---|---|
| 人工录音棚配音 | $100–500 | 2–6 周 | 影视、广播及重要品牌项目 |
| 全自动 AI | $2–20 | 当天 | 短式视频、课程、营销量 |
| AI + 人类审查 | $50–200 | 天数 | 品牌敏感或规范的内容 |
| 本模型自行部署 | ≈ $0.003(仅 GPU) | 即时 | 需自行搭建流程,不含人工及运维 |
面向国际用户的结论
适合使用:需要紧凑模型提供阿拉伯语、日语或西班牙语克隆,需要 vLLM 生产服务,或字幕时间轴固定的流程需要连续语速控制时。
需注意:其 Bilibili Model License 要求月活超过 100M MAU 或年营收超过 ¥1B 时另行签署书面商用协议。多数初创公司达不到这一门槛,但大型企业须仔细审核。
在头对头数据中的位置
这是唯一参加 CV3-Eval 的 IndexTTS 模型,分别以基础版和 RL 版出现。下方列出四款最接近的竞争模型,完整九模型对比表见 06.2。
| 模型 | 参数 | 中文 WER / SS | 英文 WER / SS | 西班牙语 WER / SS |
|---|---|---|---|---|
| IndexTTS2.5 | 0.8 B | 4.36 / 77.10 | 5.12 / 68.06 | 3.75 / 76.39 |
| IndexTTS2.5-RL | 0.8 B | 3.93 / 77.92 | 3.89 / 67.79 | 3.33 / 76.68 |
| CosyVoice3-0.5B | 0.5 B | 3.84 / 80.01 | 4.88 / 74.16 | 4.04 / 78.85 |
| Qwen3-TTS | 1.7 B | 3.27 / 73.02 | 5.06 / 67.17 | 2.87 / 73.17 |
| MOSS-TTS-v1.5 | 8 B | 4.02 / 72.68 | 4.45 / 67.46 | 3.83 / 71.75 |
| 模型 | 中→英 WER / SS | 中→西 WER / SS | 中→日 WER / SS |
|---|---|---|---|
| IndexTTS2.5 | 3.62 / 63.83 | 5.17 / 65.48 | 6.57 / 74.16 |
| IndexTTS2.5-RL | 3.55 / 67.47 | 4.86 / 64.47 | 6.38 / 75.82 |
| CosyVoice3-0.5B | 3.23 / 62.79 | 4.58 / 64.04 | — |
| Qwen3-TTS | 5.74 / 63.04 | 5.15 / 68.02 | 36.09 / 65.71 |
| 模型 | 精度 | 总体 RTF | 条件 |
|---|---|---|---|
| IndexTTS2.5 | bf16 | 0.2065 | RTX 4090时, kv cache= True |
| IndexTTS2 (参考) | fp16 | 0.3257 | RTX 4090 |
| VoxCPM2 (参考) | bf16 | ~0.30 | ~0.13 Nano-VLLM |
| OmniVoice (参考) | — | 0.025 | H100 + 自定义内核;~0.9–1.2× 在苹果硅上实时 |
自己跑起来要花多少钱
| 设置 | RTF | GPU-小时/M字符 | 点播 RTX 4090 | 点播 A100 |
|---|---|---|---|---|
| IndexTTS2.5(bf16) | 0.2065 | 3.7 h | ~$2.75 | ~$5.91 |
| 参考:VoxCPM2(Nano-VLLM) | ~0.13 | 2.3 h | ~$1.73 | ~$3.72 |
| 比较 | 成本/ M 字符 | 多个 |
|---|---|---|
| ElevenLabs v3 | $60–180 | ~22–65× |
| ElevenLabs Flash | $50–55 | ~18–20× |
开放AI tts-1 | $15 | ~5.5× |
| 谷歌/ Poly 标准 | $4 | ~1.5× |
许可与披露要求
| 项目 | 状态 |
|---|---|
| 代码许可证 | 开源 |
| 权重许可证 | Bilibili Model License |
| 商用 | 允许,但超过 100M MAU 或 ¥1B 年营收时须另签书面协议 |
| 默认水印 | 未说明 → 按没有水印规划 |
| 您必须添加的内容 | AudioSeal / SynthID / C2PA 如果您有披露义务; 该模型不自带内容过滤 |
| 数据驻留 | 可完全离线运行 |
其他可选方案
- 仅做中文,追求最高说话人相似度 → CosyVoice3-0.5B(中文 SS 80.01)。先核对许可证,不要默认可商用。
- 需要明确允许商用的许可条款 → VoxCPM2,代价是中→西(zh→es)表现明显较弱。
- 需要排名最高且可商用交付的开源模型 → Step Audio EditX(Apache-2.0,盲听 Elo 1,102)。
- 需要阿拉伯语且不受 Bilibili 授权门槛限制 → 本组无替代品,这正是 2.5 的优势。
准备好使用 IndexTTS2.5 创作了吗?
打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。