IndexTTS2 语音克隆实测:情绪与时长控制怎么调
IndexTTS2
bilibili · 情感表达与时长控制 · 2025 年 9 月 8 日发布
IndexTTS2 让这一系列在国际上走红:2025 年底在西方社交平台流传的“中国古装剧 AI 英文配音”视频正是用它生成的。它是首个将精确时长控制与自然自由生成结合的自回归零样本 TTS 模型,通过解耦情感与说话人身份,让音色和情感可分别指定。GitHub 仓库已超过 10k star,权重与推理代码均已发布。
- 论文
- arXiv:2506.21619
- 架构
- T2S + S2M + BigVGANv2
- 情感训练数据
- 55K 样本 / 135 小时情感语音
- 克隆输入
- 约 5 秒音频,相似度 >85%
- VRAM
- ~15 GB
- RTF (RTX 4090)
- 0.3257(fp16,总体)
- 社区
- Discord 社区 + 兼容 OpenAI 的 API 分支
架构 —— 三级级联
- 文本到语义(T2S)——采用 LLM 风格的自回归 Transformer,接收源文本、风格提示、音色提示及可选的目标 token(词元)数量,输出语义 token。
- 语义到梅尔频谱(S2M)——通过流匹配模块,根据语义 token(词元)和音色条件预测梅尔频谱。用流匹配替代离散声学 token,是在强烈情绪下保留细节的关键。
- BigVGANv2 声码器——将梅尔频谱转换为波形。
创新一 —— 自回归模型中的时长控制
自回归 TTS 逐 token(词元)生成,因此难以精确达到目标时长;配音需要音频与画面对齐,这尤其成问题。IndexTTS2 通过约束 token 数量解决:
- 专门的时长嵌入将目标 token(词元)数量注入 T2S,模型据此将位置信息与目标预算对齐。
- 训练时随机采样时长缩放任务(如 0.75×、1.25×),让模型在不同目标长度下保持流畅和情感一致。
- 实测 token(词元)数量误差率低于 0.03%,且经常低于 0.02%。
- 两种运行模式:受约束模式(指定 token 数量 → 精确时长)和自由生成模式(不指定 token 数量 → 忠实复现提示音频的韵律)。
创新 2 —— 情感与音色解耦,四种控制方式
| 控制模式 | 如何运作 |
|---|---|
| 单段参考音频 | 单个片段同时提供音色与情感(经典零样本克隆) |
| 独立情感参考 | 风格提示可来自与音色参考不同的说话人,甚至使用另一种语言 |
| 情感向量 | 8 个维度:快乐、愤怒、悲伤、恐惧、厌恶、忧郁、惊讶、平静,支持调整权重及随机采样 |
| 文本描述(“软指令”) | 经微调的 Qwen3 将自然语言描述(“带一点委屈地说”“你吓死我了!”)映射为情感引导 |
架构通过梯度反转层(GRL)及独立的说话人/情感感知器实施解耦,避免模型把身份信息泄漏到情感路径中。
创新 3 — 在极端情绪下的清晰度
喊叫和抽泣常使表现力型 TTS 的可懂度下降。IndexTTS2 结合 GPT 隐表示与新的三阶段训练范式稳定生成。喊叫时实测 WER 为 1.883%,实现了有表现力而不牺牲可懂度。
报告结果
| 指标 | 数值 | 背景情况 |
|---|---|---|
| 情感相似性(ES) | 0.887 | 超越其他 SOTA 零样本模型 |
| 情感 MOS (EMOS) | 4.22 | 自然、层次得当的表达 |
| WER 在强烈的情感下 | 1.883% | 呐喊/哭泣情景 |
| 持续时间控制错误 | <0.03% | 0.75×–1.25× 速度测试 |
实测推理速度(RTX 4090,kv_cache=True)
| 输入长度 | v2.0 fp16 | v2.0 fp32 |
|---|---|---|
| 7 字符 | 0.4004 | 0.3748 |
| 16 字符 | 0.3322 | 0.3389 |
| 28 字符 | 0.3257 | 0.3480 |
| 80 字符 | 0.3229 | 0.3754 |
| 200 字符 | 0.3244 | 0.3990 |
| 总体 | 0.3257 | 0.3748 |
在 NVIDIA L40S 上基于 Docker 的独立测试(4 个版本 × 4 个场景 × 5 次运行,共 80 个用例,成功率 100%)显示,生产镜像的端到端时延为:中文短文本 ~6.4 s、中文长文本 ~28 s、英文短文本 ~7.6 s、英文长文本 ~35.4 s。v2.1-cuda 构建版中文最快,v2.0-production 英文最稳定。
/v1/audio/speech 风格)及 Voxta 集成,可较方便地接入现有流程。适用场景:何时选择 IndexTTS2
| 适用场景 | 如何运行它 | 小心点 |
|---|---|---|
| 动画、动态漫画与短视频情感配音 | 用 8 维情感向量或自然语言指令控制情绪;音色与情感解耦,可用 A 的声音承载 B 的情感 | ~15 GB VRAM,本组最高 |
| 有声书中的情感段落 | 对话附加情感指令,旁白使用“平静” | 长文本仍会漂移,必须分块并校验重叠区(见 06.3) |
| 播客与双主播节目 | 为每位主播固定一个参考片段和一条情感指令,所以各集保持一致 | 广告与赞助片段的 AI 披露义务正在收紧(见 06.5) |
| 为已有演绎重新配音 | 保持音色不变,只替换情感向量——比重录一遍便宜得多 | 在极端情绪(抽泣、大喊)下测试咬字清晰度;WER 会升高 |
| 视频配音(第一代方案) | 时长控制将 token 数量误差保持在 0.03% 以下,使音频与画面对齐 | 需要连续调速时,2.5 的 0.5×–2.0× 控制更合适 |
面向国际用户的结论
适合使用:制作 AI 配音、有声书、角色语音,或音频须匹配固定时间线,以及需要把同一段演绎改为另一种情绪时。
需注意:需要 ~15 GB 显存,且英语是这一模型系列的次要目标语言。正式采用前,务必用自己的英文脚本与西方模型(Chatterbox、XTTS-v2、F5-TTS)做 A/B 对比。
在头对头数据中的位置
IndexTTS2 同样未参加 CV3-Eval,该表覆盖的是 2.5 一代。它的直接对比证据主要来自 RTX 4090 的实测 RTF(见上文“实测推理速度”)。
| 版本 | 精度 | 总体 RTF | 对比 2.5 |
|---|---|---|---|
| IndexTTS2 | fp16 | 0.3257 | ~1.58× 慢一点 |
| IndexTTS2 | fp32 | 0.3748 | ~1.82× 慢一点 |
| IndexTTS2.5 | bf16 | 0.2065 | 基线 |
RTF 0.3257 意味着约 3.1× 实时速度:生成一百万字符(约 18 小时音频)需要约 5.9 GPU 小时。
自己跑起来要花多少钱
| 设置 | RTF | GPU-小时/M字符 | 点播 RTX 4090 ($0.74/h) | 点播 A100 ($1.59/h) |
|---|---|---|---|---|
| IndexTTS2(fp16) | 0.3257 | 5.9 h | ~$4.34 | ~$9.32 |
| 参考:IndexTTS2.5(bf16) | 0.2065 | 3.7 h | ~$2.75 | ~$5.91 |
把它和商用 API 价目表放在一起比较 :
| 选项 | 成本/ M 字符 | 维苏斯 IndexTTS2 |
|---|---|---|
| ElevenLabs v3 | $60–180 | ~14–41× |
| Cartesia Sonic 3 | $20–39 | ~4.6–9× |
OpenAI tts-1 | $15 | ~3.5× |
| Google / Polly Standard | $4 | ~0.9× — 比自营便宜 |
此表还未计入工程成本:部署、监控、重试、分块拼接及失败后重跑。这些工程师时间通常比 GPU 账单高一个数量级,完整模型见 06.4。
许可与披露要求
| 项目 | 状态 |
|---|---|
| 代码许可证 | 开源 |
| 权重许可证 | Index Model License |
| 商业用途 | 条款需逐一审核;作者公布的商务联系方式为 [email protected] |
| 默认水印 | 未说明 → 按没有水印规划 |
| 数据驻留 | 可完全离线运行 |
其他可选方案
- 配音需要连续可调语速 → IndexTTS2.5(0.5×–2.0× 连续调节;2 的时长控制只有固定档位)。
- 不需要情绪控制 → IndexTTS 1 更轻量,但需注意英文版本问题。
- 需要明确允许商用的许可条款 → VoxCPM2。
- 只想找到“听起来更好”的模型 → 从 06.1 的盲听 Elo 表开始;Step Audio EditX(Apache-2.0)是排名最高且可实际商用交付的开源模型。
准备好使用 IndexTTS2 创作了吗?
打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。