开源 TTS 模型深度解析 · 2026

IndexTTS2 语音克隆实测:情绪与时长控制怎么调

02

IndexTTS2

bilibili · 情感表达与时长控制 · 2025 年 9 月 8 日发布

IndexTTS2 让这一系列在国际上走红:2025 年底在西方社交平台流传的“中国古装剧 AI 英文配音”视频正是用它生成的。它是首个将精确时长控制与自然自由生成结合的自回归零样本 TTS 模型,通过解耦情感与说话人身份,让音色和情感可分别指定。GitHub 仓库已超过 10k star,权重与推理代码均已发布。

论文
arXiv:2506.21619
架构
T2S + S2M + BigVGANv2
情感训练数据
55K 样本 / 135 小时情感语音
克隆输入
约 5 秒音频,相似度 >85%
VRAM
~15 GB
RTF (RTX 4090)
0.3257(fp16,总体)
社区
Discord 社区 + 兼容 OpenAI 的 API 分支
商业联系
[email protected]

架构 —— 三级级联

  • 文本到语义(T2S)——采用 LLM 风格的自回归 Transformer,接收源文本、风格提示、音色提示及可选的目标 token(词元)数量,输出语义 token。
  • 语义到梅尔频谱(S2M)——通过流匹配模块,根据语义 token(词元)和音色条件预测梅尔频谱。用流匹配替代离散声学 token,是在强烈情绪下保留细节的关键。
  • BigVGANv2 声码器——将梅尔频谱转换为波形。

创新一 —— 自回归模型中的时长控制

自回归 TTS 逐 token(词元)生成,因此难以精确达到目标时长;配音需要音频与画面对齐,这尤其成问题。IndexTTS2 通过约束 token 数量解决:

  • 专门的时长嵌入将目标 token(词元)数量注入 T2S,模型据此将位置信息与目标预算对齐。
  • 训练时随机采样时长缩放任务(如 0.75×、1.25×),让模型在不同目标长度下保持流畅和情感一致。
  • 实测 token(词元)数量误差率低于 0.03%,且经常低于 0.02%。
  • 两种运行模式:受约束模式(指定 token 数量 → 精确时长)和自由生成模式(不指定 token 数量 → 忠实复现提示音频的韵律)。

创新 2 —— 情感与音色解耦,四种控制方式

控制模式如何运作
单段参考音频单个片段同时提供音色与情感(经典零样本克隆)
独立情感参考风格提示可来自与音色参考不同的说话人,甚至使用另一种语言
情感向量8 个维度:快乐、愤怒、悲伤、恐惧、厌恶、忧郁、惊讶、平静,支持调整权重及随机采样
文本描述(“软指令”)经微调的 Qwen3 将自然语言描述(“带一点委屈地说”“你吓死我了!”)映射为情感引导

架构通过梯度反转层(GRL)及独立的说话人/情感感知器实施解耦,避免模型把身份信息泄漏到情感路径中。

创新 3 — 在极端情绪下的清晰度

喊叫和抽泣常使表现力型 TTS 的可懂度下降。IndexTTS2 结合 GPT 隐表示与新的三阶段训练范式稳定生成。喊叫时实测 WER 为 1.883%,实现了有表现力而不牺牲可懂度。

报告结果

指标数值背景情况
情感相似性(ES)0.887超越其他 SOTA 零样本模型
情感 MOS (EMOS)4.22自然、层次得当的表达
WER 在强烈的情感下1.883%呐喊/哭泣情景
持续时间控制错误<0.03%0.75×–1.25× 速度测试

实测推理速度(RTX 4090,kv_cache=True)

输入长度v2.0 fp16v2.0 fp32
7 字符0.40040.3748
16 字符0.33220.3389
28 字符0.32570.3480
80 字符0.32290.3754
200 字符0.32440.3990
总体0.32570.3748

在 NVIDIA L40S 上基于 Docker 的独立测试(4 个版本 × 4 个场景 × 5 次运行,共 80 个用例,成功率 100%)显示,生产镜像的端到端时延为:中文短文本 ~6.4 s、中文长文本 ~28 s、英文短文本 ~7.6 s、英文长文本 ~35.4 s。v2.1-cuda 构建版中文最快,v2.0-production 英文最稳定。

部署说明:需要 CUDA 版 PyTorch;参考实现不支持纯 CPU 推理。社区分支提供兼容 OpenAI 的 API(/v1/audio/speech 风格)及 Voxta 集成,可较方便地接入现有流程。

适用场景:何时选择 IndexTTS2

适用场景如何运行它小心点
动画、动态漫画与短视频情感配音用 8 维情感向量或自然语言指令控制情绪;音色与情感解耦,可用 A 的声音承载 B 的情感~15 GB VRAM,本组最高
有声书中的情感段落对话附加情感指令,旁白使用“平静”长文本仍会漂移,必须分块并校验重叠区(见 06.3)
播客与双主播节目为每位主播固定一个参考片段和一条情感指令,所以各集保持一致广告与赞助片段的 AI 披露义务正在收紧(见 06.5)
为已有演绎重新配音保持音色不变,只替换情感向量——比重录一遍便宜得多在极端情绪(抽泣、大喊)下测试咬字清晰度;WER 会升高
视频配音(第一代方案)时长控制将 token 数量误差保持在 0.03% 以下,使音频与画面对齐需要连续调速时,2.5 的 0.5×–2.0× 控制更合适
实践提示:2 在本系列情感表现上最强,代价是显存占用及推理时间最高。若内容没有情感层次要求,直接选 2.5 更合适:更快、更轻量、语言更多。

面向国际用户的结论

适合使用:制作 AI 配音、有声书、角色语音,或音频须匹配固定时间线,以及需要把同一段演绎改为另一种情绪时。

需注意:需要 ~15 GB 显存,且英语是这一模型系列的次要目标语言。正式采用前,务必用自己的英文脚本与西方模型(Chatterbox、XTTS-v2、F5-TTS)做 A/B 对比。

情绪控制 情感/音色解耦 精确持续时间控制 文本提示情感控制 兼容 OpenAI 的分支实现

在头对头数据中的位置

IndexTTS2 同样未参加 CV3-Eval,该表覆盖的是 2.5 一代。它的直接对比证据主要来自 RTX 4090 的实测 RTF(见上文“实测推理速度”)。

版本精度总体 RTF对比 2.5
IndexTTS2fp160.3257~1.58× 慢一点
IndexTTS2fp320.3748~1.82× 慢一点
IndexTTS2.5bf160.2065基线

RTF 0.3257 意味着约 3.1× 实时速度:生成一百万字符(约 18 小时音频)需要约 5.9 GPU 小时。

一句话定位:IndexTTS2 是开创可控情感与可控时长的模型,而 2.5 在速度、语言数量、显存及发音控制上全面提升。如今选择 2 的主要理由是“已在生产环境运行,不想改动”。

自己跑起来要花多少钱

设置RTFGPU-小时/M字符点播 RTX 4090 ($0.74/h)点播 A100 ($1.59/h)
IndexTTS2(fp16)0.32575.9 h~$4.34~$9.32
参考:IndexTTS2.5(bf16)0.20653.7 h~$2.75~$5.91

把它和商用 API 价目表放在一起比较 :

选项成本/ M 字符维苏斯 IndexTTS2
ElevenLabs v3$60–180~14–41×
Cartesia Sonic 3$20–39~4.6–9×
OpenAI tts-1$15~3.5×
Google / Polly Standard$4~0.9× — 比自营便宜
别被最后一行误导。标准云 TTS 确实比自行部署便宜,但这些音色不支持克隆、情绪控制和时长控制,属于不同产品。IndexTTS2 真正的成本竞争者是 ElevenLabs,两者相差 14–41×。

此表还未计入工程成本:部署、监控、重试、分块拼接及失败后重跑。这些工程师时间通常比 GPU 账单高一个数量级,完整模型见 06.4。

许可与披露要求

项目状态
代码许可证开源
权重许可证Index Model License
商业用途条款需逐一审核;作者公布的商务联系方式为 [email protected]
默认水印未说明 → 按没有水印规划
数据驻留可完全离线运行
与 2.5 的关键区别:2.5 的 Bilibili Model License 明确写出门槛(100M MAU / ¥1B 营收)。2 仍采用较模糊的 Index Model License,需要主动询问。为商用产品选型时,许可条款的明确程度本身就是选择 2.5 而非 2 的理由。

其他可选方案

  • 配音需要连续可调语速 → IndexTTS2.5(0.5×–2.0× 连续调节;2 的时长控制只有固定档位)。
  • 不需要情绪控制 → IndexTTS 1 更轻量,但需注意英文版本问题。
  • 需要明确允许商用的许可条款 → VoxCPM2。
  • 只想找到“听起来更好”的模型 → 从 06.1 的盲听 Elo 表开始;Step Audio EditX(Apache-2.0)是排名最高且可实际商用交付的开源模型。
在 BiliVoice 上试用

准备好使用 IndexTTS2 创作了吗?

打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。