开源 TTS 模型深度解析 · 2026

IndexTTS 1 语音克隆实测:多音字纠错与停顿控制

01

IndexTTS 1

bilibili · 工业级可控零样本 TTS · 2025 年 2 月首次发布

IndexTTS 是 bilibili Index 语音团队的第一代系统。它基于 XTTS 和 Tortoise 构建,其标志性贡献是让中文发音可控——这是以英语为中心的 TTS 研究长期忽视的问题。对国际用户而言,版本时间线尤其重要:v1.0(2025 年 3 月)之后是 v1.5(2025 年 5 月),后者显著提升了英文表现与整体稳定性。评测 IndexTTS 1 时,应评测 v1.5,而不是 v1.0。

开发者
bilibili Index 语音团队
首次发布
2025 年 2 月(权重 2025 年 3 月)
架构
自回归(GPT 式)
语言
中文、英文(含方言)
VRAM
~11 GB
吞吐量
~10 s 生成 ~1 分钟音频

贡献一 —— 汉字与拼音混合建模

这是核心思路。中文多音字(同一字在不同语境下读音不同)一直是 TTS 容易出错的地方。IndexTTS 允许用户直接在输入文本中插入拼音,并通过随机数据增强训练模型处理这种输入:

  • 训练时,约 20% 的非多音字会通过 Bernoulli 掩码(α = 0.20)替换为拼音形式,促使模型学习字素与音素之间的稳健映射。
  • 对抗训练将同音字误读率从 8.7% 降至 0.9%。
  • 推理时可在文中直接写入 zhong4 zhong4 来消歧;同一机制也有助于处理生僻字与未登录字。

这为何对其他语言也有价值:同一架构方法可直接复用于发音不规则的语言,其作用类似于英文中使用 CMU 音素标注覆盖默认发音。

贡献二 —— 精确的停顿与韵律控制

标点通过时间戳嵌入映射为明确的停顿时长(逗号约 0.3 s,句号约 0.8 s)。在文言长文本上,句子边界准确率达到 98.6%。

贡献三 —— 编码器与声码器升级

  • 采用基于 Conformer 的语音条件编码器替代原有条件处理模块,提升了零样本克隆的稳定性和说话人相似度。
  • 语音编码解码器替换为 BigVGAN2,使输出自然度明显提升。
  • 团队比较了向量量化(VQ)与有限标量量化(FSQ)的码本利用率:在 6,000 小时数据规模下,FSQ 的码本利用率接近 100%,而 VQ 约为 55%;这一结论后来被整个 IndexTTS 系列沿用。

官方公布结果(自评)

指标数值备注
词错率(WER)1.3%中文场景
说话人相似度(SS)0.776零样本克隆
MOS4.01主观质量

据报告,这些指标超越了同期开源系统,包括 CosyVoice2、Fish-Speech、FireRedTTS 和 F5-TTS,同时采用了更简单的训练流程和更快的推理。

适用场景:何时选择 IndexTTS 1

适用场景如何运行它小心点
纯中文批量旁白(成本敏感)将脚本分块并一次性批量生成,用几秒参考音频固定音色~11 GB VRAM;不支持时长控制,因此不适合需要逐帧对齐的配音
包含大量人名、术语或文言文的内容混合“汉字 + 拼音”输入可纠正多音字,同音字误读率从 8.7% 降至 0.9%拼音标注需要人工校对;成本随脚本长度增加
重视停顿节奏的朗读标点直接映射为停顿时长,文言文本的句子边界准确率约为 98.6%没有连续语速控制,需要通过修改标点调节节奏
用于版本对比的基线不确定是否需要 2/2.5 时,可先运行 1英文需要 v1.5 或更新版本;v1.0 的英文表现不宜作为有效基准
不适合:实时对话(无流式生成,也无 vLLM 部署方案)、情感演绎、逐帧对齐配音、中英文以外的语言,以及需要精确时长控制的任务;这些能力由 IndexTTS2 和 2.5 提供。

面向国际用户的结论

适合使用:需要轻量、稳定、以中文为主的克隆模型,并能预留 ~11 GB 显存时。它仍是经过充分验证的可靠基线。

建议跳过:需要情绪控制、精确时长控制或两种以上语言时,这些能力直到 IndexTTS2 和 2.5 才加入。还需注意,v1.0 与 v1.5 的英文质量差距显著。

双语 小样本克隆 拼音音素覆盖 98.6% 句子边界精度

在头对头数据中的位置

IndexTTS 1 未参加 CV3-Eval 的直接对比,该评测覆盖的是较新一代模型:IndexTTS2.5、VoxCPM2、OmniVoice、CosyVoice3、Qwen3-TTS 和 MOSS-TTS。因此,它在本报告中作为代际基线,而非直接竞争者;自身指标见上文“官方公布结果”。

参考点图依据
IndexTTS 1(本模型)WER 1.3% / SS 0.776 / MOS 4.01作者自报
IndexTTS2 (直接继任)WER 1.88% / 情绪相似性 0.887提交人报告的强烈情绪状况
IndexTTS2.5-RL (两代)中→英 3.55 WER / 67.47 SSCV3- Eval 软件 — 见 06.2
必须注意版本时间线:IndexTTS 1 的 v1.0 英文表现明显偏弱;只有 v1.5 带来了实质改善。如果你在 2024–2025 年的博客或 Reddit 帖子中看到“IndexTTS 英文效果差”,其讨论对象几乎肯定是 v1.0。用于英文内容前,先确认实际获取的版本;不少人都在这里踩过坑。

自己跑起来要花多少钱

IndexTTS 1 从未公布可直接比较的 RTF,因此无法纳入 06.4 的 GPU 小时成本表。以下是仅有的可用参照:

项目数值说明
VRAM~11 GB高于 2.5's ~6 GB; 单 RTX 4090 够了
作者宣称的速度~10 s 每分钟音频未指定硬件 — 与任何其他情况无可比性 RTF 这里
保守估计(沿用 IndexTTS2 的 0.3257)5.9 GPU 小时/百万字符按需 RTX 4090 约 $4.34;A100 约 $9.32
结论:若目标是“最便宜的中文克隆”,可直接选择 IndexTTS2.5:相比 1,它显存更低(~6 GB)、RTF 更快(0.2065,约 $2.75/百万字符)、支持更多语言,且许可门槛有明确书面约定。只有确实需要固定旧版本时才选 1。

许可与披露要求

项目状态
代码许可证开源
权重许可证Index Model License——需要逐条审核;本报告未发现明确商用授权
商业用途条款必须逐一审核,不要默认可以商用
默认水印未说明 → 按没有水印规划,有披露义务时自行添加
数据驻留可完全离线运行
Index Model License 并非 Apache-2.0。它不像宽松许可证那样提供普遍商用授权。如果产品收费,应通读完整条款或发邮件询问。在 TTS 领域,“开源”和“可商用”是两个独立问题,06.5 将逐项说明。

其他可选方案

  • 需要中文克隆,且可升级版本 → IndexTTS2.5:速度更快,支持五种语言,发音控制更细(拼音 / CMU / 假名),显存占用更低。
  • 需要明确允许商用的许可条款 → VoxCPM2(代码与权重均为 Apache-2.0,48 kHz)。
  • 需要极小体量,在 CPU 或边缘设备上运行 → Kokoro 82M(不在本组内,Apache-2.0,~2–3 GB,但不支持克隆)。
  • 确实需要 1 作为论文对比基线 → 可以保留,但须同时标注 v1.0 与 v1.5 的版本号,否则结论会误导读者。
在 BiliVoice 上试用

准备好使用 IndexTTS 1 创作了吗?

打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。