IndexTTS 1 语音克隆实测:多音字纠错与停顿控制
IndexTTS 1
bilibili · 工业级可控零样本 TTS · 2025 年 2 月首次发布
IndexTTS 是 bilibili Index 语音团队的第一代系统。它基于 XTTS 和 Tortoise 构建,其标志性贡献是让中文发音可控——这是以英语为中心的 TTS 研究长期忽视的问题。对国际用户而言,版本时间线尤其重要:v1.0(2025 年 3 月)之后是 v1.5(2025 年 5 月),后者显著提升了英文表现与整体稳定性。评测 IndexTTS 1 时,应评测 v1.5,而不是 v1.0。
- 开发者
- bilibili Index 语音团队
- 首次发布
- 2025 年 2 月(权重 2025 年 3 月)
- 架构
- 自回归(GPT 式)
- 语言
- 中文、英文(含方言)
- VRAM
- ~11 GB
- 吞吐量
- ~10 s 生成 ~1 分钟音频
贡献一 —— 汉字与拼音混合建模
这是核心思路。中文多音字(同一字在不同语境下读音不同)一直是 TTS 容易出错的地方。IndexTTS 允许用户直接在输入文本中插入拼音,并通过随机数据增强训练模型处理这种输入:
- 训练时,约 20% 的非多音字会通过 Bernoulli 掩码(α = 0.20)替换为拼音形式,促使模型学习字素与音素之间的稳健映射。
- 对抗训练将同音字误读率从 8.7% 降至 0.9%。
- 推理时可在文中直接写入
zhong4 zhong4来消歧;同一机制也有助于处理生僻字与未登录字。
这为何对其他语言也有价值:同一架构方法可直接复用于发音不规则的语言,其作用类似于英文中使用 CMU 音素标注覆盖默认发音。
贡献二 —— 精确的停顿与韵律控制
标点通过时间戳嵌入映射为明确的停顿时长(逗号约 0.3 s,句号约 0.8 s)。在文言长文本上,句子边界准确率达到 98.6%。
贡献三 —— 编码器与声码器升级
- 采用基于 Conformer 的语音条件编码器替代原有条件处理模块,提升了零样本克隆的稳定性和说话人相似度。
- 语音编码解码器替换为 BigVGAN2,使输出自然度明显提升。
- 团队比较了向量量化(VQ)与有限标量量化(FSQ)的码本利用率:在 6,000 小时数据规模下,FSQ 的码本利用率接近 100%,而 VQ 约为 55%;这一结论后来被整个 IndexTTS 系列沿用。
官方公布结果(自评)
| 指标 | 数值 | 备注 |
|---|---|---|
| 词错率(WER) | 1.3% | 中文场景 |
| 说话人相似度(SS) | 0.776 | 零样本克隆 |
| MOS | 4.01 | 主观质量 |
据报告,这些指标超越了同期开源系统,包括 CosyVoice2、Fish-Speech、FireRedTTS 和 F5-TTS,同时采用了更简单的训练流程和更快的推理。
适用场景:何时选择 IndexTTS 1
| 适用场景 | 如何运行它 | 小心点 |
|---|---|---|
| 纯中文批量旁白(成本敏感) | 将脚本分块并一次性批量生成,用几秒参考音频固定音色 | ~11 GB VRAM;不支持时长控制,因此不适合需要逐帧对齐的配音 |
| 包含大量人名、术语或文言文的内容 | 混合“汉字 + 拼音”输入可纠正多音字,同音字误读率从 8.7% 降至 0.9% | 拼音标注需要人工校对;成本随脚本长度增加 |
| 重视停顿节奏的朗读 | 标点直接映射为停顿时长,文言文本的句子边界准确率约为 98.6% | 没有连续语速控制,需要通过修改标点调节节奏 |
| 用于版本对比的基线 | 不确定是否需要 2/2.5 时,可先运行 1 | 英文需要 v1.5 或更新版本;v1.0 的英文表现不宜作为有效基准 |
面向国际用户的结论
适合使用:需要轻量、稳定、以中文为主的克隆模型,并能预留 ~11 GB 显存时。它仍是经过充分验证的可靠基线。
建议跳过:需要情绪控制、精确时长控制或两种以上语言时,这些能力直到 IndexTTS2 和 2.5 才加入。还需注意,v1.0 与 v1.5 的英文质量差距显著。
在头对头数据中的位置
IndexTTS 1 未参加 CV3-Eval 的直接对比,该评测覆盖的是较新一代模型:IndexTTS2.5、VoxCPM2、OmniVoice、CosyVoice3、Qwen3-TTS 和 MOSS-TTS。因此,它在本报告中作为代际基线,而非直接竞争者;自身指标见上文“官方公布结果”。
| 参考点 | 图 | 依据 |
|---|---|---|
| IndexTTS 1(本模型) | WER 1.3% / SS 0.776 / MOS 4.01 | 作者自报 |
| IndexTTS2 (直接继任) | WER 1.88% / 情绪相似性 0.887 | 提交人报告的强烈情绪状况 |
| IndexTTS2.5-RL (两代) | 中→英 3.55 WER / 67.47 SS | CV3- Eval 软件 — 见 06.2 |
自己跑起来要花多少钱
IndexTTS 1 从未公布可直接比较的 RTF,因此无法纳入 06.4 的 GPU 小时成本表。以下是仅有的可用参照:
| 项目 | 数值 | 说明 |
|---|---|---|
| VRAM | ~11 GB | 高于 2.5's ~6 GB; 单 RTX 4090 够了 |
| 作者宣称的速度 | ~10 s 每分钟音频 | 未指定硬件 — 与任何其他情况无可比性 RTF 这里 |
| 保守估计(沿用 IndexTTS2 的 0.3257) | 5.9 GPU 小时/百万字符 | 按需 RTX 4090 约 $4.34;A100 约 $9.32 |
许可与披露要求
| 项目 | 状态 |
|---|---|
| 代码许可证 | 开源 |
| 权重许可证 | Index Model License——需要逐条审核;本报告未发现明确商用授权 |
| 商业用途 | 条款必须逐一审核,不要默认可以商用 |
| 默认水印 | 未说明 → 按没有水印规划,有披露义务时自行添加 |
| 数据驻留 | 可完全离线运行 |
其他可选方案
- 需要中文克隆,且可升级版本 → IndexTTS2.5:速度更快,支持五种语言,发音控制更细(拼音 / CMU / 假名),显存占用更低。
- 需要明确允许商用的许可条款 → VoxCPM2(代码与权重均为 Apache-2.0,48 kHz)。
- 需要极小体量,在 CPU 或边缘设备上运行 → Kokoro 82M(不在本组内,Apache-2.0,~2–3 GB,但不支持克隆)。
- 确实需要 1 作为论文对比基线 → 可以保留,但须同时标注 v1.0 与 v1.5 的版本号,否则结论会误导读者。
准备好使用 IndexTTS 1 创作了吗?
打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。