开源 TTS 模型深度解析 · 2026
OmniVoice 语音克隆实测:600+ 语言怎么做到
04
OmniVoice
小米 / k2-fsa(下一代 Kaldi)· 646 种语言 · 2026 年 3 月 31 日发布
OmniVoice 出自 k2-fsa,即由 Daniel Povey 领衔的下一代 Kaldi 团队;他在语音识别领域颇有影响力。该模型号称目前语言覆盖最广的零样本 TTS 模型,支持 646 种语言,在约 581,000 小时音频上训练,可完全本地运行。仓库发布数周内获得超过 12k GitHub star,权重仅 ~3.3 GB。
围绕 OmniVoice 规划产品前请注意:其代码采用 Apache-2.0,但预训练权重采用 CC-BY-NC 4.0(非商用),限制来自 Emilia 等训练语料。个人和研究用途可以使用;未经单独授权,不允许任何创收用途。模型卡明确说明了这一点,它是商业部署的重要限制。
- 论文
- arXiv:2604.00688
- 主干网络
- Qwen3-0.6B(总计 ~0.8 B)
- 语言
- 646
- 训练数据
- ~581,000 h
- 产出
- 24 kHz 单声道
- 权重体积
- ~3.3 GB
- 官方宣称的 RTF
- 使用自定义内核的 H100 上为 0.025
- 代码许可证
- Apache-2.0
- 权重许可证
- CC-BY-NC 4.0(非商用)
架构 —— 一种"扩散语言模型式"的非自回归设计
多数 TTS 流程分两阶段:text → semantic tokens → acoustic features → waveform,每个环节都可能累积误差。OmniVoice 将其压缩为单阶段:text → multi-codebook acoustic tokens → waveform。
- 主干网络基于重新利用的 Qwen3-0.6B 语言模型,采用扩散语言模型方式:并非从左到右逐步输出音频,而是通过少量并行降噪步骤细化整个序列。
- 采用双向 Transformer,联合建模指令文本、提示片段与被掩码的目标片段。
- 音频由源自 Higgs Audio v2 的独立 tokenizer 编解码(Boson AI,Apache-2.0)。
- 没有中间语义阶段的误差累积,串行解码步数也少得多——速度正是由此而来。
五种核心能力
| 能力 | 细节 |
|---|---|
| 零样本克隆 | 需要 3–10 s 参考音频。内置 Whisper 自动转写,无需自行提供参考文本;通过提取干净的说话人嵌入,兼容嘈杂或混响的参考音频。 |
| 音色设计 | 无需参考音频,用自然语言描述音色(male, elderly, low pitch, British accent)即可生成。支持性别、年龄、音高、口音、方言及耳语。 |
| 精细文本控制 | 行内非语言标签:[laughter]、[sigh]、[breath]、[sniff],以及另外 13 种以上。 |
| 发音覆盖 | 中文使用带声调的拼音(如 ZHE2);英文使用 CMU 发音词典。 |
| 多说话人对话 | [Speaker_N]: 标签可驱动多角色剧本合成,每位说话人拥有独立音色。 |
速度 —— 论文数据 vs 实测
核心数据为 RTF 0.025(40× 实时速度),在配备专用加速内核的 H100 上测得,并非普通工作站。Mac Studio / M4 Max 上的独立实测显示,生成 5.4 秒音频需要约 4–6 秒计算时间,接近实时;使用 --num_step 16 可将时间约减半,但会损失一定清晰度。请据此规划容量。
第三方测试的已知问题
- 在句子的开头或结尾偶有丢词、串词:一次 24 次生成的测试中,5 条输出丢失或损坏了某个词。这是已知问题,重跑通常可解决。
- 生成并保存声音克隆提示(
model.create_voice_clone_prompt()→.save("voice.pt"))后,后续会话无需再次提供参考片段和文本,适合批量任务。 - 预先使用
hf download k2-fsa/OmniVoice --local-dir ./model下载权重,并将路径传给--model,即可完全离线运行。启动 Web UI 前设置GRADIO_ANALYTICS_ENABLED=False,关闭启动时向 Gradio 回传的分析数据。
生态系统
- 已有 GGUF 量化版本(
Serveurperso/OmniVoice-GGUF,约 62k 次/月下载),从 ~660 MB 的 Q4_K_M 到 F32 不等。 - omnivoice.cpp 是 C++17/GGML 移植版,可运行于 CPU、CUDA、ROCm、Metal 和 Vulkan,含 Apple Silicon,使 OmniVoice 成为本组可移植性最强的选择。
- 它是热门本地 ElevenLabs 替代项目 VoiceStudio 的默认引擎。
- 通过 MPS 原生支持 Apple Silicon(约 3.3 GB 下载,无需 NVIDIA 显卡)。
适用场景:语言广度与可移植性
| 适用场景 | 如何运行它 | 小心点 |
|---|---|---|
| 低资源与罕见语言 | 覆盖 646 种语言,其中许多没有任何商用 TTS 支持 | 权重采用 CC-BY-NC,仅此就排除了未经授权的商用 |
| 纯 CPU / Raspberry Pi / 边缘设备 | omnivoice.cpp 支持 CPU、Metal、Vulkan 和 ROCm;Q4_K_M 语言模型小于 1 GB | RTF 0.025 在使用自定义内核的 H100 上测得,本地运行应预期接近 1× 实时 |
| 完全隔离网络部署 | 预先下载一次权重,之后无需任何网络请求 | 技术上可行,但原文指出非商用许可限制公共部门和医院的应用 |
| 研究和非商业原型 | 音色设计仅凭文字描述即可生成音色,无需参考音频 | 音色设计具有随机性——生成 1–3 个候选再择优 |
| 在 Mac 本地运行 | 通过 MPS 原生支持 Apple Silicon,权重 ~3.3 GB | 用自己的实测数据规划容量,不要照搬论文数字 |
反直觉的选型结论:OmniVoice 完全离线且支持 CPU,看似适合公共部门与医院部署,但原文指出 CC-BY-NC 权重会阻碍采购。此类场景应考虑 VoxCPM2(代码与权重均为 Apache-2.0)。
面向国际用户的结论
适合使用:研究、个人项目、低资源语言任务,或需要尽可能广的语言覆盖与方便的 CPU/Mac 运行方式。无需参考音频的音色设计适合制作原型。
未经单独授权不要商用,真正的限制是 CC-BY-NC 权重,不是仓库的 Apache-2.0 标记。需要类似“描述音色”功能且许可允许商用时,可考虑 VoxCPM2、Chatterbox(MIT)或 CosyVoice 3。
646 种语言
音色设计
CPU / Mac / Vulkan
GGUF + C++ 移植版
非商用权重,未经授权不可商用
在头对头数据中的位置
| 模型 | 参数 | 中文 WER / SS | 英文 WER / SS | 西班牙语 WER / SS |
|---|---|---|---|---|
| OmniVoice | 0.8 B | 3.41 / 72.99 | 3.62 / 70.13 | 3.52 / 74.14 |
| CosyVoice3-0.5B | 0.5 B | 3.84 / 80.01 | 4.88 / 74.16 | 4.04 / 78.85 |
| Fish Audio S2 Pro | 4 B | 3.62 / 67.79 | 3.83 / 61.66 | 2.93 / 67.44 |
| IndexTTS2.5-RL | 0.8 B | 3.93 / 77.92 | 3.89 / 67.79 | 3.33 / 76.68 |
| 模型 | 中→英 WER / SS | 中→西 WER / SS | 中→日 WER / SS |
|---|---|---|---|
| OmniVoice | 3.74 / 64.91 | 5.84 / 62.08 | 9.09 / 69.06 |
| VoxCPM2 | 4.48 / 64.25 | 16.38 / 64.89 | 11.84 / 71.54 |
| 模型 | RTF | 条件 |
|---|---|---|
| OmniVoice | 0.025 | H100 + 自定义加速内核(论文数据) |
| OmniVoice (计量) | ~0.9–1.2× 实时 | Mac Studio / M4 Max |
| IndexTTS2.5 (参考) | 0.2065 | RTX 4090 bf16 |
解读要点:WER 最低并不等于“听起来最像本人”。OmniVoice 英文 WER 3.62 属于本组最佳水平,但说话人相似度 70.13 在领先模型中垫底。它是更清晰,而非更相像。这适合新闻播报,却不利于角色配音或整本有声书保持固定旁白音色。
自己跑起来要花多少钱
| 项目 | 数值 | 说明 |
|---|---|---|
| GPU-小时/M字符 | 0.45 h | 论文测试条件 |
| 点播 H100 ($2.89–3.49/h) | ~$1.30–1.57 | 名义上是最便宜的 |
| 点播 RTX 4090 | 不适用 | 论文数据依赖 H100 和自定义内核,不能直接套用到其他硬件 |
| 权重体积 | 3.3 GB | Q4_K_M 下语言模型部分小于 1 GB |
不要按 0.025 做预算。这是专用内核 H100 的实验室数据。消费级显卡或 Apple Silicon 实测约为 0.9–1.2× 实时速度,一小时音频约需一小时生成。名义成本最低,硬件门槛却最高;按同样的按需 4090 计费口径重算,并不比 IndexTTS2.5 便宜。
它有另一种成本优势:GGUF 加
omnivoice.cpp 可在完全没有 GPU 的设备上运行(CPU / Metal / Vulkan / ROCm)。需要在边缘设备内置 TTS 时,这是本组唯一选择,但须接受其实际生成速度。许可与披露要求
| 项目 | 状态 |
|---|---|
| 代码许可证 | Apache-2.0 |
| 权重许可证 | CC-BY-NC 4.0(非商用) |
| 商业用途 | 不允许 — 除非你另行获得许可证 |
| 默认水印 | 未说明 |
| 数据驻留 | 可完全离线运行(预先下载权重、关闭 Gradio 分析上报) |
反直觉的结论:政府和医疗场景看似最需要离线模型,也是 OmniVoice 的技术优势所在;但原文指出,CC-BY-NC 权重会造成采购和合规障碍。不宜在这里投入概念验证,应考虑 VoxCPM2。许可条款详解见 06.5。
其他可选方案
- 需要语言广度且可商用交付 → Step Audio EditX(Apache-2.0)或 Kokoro 82M(CPU,Apache-2.0,不支持克隆)。
- 需要完全离线且许可允许商用 → VoxCPM2。
- 仅用于研究或个人兴趣 → 可以保留。覆盖 646 种语言没有更便宜的方案。
- 需要 CPU 上的实时交互 → 本组无合适模型;参见 06.1 中的 Kokoro,或使用闭源 API。
github.com/k2-fsa/OmniVoice
huggingface.co/k2-fsa/OmniVoice
arXiv:2604.00688
在 BiliVoice 上试用
准备好使用 OmniVoice 创作了吗?
打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。