开源 TTS 模型深度解析 · 2026

OmniVoice 语音克隆实测:600+ 语言怎么做到

04

OmniVoice

小米 / k2-fsa(下一代 Kaldi)· 646 种语言 · 2026 年 3 月 31 日发布

OmniVoice 出自 k2-fsa,即由 Daniel Povey 领衔的下一代 Kaldi 团队;他在语音识别领域颇有影响力。该模型号称目前语言覆盖最广的零样本 TTS 模型,支持 646 种语言,在约 581,000 小时音频上训练,可完全本地运行。仓库发布数周内获得超过 12k GitHub star,权重仅 ~3.3 GB。

围绕 OmniVoice 规划产品前请注意:其代码采用 Apache-2.0,但预训练权重采用 CC-BY-NC 4.0(非商用),限制来自 Emilia 等训练语料。个人和研究用途可以使用;未经单独授权,不允许任何创收用途。模型卡明确说明了这一点,它是商业部署的重要限制。
论文
arXiv:2604.00688
主干网络
Qwen3-0.6B(总计 ~0.8 B)
语言
646
训练数据
~581,000 h
产出
24 kHz 单声道
权重体积
~3.3 GB
官方宣称的 RTF
使用自定义内核的 H100 上为 0.025
代码许可证
Apache-2.0
权重许可证
CC-BY-NC 4.0(非商用)

架构 —— 一种"扩散语言模型式"的非自回归设计

多数 TTS 流程分两阶段:text → semantic tokens → acoustic features → waveform,每个环节都可能累积误差。OmniVoice 将其压缩为单阶段:text → multi-codebook acoustic tokens → waveform。

  • 主干网络基于重新利用的 Qwen3-0.6B 语言模型,采用扩散语言模型方式:并非从左到右逐步输出音频,而是通过少量并行降噪步骤细化整个序列。
  • 采用双向 Transformer,联合建模指令文本、提示片段与被掩码的目标片段。
  • 音频由源自 Higgs Audio v2 的独立 tokenizer 编解码(Boson AI,Apache-2.0)。
  • 没有中间语义阶段的误差累积,串行解码步数也少得多——速度正是由此而来。

五种核心能力

能力细节
零样本克隆需要 3–10 s 参考音频。内置 Whisper 自动转写,无需自行提供参考文本;通过提取干净的说话人嵌入,兼容嘈杂或混响的参考音频。
音色设计无需参考音频,用自然语言描述音色(male, elderly, low pitch, British accent)即可生成。支持性别、年龄、音高、口音、方言及耳语。
精细文本控制行内非语言标签:[laughter]、[sigh]、[breath]、[sniff],以及另外 13 种以上。
发音覆盖中文使用带声调的拼音(如 ZHE2);英文使用 CMU 发音词典。
多说话人对话[Speaker_N]: 标签可驱动多角色剧本合成,每位说话人拥有独立音色。

速度 —— 论文数据 vs 实测

核心数据为 RTF 0.025(40× 实时速度),在配备专用加速内核的 H100 上测得,并非普通工作站。Mac Studio / M4 Max 上的独立实测显示,生成 5.4 秒音频需要约 4–6 秒计算时间,接近实时;使用 --num_step 16 可将时间约减半,但会损失一定清晰度。请据此规划容量。

第三方测试的已知问题

  • 在句子的开头或结尾偶有丢词、串词:一次 24 次生成的测试中,5 条输出丢失或损坏了某个词。这是已知问题,重跑通常可解决。
  • 生成并保存声音克隆提示(model.create_voice_clone_prompt() → .save("voice.pt"))后,后续会话无需再次提供参考片段和文本,适合批量任务。
  • 预先使用 hf download k2-fsa/OmniVoice --local-dir ./model 下载权重,并将路径传给 --model,即可完全离线运行。启动 Web UI 前设置 GRADIO_ANALYTICS_ENABLED=False,关闭启动时向 Gradio 回传的分析数据。

生态系统

  • 已有 GGUF 量化版本(Serveurperso/OmniVoice-GGUF,约 62k 次/月下载),从 ~660 MB 的 Q4_K_M 到 F32 不等。
  • omnivoice.cpp 是 C++17/GGML 移植版,可运行于 CPU、CUDA、ROCm、Metal 和 Vulkan,含 Apple Silicon,使 OmniVoice 成为本组可移植性最强的选择。
  • 它是热门本地 ElevenLabs 替代项目 VoiceStudio 的默认引擎。
  • 通过 MPS 原生支持 Apple Silicon(约 3.3 GB 下载,无需 NVIDIA 显卡)。

适用场景:语言广度与可移植性

适用场景如何运行它小心点
低资源与罕见语言覆盖 646 种语言,其中许多没有任何商用 TTS 支持权重采用 CC-BY-NC,仅此就排除了未经授权的商用
纯 CPU / Raspberry Pi / 边缘设备omnivoice.cpp 支持 CPU、Metal、Vulkan 和 ROCm;Q4_K_M 语言模型小于 1 GBRTF 0.025 在使用自定义内核的 H100 上测得,本地运行应预期接近 1× 实时
完全隔离网络部署预先下载一次权重,之后无需任何网络请求技术上可行,但原文指出非商用许可限制公共部门和医院的应用
研究和非商业原型音色设计仅凭文字描述即可生成音色,无需参考音频音色设计具有随机性——生成 1–3 个候选再择优
在 Mac 本地运行通过 MPS 原生支持 Apple Silicon,权重 ~3.3 GB用自己的实测数据规划容量,不要照搬论文数字
反直觉的选型结论:OmniVoice 完全离线且支持 CPU,看似适合公共部门与医院部署,但原文指出 CC-BY-NC 权重会阻碍采购。此类场景应考虑 VoxCPM2(代码与权重均为 Apache-2.0)。

面向国际用户的结论

适合使用:研究、个人项目、低资源语言任务,或需要尽可能广的语言覆盖与方便的 CPU/Mac 运行方式。无需参考音频的音色设计适合制作原型。

未经单独授权不要商用,真正的限制是 CC-BY-NC 权重,不是仓库的 Apache-2.0 标记。需要类似“描述音色”功能且许可允许商用时,可考虑 VoxCPM2、Chatterbox(MIT)或 CosyVoice 3。

646 种语言 音色设计 CPU / Mac / Vulkan GGUF + C++ 移植版 非商用权重,未经授权不可商用

在头对头数据中的位置

模型参数中文 WER / SS英文 WER / SS西班牙语 WER / SS
OmniVoice0.8 B3.41 / 72.993.62 / 70.133.52 / 74.14
CosyVoice3-0.5B0.5 B3.84 / 80.014.88 / 74.164.04 / 78.85
Fish Audio S2 Pro4 B3.62 / 67.793.83 / 61.662.93 / 67.44
IndexTTS2.5-RL0.8 B3.93 / 77.923.89 / 67.793.33 / 76.68
模型中→英 WER / SS中→西 WER / SS中→日 WER / SS
OmniVoice3.74 / 64.915.84 / 62.089.09 / 69.06
VoxCPM24.48 / 64.2516.38 / 64.8911.84 / 71.54
模型RTF条件
OmniVoice0.025H100 + 自定义加速内核(论文数据)
OmniVoice (计量)~0.9–1.2× 实时Mac Studio / M4 Max
IndexTTS2.5 (参考)0.2065RTX 4090 bf16
解读要点:WER 最低并不等于“听起来最像本人”。OmniVoice 英文 WER 3.62 属于本组最佳水平,但说话人相似度 70.13 在领先模型中垫底。它是更清晰,而非更相像。这适合新闻播报,却不利于角色配音或整本有声书保持固定旁白音色。

自己跑起来要花多少钱

项目数值说明
GPU-小时/M字符0.45 h论文测试条件
点播 H100 ($2.89–3.49/h)~$1.30–1.57名义上是最便宜的
点播 RTX 4090不适用论文数据依赖 H100 和自定义内核,不能直接套用到其他硬件
权重体积3.3 GBQ4_K_M 下语言模型部分小于 1 GB
不要按 0.025 做预算。这是专用内核 H100 的实验室数据。消费级显卡或 Apple Silicon 实测约为 0.9–1.2× 实时速度,一小时音频约需一小时生成。名义成本最低,硬件门槛却最高;按同样的按需 4090 计费口径重算,并不比 IndexTTS2.5 便宜。
它有另一种成本优势:GGUF 加 omnivoice.cpp 可在完全没有 GPU 的设备上运行(CPU / Metal / Vulkan / ROCm)。需要在边缘设备内置 TTS 时,这是本组唯一选择,但须接受其实际生成速度。

许可与披露要求

项目状态
代码许可证Apache-2.0
权重许可证CC-BY-NC 4.0(非商用)
商业用途不允许 — 除非你另行获得许可证
默认水印未说明
数据驻留可完全离线运行(预先下载权重、关闭 Gradio 分析上报)
反直觉的结论:政府和医疗场景看似最需要离线模型,也是 OmniVoice 的技术优势所在;但原文指出,CC-BY-NC 权重会造成采购和合规障碍。不宜在这里投入概念验证,应考虑 VoxCPM2。许可条款详解见 06.5。

其他可选方案

  • 需要语言广度且可商用交付 → Step Audio EditX(Apache-2.0)或 Kokoro 82M(CPU,Apache-2.0,不支持克隆)。
  • 需要完全离线且许可允许商用 → VoxCPM2。
  • 仅用于研究或个人兴趣 → 可以保留。覆盖 646 种语言没有更便宜的方案。
  • 需要 CPU 上的实时交互 → 本组无合适模型;参见 06.1 中的 Kokoro,或使用闭源 API。
在 BiliVoice 上试用

准备好使用 OmniVoice 创作了吗?

打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。