开源 TTS 模型深度解析 · 2026

VoxCPM2 语音克隆实测:开源可商用与自建成本

05

VoxCPM2

ModelBest / OpenBMB / 清华 HCSI · 无分词器(tokenizer-free)· Apache-2.0 · 2026 年 4 月

VoxCPM2 是本组对国际用户最友好的模型:代码与权重均为 Apache-2.0,英文文档清晰,并通过一项设计决策绕开 TTS 常见问题。它无分词器(tokenizer-free),直接在连续空间生成,而非先将音频量化为离散 token(词元)。量化有损,口音、细微情绪、呼吸和停顿节奏恰是容易丢失的细节。模型共 2 B 参数,基于 ModelBest 的 MiniCPM-4 主干网络,在 2M+ 小时多语言语音上训练。

架构
LocEnc → TSLM → RALM → LocDiT
主干网络
MiniCPM-4,总计 2 B 参数
语言
30 种语言 + 9 种中文方言
音频 VAE
AudioVAE V2(输入 16 kHz → 输出 48 kHz)
语言模型 token(词元)速率
6.25 Hz,最多 8192 个 token(词元)
VRAM
~8 GB
RTF (RTX 4090)
~0.30 / 使用 Nano-VLLM 时 ~0.13
许可证
Apache-2.0(可商用)

四阶段架构

  • LocEnc(局部编码器)——从输入文本和参考音频提取特征,为两个语言模型提供条件。
  • TSLM(文本—语义语言模型)——进行“语义规划”,将文本映射为粗粒度语音语义表示,决定内容边界与韵律框架。
  • RALM(残差声学语言模型)——在 TSLM 输出上做更精细的声学建模,补充音色、情感细节与说话人特征。
  • LocDiT(局部扩散 Transformer)——通过流匹配局部扩散生成连续音频隐变量,再由 AudioVAE V2 解码为 48 kHz 音频。

AudioVAE V2 是非对称架构:编码器接收 16 kHz 输入,解码器输出 48 kHz,内置超分辨率,无需外部上采样器。48 kHz 是本组最高输出采样率。

四个使用模式

模式输入它给你什么
基础 TTS仅文本无需参考音频,也无需语言标签,模型自行检测语言:输入中文生成中文,输入泰文生成泰文。
音色设计自然语言描述在正文前用括号添加描述,如 (young woman, warm and gentle voice),无需参考音频即可创建全新音色。
可控克隆参考音频 + 风格指令克隆音色,同时控制情绪、语速和表达(如“稍快一点,语气欢快”);基础音色保持不变。
极致克隆参考音频 + 对应文本音频续写式克隆,参考片段成为开头,最能复现口音、呼吸习惯与停顿节奏。将同一片段同时传入 reference_wav_path 和 prompt_wav_path 可最大化相似度。

上下文感知合成

VoxCPM 会理解文本并推断合适的情绪和韵律,而非机械地将字符转成音频。同一句话以感叹号或句号结尾,会有不同节奏、力度和重音。体育解说、争论及哭泣独白可呈现自然韵律,而非旧式 TTS 常见的“稳定但无感情”表达。这来自 TSLM 的语义建模及底层 MiniCPM-4 的文本理解。

基准

指标数值备注
中文 CER0.97%公开的 eval 集
英文 WER1.84%公开的 eval 集
RTF (RTX 4090)~0.30标准模式
使用 Nano-VLLM 的 RTF~0.13接近低时延实时
VRAM~8 GBbf16

据报告,在 Seed-TTS-eval、CV3-eval、InstructTTSEval 及 MiniMax 多语言测试中达到领先或有竞争力的水平。需注意,多数指标由作者自报,独立第三方复现仍有限。

语言

30 种语言:阿拉伯语、缅甸语、中文、丹麦语、荷兰语、英语、芬兰语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、高棉语、韩语、老挝语、马来语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、斯瓦希里语、瑞典语、他加禄语、泰语、土耳其语、越南语。

9 种中文方言:四川话、粤语、吴语(上海话)、东北话、河南话、陕西话、山东话、天津话、闽南语。

微调与部署

  • 支持完整 SFT 与 LoRA 微调,仅需 5–10 分钟音频,推荐使用 LoRA。这是本组唯一提供实用个人音色训练流程说明的模型。
  • 要求:Python ≥ 3.10、PyTorch ≥ 2.5.0、CUDA ≥ 12.0。安装命令为 pip install voxcpm。
  • Hugging Face 下载较慢的地区可使用 ModelScope。
  • 通过 Nano-VLLM 或 vLLM-Omni 提供生产服务。本地 Web 演示:python app.py --port 8808。
  • 关键参数:cfg_value(无分类器引导强度,决定输出贴合提示的程度)和 inference_timesteps(扩散步数,默认 10 适合多数场景)。
  • 生态热度:Hugging Face 上月下载量 327k,另有 21 个适配器、28 个社区微调版本及 10 个量化版本。

版本历史

何时版本变更内容
2025 年 9 月VoxCPM-0.5B首次发布,登上 Hugging Face Trending 第 1 名
2025 年 12 月VoxCPM1.5(~800 M)支持 SFT + LoRA 微调及 44.1 kHz 输出,登上 GitHub Trending 第 1 名;出现 ComfyUI 插件、ONNX 导出及 Rust 重实现
2026 年 4 月VoxCPM2(2 B)参数约增至 2.5×;语言从 2 种增至 30 种,另含 9 种方言;48 kHz 输出;新增音色设计、可控克隆及 AudioVAE V2
已知限制(来自模型卡):音色设计与风格控制具有随机性,应生成 1–3 次后择优。不同语言的表现受训练数据可用性影响;过长或情绪过强的输入偶有不稳定。输出不含 AI 水印,有披露要求的地区(如欧盟 AI Act)须自行添加标识。模型不提供敏感内容过滤,输入审核需自行完成。严禁用于冒充、诈骗或虚假信息传播。

适用场景:本组唯一许可条款干净的选项

适用场景如何运行它小心点
自建公共部门、医院及金融部署完全离线运行,音频不出内网;48 kHz 输出无需外部上采样预计 ~6–8 周投产,见下方成本表
在线课程和多语种培训30 种语言与 9 种中文方言,无需语言标签《欧洲无障碍法》已让无障碍成为一项采购指标 — 见下文
创作者声音克隆与个人 IP用 5–10 分钟音频进行 LoRA 微调,将音色固化到权重中克隆本人或已授权声音较安全;克隆真人涉及人格权,与模型许可是独立问题
广告和营销A/B变体批量生成一个脚本的许多变体; 自托管时边际成本接近零平台和公平贸易委员会AI标签政策正在收紧
高保真内容分发16 kHz 参考音频通过 AudioVAE V2 直接到 48 kHz 产出20 亿(2B)参数,比 IndexTTS2.5 慢
音色设计(无参考音频)用自然语言描述性别、年龄和音高,创建全新音色输出不含水印,有披露要求时须自行添加

自建部署:成本如何算

项目典型数字
自建语音系统投产时间~6–8 周,从启动项目到首次生产调用
典型硬件ASR + LLM 用 L40S,流式 TTS 用 L4;单台双 GPU 服务器即可
热启动端到端时延~0.3 s(本地推理,无公网往返)
费用结构托管 API 每分钟 €0.05–0.40;自建固定成本约 €800/月起
盈亏平衡点月用量约 50,000 分钟以上时自建更划算;低于此值,自建主要换取数据主权,未必省钱

公开的生产应用效果(第三方披露,仅供参考):

  • 某欧洲金融科技公司:客服平均问题解决时长缩短 10×。
  • 某海湾地区一线电信运营商:单次联系成本下降 58%;预付费咨询中 81% 无需转人工;外呼催收平均处理时长从 4.2 分钟压缩至 2.1 分钟;AI 通话客户满意度为 4.3/5,人工基线为 4.1/5。

朗读无障碍:方向要摆正

WCAG 并不要求提供文字转语音。它要求内容能被用户已有的辅助技术正确解析,如 JAWS、NVDA、VoiceOver。朗读真正服务的是阅读障碍者、低视力者、老年人及第二语言读者:完整屏幕阅读器未必适合他们,但长文本仍造成困难。这是一项产品功能,并非合规勾选项。

  • 成功标准 1.4.2:自动播放超过 3 秒的音频须提供暂停/停止控件,因此朗读功能绝不可自动播放。
  • 成功标准 2.1.1 / 2.4.7 / 2.4.11:所有控件可通过键盘访问,焦点可见且不被遮挡。
  • 成功标准 3.1.1 / 3.1.2:语言切换须显式标注,在引擎中对应 SSML lang 切换。
  • 成功标准 4.1.3:使用 ARIA live region,让朗读跟上表单错误及加载状态变化。
法规有实际约束力,但本模型并非最佳选择。原报告称,European Accessibility Act 自 2025 年 6 月起对许多面向欧盟销售的企业具有法律约束力,欧盟数字教育内容需达到 WCAG 2.2 AA。但 VoxCPM2 缺少完整 SSML 支持和词级时间戳(无法实现逐词高亮朗读),也未针对流式首段音频优化。实际部署更适合轻量的 Kokoro 82M(Apache-2.0,可在 CPU 运行,~2–3 GB),代价是不支持声音克隆。

克隆的三条纪律

源音频

录制 10 秒–5 分钟的干净单人语音:无配乐、无混响、无第二人声。

5–10 分钟音频即可进行 LoRA 微调,将音色固化到权重中,并减少不同生成批次间的差异。

一致性

锁定一个参考片段,一个种子和一个风格指示,这样每一集、每一期都不会走样.

音色设计具有随机性,确认采用前应生成一至三个候选结果。

同意

克隆自己的声音,或持有对方书面授权的声音,属于安全范围。

未经同意而将真实人克隆,可引发人格权、公示权和生物鉴别-隐私索赔 — 这与模型许可完全是两回事.

面向国际用户的结论

适合使用:需要明确允许商用的许可、48 kHz 音质、少量个人音频微调,以及 ~8 GB 显存上的简便本地部署时。

需注意:20 亿(2 B)参数的体量使它比 IndexTTS2.5 和 OmniVoice 慢;音色设计也具有随机性,是创作工具,而非确定性生成器。

20 亿(2 B)参数 30 种语言 无分词器(tokenizer-free) 48 kHz 输出 音色设计 Apache-2.0,可商用

在头对头数据中的位置

模型参数中文 WER / SS英文 WER / SS西班牙语 WER / SS
VoxCPM22 B3.88 / 74.995.13 / 71.575.49 / 74.67
CosyVoice3-0.5B0.5 B3.84 / 80.014.88 / 74.164.04 / 78.85
IndexTTS2.5-RL0.8 B3.93 / 77.923.89 / 67.793.33 / 76.68
MOSS-TTS-v1.58 B4.02 / 72.684.45 / 67.463.83 / 71.75
模型中→英 WER / SS中→西 WER / SS中→日 WER / SS
VoxCPM24.48 / 64.2516.38 / 64.8911.84 / 71.54
OmniVoice3.74 / 64.915.84 / 62.089.09 / 69.06
Qwen3-TTS5.74 / 63.045.15 / 68.0236.09 / 65.71
配置RTF条件
VoxCPM2(标准模式)~0.30RTX 4090 bf16
VoxCPM2(Nano-VLLM)~0.13加速后
IndexTTS2.5 (参考)0.2065RTX 4090 bf16
必须了解的弱项:中→西(zh→es)跨语言迁移。WER 为 16.38,明显落后于本组(OmniVoice 5.84、CosyVoice3 4.58)。若流程是“中文参考片段 → 西班牙语配音”,这一指标会显著影响输出。英文说话人相似度表现较强(71.57),48 kHz 音质也较好,但跨语言迁移并不突出。

自己跑起来要花多少钱

配置RTFGPU-小时/M字符点播 RTX 4090点播 A100
VoxCPM2(Nano-VLLM)~0.132.3 h~$1.73~$3.72
VoxCPM2(标准模式)~0.305.4 h~$4.00~$8.59
本组最低的按需成本(每百万字符 $1.73),约为 ElevenLabs v3 的 1/35 至 1/100。仍需考虑:实测 RTF 通常比论文数据慢 2–5×;工程成本通常比 GPU 账单高一个数量级;存储权重的网络卷即使没有推理也计费,500 GB 约 $35/月。完整模型见 06.4。

许可与披露要求

项目状态
代码许可证Apache-2.0
权重许可证Apache-2.0
商业用途✓ 是 —— 本组唯一完全干净的双重许可
默认水印无 (模型卡上写明输出没有AI水印)
你必须做的若所在司法辖区有披露义务,须自行添加 AudioSeal、SynthID 或 C2PA(欧盟第 50 条 / 中国深度合成规定 / 平台政策)
内容审核模型卡说明不提供生产级输入过滤;这部分需自行负责
数据驻留可完全离线运行
“许可允许商用”不等于“合规”。这是两个独立要求:许可允许商用意味着可以使用该模型;披露合规意味着交付音频必须可被识别为 AI 生成。VoxCPM2 在第二点上帮不上忙,因为它明确不附带水印。相比之下,Chatterbox(MIT)默认嵌入 PerTh 水印。完整义务见 06.5。

其他可选方案

  • 合规压力较大,需要默认水印 → Chatterbox(Resemble AI,MIT,默认内嵌 PerTh,25 种语言)。
  • 需要中文情感表现力 + 精确时长控制时 → IndexTTS2.5.
  • 646 低资源语言,非商业性 → OmniVoice.
  • 在 CPU 或边缘设备上占用极低 → Kokoro 82M (在本集之外, Apache-2.0, ~2–3 GB(没有克隆)
  • 最高单语中文相似度 → CosyVoice3-0.5B (先核对其许可协议).
在 BiliVoice 上试用

准备好使用 VoxCPM2 创作了吗?

打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。