VoxCPM2 语音克隆实测:开源可商用与自建成本
VoxCPM2
ModelBest / OpenBMB / 清华 HCSI · 无分词器(tokenizer-free)· Apache-2.0 · 2026 年 4 月
VoxCPM2 是本组对国际用户最友好的模型:代码与权重均为 Apache-2.0,英文文档清晰,并通过一项设计决策绕开 TTS 常见问题。它无分词器(tokenizer-free),直接在连续空间生成,而非先将音频量化为离散 token(词元)。量化有损,口音、细微情绪、呼吸和停顿节奏恰是容易丢失的细节。模型共 2 B 参数,基于 ModelBest 的 MiniCPM-4 主干网络,在 2M+ 小时多语言语音上训练。
- 架构
- LocEnc → TSLM → RALM → LocDiT
- 主干网络
- MiniCPM-4,总计 2 B 参数
- 语言
- 30 种语言 + 9 种中文方言
- 音频 VAE
- AudioVAE V2(输入 16 kHz → 输出 48 kHz)
- 语言模型 token(词元)速率
- 6.25 Hz,最多 8192 个 token(词元)
- VRAM
- ~8 GB
- RTF (RTX 4090)
- ~0.30 / 使用 Nano-VLLM 时 ~0.13
- 许可证
- Apache-2.0(可商用)
四阶段架构
- LocEnc(局部编码器)——从输入文本和参考音频提取特征,为两个语言模型提供条件。
- TSLM(文本—语义语言模型)——进行“语义规划”,将文本映射为粗粒度语音语义表示,决定内容边界与韵律框架。
- RALM(残差声学语言模型)——在 TSLM 输出上做更精细的声学建模,补充音色、情感细节与说话人特征。
- LocDiT(局部扩散 Transformer)——通过流匹配局部扩散生成连续音频隐变量,再由 AudioVAE V2 解码为 48 kHz 音频。
AudioVAE V2 是非对称架构:编码器接收 16 kHz 输入,解码器输出 48 kHz,内置超分辨率,无需外部上采样器。48 kHz 是本组最高输出采样率。
四个使用模式
| 模式 | 输入 | 它给你什么 |
|---|---|---|
| 基础 TTS | 仅文本 | 无需参考音频,也无需语言标签,模型自行检测语言:输入中文生成中文,输入泰文生成泰文。 |
| 音色设计 | 自然语言描述 | 在正文前用括号添加描述,如 (young woman, warm and gentle voice),无需参考音频即可创建全新音色。 |
| 可控克隆 | 参考音频 + 风格指令 | 克隆音色,同时控制情绪、语速和表达(如“稍快一点,语气欢快”);基础音色保持不变。 |
| 极致克隆 | 参考音频 + 对应文本 | 音频续写式克隆,参考片段成为开头,最能复现口音、呼吸习惯与停顿节奏。将同一片段同时传入 reference_wav_path 和 prompt_wav_path 可最大化相似度。 |
上下文感知合成
VoxCPM 会理解文本并推断合适的情绪和韵律,而非机械地将字符转成音频。同一句话以感叹号或句号结尾,会有不同节奏、力度和重音。体育解说、争论及哭泣独白可呈现自然韵律,而非旧式 TTS 常见的“稳定但无感情”表达。这来自 TSLM 的语义建模及底层 MiniCPM-4 的文本理解。
基准
| 指标 | 数值 | 备注 |
|---|---|---|
| 中文 CER | 0.97% | 公开的 eval 集 |
| 英文 WER | 1.84% | 公开的 eval 集 |
| RTF (RTX 4090) | ~0.30 | 标准模式 |
| 使用 Nano-VLLM 的 RTF | ~0.13 | 接近低时延实时 |
| VRAM | ~8 GB | bf16 |
据报告,在 Seed-TTS-eval、CV3-eval、InstructTTSEval 及 MiniMax 多语言测试中达到领先或有竞争力的水平。需注意,多数指标由作者自报,独立第三方复现仍有限。
语言
30 种语言:阿拉伯语、缅甸语、中文、丹麦语、荷兰语、英语、芬兰语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、高棉语、韩语、老挝语、马来语、挪威语、波兰语、葡萄牙语、俄语、西班牙语、斯瓦希里语、瑞典语、他加禄语、泰语、土耳其语、越南语。
9 种中文方言:四川话、粤语、吴语(上海话)、东北话、河南话、陕西话、山东话、天津话、闽南语。
微调与部署
- 支持完整 SFT 与 LoRA 微调,仅需 5–10 分钟音频,推荐使用 LoRA。这是本组唯一提供实用个人音色训练流程说明的模型。
- 要求:Python ≥ 3.10、PyTorch ≥ 2.5.0、CUDA ≥ 12.0。安装命令为
pip install voxcpm。 - Hugging Face 下载较慢的地区可使用 ModelScope。
- 通过 Nano-VLLM 或 vLLM-Omni 提供生产服务。本地 Web 演示:
python app.py --port 8808。 - 关键参数:
cfg_value(无分类器引导强度,决定输出贴合提示的程度)和inference_timesteps(扩散步数,默认 10 适合多数场景)。 - 生态热度:Hugging Face 上月下载量 327k,另有 21 个适配器、28 个社区微调版本及 10 个量化版本。
版本历史
| 何时 | 版本 | 变更内容 |
|---|---|---|
| 2025 年 9 月 | VoxCPM-0.5B | 首次发布,登上 Hugging Face Trending 第 1 名 |
| 2025 年 12 月 | VoxCPM1.5(~800 M) | 支持 SFT + LoRA 微调及 44.1 kHz 输出,登上 GitHub Trending 第 1 名;出现 ComfyUI 插件、ONNX 导出及 Rust 重实现 |
| 2026 年 4 月 | VoxCPM2(2 B) | 参数约增至 2.5×;语言从 2 种增至 30 种,另含 9 种方言;48 kHz 输出;新增音色设计、可控克隆及 AudioVAE V2 |
适用场景:本组唯一许可条款干净的选项
| 适用场景 | 如何运行它 | 小心点 |
|---|---|---|
| 自建公共部门、医院及金融部署 | 完全离线运行,音频不出内网;48 kHz 输出无需外部上采样 | 预计 ~6–8 周投产,见下方成本表 |
| 在线课程和多语种培训 | 30 种语言与 9 种中文方言,无需语言标签 | 《欧洲无障碍法》已让无障碍成为一项采购指标 — 见下文 |
| 创作者声音克隆与个人 IP | 用 5–10 分钟音频进行 LoRA 微调,将音色固化到权重中 | 克隆本人或已授权声音较安全;克隆真人涉及人格权,与模型许可是独立问题 |
| 广告和营销A/B变体 | 批量生成一个脚本的许多变体; 自托管时边际成本接近零 | 平台和公平贸易委员会AI标签政策正在收紧 |
| 高保真内容分发 | 16 kHz 参考音频通过 AudioVAE V2 直接到 48 kHz 产出 | 20 亿(2B)参数,比 IndexTTS2.5 慢 |
| 音色设计(无参考音频) | 用自然语言描述性别、年龄和音高,创建全新音色 | 输出不含水印,有披露要求时须自行添加 |
自建部署:成本如何算
| 项目 | 典型数字 |
|---|---|
| 自建语音系统投产时间 | ~6–8 周,从启动项目到首次生产调用 |
| 典型硬件 | ASR + LLM 用 L40S,流式 TTS 用 L4;单台双 GPU 服务器即可 |
| 热启动端到端时延 | ~0.3 s(本地推理,无公网往返) |
| 费用结构 | 托管 API 每分钟 €0.05–0.40;自建固定成本约 €800/月起 |
| 盈亏平衡点 | 月用量约 50,000 分钟以上时自建更划算;低于此值,自建主要换取数据主权,未必省钱 |
公开的生产应用效果(第三方披露,仅供参考):
- 某欧洲金融科技公司:客服平均问题解决时长缩短 10×。
- 某海湾地区一线电信运营商:单次联系成本下降 58%;预付费咨询中 81% 无需转人工;外呼催收平均处理时长从 4.2 分钟压缩至 2.1 分钟;AI 通话客户满意度为 4.3/5,人工基线为 4.1/5。
朗读无障碍:方向要摆正
WCAG 并不要求提供文字转语音。它要求内容能被用户已有的辅助技术正确解析,如 JAWS、NVDA、VoiceOver。朗读真正服务的是阅读障碍者、低视力者、老年人及第二语言读者:完整屏幕阅读器未必适合他们,但长文本仍造成困难。这是一项产品功能,并非合规勾选项。
- 成功标准 1.4.2:自动播放超过 3 秒的音频须提供暂停/停止控件,因此朗读功能绝不可自动播放。
- 成功标准 2.1.1 / 2.4.7 / 2.4.11:所有控件可通过键盘访问,焦点可见且不被遮挡。
- 成功标准 3.1.1 / 3.1.2:语言切换须显式标注,在引擎中对应 SSML
lang切换。 - 成功标准 4.1.3:使用 ARIA live region,让朗读跟上表单错误及加载状态变化。
克隆的三条纪律
源音频
录制 10 秒–5 分钟的干净单人语音:无配乐、无混响、无第二人声。
5–10 分钟音频即可进行 LoRA 微调,将音色固化到权重中,并减少不同生成批次间的差异。
一致性
锁定一个参考片段,一个种子和一个风格指示,这样每一集、每一期都不会走样.
音色设计具有随机性,确认采用前应生成一至三个候选结果。
同意
克隆自己的声音,或持有对方书面授权的声音,属于安全范围。
未经同意而将真实人克隆,可引发人格权、公示权和生物鉴别-隐私索赔 — 这与模型许可完全是两回事.
面向国际用户的结论
适合使用:需要明确允许商用的许可、48 kHz 音质、少量个人音频微调,以及 ~8 GB 显存上的简便本地部署时。
需注意:20 亿(2 B)参数的体量使它比 IndexTTS2.5 和 OmniVoice 慢;音色设计也具有随机性,是创作工具,而非确定性生成器。
在头对头数据中的位置
| 模型 | 参数 | 中文 WER / SS | 英文 WER / SS | 西班牙语 WER / SS |
|---|---|---|---|---|
| VoxCPM2 | 2 B | 3.88 / 74.99 | 5.13 / 71.57 | 5.49 / 74.67 |
| CosyVoice3-0.5B | 0.5 B | 3.84 / 80.01 | 4.88 / 74.16 | 4.04 / 78.85 |
| IndexTTS2.5-RL | 0.8 B | 3.93 / 77.92 | 3.89 / 67.79 | 3.33 / 76.68 |
| MOSS-TTS-v1.5 | 8 B | 4.02 / 72.68 | 4.45 / 67.46 | 3.83 / 71.75 |
| 模型 | 中→英 WER / SS | 中→西 WER / SS | 中→日 WER / SS |
|---|---|---|---|
| VoxCPM2 | 4.48 / 64.25 | 16.38 / 64.89 | 11.84 / 71.54 |
| OmniVoice | 3.74 / 64.91 | 5.84 / 62.08 | 9.09 / 69.06 |
| Qwen3-TTS | 5.74 / 63.04 | 5.15 / 68.02 | 36.09 / 65.71 |
| 配置 | RTF | 条件 |
|---|---|---|
| VoxCPM2(标准模式) | ~0.30 | RTX 4090 bf16 |
| VoxCPM2(Nano-VLLM) | ~0.13 | 加速后 |
| IndexTTS2.5 (参考) | 0.2065 | RTX 4090 bf16 |
自己跑起来要花多少钱
| 配置 | RTF | GPU-小时/M字符 | 点播 RTX 4090 | 点播 A100 |
|---|---|---|---|---|
| VoxCPM2(Nano-VLLM) | ~0.13 | 2.3 h | ~$1.73 | ~$3.72 |
| VoxCPM2(标准模式) | ~0.30 | 5.4 h | ~$4.00 | ~$8.59 |
许可与披露要求
| 项目 | 状态 |
|---|---|
| 代码许可证 | Apache-2.0 |
| 权重许可证 | Apache-2.0 |
| 商业用途 | ✓ 是 —— 本组唯一完全干净的双重许可 |
| 默认水印 | 无 (模型卡上写明输出没有AI水印) |
| 你必须做的 | 若所在司法辖区有披露义务,须自行添加 AudioSeal、SynthID 或 C2PA(欧盟第 50 条 / 中国深度合成规定 / 平台政策) |
| 内容审核 | 模型卡说明不提供生产级输入过滤;这部分需自行负责 |
| 数据驻留 | 可完全离线运行 |
其他可选方案
- 合规压力较大,需要默认水印 → Chatterbox(Resemble AI,MIT,默认内嵌 PerTh,25 种语言)。
- 需要中文情感表现力 + 精确时长控制时 → IndexTTS2.5.
- 646 低资源语言,非商业性 → OmniVoice.
- 在 CPU 或边缘设备上占用极低 → Kokoro 82M (在本集之外, Apache-2.0, ~2–3 GB(没有克隆)
- 最高单语中文相似度 → CosyVoice3-0.5B (先核对其许可协议).
准备好使用 VoxCPM2 创作了吗?
打开文字转语音并自动选中此引擎,即可使用你自己的声音模型开始创作。