IndexTTS 第一世代のシステムです。 bilibili'インデックススピーチチーム。 ビルド XTTS そして、 トーチ ゼロから始めるのではなく、その見出しの貢献は、 中国発音制御可能 — 英語中心の問題 TTS 研究はほとんど無視されていました。 国際的な聴衆のために、重要な細部は解放のタイムラインです: v1.0 3月 2025) 続いて v1.5 5月5日 2025)、特に改善された英語の性能および全面的な安定性。 あなたが評価した場合 IndexTTS 1v1 の評価5, v1ではない。0.

デベロッパー

bilibili インデックススピーチチーム

初期リリース

1月2日 2025 (重量 Mar 2025)

建築設計

オートレグレッシブ(GPT-style)

語学学校

中国語、英語(+ダイヤル)

VRAM

~11 GB

スループット

~1 オーディオを最小限に ~10 s

社会貢献 1 — ハイブリッドキャラクター+ピンインモデリング

コアの考え方です。 中国語のpolyphones (コンテキストに応じて複数の読書が付いているcharacters)は持続的な失敗モードです TTS. IndexTTS ユーザーは、直接入力テキストにピニインを注入し、そのモデルをstochastic拡張を介してそれをに対処するように訓練しました。

• トレーニング中、大体 20% 非ポリフォニック文字の Bernoulli マスク (α =) を使用して、ピンインフォームに置き換えられます。 0.20). これにより、モデルを強制して、グラメとカルメンの間に堅牢なマッピングを学ぶことができます。
• アドバーサリアルトレーニングは、からの同音の誤発率を低下させました 8.7% お問い合わせ 0.9%.
• 推論では書くことができます zhong4 zhong4 不審にインライン — 同じメカニズムは、まれで、単語外的な文字でも役立ちます。

なぜ中国を超えてこの問題: 同じアーキテクチャのトリックは、不規則な発音で任意の言語のために直接再使用可能です。 CMUphonemeのオーバーライドが英語のために何をするかに機能的に似ています。

社会貢献 2 — 精密な一時停止/prosody制御

句読点は、明示的な一時停止期間を経由してマップされます タイムスタンプ埋め込み (徹底的に) 0.3 s コンマのため, 0.8 s 完全停止のため)。 古典的で中国の長字のテキストでは、文脈の正確さは達しました 98.6%.

社会貢献 3 — Encoder と vocoder のアップグレード

• A コンフォーマーベースのスピーチ条件付きエンコーダ ベースラインコンディショニングスタックを交換し、ゼロショットクローニング安定性とスピーカーの類似性を改善します。
• スピーチコードデコーダーが交換されました ビッグVGAN2、出力の天性で意味のあるジャンプ。
• チームの比較を公開 ベクトル量子化(VQ)とFinite Scalar量子化(FSQ) コードブック利用のため: 6,000-hourデータスケール、FSQは近いです 100% コードブック活用 versus ほぼ大 55% VQについて — 後から受け継がれた発見 IndexTTS リネン。

報告結果(自己評価)

これらの図は、CosyVoice2、Fish-Speech、FireRedを含む一時的オープンソースシステムとして報告されましたTTS と F5-TTS、より簡単な訓練のパイプラインを使用して、より速いinference。

使用例: 選ぶべき時 1

ヘッド・ツー・ヘッドのデータに座るところ

IndexTTS 1 CV3-Eval ヘッド・トゥ・ヘッド・トゥ・ヘッド・トゥ・ヘッド・ツー・ヘッド・ツー・ヘッド・ヘッド・ツー・ヘッド・ツー・ヘッド・ツー・ヘッド・ヘッド・ツー・ヘッド・ツー・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ツー・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ヘッド・ — その評価は、新世代をカバー ()IndexTTS2.5, VoxCPM2, OmniVoice, コージーボイス 3, Qwen3-TTS, MOSS-TTS その他。 この報告書のその役割は、 世代別ベースライン競争相手ではない。 上記の「報告結果」ブロックには、独自の絶対数値が組み込まれています。

自分で実行する費用

IndexTTS 1 決して比較可能な公開しません RTF 記載されたハードウェアでは、入力できません。 GPU-時間テーブル 06.4. これらは唯一の使用可能なアンカーです。

ライセンスおよび開示ゲート

そうでない場合は、

• 中国語クローニング、より新しいリリースに移行できます → IndexTTS2.5. より速く、5つの言語、より細かい発音制御(pinyin/CMU/kana)、より低い VRAM.
• ライセンスはきれいでなければなりません → VoxCPM2 (Apache-2.0 コードおよび重量のため、 48 kHz).
• 非常に低いフットプリント、CPUまたはエッジ → ココロ 82M (このセットの外側) Apache-2.0, ~2–3 GB, しかし、それは クローンすることはできません).
• 具体的に必要 1 紙スタイルの比較のためのベースラインとして → 常に v1 を報告します。0 と v1.5 バージョン番号またはあなたの結論は人々を誤解します。