公開は三段構えだ。公式ページが11月9日付けで、Hugging Faceの技術記事とarXivの論文(2611.16525)は11月12日に公開された。著者はGabriel Clark、Sofian Mejjoute、George Close、Beren Millidgeの4名。重みはPyTorchのチェックポイントに加えてgguf形式の量子化版(音声編集用のチェックポイントを含む)が配られ、GitHubリポジトリの作成は2026年10月29日だった(GitHub APIのメタデータ)。ランタイムはLinux+NVIDIA GPU向けのサーバー(Mini-SGLang系)、Apple Silicon向けのMLX、CPU・CUDA・Metal・Vulkanを扱うC++/ggml、ブラウザのWebGPUを含む。サーバーは共通のHTTP APIを持ち、OpenAI互換の/v1/audio/speechエンドポイントを備える。
音声符号の設計から作り直した15Hzコーデック
前世代のZONOS2は8Bパラメータのバックボーンが86Hzのコーデックを扱う構成で、端末側の処理負担が課題だった。ZONOS3-Miniはこの二つを作り直す。新しい音声コーデックZAC-1は、44.1kHzの音声を15Hzのフレームレートで表す二重符号化だ。10系統の4,096語彙コードブックのうち第0系統は凍結したWav2Vec2-BERT 2.0の層16の特徴を量子化する意味トークン、第1〜9系統は音響の残差ベクトル量子化だ。因果transformerの段が15Hzの符号を240Hzの特徴へ引き上げ、多分解能iSTFTヘッドが44.1kHzの波形を合成する。
- 01 入力
話者+テキスト+制御
最長60秒の参照音声か192次元の話者埋め込み、SuperBPEで正規化・トークン化したテキスト、ラウドネス・帯域・話速の音響制御を入力に取る。
- 02 符号化
15Hzの音声符号
ZAC-1が10系統の4,096語彙コードブックで、意味(Wav2Vec2-BERT 2.0由来の第0系統)と音響(第1〜9系統のRVQ)を15Hzフレームで表す。
- 03 予測
11層Latent MoE
Gated DeltaNet 9層+グローバルGQA attention 2層のバックボーンが、遅延パターンで15Hzフレームごとに10系統の符号を逐次予測する。
- 04 復号
44.1kHzで合成
完成した15Hzフレームから因果iSTFTヘッドが240Hzの特徴を経て44.1kHzの波形を直ちに合成し、生成と再生が並行して進む。
Hugging Faceの技術記事の推論パイプライン図と仕様表の記述に基づく。コンテキスト長は32,768(最長10分の連続音声)。
バックボーンは11層、次元1,024で、9層のGated DeltaNet(GDN)と2層のグローバルGQA attention(16クエリヘッド・4KVヘッド)を交互に置く。コンテキスト長は32,768で、最長10分の連続音声を扱える。全層に64専門家・top-2ルーティングのLatent MoEを使い、総パラメータ8億に対してトークンごとのアクティブは約1億だ。テキストは8,192語彙のSuperBPEトークナイザーとNeMoのテキスト正規化を通り、ラウドネス(LUFSの10バケット)、帯域、話速の音響制御が条件として入力に加わる。話者条件付けは、最長60秒の参照音声をコンテキストに置く方式と、192次元の話者検証モデルMECT-B2の埋め込みを直接与える方式の二つだ。事後学習はDPO(直接選好最適化)とGRPO(群相対方策最適化)の二段階で、幻覚の抑制と発音の安定を図ったと論文・技術記事は説明する。
パラメータ数の表記は資料間で揺れる。公式ページとHugging Faceの技術記事は「総8億・アクティブ1億」、論文の要旨は「886M parameters (100M active per token)」と書く。集計範囲の違いとみられるため、本稿では公式ページの表記を基本に論文の表記を併記する。
開発元測定のレイテンシとスループット
初回音声到達時間(TTFA)の測定値は、Pixel 9のブラウザで570ミリ秒未満、M3 MacBook Airで150ミリ秒未満だ。サーバー用の単体H100では、同時8接続での中央値が80ミリ秒、ピークの合計スループットは実時間の457倍(毎秒457秒分の音声)と報告されている。457倍は複数ストリームの合計値で、単一ストリームの速度ではない。学習はNVIDIA H100 112基を2.5日使ったと公式ページ・技術記事・論文の三者が一致して記す。
Pixel 9ブラウザ
- 実行環境
- 570ミリ秒未満
- 測定値
- ブラウザ内のWebGPUで端末実行
M3 MacBook Airブラウザ
- 実行環境
- 150ミリ秒未満
- 測定値
- 同ブラウザ内実行
H100 単体サーバー
- 実行環境
- 80ミリ秒(同時8の中央値)
- 測定値
- ピーク合計スループットは実時間の457倍
TTFAは最初の音声が出るまでの時間で、全生成の完了時間ではない。457倍は複数ストリームの合計スループット(毎秒457秒分の音声)で、単一ストリームの速度ではない。値は開発元の測定で、独立検証はない。
55言語サブセットでWER 6.71%と報告
評価は新ベンチマークZTTS2-Evalで行われた。クリーンな読み上げ35言語(FLEURS-R)と実環境の音声クローン20言語(VoxBlink2)の計55言語サブセットを持ち、項目(指標×テストセット×言語)ごとに難易度を当てはめる項目反応理論(IRT)に基づく能力指標を420項目から作る。
「新しいZTTS2-Evalベンチマークで、ZONOS3-Miniは55言語セット(35のクリーンと20の実環境)にわたってマクロ平均WER 6.71%に到達した。これはより大きくより遅い最先端モデルと競争力のある水準だ。」
On the new ZTTS2-Eval benchmark, ZONOS3-Mini reaches a 6.71% macro-average WER over 55 language sets (35 clean and 20 in the wild), which is competitive with larger and slower state-of-the-art models.
Hugging Faceの技術記事では、この能力指標でオープンウェイトのモデルのうち1位とし、Fish S2 ProとMOSS TTS v1.5の上に置くとしている。比較対象に専有モデルを含む総合順位の記述はなく、いずれも開発元が設計・採点したベンチマークの結果だ。
声の制御と生成後の編集
声質の制御は推論時の操作として設計されている。年齢、性別の呈示、声の質感(柔らかさ、かすれ、明るさ、低さ)はMECT-B2の埋め込み空間内の方向で動かし、アクセントは専用のタスクベクトルとアダプターを使う。ペース、感情、声量、生き生きさは残差ストリーム内のactivation steeringで制御し、ストリーミング生成中の単語単位の制御は学習されたアライメントattentionヘッドの監視で行う。生成後の音声編集は、単語・句の置き換え用のレシピ(ggufのzonos3-ptq-edit.ggufと、オープンソースの単語アライナーfusealign)として公開された。
出典
- Zyphra公式: ZONOS3-Mini(Our work)公開日表示2026年11月9日、著者4名。100M active/800M totalのMoE、Apache 2.0、H100 112基で2.5日の学習、Pixel 9で570ms未満・M3 MacBook Airで150ms未満のTTFA、ZONOS2(8B・86Hzコーデック)との対比、WebGPU/SGLang/vLLM/GGMLのランタイム、声質制御の記述。
- Hugging Face Blog: ZONOS3-Mini - Open-Source Real-Time Voice Cloning & Steerable TTS in 100M Active Parameters公開日2026年11月12日。43言語、ZAC-1の15Hz/44.1kHz二重符号化(10×4,096コードブック、Wav2Vec2-BERT 2.0の意味トークン+9系統RVQ、240Hzアップサンプル、多分解能iSTFT)、GDN9層+GQA2層・32,768コンテキスト・64専門家top-2のLatent MoE、SuperBPE 8,192語彙、MECT-B2 192次元、DPO+GRPO、H100で同時8のTTFA中央値80ms・ピーク457倍、ZTTS2-Eval(35クリーン+20実環境、IRT 420項目)でオープンウェイト1位(Fish S2 Pro、MOSS TTS v1.5の上)、制御と音声編集の説明。
- Hugging Face モデルカード: Zyphra/ZONOS3-Minilicense: apache-2.0、pipeline_tag: text-to-speech、言語リスト43項目(jaを含む)。gguf形式の量子化重み(音声編集用チェックポイントを含む)の同梱。
- GitHub: Zyphra/ZONOS3-Mini(README・LICENSE)LICENSEはMIT(Copyright (c) 2026 Zyphra, Inc.)。バックエンド表(Mini-SGLang系CUDAサーバー、MLX、C++/ggml、WebGPU)、共通HTTP APIとOpenAI互換の/v1/audio/speech、PyTorch重み約9GB(既定デコーダー)、リポジトリ作成はGitHub APIで2026-10-29。
- arXiv: 2611.16525「ZONOS3-Mini Technical Report」公開2026-11-12、著者4名。要旨に886M parameters(100M active per token)、ZAC-1(44.1kHzを15Hzフレームレートで表現)、ZTTS2-Evalの55言語セットでマクロ平均WER 6.71%、重み・推論・学習コードの公開。公式ページの800M表記との集計範囲の違いの根拠。
出典の確認日 2026.11.15