NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Zyphra、スマホやブラウザでリアルタイム動作する音声合成モデルZONOS3-Miniを公開――総8億・アクティブ1億のMoEで43言語、重みはApache 2.0

Zyphraは2026年11月9日、実時間で動作するゼロショット音声クローンの音声合成(TTS)モデル「ZONOS3-Mini」を公開した。総パラメータ8億・トークンごとのアクティブは1億の混合専門家(MoE)構成で、43言語に対応する。モデルの重みはApache 2.0でHugging Faceにあり、ランタイムはMITライセンスでGitHubに公開された。開発元の測定では、Pixel 9のブラウザで最初の音声まで570ミリ秒未満、M3 MacBook Airで150ミリ秒未満と報告されている。技術論文(arXiv:2611.16525)では55言語サブセットのマクロ平均WER(単語誤り率)6.71%を報告しており、数値はいずれも開発元の測定だ。

公開は三段構えだ。公式ページが11月9日付けで、Hugging Faceの技術記事とarXivの論文(2611.16525)は11月12日に公開された。著者はGabriel Clark、Sofian Mejjoute、George Close、Beren Millidgeの4名。重みはPyTorchのチェックポイントに加えてgguf形式の量子化版(音声編集用のチェックポイントを含む)が配られ、GitHubリポジトリの作成は2026年10月29日だった(GitHub APIのメタデータ)。ランタイムはLinux+NVIDIA GPU向けのサーバー(Mini-SGLang系)、Apple Silicon向けのMLX、CPU・CUDA・Metal・Vulkanを扱うC++/ggml、ブラウザのWebGPUを含む。サーバーは共通のHTTP APIを持ち、OpenAI互換の/v1/audio/speechエンドポイントを備える。

音声符号の設計から作り直した15Hzコーデック

前世代のZONOS2は8Bパラメータのバックボーンが86Hzのコーデックを扱う構成で、端末側の処理負担が課題だった。ZONOS3-Miniはこの二つを作り直す。新しい音声コーデックZAC-1は、44.1kHzの音声を15Hzのフレームレートで表す二重符号化だ。10系統の4,096語彙コードブックのうち第0系統は凍結したWav2Vec2-BERT 2.0の層16の特徴を量子化する意味トークン、第1〜9系統は音響の残差ベクトル量子化だ。因果transformerの段が15Hzの符号を240Hzの特徴へ引き上げ、多分解能iSTFTヘッドが44.1kHzの波形を合成する。

図解ZONOS3-Miniの生成の流れ(Hugging Faceの技術記事による)
  1. 01 入力

    話者+テキスト+制御

    最長60秒の参照音声か192次元の話者埋め込み、SuperBPEで正規化・トークン化したテキスト、ラウドネス・帯域・話速の音響制御を入力に取る。

  2. 02 符号化

    15Hzの音声符号

    ZAC-1が10系統の4,096語彙コードブックで、意味(Wav2Vec2-BERT 2.0由来の第0系統)と音響(第1〜9系統のRVQ)を15Hzフレームで表す。

  3. 03 予測

    11層Latent MoE

    Gated DeltaNet 9層+グローバルGQA attention 2層のバックボーンが、遅延パターンで15Hzフレームごとに10系統の符号を逐次予測する。

  4. 04 復号

    44.1kHzで合成

    完成した15Hzフレームから因果iSTFTヘッドが240Hzの特徴を経て44.1kHzの波形を直ちに合成し、生成と再生が並行して進む。

Hugging Faceの技術記事の推論パイプライン図と仕様表の記述に基づく。コンテキスト長は32,768(最長10分の連続音声)。

バックボーンは11層、次元1,024で、9層のGated DeltaNet(GDN)と2層のグローバルGQA attention(16クエリヘッド・4KVヘッド)を交互に置く。コンテキスト長は32,768で、最長10分の連続音声を扱える。全層に64専門家・top-2ルーティングのLatent MoEを使い、総パラメータ8億に対してトークンごとのアクティブは約1億だ。テキストは8,192語彙のSuperBPEトークナイザーとNeMoのテキスト正規化を通り、ラウドネス(LUFSの10バケット)、帯域、話速の音響制御が条件として入力に加わる。話者条件付けは、最長60秒の参照音声をコンテキストに置く方式と、192次元の話者検証モデルMECT-B2の埋め込みを直接与える方式の二つだ。事後学習はDPO(直接選好最適化)とGRPO(群相対方策最適化)の二段階で、幻覚の抑制と発音の安定を図ったと論文・技術記事は説明する。

パラメータ数の表記は資料間で揺れる。公式ページとHugging Faceの技術記事は「総8億・アクティブ1億」、論文の要旨は「886M parameters (100M active per token)」と書く。集計範囲の違いとみられるため、本稿では公式ページの表記を基本に論文の表記を併記する。

開発元測定のレイテンシとスループット

初回音声到達時間(TTFA)の測定値は、Pixel 9のブラウザで570ミリ秒未満、M3 MacBook Airで150ミリ秒未満だ。サーバー用の単体H100では、同時8接続での中央値が80ミリ秒、ピークの合計スループットは実時間の457倍(毎秒457秒分の音声)と報告されている。457倍は複数ストリームの合計値で、単一ストリームの速度ではない。学習はNVIDIA H100 112基を2.5日使ったと公式ページ・技術記事・論文の三者が一致して記す。

図解開発元測定の初回音声到達時間(TTFA)
  • Pixel 9ブラウザ

    実行環境
    570ミリ秒未満
    測定値
    ブラウザ内のWebGPUで端末実行
  • M3 MacBook Airブラウザ

    実行環境
    150ミリ秒未満
    測定値
    同ブラウザ内実行
  • H100 単体サーバー

    実行環境
    80ミリ秒(同時8の中央値)
    測定値
    ピーク合計スループットは実時間の457倍

TTFAは最初の音声が出るまでの時間で、全生成の完了時間ではない。457倍は複数ストリームの合計スループット(毎秒457秒分の音声)で、単一ストリームの速度ではない。値は開発元の測定で、独立検証はない。

55言語サブセットでWER 6.71%と報告

評価は新ベンチマークZTTS2-Evalで行われた。クリーンな読み上げ35言語(FLEURS-R)と実環境の音声クローン20言語(VoxBlink2)の計55言語サブセットを持ち、項目(指標×テストセット×言語)ごとに難易度を当てはめる項目反応理論(IRT)に基づく能力指標を420項目から作る。

「新しいZTTS2-Evalベンチマークで、ZONOS3-Miniは55言語セット(35のクリーンと20の実環境)にわたってマクロ平均WER 6.71%に到達した。これはより大きくより遅い最先端モデルと競争力のある水準だ。」

On the new ZTTS2-Eval benchmark, ZONOS3-Mini reaches a 6.71% macro-average WER over 55 language sets (35 clean and 20 in the wild), which is competitive with larger and slower state-of-the-art models.

arXiv:2611.16525「ZONOS3-Mini Technical Report」の要旨(2026年11月12日公開)

Hugging Faceの技術記事では、この能力指標でオープンウェイトのモデルのうち1位とし、Fish S2 ProとMOSS TTS v1.5の上に置くとしている。比較対象に専有モデルを含む総合順位の記述はなく、いずれも開発元が設計・採点したベンチマークの結果だ。

声の制御と生成後の編集

声質の制御は推論時の操作として設計されている。年齢、性別の呈示、声の質感(柔らかさ、かすれ、明るさ、低さ)はMECT-B2の埋め込み空間内の方向で動かし、アクセントは専用のタスクベクトルとアダプターを使う。ペース、感情、声量、生き生きさは残差ストリーム内のactivation steeringで制御し、ストリーミング生成中の単語単位の制御は学習されたアライメントattentionヘッドの監視で行う。生成後の音声編集は、単語・句の置き換え用のレシピ(ggufのzonos3-ptq-edit.ggufと、オープンソースの単語アライナーfusealign)として公開された。

出典

  1. Zyphra公式: ZONOS3-Mini(Our work)公開日表示2026年11月9日、著者4名。100M active/800M totalのMoE、Apache 2.0、H100 112基で2.5日の学習、Pixel 9で570ms未満・M3 MacBook Airで150ms未満のTTFA、ZONOS2(8B・86Hzコーデック)との対比、WebGPU/SGLang/vLLM/GGMLのランタイム、声質制御の記述。
  2. Hugging Face Blog: ZONOS3-Mini - Open-Source Real-Time Voice Cloning & Steerable TTS in 100M Active Parameters公開日2026年11月12日。43言語、ZAC-1の15Hz/44.1kHz二重符号化(10×4,096コードブック、Wav2Vec2-BERT 2.0の意味トークン+9系統RVQ、240Hzアップサンプル、多分解能iSTFT)、GDN9層+GQA2層・32,768コンテキスト・64専門家top-2のLatent MoE、SuperBPE 8,192語彙、MECT-B2 192次元、DPO+GRPO、H100で同時8のTTFA中央値80ms・ピーク457倍、ZTTS2-Eval(35クリーン+20実環境、IRT 420項目)でオープンウェイト1位(Fish S2 Pro、MOSS TTS v1.5の上)、制御と音声編集の説明。
  3. Hugging Face モデルカード: Zyphra/ZONOS3-Minilicense: apache-2.0、pipeline_tag: text-to-speech、言語リスト43項目(jaを含む)。gguf形式の量子化重み(音声編集用チェックポイントを含む)の同梱。
  4. GitHub: Zyphra/ZONOS3-Mini(README・LICENSE)LICENSEはMIT(Copyright (c) 2026 Zyphra, Inc.)。バックエンド表(Mini-SGLang系CUDAサーバー、MLX、C++/ggml、WebGPU)、共通HTTP APIとOpenAI互換の/v1/audio/speech、PyTorch重み約9GB(既定デコーダー)、リポジトリ作成はGitHub APIで2026-10-29。
  5. arXiv: 2611.16525「ZONOS3-Mini Technical Report」公開2026-11-12、著者4名。要旨に886M parameters(100M active per token)、ZAC-1(44.1kHzを15Hzフレームレートで表現)、ZTTS2-Evalの55言語セットでマクロ平均WER 6.71%、重み・推論・学習コードの公開。公式ページの800M表記との集計範囲の違いの根拠。

出典の確認日 2026.11.15

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む