自己回帰の言語モデルはトークンを1つずつ生成する。離散拡散言語モデルはマスクされたトークンを反復更新して並列復号できるが、空間がなめらかでなく高次元なため、推論の加速に使う軌道の制御が難しい。この研究は連続潜在空間のODE/SDE軌道を制御可能にした大規模(3B/8B)の連続拡散言語モデルを作り、埋め込みの学習と、ODE/SDE軌道の制御と分布マッチング蒸留の組み合わせで、ブロック単位のノイズ除去による少ステップ生成を可能にする。拡散言語モデル自体の発明ではなく、大規模化と少ステップ蒸留の組み合わせが新しい部分だ。
「分布マッチングが研究した手法のなかで最も強く、数学で約8倍、コードで約4倍の加速(forward passあたり8トークンと4トークン)を、精度の損失は無視できる水準で多様性を保ったまま達成する。」
distribution matching proves strongest among the methods we study, giving roughly 8x acceleration on math and 4x on coding (8 and 4 tokens per forward pass) with negligible accuracy loss and preserved diversity
さらに、事前SFT蒸留の8Bモデルの1ステップ投機的復号(speculative decoding)は、GB200で自己回帰対比で約3.5倍のスループットを得て、マスク型拡散言語モデルの基準を上回ったと報告する。この3つの数値は測定条件が異なり、掛け合わせて使えるものではない。
数学の生成
- 報告値
- 約8倍(forward passあたり8トークン)
- 条件
- 分布マッチング蒸留。精度の損失は無視できる水準、多様性は維持
コードの生成
- 報告値
- 約4倍(forward passあたり4トークン)
- 条件
- 同上
スループット
- 報告値
- 自己回帰比約3.5倍
- 条件
- 事前SFT蒸留の8BモデルをGB200で1ステップの投機的復号
arXiv:2610.02665v2の要約(2026-11-17確認)。3つの値は測定条件が異なり、乗算できない。数値は著者の報告値で、第三者による再現はまだない。
公開されたチェックポイント
Hugging Faceのモデルカード(Nemotron-Labs-Sigma-distill-8B-nfe4)によると、この8Bモデルは同じNemotron-Labs-Sigma系統のMS-SUSReg-8B教師をPhased DMD(段階的分布マッチング蒸留)で蒸留したものだ。カードのモデルは4回のノイズ除去評価(NFE=4)と最後の読み出しで32トークンのブロックを生成し、ノイズ除去のステップ数は学習で固定される(任意のステップ数の上書きは推論コードに用意しない)。サイズごとにNFE=2、4、8、16の系列が公開される。ライセンスはNVIDIA Nemotron Open Model Licenseで、商用・非商用の両方で利用可能とカードに明記されている。
読むときの留保として、査読と第三者再現はまだなく、速度の値は実験条件に依存する。特定のチェックポイントのベンチマーク値は論文の測定とは別物で、チェックポイントごとの性能の公表は現時点で限られる。推論実装の整備、量子化対応、標準APIとの互換性は公開物の確認が必要で、日本語、長文、ツール呼び出しへの適用は評価されていない。
出典
- Large Language Continuous Diffusion Models(arXiv:2610.02665、v1 2026-10-02、v2 2026-11-12)一次資料。著者17名(Zhihan Yangほか)、3B/8Bの連続拡散言語モデル、数学約8倍・コード約4倍(forward passあたり8/4トークン)、GB200での1ステップ投機的復号が自己回帰比約3.5倍のスループット
- Hugging Face: nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4(モデルカード)公開チェックポイントの確認。MS-SUSReg-8B教師からのPhased DMD蒸留、NFE=4+読み出しで32トークンブロック、NFE=2/4/8/16の系列、NVIDIA Nemotron Open Model License(商用・非商用とも利用可)
出典の確認日 2026.11.17