NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

NVIDIAのNemotron-Labs-Sigma、連続拡散言語モデルの研究を改訂し少ステップ蒸留のチェックポイントを公開──数学で約8倍、コードで約4倍の生成加速

Zhihan Yang氏ら17名の論文「Large Language Continuous Diffusion Models」は2026年10月2日の初版から11月12日に改訂され(arXiv v2)、Nemotron-Labs-Sigmaとして3Bと8Bの連続拡散言語モデルの研究と、少ステップ蒸留チェックポイントの公開が示された。分布マッチング蒸留で数学の生成を約8倍、コードを約4倍に加速(forward passあたり8トークン/4トークン)し、精度の損失は無視できる水準で多様性は維持すると報告する。事前SFT蒸留の8BモデルをGB200で1ステップの投機的復号に使うと、自己回帰対比で約3.5倍のスループットを得たという。公開チェックポイントはHugging FaceでNVIDIA Nemotron Open Model Licenseの下にあり、商用・非商用の両方で利用可能と明記されている。数値は著者の報告値で、第三者による再現はまだない。

自己回帰の言語モデルはトークンを1つずつ生成する。離散拡散言語モデルはマスクされたトークンを反復更新して並列復号できるが、空間がなめらかでなく高次元なため、推論の加速に使う軌道の制御が難しい。この研究は連続潜在空間のODE/SDE軌道を制御可能にした大規模(3B/8B)の連続拡散言語モデルを作り、埋め込みの学習と、ODE/SDE軌道の制御と分布マッチング蒸留の組み合わせで、ブロック単位のノイズ除去による少ステップ生成を可能にする。拡散言語モデル自体の発明ではなく、大規模化と少ステップ蒸留の組み合わせが新しい部分だ。

「分布マッチングが研究した手法のなかで最も強く、数学で約8倍、コードで約4倍の加速(forward passあたり8トークンと4トークン)を、精度の損失は無視できる水準で多様性を保ったまま達成する。」

distribution matching proves strongest among the methods we study, giving roughly 8x acceleration on math and 4x on coding (8 and 4 tokens per forward pass) with negligible accuracy loss and preserved diversity

arXiv:2610.02665v2要約(v1は2026-10-02、v2は2026-11-12、2026-11-17確認)

さらに、事前SFT蒸留の8Bモデルの1ステップ投機的復号(speculative decoding)は、GB200で自己回帰対比で約3.5倍のスループットを得て、マスク型拡散言語モデルの基準を上回ったと報告する。この3つの数値は測定条件が異なり、掛け合わせて使えるものではない。

図解報告された加速の数値(条件が異なるため比較不可)
  • 数学の生成

    報告値
    約8倍(forward passあたり8トークン)
    条件
    分布マッチング蒸留。精度の損失は無視できる水準、多様性は維持
  • コードの生成

    報告値
    約4倍(forward passあたり4トークン)
    条件
    同上
  • スループット

    報告値
    自己回帰比約3.5倍
    条件
    事前SFT蒸留の8BモデルをGB200で1ステップの投機的復号

arXiv:2610.02665v2の要約(2026-11-17確認)。3つの値は測定条件が異なり、乗算できない。数値は著者の報告値で、第三者による再現はまだない。

公開されたチェックポイント

Hugging Faceのモデルカード(Nemotron-Labs-Sigma-distill-8B-nfe4)によると、この8Bモデルは同じNemotron-Labs-Sigma系統のMS-SUSReg-8B教師をPhased DMD(段階的分布マッチング蒸留)で蒸留したものだ。カードのモデルは4回のノイズ除去評価(NFE=4)と最後の読み出しで32トークンのブロックを生成し、ノイズ除去のステップ数は学習で固定される(任意のステップ数の上書きは推論コードに用意しない)。サイズごとにNFE=2、4、8、16の系列が公開される。ライセンスはNVIDIA Nemotron Open Model Licenseで、商用・非商用の両方で利用可能とカードに明記されている。

読むときの留保として、査読と第三者再現はまだなく、速度の値は実験条件に依存する。特定のチェックポイントのベンチマーク値は論文の測定とは別物で、チェックポイントごとの性能の公表は現時点で限られる。推論実装の整備、量子化対応、標準APIとの互換性は公開物の確認が必要で、日本語、長文、ツール呼び出しへの適用は評価されていない。

出典

  1. Large Language Continuous Diffusion Models(arXiv:2610.02665、v1 2026-10-02、v2 2026-11-12)一次資料。著者17名(Zhihan Yangほか)、3B/8Bの連続拡散言語モデル、数学約8倍・コード約4倍(forward passあたり8/4トークン)、GB200での1ステップ投機的復号が自己回帰比約3.5倍のスループット
  2. Hugging Face: nvidia/Nemotron-Labs-Sigma-distill-8B-nfe4(モデルカード)公開チェックポイントの確認。MS-SUSReg-8B教師からのPhased DMD蒸留、NFE=4+読み出しで32トークンブロック、NFE=2/4/8/16の系列、NVIDIA Nemotron Open Model License(商用・非商用とも利用可)

出典の確認日 2026.11.17

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. NVIDIA、科学研究向けエージェント構築のNemotron for Scienceを発表──化学の学習・評価データ約5万問と事後学習レシピ、GROMACS修復は単一DGX Sparkで81%

    NVIDIAは2026年11月16日、科学研究向けエージェント構築の取り組みNemotron for Scienceを発表した。オープンモデルNemotron 3.5 Super VLに、化学推論の学習・評価用オープンデータセットLitmusBench v0.2(学習47,118問・試験2,056問)と事後学習レシピを組み合わせ、研究者が専門特化の科学エージェントを作れるようにする。発表では、KTH王立工科大学が構築したエージェントが単一のDGX Sparkで一晩の実行によりGROMACS分子動力学の壊れた構成の81%を修復し、修復のたびにGROMACS自体が独立に検査した例や、Terray Therapeuticsの反応図抽出がRxnScribe試験で注釈付き反応の約76%を回復した例を紹介している。数値はNVIDIAと協力組織の報告値で、独立検証はされていない。モデルとデータセットはHugging Faceで公開中で、128GBのDGX Sparkでのローカル実行に最適化された。

    記事を読む
  2. NVIDIAとElith、日本の金融AI向け合成ペルソナ900万件を公開 CC BY 4.0で商用も利用可

    NVIDIAとElithは2026年11月9日、日本の公的統計に家計の財務状況と金融リテラシーのデータを組み合わせた合成ペルソナデータセット「Nemotron-Personas-Finance-Japan」を公開しました。100万レコードに9ペルソナずつ付いた計900万ペルソナで、CC BY 4.0ライセンスのもとで商用・非商用ともに利用できます。新しいモデルの発表ではなく、再利用できるデータ資産の公開です。

    記事を読む
  3. NVIDIA、Rebellions・SK Telecomと協業 NVLink Fusionで韓国製NPUをGPU基盤に統合へ

    NVIDIA、Rebellions、SK Telecom(SKT)の3社は2026年11月9日、韓国のソブリンAIインフラを支える協業を発表しました(NVIDIA発表は米国時間11月8日)。Rebellionsが次世代NPU「Rebel R200」にNVIDIAの接続技術NVLink Fusionを採用し、MGXラック設計でGPUとNPUを組み合わせたラック規模の推論システムを開発します。SKTは自社のAIデータセンターへの導入を計画しており、R200システムは2028年に導入準備が整う見込みです。韓国科学技術情報通信部(MSIT)が協業を支援しています。

    記事を読む