推測デコードは軽量なドラフトがトークン列の候補を出し、対象モデルがまとめて検証することで出力分布を保ったまま生成を速める。DFlashのような拡散型ドラフトは16トークンのブロックを1回の順伝播で提案できるが、対象はテキスト中心で、画像を理解するVLMでのドラフト精度は十分に研究されてこなかった。論文はこの不足を埋める研究として、まずトークン単位の視覚依存度という尺度を導入した。
「視覚入力ありとなしの次トークン分布のKLダイバージェンスに基づくトークン単位の視覚依存度の尺度を導入する。受理率は視覚依存度が最も低い四分位の46%から最も高い四分位の22%まで下がる。」
we first introduce a metric of token-level visual dependence based on the KL divergence between next-token distributions with and without visual input. We find that acceptance rates decrease from 46% in the lowest visual-dependence quartile to 22% in the highest.
視覚依存度を教師信号にする
論文の分析では、画像に強く依存する語ほどドラフトの提案が外れやすく、拒否されたブロックの多くがそこで壊れる。MMFlashは学習データの各トークンの視覚依存度を対象モデルで測り、ドラフトの損失を依存度の高いトークンに集中させる。ドラフト自体は画像や動画を再エンコードせず、視覚情報がすでに融合された対象モデルの隠れ状態を読むため、視覚トークンの数に応じてドラフトの負荷が増えない。長い動画では、attention sink、テキスト、間引いた視覚トークン、直近ウィンドウからなる疎な文脈で、4万トークン級の動画プロンプトでもドラフトを軽く保つ。
- 01 依存度の測定
KL差
対象モデルに画像あり/なしで同じ文を2回走らせ、トークンごとの分布のKLダイバージェンスを記録する
- 02 ドラフトの学習
重み付け
ドラフトが苦手な視覚依存トークンに損失を集中させる
- 03 ドラフト生成
16トークン
拡散型ドラフトがブロックを1回の順伝播で提案する。画像の再エンコードはしない
- 04 ターゲット検証
1回で受理
対象モデルがブロックをまとめて検証し、出力分布を保ったまま受理する
arXiv:2611.18482の本文と公式README(2026-11-17確認)から作成。長尺動画ではattention sink・テキスト・間引き視覚トークン・直近ウィンドウの疎コンテキストを使う。
公表された高速化の数値は条件が2系統
論文要旨の数値は、マルチモーダルベンチマーク集計の最大3.58倍で、EAGLE-3比最大195.4%、DFlash比最大17.1%だ。一方、公式プロジェクトページとREADMEの見せ場としては、別の条件でH200 1基・バッチ1・greedyの実測を挙げ、Qwen3.5-4Bと9Bで約3.0倍、Qwen3.8-27Bで最大4.7倍としている。二つの数値群は集計範囲と測定条件が違い、同一の実験結果として扱えない。READMEの評価設定は、ChartQA、CharXiv、MMStar、MMBench、DynaMath、MathVista、MathVerseの画像7ベンチマークを各200問、1リクエストずつ、greedy、最大4096新トークンで測り、動画はLongVideoBench、MVBench、Video-MMEを48フレームで測る。
論文要旨
- 最大高速化
- 3.58倍
- 条件と補足
- マルチモーダルベンチマーク集計。EAGLE-3比最大195.4%、DFlash比最大17.1%
プロジェクトページ
- 最大高速化
- 4.7倍
- 条件と補足
- H200 1基・バッチ1・greedyのQwen3.8-27B。Qwen3.5-4B/9Bは約3.0倍
arXiv:2611.18482の要旨とプロジェクトページ(2026-11-17確認)。2系統は集計範囲と条件が異なり、同一実験として扱わない。いずれも著者測定の最大値。
MITの実装と4種のドラフト重み
公開されたドラフトはQwen3.5-4B(537M)、Qwen3.5-9B(1.05B)、Qwen3.8-27B(1.73B)、Gemma4-E4B-it(537M)の4種で、ブロックサイズは16。ドラフトは単体の言語モデルではなく、対応する対象モデルと推測デコードのサーバーで組む形で使う。サーブはパッチ不要の素のSGLang 0.5.23とvLLM 0.33.0のDFLASH経路に対応し、学習はSpecForgeを下地にDFlashの設定(ブロック16、512アンカー、学習率6e-4、6エポック)に沿う。リポジトリは2026年11月12日の作成でMITライセンス、11月にコードとドラフト重み、学習・評価手順が公開された。
読むときの留保
3.58倍も4.7倍も著者測定の最大値で、モデルや仕事量で速度は変わる。losslessは推測デコードの検証が対象モデルの出力分布を保つことまでを指し、画像理解の正答率が上がる意味ではない。ドラフトは対応する対象モデルと組む必要があり、単体では使えない。サーブ時の注意としてREADMEは、Qwen3.8-27BをSGLangで動かす場合、検証用の状態に1リクエストあたり約2.3GBを確保するため80GB級GPUではテンソル並列2が必要と記す。第三者による性能の再現はまだなく、量子化対象モデルや高並列運用での測定も公開範囲にない。
出典
- arXiv:2611.18482 要約ページ公開日2026-11-13、著者5名、視覚依存度メトリック、受理率46%対22%、3.58倍、EAGLE-3比195.4%、DFlash比17.1%
- MMFlash公式プロジェクトページNUS所属、3.0倍/4.7倍の測定条件(H200 1基・バッチ1・greedy)、モデル表、4万トークン級動画プロンプトへの言及
- GitHub fscdc/MMFlash READMESGLang 0.5.23/vLLM 0.33.0のサーブ例、学習設定(ブロック16・512アンカー・6エポック)、評価設定(画像7ベンチマーク各200問、動画48フレーム)、Qwen3.8-27BのVRAM注意、MIT
- Hugging Faceコレクション FSCCS/mmflash4種のドラフト重み(537M/1.05B/1.73B/537M)の公開先
出典の確認日 2026.11.17