NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

MMFlash、視覚依存トークンに着目してVLMの推測デコードを高速化──画像あり/なしのKL差でドラフトを学習、MIT実装と4種のドラフト重みを公開

シンガポール国立大学の研究チーム(Sicheng Feng、Zigeng Chen、Song Wang、Gongfan Fang、Xinchao Wangの5名)は2026年11月13日、視言語モデル(VLM)の推測デコードを高速化するMMFlashの論文(arXiv:2611.18482)を公開した。画像を与えた場合と与えない場合の次トークン分布のKLダイバージェンスでトークンごとの視覚依存度を測ると、ドラフトの受理率は依存度が最も低い四分位で46%、最も高い四分位で22%に落ちる。MMFlashは苦手な視覚依存トークンに学習の損失を集中させ、論文要旨では最大3.58倍のlossless高速化、EAGLE-3比最大195.4%、DFlash比最大17.1%を報告する。コードと4種のドラフト重みはMITライセンスで公開された。

推測デコードは軽量なドラフトがトークン列の候補を出し、対象モデルがまとめて検証することで出力分布を保ったまま生成を速める。DFlashのような拡散型ドラフトは16トークンのブロックを1回の順伝播で提案できるが、対象はテキスト中心で、画像を理解するVLMでのドラフト精度は十分に研究されてこなかった。論文はこの不足を埋める研究として、まずトークン単位の視覚依存度という尺度を導入した。

「視覚入力ありとなしの次トークン分布のKLダイバージェンスに基づくトークン単位の視覚依存度の尺度を導入する。受理率は視覚依存度が最も低い四分位の46%から最も高い四分位の22%まで下がる。」

we first introduce a metric of token-level visual dependence based on the KL divergence between next-token distributions with and without visual input. We find that acceptance rates decrease from 46% in the lowest visual-dependence quartile to 22% in the highest.

arXiv:2611.18482「Abstract」(2026-11-13公開、2026-11-17確認)

視覚依存度を教師信号にする

論文の分析では、画像に強く依存する語ほどドラフトの提案が外れやすく、拒否されたブロックの多くがそこで壊れる。MMFlashは学習データの各トークンの視覚依存度を対象モデルで測り、ドラフトの損失を依存度の高いトークンに集中させる。ドラフト自体は画像や動画を再エンコードせず、視覚情報がすでに融合された対象モデルの隠れ状態を読むため、視覚トークンの数に応じてドラフトの負荷が増えない。長い動画では、attention sink、テキスト、間引いた視覚トークン、直近ウィンドウからなる疎な文脈で、4万トークン級の動画プロンプトでもドラフトを軽く保つ。

図解MMFlashが視覚依存度をドラフト学習に使う流れ
  1. 01 依存度の測定

    KL差

    対象モデルに画像あり/なしで同じ文を2回走らせ、トークンごとの分布のKLダイバージェンスを記録する

  2. 02 ドラフトの学習

    重み付け

    ドラフトが苦手な視覚依存トークンに損失を集中させる

  3. 03 ドラフト生成

    16トークン

    拡散型ドラフトがブロックを1回の順伝播で提案する。画像の再エンコードはしない

  4. 04 ターゲット検証

    1回で受理

    対象モデルがブロックをまとめて検証し、出力分布を保ったまま受理する

arXiv:2611.18482の本文と公式README(2026-11-17確認)から作成。長尺動画ではattention sink・テキスト・間引き視覚トークン・直近ウィンドウの疎コンテキストを使う。

公表された高速化の数値は条件が2系統

論文要旨の数値は、マルチモーダルベンチマーク集計の最大3.58倍で、EAGLE-3比最大195.4%、DFlash比最大17.1%だ。一方、公式プロジェクトページとREADMEの見せ場としては、別の条件でH200 1基・バッチ1・greedyの実測を挙げ、Qwen3.5-4Bと9Bで約3.0倍、Qwen3.8-27Bで最大4.7倍としている。二つの数値群は集計範囲と測定条件が違い、同一の実験結果として扱えない。READMEの評価設定は、ChartQA、CharXiv、MMStar、MMBench、DynaMath、MathVista、MathVerseの画像7ベンチマークを各200問、1リクエストずつ、greedy、最大4096新トークンで測り、動画はLongVideoBench、MVBench、Video-MMEを48フレームで測る。

図解公表されている高速化の数値と条件(著者測定)
  • 論文要旨

    最大高速化
    3.58倍
    条件と補足
    マルチモーダルベンチマーク集計。EAGLE-3比最大195.4%、DFlash比最大17.1%
  • プロジェクトページ

    最大高速化
    4.7倍
    条件と補足
    H200 1基・バッチ1・greedyのQwen3.8-27B。Qwen3.5-4B/9Bは約3.0倍

arXiv:2611.18482の要旨とプロジェクトページ(2026-11-17確認)。2系統は集計範囲と条件が異なり、同一実験として扱わない。いずれも著者測定の最大値。

MITの実装と4種のドラフト重み

公開されたドラフトはQwen3.5-4B(537M)、Qwen3.5-9B(1.05B)、Qwen3.8-27B(1.73B)、Gemma4-E4B-it(537M)の4種で、ブロックサイズは16。ドラフトは単体の言語モデルではなく、対応する対象モデルと推測デコードのサーバーで組む形で使う。サーブはパッチ不要の素のSGLang 0.5.23とvLLM 0.33.0のDFLASH経路に対応し、学習はSpecForgeを下地にDFlashの設定(ブロック16、512アンカー、学習率6e-4、6エポック)に沿う。リポジトリは2026年11月12日の作成でMITライセンス、11月にコードとドラフト重み、学習・評価手順が公開された。

読むときの留保

3.58倍も4.7倍も著者測定の最大値で、モデルや仕事量で速度は変わる。losslessは推測デコードの検証が対象モデルの出力分布を保つことまでを指し、画像理解の正答率が上がる意味ではない。ドラフトは対応する対象モデルと組む必要があり、単体では使えない。サーブ時の注意としてREADMEは、Qwen3.8-27BをSGLangで動かす場合、検証用の状態に1リクエストあたり約2.3GBを確保するため80GB級GPUではテンソル並列2が必要と記す。第三者による性能の再現はまだなく、量子化対象モデルや高並列運用での測定も公開範囲にない。

出典

  1. arXiv:2611.18482 要約ページ公開日2026-11-13、著者5名、視覚依存度メトリック、受理率46%対22%、3.58倍、EAGLE-3比195.4%、DFlash比17.1%
  2. MMFlash公式プロジェクトページNUS所属、3.0倍/4.7倍の測定条件(H200 1基・バッチ1・greedy)、モデル表、4万トークン級動画プロンプトへの言及
  3. GitHub fscdc/MMFlash READMESGLang 0.5.23/vLLM 0.33.0のサーブ例、学習設定(ブロック16・512アンカー・6エポック)、評価設定(画像7ベンチマーク各200問、動画48フレーム)、Qwen3.8-27BのVRAM注意、MIT
  4. Hugging Faceコレクション FSCCS/mmflash4種のドラフト重み(537M/1.05B/1.73B/537M)の公開先

出典の確認日 2026.11.17

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む