NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

MIT CSAILの研究者ら、ハイブリッドVLMのストリーミング映像推論「Spool」を発表──古いフレームを再計算なしで除去し、p95初回応答遅延を幾何平均6.6倍短縮

MITコンピュータ科学・人工知能研究所(CSAIL)のRui Ning氏、Om Chabra氏、Hari Balakrishnan氏は2026年11月17日、attentionと線形再帰層を組み合わせたハイブリッド視覚言語モデル(VLM)のストリーミング推論で、スライディングウィンドウから期限切れフレームの影響を再計算なしで除去するフレームワーク「Spool」の論文をarXivに公開した(arXiv:2611.23228)。5つのオープンソース・ハイブリッドVLMと4つの動画ベンチマークを使うオンライン計測の20条件すべてで、p95の初回応答遅延(time-to-first-token)が最小となり、速い方のvLLM系ベースラインに対する幾何平均の短縮は6.6倍という著者報告を示した。学習は不要で、既存のハイブリッドVLMに適用できる方式だ。

視覚支援(visual accessibility)エージェントやロボットのように、直近の映像について質問に即答するアプリケーションでは、モデルは過去のフレームのうち直近の窓(たとえば直近2分)だけを保持するスライディングウィンドウで動く。attention層のKVキャッシュは古いトークンを取り除きやすい。だがGated DeltaNet(GDN)のような線形再帰層は、過去のすべてのフレームを1つの固定サイズの状態に畳み込むため、窓の先頭を捨てるには通常、保持しているフレーム全体をモデルに掛け直す必要がある。論文の計測では、Qwen3.5-9B(A100、128フレーム窓)で窓全体の再構築に中央値6.288秒かかり、通常のブロック追加の0.215秒の29.2倍の遅延スパイクになった。

「(再帰層の更新は)入力依存の係数をもつ状態のアフィン変換になっている。つまり各フレームの影響は、結合法則で合成できる変換として捉えられる。」

We observe that the recurrent update is affine in the state with input-dependent coefficients, so the effect of each frame can be captured as a transformation that composes associatively.

arXiv:2611.23228のabstract(2026-11-17投稿、2026-11-18確認)

Spoolの仕組み──変換を記録し、合成して除去

Spoolは学習不要の推論フレームワークだ。各フレームを処理したときの再帰状態の更新をアフィン変換として記録し、窓が進むにつれてキャッシュ済みの変換を結合法則で合成する。記録には木構造のデータ構造を使い、W個のリーフスロットを循環再利用して、挿入ごとの合成はO(log W)回で済む。窓の先頭のフレームが期限切れになると、残りのフレームに対応する変換を合成して新しい状態を作り、フレームを掛け直さずに状態を作り直せる。専用のデータ構造とGPUカーネルで、キャッシュと合成のオーバーヘッドを低く抑えた。

図解Spoolが窓を維持する流れ(論文3章の記載)
  1. 01 記録

    フレームごとに変換を保存

    再帰層の更新を入力依存のアフィン変換として記録する

  2. 02 合成

    木構造で変換をまとめる

    W個のリーフスロットを循環再利用し、挿入ごとにO(log W)回の合成

  3. 03 除去

    期限切れフレームを再実行なしで除去

    残りのフレームの変換を合成して状態を作り直す。コストは期限切れトークン数に依存

  4. 04 注意層

    KV tail fillingとRoPE rebasing

    生存する末尾のKVを移動してスロットを回収し、位置埋め込みを付け直して視覚表現の再計算を避ける

arXiv:2611.23228v1の本文3章(2026-11-18確認)から作成。学習不要の方式であり、モデルの重みは変更しない。

評価──オンライン20条件すべてでp95が最小

評価は0.8B〜122Bパラメータの6つのオープンソース・ハイブリッドVLM(GDN系のQwen3.5とQwen3.6ファミリー、Mamba-2系のNemotron-VL Nano-12B)と、StreamingBench、PhoStream、FastBench、Beyond3Dの4つのストリーミング動画ベンチマークで実施した。ベースラインはvLLM-Omniと、vLLM-Omniに最近追加された増分prefill(incremental prefill)を有効にした構成だ。オンライン実験は5モデル×4ベンチマークの20条件で、Spoolはすべての条件でp95のTTFTが最小になった。速い方のベースラインに対する幾何平均の短縮は6.6倍(最大35.7倍)、vLLM-Omniとの比較では33.8倍で、p95が1秒未満の条件は20のうち16(増分prefillは3)だった。

図解窓の先頭フレームが期限切れになったときの扱い(論文3章の記載)

期限切れフレーム窓の先頭のフレーム

  • 再帰層(GDN・Mamba-2)

    記録済み変換の合成で除去

    フレームの再実行なしに状態を作り直す。層内の除去は厳密

  • attention層

    KV tail filling+RoPE rebasing

    生存する末尾のKVを移動してスロットを回収し、位置を付け直す。先行層のキャッシュ入力経由で期限切れフレームの残存影響があり得る

arXiv:2611.23228v1の本文3.3節・3.4節(2026-11-18確認)から作成。残存影響の限定は論文自身の記載どおり。

精度では、オンラインの平均が+2.3パーセンテージポイントで、Beyond3Dでは最大+18.4ポイント改善した。読み込み負荷で質問が捨てられる量が減る効果を含む。時間制約のないオフライン計測では、24テストすべてでより精度の高いベースラインに対し−1.6〜+1.8ポイントの範囲に収まった。周辺の計測として、キャッシュ構成要素は1フレームの取り込み遅延を素朴なキャッシュ比で7〜17%削減し、KV fillingはピークメモリを最大1.8GiB節約、1024フレームが失効したあとの状態再構築では、KLダイバージェンスをvLLM-Omni比で約2.5倍低く保てると報告されている。

限界と公開状況

数値はすべて著者報告で、論文は査読前のプレプリントだ。6.6倍はp95初回応答遅延の幾何平均であって、全体の処理速度やGPU費用の6.6倍改善を意味しない。除去の厳密性は各再帰層の内部に限られ、先行層のキャッシュ入力を通じて期限切れフレームの残存影響があり得ると論文自身が明記する。オンライン実験はモデルごとに入手可能な最小のGPU(A100 40GB、GH200、B200、B300)で行われた。公式コードやGPUカーネルの公開は論文に見つからず、第三者による再現はまだない。

出典

  1. arXiv:2611.23228「Spool: Low-Latency Streaming Inference for Hybrid Vision-Language Models」(2026-11-17 18:59:27 UTC投稿、2026-11-18にabstractとHTML本文を確認)著者と所属(MIT CSAIL)、アフィン変換の観察とtraining-freeの枠組み、20条件のp95 TTFT最小と幾何平均6.6倍(最大35.7倍)・33.8倍、精度+2.3pp(Beyond3D最大+18.4ポイント)、オフライン−1.6〜+1.8ポイント、各層の厳密性と残存影響の限定
  2. arXiv:2611.23228v1のHTML本文(2026-11-18確認)窓再構築の29.2倍スパイク(6.288秒対0.215秒、中央値)、6モデル(0.8B〜122B、GDNとMamba-2)と4ベンチマーク(StreamingBench・PhoStream・FastBench・Beyond3D)の構成、p95が1秒未満の16/20対3、取り込み遅延7〜17%削減・ピークメモリ最大1.8GiB・失効1024フレーム後のKL約2.5倍低減、ハードウェア内訳、公式コードの公開記述なし

出典の確認日 2026.11.18

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. MITとUBC、布からタンパク質まで6種類の物理を1つの粒子Transformerで扱うWorldParticleを公開

    MITとブリティッシュコロンビア大学(UBC)などの研究チームは、布、弾性体、流体、粒状体、分子など6種類の物理現象を共通のアーキテクチャでシミュレーションする学習型の粒子シミュレーター「WorldParticle」を作った。論文は2026年5月14日にarXivで公開され、SIGGRAPH Asia 2026で発表される。MIT Newsは2026年11月9日、この研究を公式に紹介した。コードはMITライセンスで公開されている。

    記事を読む
  2. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  3. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む