視覚支援(visual accessibility)エージェントやロボットのように、直近の映像について質問に即答するアプリケーションでは、モデルは過去のフレームのうち直近の窓(たとえば直近2分)だけを保持するスライディングウィンドウで動く。attention層のKVキャッシュは古いトークンを取り除きやすい。だがGated DeltaNet(GDN)のような線形再帰層は、過去のすべてのフレームを1つの固定サイズの状態に畳み込むため、窓の先頭を捨てるには通常、保持しているフレーム全体をモデルに掛け直す必要がある。論文の計測では、Qwen3.5-9B(A100、128フレーム窓)で窓全体の再構築に中央値6.288秒かかり、通常のブロック追加の0.215秒の29.2倍の遅延スパイクになった。
「(再帰層の更新は)入力依存の係数をもつ状態のアフィン変換になっている。つまり各フレームの影響は、結合法則で合成できる変換として捉えられる。」
We observe that the recurrent update is affine in the state with input-dependent coefficients, so the effect of each frame can be captured as a transformation that composes associatively.
Spoolの仕組み──変換を記録し、合成して除去
Spoolは学習不要の推論フレームワークだ。各フレームを処理したときの再帰状態の更新をアフィン変換として記録し、窓が進むにつれてキャッシュ済みの変換を結合法則で合成する。記録には木構造のデータ構造を使い、W個のリーフスロットを循環再利用して、挿入ごとの合成はO(log W)回で済む。窓の先頭のフレームが期限切れになると、残りのフレームに対応する変換を合成して新しい状態を作り、フレームを掛け直さずに状態を作り直せる。専用のデータ構造とGPUカーネルで、キャッシュと合成のオーバーヘッドを低く抑えた。
- 01 記録
フレームごとに変換を保存
再帰層の更新を入力依存のアフィン変換として記録する
- 02 合成
木構造で変換をまとめる
W個のリーフスロットを循環再利用し、挿入ごとにO(log W)回の合成
- 03 除去
期限切れフレームを再実行なしで除去
残りのフレームの変換を合成して状態を作り直す。コストは期限切れトークン数に依存
- 04 注意層
KV tail fillingとRoPE rebasing
生存する末尾のKVを移動してスロットを回収し、位置埋め込みを付け直して視覚表現の再計算を避ける
arXiv:2611.23228v1の本文3章(2026-11-18確認)から作成。学習不要の方式であり、モデルの重みは変更しない。
評価──オンライン20条件すべてでp95が最小
評価は0.8B〜122Bパラメータの6つのオープンソース・ハイブリッドVLM(GDN系のQwen3.5とQwen3.6ファミリー、Mamba-2系のNemotron-VL Nano-12B)と、StreamingBench、PhoStream、FastBench、Beyond3Dの4つのストリーミング動画ベンチマークで実施した。ベースラインはvLLM-Omniと、vLLM-Omniに最近追加された増分prefill(incremental prefill)を有効にした構成だ。オンライン実験は5モデル×4ベンチマークの20条件で、Spoolはすべての条件でp95のTTFTが最小になった。速い方のベースラインに対する幾何平均の短縮は6.6倍(最大35.7倍)、vLLM-Omniとの比較では33.8倍で、p95が1秒未満の条件は20のうち16(増分prefillは3)だった。
期限切れフレーム窓の先頭のフレーム
- 再帰層(GDN・Mamba-2)
記録済み変換の合成で除去
フレームの再実行なしに状態を作り直す。層内の除去は厳密
- attention層
KV tail filling+RoPE rebasing
生存する末尾のKVを移動してスロットを回収し、位置を付け直す。先行層のキャッシュ入力経由で期限切れフレームの残存影響があり得る
arXiv:2611.23228v1の本文3.3節・3.4節(2026-11-18確認)から作成。残存影響の限定は論文自身の記載どおり。
精度では、オンラインの平均が+2.3パーセンテージポイントで、Beyond3Dでは最大+18.4ポイント改善した。読み込み負荷で質問が捨てられる量が減る効果を含む。時間制約のないオフライン計測では、24テストすべてでより精度の高いベースラインに対し−1.6〜+1.8ポイントの範囲に収まった。周辺の計測として、キャッシュ構成要素は1フレームの取り込み遅延を素朴なキャッシュ比で7〜17%削減し、KV fillingはピークメモリを最大1.8GiB節約、1024フレームが失効したあとの状態再構築では、KLダイバージェンスをvLLM-Omni比で約2.5倍低く保てると報告されている。
限界と公開状況
数値はすべて著者報告で、論文は査読前のプレプリントだ。6.6倍はp95初回応答遅延の幾何平均であって、全体の処理速度やGPU費用の6.6倍改善を意味しない。除去の厳密性は各再帰層の内部に限られ、先行層のキャッシュ入力を通じて期限切れフレームの残存影響があり得ると論文自身が明記する。オンライン実験はモデルごとに入手可能な最小のGPU(A100 40GB、GH200、B200、B300)で行われた。公式コードやGPUカーネルの公開は論文に見つからず、第三者による再現はまだない。
出典
- arXiv:2611.23228「Spool: Low-Latency Streaming Inference for Hybrid Vision-Language Models」(2026-11-17 18:59:27 UTC投稿、2026-11-18にabstractとHTML本文を確認)著者と所属(MIT CSAIL)、アフィン変換の観察とtraining-freeの枠組み、20条件のp95 TTFT最小と幾何平均6.6倍(最大35.7倍)・33.8倍、精度+2.3pp(Beyond3D最大+18.4ポイント)、オフライン−1.6〜+1.8ポイント、各層の厳密性と残存影響の限定
- arXiv:2611.23228v1のHTML本文(2026-11-18確認)窓再構築の29.2倍スパイク(6.288秒対0.215秒、中央値)、6モデル(0.8B〜122B、GDNとMamba-2)と4ベンチマーク(StreamingBench・PhoStream・FastBench・Beyond3D)の構成、p95が1秒未満の16/20対3、取り込み遅延7〜17%削減・ピークメモリ最大1.8GiB・失効1024フレーム後のKL約2.5倍低減、ハードウェア内訳、公式コードの公開記述なし
出典の確認日 2026.11.18