NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

IITボンベイらがKVキャッシュ手法VerKVを発表 GPU常駐を8〜32分の1に減らし誤差検証つきでCPUから必要分だけ取得、vLLM実装は全量オフロード比1.6倍(著者報告)

インド工科大学ボンベイ(IIT Bombay)とRice大学、UC Berkeleyの研究チームは2026年11月8日、KVキャッシュの大部分をCPUメモリに置きつつ、クエリごとに近似誤差を検証して必要なトークンだけ取得するVerKVの論文をarXivに公開した。GPUに置くのは少数のpivotalトークンと全体の1.76%サイズのスケッチで、GPU常駐のKV量を8〜32分の1に減らす。32K文脈のRULERとLOFTの平均では、8倍圧縮で密attentionの96%、32倍圧縮で86%の品質を維持したと報告している。vLLM実装の計測では、全量をオフロードする密attentionより1.6倍速いdecodeと、ホスト転送量の47分の1を確認した。実装はApache-2.0で公開されている。数値は著者の報告で、第三者による再現はまだない。

論文「Verify Before You Fetch: Reliable KV Cache Compression for LLM Inference」はarXivに2026年11月8日付で登録された(cs.AI、v1)。著者はDevanshu Jha、Gaurav Kumar、Aditya Desai(IIT Bombay)、Agniva Chowdhury(Rice大学)、Kumar Krishna Agrawal(UC Berkeley)の5名だ。実装は論文に記載のあるGitHubのepsilon-prime/verifiedKV(Apache-2.0、リポジトリ作成は2026年10月17日、最終pushは2026年11月10日、GitHub API実測)で、研究室ページも公開されている。Issue本文にあった「公開実装リポジトリは確認できず」は、本実行の再確認で解消した。

「VerKVは、任意のクエリに対するattentionの近似に(ε, δ)保証を与えるハイブリッドなアプローチだ。」

We introduce VerKV, a hybrid approach that provides (ϵ, δ) guarantees for approximating attention on any given query.

論文要旨、arXiv:2611.11319

圧縮とオフロードの間を取る設計

長文推論ではKVキャッシュがコンテキスト長に比例して増え、GPUのHBM容量を超えるとCPUへのオフロードが必要になる。毎ステップ全量を転送する方式は遅延を支配し、KVzipやFast KVzipのような重要トークンだけを残す選択的圧縮は、高い圧縮率では任意のクエリへの保証が持たず壊れる。VerKVはこの間を取る。GPUには決定論的に残すトークン(シンク64個、末尾64個)に加えて、PoissonCompが確率的サンプリングで選んだpivotalトークンと、全キャッシュのキーの2ビット表現のスケッチ(全体の1.76%)を置き、完全なKVキャッシュはCPUメモリに保存する。

推論時はKVFetchが、pivotalトークンとスケッチからそのクエリのattentionの相対誤差を推定し、ユーザー指定の許容(既定はε₀=0.05、δ=0.1)を満たせばホストメモリに触れずに計算する。満たさなければ、KVヘッドごとのshortlist 128トークンと検証で必要になった分だけを取得して精度を回復する。

図解KVFetchの判定(論文Figure 1・Sec.5、Table 2に基づく)

推定相対誤差各クエリで検証

  • (ε, δ)を満たす

    CPUアクセスなし

    GPU常駐のトークンとスケッチだけでattentionを計算する。ε₀=0.05では計算の20〜25%がここに入る。

  • (ε, δ)を満たさない

    必要分だけ取得

    shortlist 128/KVヘッドと検証で必要になったKVをCPUから読む。16倍圧縮・RULER-32Kでの全体的な読み取りはキャッシュの10.8%だった。

論文Figure 1とSec.5、Table 2の著者計測に基づく。既定の許容はε₀=0.05、δ=0.1。

品質は8倍で96%、32倍で86%

評価は3モデル(Qwen3-4B-Instruct-2507、Qwen3.5-9B、Ministral-3-8B-Instruct-2512)×2ベンチマーク(RULERの4タスク、各50例。LOFTの5タスク、各25問)×2文脈長(32K、128K)だ。品質の平均は、8倍圧縮で密attentionの96%、32倍圧縮で86%を維持した(Table 1、32Kと128Kの平均)。スケッチが完全情報の理想構成では、32倍圧縮でも平均99%とほぼ密に一致した。個々のattention決定の誤差は、99.3〜99.8%でε₀の範囲内に収まったと報告している。ただし文脈を長くすると近似スケッチの品質が落ちる傾向があり、論文は長文ではより良いスケッチが必要だと分析している。

転送は必要なときだけ、全量オフロードの47分の1

選択的な取得の効果は測定で確認できる。16倍圧縮・RULER-32K・δ=0.1の条件では、decode決定の75.3%が何かを取得する一方、1回の取得は文脈の4.1%にとどまり、全体的な読み取りはキャッシュの10.8%だった(Table 2)。帯域の利用は、Qwen3-4B・batch 1の計測で全量オフロードがPCIeリンクの92.4%を占有するのに対し、VerKV(ε₀=0.05)は4.4%だった(Figure 9)。デコード1ステップのGPUカーネル時間は113ミリ秒から73ミリ秒に減り、フェッチの占める時間は107ミリ秒から8ミリ秒になった(Figure 8)。ホスト転送量は生成トークンあたり元のKVキャッシュの2〜23%で、モデルによって幅がある。

図解vLLM計測:全量オフロード対VerKV(Qwen3-4B・RULER-32K・16倍・batch 1、論文Figure 6・8・9、著者報告)
  • decode速度

    オフロード
    1倍
    VerKV
    1.6倍
  • PCIe帯域使用率

    オフロード
    92.4%
    VerKV
    4.4%
  • 1ステップのカーネル時間

    オフロード
    113ms
    VerKV
    73ms
  • RULER品質

    オフロード
    88.0
    VerKV
    86.7

論文Sec.5.4とFigure 6(δ=0.1の速度・品質)、Figure 8・9(batch 1、δ=0.05のカーネル時間・帯域)に基づく。「オフロード」は全量オフロードの密attention(Dense (offload))、VerKVは既定のε₀=0.05の結果。数値は著者のvLLM実装での測定値。

vLLMでは全量オフロード比1.6倍、許容を緩めると最大3.1倍

著者らはvLLMに実装して速度を測った。Qwen3-4B・RULER-32K・16倍圧縮の設定では、既定のε₀=0.05でdecode速度が全量オフロード比1.6倍、リクエストあたりのend-to-end遅延が5秒減り、品質は86.7対密の88.0だった。ε₀を0.5まで緩めると最大3.1倍まで速くなるが、品質を数ポイント落とす。

「既定のε₀=0.05で、VerKVは1.6倍速くdecodeし、ほぼ密な品質のままend-to-end遅延を5秒減らす。」

At the default ε0 = 0.05, VerKV decodes 1.6× faster and cuts end-to-end latency by 5 s at near-dense quality

論文Figure 6説明、arXiv:2611.11319

実装はApache-2.0で公開されているが、測定はbatch 1を含む限定的な構成で、比較相手が「キャッシュをCPUに置く密attention」である点には注意が必要だ。GPU常駐の密attentionと比べた速度ではない。(ε,δ)の保証はattention近似についての条件で、最終的な回答の正しさを保証しない。「GPUメモリを8〜32倍削減」も、モデル重みを含む総VRAMではなくKVキャッシュ常駐量の話だ。第三者による再現は今回の確認時点で見つかっておらず、速さの利得がKV容量の節約にそのまま比例するわけではない点を、論文自身もFiguresの説明で限定している。

出典

  1. Verify Before You Fetch: Reliable KV Cache Compression for LLM Inference(arXiv:2611.11319、PDF全文)提出 2026-11-08(v1)。著者5名と所属、要旨((ε,δ)保証、8〜32倍、2〜23%転送)、Sec.5の評価設定(3モデル・RULER 4タスク・LOFT 5タスク・32K/128K)、Table 1の96%/86%、Table 2の取得統計、Sec.5.4とFigure 6・8・9の速度計測。確認日 2026-11-12
  2. epsilon-prime/verifiedKV(GitHubリポジトリ)Apache-2.0。論文要旨に記載の実装URL。リポジトリ作成 2026-10-17、最終push 2026-11-10(GitHub API実測)。確認日 2026-11-12

出典の確認日 2026.11.12

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む