NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

THE NEWS DESK

AIニュース

公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。

プロダクト

新しいサービスや開発者向けの発表を紹介します。

1件新しい順

  1. プロダクトIITボンベイ出典 2件

    IITボンベイらがKVキャッシュ手法VerKVを発表 GPU常駐を8〜32分の1に減らし誤差検証つきでCPUから必要分だけ取得、vLLM実装は全量オフロード比1.6倍(著者報告)

    インド工科大学ボンベイ(IIT Bombay)とRice大学、UC Berkeleyの研究チームは2026年11月8日、KVキャッシュの大部分をCPUメモリに置きつつ、クエリごとに近似誤差を検証して必要なトークンだけ取得するVerKVの論文をarXivに公開した。GPUに置くのは少数のpivotalトークンと全体の1.76%サイズのスケッチで、GPU常駐のKV量を8〜32分の1に減らす。32K文脈のRULERとLOFTの平均では、8倍圧縮で密attentionの96%、32倍圧縮で86%の品質を維持したと報告している。vLLM実装の計測では、全量をオフロードする密attentionより1.6倍速いdecodeと、ホスト転送量の47分の1を確認した。実装はApache-2.0で公開されている。数値は著者の報告で、第三者による再現はまだない。