THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
すべてのニュース
1件新しい順
Xinference 4.2.0が公開 異種推論エンジン間でKVプレフィックスを共有し、エージェントのツール待機中の優先保持を追加
Xorbitsのオープンソース推論プラットフォーム「Xinference」は2026年11月7日、v4.2.0を公開した(GitHub Releases)。Xavier層の拡張で、vLLM・SGLang・TensorRT-LLM・MLXという異なる推論エンジンで動くレプリカの間で、互換性のあるKVプレフィックスを再利用できる。LMCacheのストレージ選択肢にMooncake Storeを加え、エージェントがツールの結果を待つ間、次の推論に使うプレフィックスを優先的に保持して、再開時のprefillの繰り返しを減らす。再利用はチェックポイント・トークナイザー・文脈長・dtype・リクエストsaltなどの一致を条件とし、一致しなければ各レプリカがローカルで計算し直す。リリースに性能改善率の数値はなく、効果はワークロード次第だ。