NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

THE NEWS DESK

AIニュース

公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。

絞り込み条件Xorbits すべて解除

すべてのニュース

1件新しい順

  1. プロダクトXorbits出典 6件

    Xinference 4.2.0が公開 異種推論エンジン間でKVプレフィックスを共有し、エージェントのツール待機中の優先保持を追加

    Xorbitsのオープンソース推論プラットフォーム「Xinference」は2026年11月7日、v4.2.0を公開した(GitHub Releases)。Xavier層の拡張で、vLLM・SGLang・TensorRT-LLM・MLXという異なる推論エンジンで動くレプリカの間で、互換性のあるKVプレフィックスを再利用できる。LMCacheのストレージ選択肢にMooncake Storeを加え、エージェントがツールの結果を待つ間、次の推論に使うプレフィックスを優先的に保持して、再開時のprefillの繰り返しを減らす。再利用はチェックポイント・トークナイザー・文脈長・dtype・リクエストsaltなどの一致を条件とし、一致しなければ各レプリカがローカルで計算し直す。リリースに性能改善率の数値はなく、効果はワークロード次第だ。