THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
すべてのニュース
1件新しい順
Baseten、DeepSeek-V4.1-Flash専用の推論エンジンをRust/CUDAで公開――8基のB300で毎秒2,060トークンを報告、サーバー間のKVキャッシュ移動も実装
Basetenは2026年11月13日、DeepSeek-V4.1-Flash専用の推論エンジン「DeepSeek Ultrafast」をGitHubで公開した。Blackwell世代のGPU(B200、GB300、B300)を対象にしたRustとCUDAの実装で、開発元の測定では8基のB300を使ったHTML生成タスクで毎秒2,060トークンの生成、100万入力トークンのprefillを11.7秒と報告している。会話ごとのKVキャッシュをサーバー間で移す仕組みをRedisとRDMAで実装し、Kubernetesのデプロイ例も同梱する。ライセンスはElastic License 2.0で、性能数値は開発元測定であり独立した検証はまだない。