THE NEWS DESK
AIニュース
公式発表や本人の発言をもとに、
AI企業や研究者の動きを伝えます。
プロダクト
新しいサービスや開発者向けの発表を紹介します。
1件新しい順
SGLangチームとAWS、Trainium向け推論基盤「SGLang-Neuron v0.1.0」を公開プレビューで公開――Kimi-K3はノード3台構成で1ユーザーあたり67トークン/秒(開発元報告)
SGLangチーム(RadixArk)とAWS Annapurna Labsは2026年11月12日、AWSのAIチップTrainium上でSGLangのサービング基盤を動かすオープンソースのプラグイン「SGLang-Neuron v0.1.0」を公開プレビューとして公開した。10月の限定ベータに続く最初の公開リリースで、Apache-2.0ライセンスのプラグインとして提供する。SGLang本体は変更せず、TorchNeuron経由でTrainiumに対応し、LLMはTrn3インスタンス、拡散モデルはtrn2.48xlargeで動く。開発元の報告では、最大構成のKimi-K3がTrainium3ノード3台(prefill 1台+decode 2台)で、4K〜1Mトークンの混合プロンプト・フル稼働条件のとき1ユーザーあたり67トークン/秒に達した。この数値は開発元の特定構成での報告であり、独立測定ではない。