SGLangは大規模言語モデル(LLM)推論のスケジューリング、KVキャッシュ、prefixキャッシュを担うオープンソースのサービング基盤で、GPU環境を中心に使われてきた。TrainiumはAWSがAI学習・推論向けに開発する自社チップで、モデルはNeuron SDK経由でNeuronCoreにコンパイルされて動く。今回のプラグインは、PyTorchのTrainiumバックエンドであるTorchNeuron(torch-neuronx)の上にSGLangのランチャー、スケジューラー、APIをそのまま載せる構成で、SGLangのリポジトリには手を加えない。プラグインはSGLangのcommit 43881a7に固定され、それ以外のリビジョンでは起動を止める。
公開の形は公開プレビューで、プレビュー期間中はAWS Deep Learning Container経由の利用がサポートされる。READMEはLLMをTrn3インスタンス、拡散モデルをtrn2.48xlargeで動かすと説明し、機能・API・対応モデルは後続リリースで変わるとしている。ソースから構築する場合はPython 3.11以上と、固定されたSGLang commitのチェックアウトが必要だ。
「この構成では、4Kから1Mトークンの混合プロンプトで、フル稼働(full slots)、実際の推測受諾(speculative acceptance)の条件で、1ユーザーあたり67トークン/秒に達します。」
This configuration reaches 67 tok/s per user on mixed 4K to 1M prompts, at full slots, with real speculative acceptance.
設計: 非同期ランタイム、メガカーネル、prefill/decode分離
Trainiumはコンパイル済みプログラム(NEFF)をNeuronCoreで実行するため、プラグインは起動時に形状バケットの固定セットをコンパイルし、サービング中にコンパイルが走らないグラフランナーを持つ。GPUでのCUDAストリームに相当する隠蔽は起動キューで行い、対応するLLMすべてが同じ完全非同期の実行経路を共有する。カーネルの面では、1ステップのすべてのデコーダー層を1つのNKIカーネル呼び出しで実行するメガカーネルを用意し、GPT-OSS-120BはTrainium3での単一カーネルdecode、GLM-5.2はprefillとdecodeの双方がメガカーネル、Kimi-K3はprefill専用のNKIカーネルを持つ。READMEはさらに、Qwen3.5-397B-A17Bが全ロールでモデル全体のメガカーネルで動くと記す。
Trainiumではprefillとdecodeを別サーバーに分ける構成が推奨される。prefillサーバーはプロンプトのKVキャッシュと最初のトークンを計算し、NIXL WRITEをEFA上で実行してdecodeサーバーのKVプールへ直接書き込む。デプロイでは任意台数のprefillとdecode(xPyD)をロードバランサー越しに並べられる。KVキャッシュの容量対策として、退避したradix-cacheページをホストのDRAMへ退避し、ヒット時に戻すHiCacheも使える。radix木、ホストアロケーター、転送エンジンは上流SGLangのコードで、プラグインが供給するのはTrainiumのメモリ移動に合わせたホストプールの部分だけだ。
- 01 クライアント
SGLang API
SGLangのランチャー・スケジューラー・APIはそのまま。SGLANG_PLATFORM=neuronでプラグインを選ぶ。
- 02 prefillノード(1台)
KV生成+初トークン
MLA attentionをFP8、エキスパートをMXFP4で計算。prefillを8段のパイプラインで処理する。
- 03 ノード間転送
NIXL over EFA
prefillサーバーがdecodeサーバーのKVプールへNIXL WRITEで直接書き込む。
- 04 decodeノード(2台)
デコード継続
decodeコンテキスト並列32で2ノードにまたがり、speculative decodingで生成を続ける。
- 05 応答
トークンストリーム
混合4K〜1Mプロンプト・フル稼働で1ユーザーあたり67トークン/秒(開発元報告)。
構成と役割分担はブログの記述。67 tok/s/ユーザーは開発元が特定構成で報告した値で、独立測定ではない。KVの所在はMLAの潜在プール。
対応モデルと拡散モデル、RLロールアウト
ブログのモデル表によると、v0.1.0のLLMはKimi-K3.1、Kimi-K3、GLM-5.3、GLM-5.3-Flash、GLM-5.2(MXFP4)、Qwen3.5、Qwen3-0.6B/8B/30B-A3B、GPT-OSS-120B、GLM-4-9B、DeepSeek-V2-Liteに対応する。GLM-5.2はDSA attentionを持つMoEモデルで、disaggregated serving、メガカーネルのprefillとdecode、MTP speculative decoding、128Kと1Mのdecodeポイントを持ち、1Mトークンのコンテキストをagentic coding向けに提供する。こちらは公開されているNeuron SDK 2.33.0で動く。
Kimi-K3
- ハードウェア
- Trainium3ノード3台
- 実行方式
- prefill 1台+decode 2台の分離、KVはNIXL over EFA
- 公開数値・注記
- 67 tok/s/ユーザー(混合4K〜1M・full slots・開発元報告)
GLM-5.2(MXFP4)
- ハードウェア
- Trainium3
- 実行方式
- メガカーネルprefill/decode、MTP、128Kと1M decodeポイント
- 公開数値・注記
- 1Mトークンコンテキスト、公開Neuron SDK 2.33.0
GPT-OSS-120B
- ハードウェア
- Trainium3
- 実行方式
- 単一カーネルdecode、パイプライン並列+decodeコンテキスト並列
- 公開数値・注記
- この経路の最初のモデル
拡散モデル(FLUX.1-dev、FLUX.3-Action、MiniMax-H3、Wan2.2 A14B、LingBot-World-V2)
- ハードウェア
- Trainium2(trn2.48xlarge)
- 実行方式
- SGLang DiffusionのNeuronプラットフォーム
- 公開数値・注記
- 画像・動画・ロボット行動・世界モデル
対応状況と実行方式はブログの機能表・モデル表およびREADMEの記述。数値の帰属はすべて開発元の報告。
SGLang DiffusionはNeuronプラットフォームを獲得し、torch-neuronxが入っていれば自動的に選ばれる。ランチャー、スケジューラー、画像・動画API、リアルタイムWebSocketプロトコルはSGLang側が担い、プラグインがパイプライン、コンパイル済みグラフ、NKIカーネルを供給する。強化学習のロールアウトでは、訓練基盤MilesがTorchTitanバックエンドでTorchNeuron上に乗り、Qwen3-30B-A3BでロールアウトをSGLang-Neuronがサーブするループをエンドツーエンドで検証したとブログは報告している。
限定ベータ
SGLangチームが10月にTrainium向けの限定ベータ(closed beta)を発表。モデル部品がTorchNeuron経由でTrainiumに載ることを確認した。
v0.1.0公開
公開プレビューとして初の公開リリース。GitHubリポジトリ作成は同日03:23Z、最終pushは同日21:36Z。
現時点の確認
プレビューはGAではなく、機能・API・対応モデルは後続リリースで変わるとREADMEに明記。
日付はブログの記載とGitHub APIのタイムスタンプ。10月ベータの正確な日付はブログに日付表記がないため月のみ。
用途の面では、既存のSGLang向けアプリケーションコードを変えずに、同じAPIのままGPU以外のハードウェア候補を試せる点が今回の変更の中心だ。一方でTrainiumはコンパイル済み形状で動くため、性能はコンパイル形状のバケット構成、並列構成、ノード間ネットワーク(EFA)に依存する。開発元も企業の選択基準として、同一のモデル・負荷での費用と遅延の比較を挙げており、公開されている数値はあくまで開発元の構成での報告値だ。プレビュー段階であり、GAまでの互換性や長時間負荷での安定性は確認できていない。
出典
- LMSYS Org Blog: SGLang-Neuron v0.1.0: SGLang's Serving Stack on AWS Trainium発表日(2026-11-12)、発表者(SGLang Team and AWS Annapurna Labs)、限定ベータからの移行、非同期ランタイム・メガカーネル・NIXL/EFA・HiCacheの設計、Kimi-K3の3ノード構成と67 tok/s/ユーザー、GLM-5.2の1MコンテキストとSDK 2.33.0、拡散モデル対応、MilesでのRL検証、モデル表。
- GitHub: sgl-project/sglang-neuronSGLang本体無変更のプラグイン方式(SGLANG_PLATFORM=neuron)、SGLang commit 43881a7への固定と別リビジョンでの起動停止、Trn3とtrn2.48xlargeの分担、Apache-2.0、ソースビルド要件(Python 3.11以上)、Qwen3.5-397B-A17Bの全ロールメガカーネル。
- GitHub API: sgl-project/sglang-neuron リポジトリ情報ライセンスApache-2.0、作成2026-11-12T03:23Z、最終push 2026-11-12T21:36Z(2026-11-15確認)。
出典の確認日 2026.11.15