NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

SGLangチームとAWS、Trainium向け推論基盤「SGLang-Neuron v0.1.0」を公開プレビューで公開――Kimi-K3はノード3台構成で1ユーザーあたり67トークン/秒(開発元報告)

SGLangチーム(RadixArk)とAWS Annapurna Labsは2026年11月12日、AWSのAIチップTrainium上でSGLangのサービング基盤を動かすオープンソースのプラグイン「SGLang-Neuron v0.1.0」を公開プレビューとして公開した。10月の限定ベータに続く最初の公開リリースで、Apache-2.0ライセンスのプラグインとして提供する。SGLang本体は変更せず、TorchNeuron経由でTrainiumに対応し、LLMはTrn3インスタンス、拡散モデルはtrn2.48xlargeで動く。開発元の報告では、最大構成のKimi-K3がTrainium3ノード3台(prefill 1台+decode 2台)で、4K〜1Mトークンの混合プロンプト・フル稼働条件のとき1ユーザーあたり67トークン/秒に達した。この数値は開発元の特定構成での報告であり、独立測定ではない。

SGLangは大規模言語モデル(LLM)推論のスケジューリング、KVキャッシュ、prefixキャッシュを担うオープンソースのサービング基盤で、GPU環境を中心に使われてきた。TrainiumはAWSがAI学習・推論向けに開発する自社チップで、モデルはNeuron SDK経由でNeuronCoreにコンパイルされて動く。今回のプラグインは、PyTorchのTrainiumバックエンドであるTorchNeuron(torch-neuronx)の上にSGLangのランチャー、スケジューラー、APIをそのまま載せる構成で、SGLangのリポジトリには手を加えない。プラグインはSGLangのcommit 43881a7に固定され、それ以外のリビジョンでは起動を止める。

公開の形は公開プレビューで、プレビュー期間中はAWS Deep Learning Container経由の利用がサポートされる。READMEはLLMをTrn3インスタンス、拡散モデルをtrn2.48xlargeで動かすと説明し、機能・API・対応モデルは後続リリースで変わるとしている。ソースから構築する場合はPython 3.11以上と、固定されたSGLang commitのチェックアウトが必要だ。

「この構成では、4Kから1Mトークンの混合プロンプトで、フル稼働(full slots)、実際の推測受諾(speculative acceptance)の条件で、1ユーザーあたり67トークン/秒に達します。」

This configuration reaches 67 tok/s per user on mixed 4K to 1M prompts, at full slots, with real speculative acceptance.

LMSYSブログ(2026年11月12日)Kimi-K3 on three Trainium3 nodes

設計: 非同期ランタイム、メガカーネル、prefill/decode分離

Trainiumはコンパイル済みプログラム(NEFF)をNeuronCoreで実行するため、プラグインは起動時に形状バケットの固定セットをコンパイルし、サービング中にコンパイルが走らないグラフランナーを持つ。GPUでのCUDAストリームに相当する隠蔽は起動キューで行い、対応するLLMすべてが同じ完全非同期の実行経路を共有する。カーネルの面では、1ステップのすべてのデコーダー層を1つのNKIカーネル呼び出しで実行するメガカーネルを用意し、GPT-OSS-120BはTrainium3での単一カーネルdecode、GLM-5.2はprefillとdecodeの双方がメガカーネル、Kimi-K3はprefill専用のNKIカーネルを持つ。READMEはさらに、Qwen3.5-397B-A17Bが全ロールでモデル全体のメガカーネルで動くと記す。

Trainiumではprefillとdecodeを別サーバーに分ける構成が推奨される。prefillサーバーはプロンプトのKVキャッシュと最初のトークンを計算し、NIXL WRITEをEFA上で実行してdecodeサーバーのKVプールへ直接書き込む。デプロイでは任意台数のprefillとdecode(xPyD)をロードバランサー越しに並べられる。KVキャッシュの容量対策として、退避したradix-cacheページをホストのDRAMへ退避し、ヒット時に戻すHiCacheも使える。radix木、ホストアロケーター、転送エンジンは上流SGLangのコードで、プラグインが供給するのはTrainiumのメモリ移動に合わせたホストプールの部分だけだ。

図解Kimi-K3のprefill/decode分離構成(ブログ「Kimi-K3 on three Trainium3 nodes」による)
  1. 01 クライアント

    SGLang API

    SGLangのランチャー・スケジューラー・APIはそのまま。SGLANG_PLATFORM=neuronでプラグインを選ぶ。

  2. 02 prefillノード(1台)

    KV生成+初トークン

    MLA attentionをFP8、エキスパートをMXFP4で計算。prefillを8段のパイプラインで処理する。

  3. 03 ノード間転送

    NIXL over EFA

    prefillサーバーがdecodeサーバーのKVプールへNIXL WRITEで直接書き込む。

  4. 04 decodeノード(2台)

    デコード継続

    decodeコンテキスト並列32で2ノードにまたがり、speculative decodingで生成を続ける。

  5. 05 応答

    トークンストリーム

    混合4K〜1Mプロンプト・フル稼働で1ユーザーあたり67トークン/秒(開発元報告)。

構成と役割分担はブログの記述。67 tok/s/ユーザーは開発元が特定構成で報告した値で、独立測定ではない。KVの所在はMLAの潜在プール。

対応モデルと拡散モデル、RLロールアウト

ブログのモデル表によると、v0.1.0のLLMはKimi-K3.1、Kimi-K3、GLM-5.3、GLM-5.3-Flash、GLM-5.2(MXFP4)、Qwen3.5、Qwen3-0.6B/8B/30B-A3B、GPT-OSS-120B、GLM-4-9B、DeepSeek-V2-Liteに対応する。GLM-5.2はDSA attentionを持つMoEモデルで、disaggregated serving、メガカーネルのprefillとdecode、MTP speculative decoding、128Kと1Mのdecodeポイントを持ち、1Mトークンのコンテキストをagentic coding向けに提供する。こちらは公開されているNeuron SDK 2.33.0で動く。

図解モデル別の提供形態(ブログとREADMEによる)
  • Kimi-K3

    ハードウェア
    Trainium3ノード3台
    実行方式
    prefill 1台+decode 2台の分離、KVはNIXL over EFA
    公開数値・注記
    67 tok/s/ユーザー(混合4K〜1M・full slots・開発元報告)
  • GLM-5.2(MXFP4)

    ハードウェア
    Trainium3
    実行方式
    メガカーネルprefill/decode、MTP、128Kと1M decodeポイント
    公開数値・注記
    1Mトークンコンテキスト、公開Neuron SDK 2.33.0
  • GPT-OSS-120B

    ハードウェア
    Trainium3
    実行方式
    単一カーネルdecode、パイプライン並列+decodeコンテキスト並列
    公開数値・注記
    この経路の最初のモデル
  • 拡散モデル(FLUX.1-dev、FLUX.3-Action、MiniMax-H3、Wan2.2 A14B、LingBot-World-V2)

    ハードウェア
    Trainium2(trn2.48xlarge)
    実行方式
    SGLang DiffusionのNeuronプラットフォーム
    公開数値・注記
    画像・動画・ロボット行動・世界モデル

対応状況と実行方式はブログの機能表・モデル表およびREADMEの記述。数値の帰属はすべて開発元の報告。

SGLang DiffusionはNeuronプラットフォームを獲得し、torch-neuronxが入っていれば自動的に選ばれる。ランチャー、スケジューラー、画像・動画API、リアルタイムWebSocketプロトコルはSGLang側が担い、プラグインがパイプライン、コンパイル済みグラフ、NKIカーネルを供給する。強化学習のロールアウトでは、訓練基盤MilesがTorchTitanバックエンドでTorchNeuron上に乗り、Qwen3-30B-A3BでロールアウトをSGLang-Neuronがサーブするループをエンドツーエンドで検証したとブログは報告している。

図解Trainium対応の公開の経過(ブログとGitHub APIによる)
  1. 限定ベータ

    SGLangチームが10月にTrainium向けの限定ベータ(closed beta)を発表。モデル部品がTorchNeuron経由でTrainiumに載ることを確認した。

  2. v0.1.0公開

    公開プレビューとして初の公開リリース。GitHubリポジトリ作成は同日03:23Z、最終pushは同日21:36Z。

  3. 現時点の確認

    プレビューはGAではなく、機能・API・対応モデルは後続リリースで変わるとREADMEに明記。

日付はブログの記載とGitHub APIのタイムスタンプ。10月ベータの正確な日付はブログに日付表記がないため月のみ。

用途の面では、既存のSGLang向けアプリケーションコードを変えずに、同じAPIのままGPU以外のハードウェア候補を試せる点が今回の変更の中心だ。一方でTrainiumはコンパイル済み形状で動くため、性能はコンパイル形状のバケット構成、並列構成、ノード間ネットワーク(EFA)に依存する。開発元も企業の選択基準として、同一のモデル・負荷での費用と遅延の比較を挙げており、公開されている数値はあくまで開発元の構成での報告値だ。プレビュー段階であり、GAまでの互換性や長時間負荷での安定性は確認できていない。

出典

  1. LMSYS Org Blog: SGLang-Neuron v0.1.0: SGLang's Serving Stack on AWS Trainium発表日(2026-11-12)、発表者(SGLang Team and AWS Annapurna Labs)、限定ベータからの移行、非同期ランタイム・メガカーネル・NIXL/EFA・HiCacheの設計、Kimi-K3の3ノード構成と67 tok/s/ユーザー、GLM-5.2の1MコンテキストとSDK 2.33.0、拡散モデル対応、MilesでのRL検証、モデル表。
  2. GitHub: sgl-project/sglang-neuronSGLang本体無変更のプラグイン方式(SGLANG_PLATFORM=neuron)、SGLang commit 43881a7への固定と別リビジョンでの起動停止、Trn3とtrn2.48xlargeの分担、Apache-2.0、ソースビルド要件(Python 3.11以上)、Qwen3.5-397B-A17Bの全ロールメガカーネル。
  3. GitHub API: sgl-project/sglang-neuron リポジトリ情報ライセンスApache-2.0、作成2026-11-12T03:23Z、最終push 2026-11-12T21:36Z(2026-11-15確認)。

出典の確認日 2026.11.15

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む