発表は公式ブログ2本(研究ブログ「Together Compiler: Continual Compilation for AI inference」と会社ブログ「From Static to Polymorphic Inference」)と製品ページで、いずれも2026年11月4日付です。Together Compilerはモデル、GPU、トラフィックの形状を入力に取ります。複数のエージェントが推論エンジンの最適化候補を並行で提案し、候補は起動しっぱなしの常駐エンジン(persistent engine)にホットリロードされます。現行エンジンとの比較で速度と正しさを検証し、通った変更だけが本番に達する仕組みです。
- 01 入力
モデル・GPU・トラフィック形状
対象のモデル、ハードウェア、利用パターンを入力にする。
- 02 候補生成
エージェント群が並行提案
複数のエージェントがカーネルやフォワードパスの候補を作り、メッセージボードで情報を共有する。
- 03 検証
常駐エンジンで計測
エンジンを再起動せず候補をホットリロードし、速度と正しさを現行比で確かめる。計測層は2段階。
- 04 反映
合格のみ本番へ
検証を通った変更だけを本番に反映。モデルやトラフィックが変われば最適化をやり直す。
公式ブログ「Together Compiler」(2026-11-04、Figure 1)と公式製品ページの説明による。
手作業の最適化が追いつかなくなった背景があります。モデルのアーキテクチャは上位10のオープンソースモデルが全部違う状態で、GPUもH100、B200、B300、NVL72など多様です。Together AIは1日に数兆トークンを処理し(会社公表)、地域ごとの利用傾向や新モデル投入後の使い方の変化でトラフィックが動きます。従来は候補を試すたびに推論エンジンの起動と終了が必要で、会社の測定では起動に467秒かかりました。Together Compilerは常駐エンジンへのホットリロードでこの反映を約9秒に短縮し、エージェントの実験回数を比較対象のエージェント最適化システムの252倍にします(会社測定)。
会社公表の性能数値は条件付きです。Blackwell GPUでは、24時間未満のコンパイルで主要オープンモデルの処理性能が最良のオープンエンジン比1.3〜3倍になりました(製品ページのFAQ)。4モデル(Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash)では、同じユーザー速度でのGPU当たりのトークン処理が最大2.6倍です。AMD MI355XのGLM 5.3では最大3.7倍、AWS Trainium2のMiniMax M3では最大2.7倍と説明されています。Llama-3.2-1Bのバッチ1では、メガカーネルやCUDAグラフの基準比で1.7倍でした。SemiAnalysisのInferenceXベンチマークの低レイテンシ条件では、MiniMax M3.1-Flashで1111 TPS、DeepSeek v4.1-Flashで1205 TPSを計測し、会社はこの条件での最高性能を主張しています。倍率はモデル・ハードウェア・並列度・レイテンシ条件で変わり、全モデルと全ユーザーに当てはまる値ではありません。
Serverless Inference
- 状態
- 対応モデルで標準有効。追加料金なし、設定項目なし。11月4日時点の対象はGLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash
Provisioned Throughput
- 状態
- 予約トークン容量をTogether Compilerで最適化すると説明
Dedicated Model Inference
- 状態
- 研究チームとFDEに依頼して最適化。限定ベータで相談対応
Dedicated Container Inference
- 状態
- 自前のエンジンとモデルを対象に最適化。相談対応
公式製品ページ(2026-11-05確認)と公式ブログ(2026-11-04)による。専用環境のセルフサービス最適化は「今後提供」とされています。
「本日時点で、Together AIのエンドポイントで実行しているモデルの多くは、AIエージェントによって完全に最適化されています。世界初の、本番規模の再帰的自己改善(RSI)を行う推論システムです。」
As of today, many of the models you run through Together AI endpoints are fully optimized by AI agents: the world's first production-scale recursive self-improvement (RSI) inference system.
「再帰的自己改善」という表現の範囲には注意が必要です。最適化の対象は、推論を動かすコード(カーネルやフォワードパス)です。モデルの重みや能力が自律的に更新される話ではありません。「多くのモデル」の具体的な範囲と、実トラフィックでの第三者検証の結果は、発表時点で示されていません。
位置づけを整理します。会社は、新しいモデルとアーキテクチャ、変わり続けるトラフィックに合わせて本番の推論設定を組み直す考え方を「Polymorphic Inference」と呼び、Together Compilerをその第一歩と位置付けます。10月にはOpenRouter経由のトークン量で、公開モデルの提供が非公開モデルの提供企業を一時上回ったと会社は述べます(会社の主張)。技術詳細は会社の論文ページで公開されています。今後の注目点は、実トラフィックでの第三者による再現、対応モデルとGPUの拡大、専用環境のセルフサービス化の時期です。
出典
- Together Compiler: Continual Compilation for AI inference(Together AI公式ブログ、2026-11-04公開、2026-11-05に全文確認)TKCCの仕組み、Table 1の起動時間(467秒→9.0秒)、252倍の実験回数、各ベンチマーク数値、LLM以外への適用による。
- From Static to Polymorphic Inference: A new era for production open-source inference systems(Together AI公式ブログ、2026-11-04公開、2026-11-05に全文確認)Polymorphic Inferenceの位置づけ、production稼働の説明、RSI表現、限定ベータ、OpenRouterのトークン量に関する会社主張による。
- Polymorphic Inference(Together AI公式製品ページ、2026-11-05に全文確認)Blackwellでの1.3〜3倍(FAQ)、サーバーレス標準有効・同価格・対象モデル、AMD MI355X最大3.7倍、Trainium2最大2.7倍、専用環境の扱いによる。
出典の確認日 2026.11.05