NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Together AI、エージェントが推論を組み替え続けるTogether Compilerを発表――対応サーバーレスで標準有効

Together AIは2026年11月4日、AIエージェントがGPUカーネルなどの最適化候補を生成し、常駐の検証エンジンが速度と正しさを確かめてから本番に反映させる「Together Compiler(TKCC)」を発表しました。対応するサーバーレスモデルでは標準で有効で、追加料金はありません。会社公表のベンチマークでは、Blackwell GPUで主要オープンモデルの処理性能が最良のオープンエンジン比1.3〜3倍になりました。数値は会社測定です。

発表は公式ブログ2本(研究ブログ「Together Compiler: Continual Compilation for AI inference」と会社ブログ「From Static to Polymorphic Inference」)と製品ページで、いずれも2026年11月4日付です。Together Compilerはモデル、GPU、トラフィックの形状を入力に取ります。複数のエージェントが推論エンジンの最適化候補を並行で提案し、候補は起動しっぱなしの常駐エンジン(persistent engine)にホットリロードされます。現行エンジンとの比較で速度と正しさを検証し、通った変更だけが本番に達する仕組みです。

図解Together Compilerの最適化ループ
  1. 01 入力

    モデル・GPU・トラフィック形状

    対象のモデル、ハードウェア、利用パターンを入力にする。

  2. 02 候補生成

    エージェント群が並行提案

    複数のエージェントがカーネルやフォワードパスの候補を作り、メッセージボードで情報を共有する。

  3. 03 検証

    常駐エンジンで計測

    エンジンを再起動せず候補をホットリロードし、速度と正しさを現行比で確かめる。計測層は2段階。

  4. 04 反映

    合格のみ本番へ

    検証を通った変更だけを本番に反映。モデルやトラフィックが変われば最適化をやり直す。

公式ブログ「Together Compiler」(2026-11-04、Figure 1)と公式製品ページの説明による。

手作業の最適化が追いつかなくなった背景があります。モデルのアーキテクチャは上位10のオープンソースモデルが全部違う状態で、GPUもH100、B200、B300、NVL72など多様です。Together AIは1日に数兆トークンを処理し(会社公表)、地域ごとの利用傾向や新モデル投入後の使い方の変化でトラフィックが動きます。従来は候補を試すたびに推論エンジンの起動と終了が必要で、会社の測定では起動に467秒かかりました。Together Compilerは常駐エンジンへのホットリロードでこの反映を約9秒に短縮し、エージェントの実験回数を比較対象のエージェント最適化システムの252倍にします(会社測定)。

会社公表の性能数値は条件付きです。Blackwell GPUでは、24時間未満のコンパイルで主要オープンモデルの処理性能が最良のオープンエンジン比1.3〜3倍になりました(製品ページのFAQ)。4モデル(Kimi K3、GLM 5.3、MiniMax M3.1-Flash、DeepSeek v4.1-Flash)では、同じユーザー速度でのGPU当たりのトークン処理が最大2.6倍です。AMD MI355XのGLM 5.3では最大3.7倍、AWS Trainium2のMiniMax M3では最大2.7倍と説明されています。Llama-3.2-1Bのバッチ1では、メガカーネルやCUDAグラフの基準比で1.7倍でした。SemiAnalysisのInferenceXベンチマークの低レイテンシ条件では、MiniMax M3.1-Flashで1111 TPS、DeepSeek v4.1-Flashで1205 TPSを計測し、会社はこの条件での最高性能を主張しています。倍率はモデル・ハードウェア・並列度・レイテンシ条件で変わり、全モデルと全ユーザーに当てはまる値ではありません。

図解提供形態ごとのTogether Compiler
  • Serverless Inference

    状態
    対応モデルで標準有効。追加料金なし、設定項目なし。11月4日時点の対象はGLM 5.3、GLM 5.3 Flash、DeepSeek V4.1 Flash
  • Provisioned Throughput

    状態
    予約トークン容量をTogether Compilerで最適化すると説明
  • Dedicated Model Inference

    状態
    研究チームとFDEに依頼して最適化。限定ベータで相談対応
  • Dedicated Container Inference

    状態
    自前のエンジンとモデルを対象に最適化。相談対応

公式製品ページ(2026-11-05確認)と公式ブログ(2026-11-04)による。専用環境のセルフサービス最適化は「今後提供」とされています。

「本日時点で、Together AIのエンドポイントで実行しているモデルの多くは、AIエージェントによって完全に最適化されています。世界初の、本番規模の再帰的自己改善(RSI)を行う推論システムです。」

As of today, many of the models you run through Together AI endpoints are fully optimized by AI agents: the world's first production-scale recursive self-improvement (RSI) inference system.

Simran Arora氏(Together AIリサーチSVP)とDan Fu氏(創業リサーチSVP)の公式ブログ(2026年11月4日。日本語訳は編集部)

「再帰的自己改善」という表現の範囲には注意が必要です。最適化の対象は、推論を動かすコード(カーネルやフォワードパス)です。モデルの重みや能力が自律的に更新される話ではありません。「多くのモデル」の具体的な範囲と、実トラフィックでの第三者検証の結果は、発表時点で示されていません。

位置づけを整理します。会社は、新しいモデルとアーキテクチャ、変わり続けるトラフィックに合わせて本番の推論設定を組み直す考え方を「Polymorphic Inference」と呼び、Together Compilerをその第一歩と位置付けます。10月にはOpenRouter経由のトークン量で、公開モデルの提供が非公開モデルの提供企業を一時上回ったと会社は述べます(会社の主張)。技術詳細は会社の論文ページで公開されています。今後の注目点は、実トラフィックでの第三者による再現、対応モデルとGPUの拡大、専用環境のセルフサービス化の時期です。

出典

  1. Together Compiler: Continual Compilation for AI inference(Together AI公式ブログ、2026-11-04公開、2026-11-05に全文確認)TKCCの仕組み、Table 1の起動時間(467秒→9.0秒)、252倍の実験回数、各ベンチマーク数値、LLM以外への適用による。
  2. From Static to Polymorphic Inference: A new era for production open-source inference systems(Together AI公式ブログ、2026-11-04公開、2026-11-05に全文確認)Polymorphic Inferenceの位置づけ、production稼働の説明、RSI表現、限定ベータ、OpenRouterのトークン量に関する会社主張による。
  3. Polymorphic Inference(Together AI公式製品ページ、2026-11-05に全文確認)Blackwellでの1.3〜3倍(FAQ)、サーバーレス標準有効・同価格・対象モデル、AMD MI355X最大3.7倍、Trainium2最大2.7倍、専用環境の扱いによる。

出典の確認日 2026.11.05

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む