論文「Strategist: Evolving Reasoning with Agents」の著者は、Princeton大学のTaiming Lu氏・Zhuang Liu氏と、MetaのQi Xu氏・Zhigang Hua氏です。arXivへの提出は2026年11月2日で、Comments欄にはNeurIPS 2026の表記があります。
出発点は、「モデルはシステムの半分で、もう半分の推論戦略は今も手書きであり、その経験が次のタスクに引き継がれない」という指摘です。Strategistは、戦略そのものを答えるのではなく、答える手順を設計するメタエージェントです。戦略の本体はblueprintというPythonファイルで、どのblueprintもexecute(llm, task) -> strという共通インターフェースを持ちます。会話型の「chat」と道具を使う「agent」という2つの基本要素の上に、ほかのblueprintを部品として呼び出す形で組み上がるのが特徴です。ライブラリには、共通インターフェース・前方呼び出しの禁止・循環の禁止・重複の禁止という4つの規律があり、各blueprintには測定カードと、いつ機能するかの経験ノートが添えられます。
動作は4段階の反復です。まず共有ライブラリからTF-IDFと埋め込みのハイブリッド検索で関連するblueprintと、着想のための隣接blueprintを取得します。提案では新規・構成・再利用の3種を混ぜ、各反復の候補は5つ(K=5)です。実サンプルで評価し、精度と費用の実測値をライブラリに書き戻します。この探索はモデルの学習を一切行わず、executorモデルは凍結したままです。
- 01 検索
Retrieve
共有ライブラリから関連blueprintと多様な着想をTF-IDF+埋め込みで取得
- 02 提案
Propose
新規・構成・再利用の3種を混ぜて候補戦略をK=5作成
- 03 評価
Evaluate
実サンプルで実行し、精度と費用を実測。トレースを読んで改善
- 04 蓄積
Accumulate
測定カードと経験ノート付きでblueprintをライブラリに戻す
論文Figure 5の4段階パイプラインに基づく。ライブラリはblueprintを保存し、タスク固有のプロンプトは保持しない。
評価は7分野40ベンチマークから、ランダムに選んだ30件を主結果、10件をライブラリ検索のheld-outに使い、GSM8K、AIME 2024、HotpotQA、MBPP+などが含まれます。比較相手は18のベースライン戦略×6つのモデル構成(108セル)で、各タスクごとに訓練分割で最も精度の高いセルを基準(BL)に選び、テスト分割で比較しました。著者の報告では、Strategistは30件のうち24件でBLを上回り、2件は同等、2件は精度と費用のトレードオフ、HotpotQAとCOPAの2件は同精度ながら費用が9%と6%増でした。全体の平均精度はBLの74.0%に対して74.7%で、重み付き推論費用は39%減です。
30主ベンチマーク対BLの結果
- BLを上回る
24件
精度または費用で有意に優位
- 同等
2件
MBPP+とMinervaM
- トレードオフ
2件
MedQAとAIME。費用を大きく減らす代わりに精度を落とす
- BLに下回る
2件
HotpotQAとCOPA。同精度で費用が9%/6%増
論文§5の記述に基づく。勝敗の判定は精度2ポイント超または費用2%超で片方が劣らないこと。数値は著者報告。
ライブラリの資産価値を測る試験も行われています。held-outの10ベンチマークでは、探索を一切行わずライブラリ検索だけでも、全10件でBLに2ポイント以内で迫り、うち8件は上回りました(77.8%から81.4%へ)。さらに同じ戦略群を一行も変えずにGPT-5とGemini-2.5に移しても基準を上回ったと論文は報告しています。なお、これらの数値はすべて論文著者による報告で、第三者の再現はまだありません。
実装も公開されています。GitHubのzlab-princeton/Strategistには、探索ループ(search.py)、ライブラリ検索(TF-IDF+埋め込み)、採点、テスト一式があり、READMEは「このリポジトリは手法の出発点」と説明しています。executorはQwen3-0.6B/1.7B/4Bの3層をvLLMで運用する構成で、論文の本結果ではstrategist側にGPT-6(gpt-6-sol)をCodex CLI経由で使用しています(リポジトリのbackends.pyはcodex、claude-opus、claude-minimaxのバックエンド選択を持つ)。ただし初期ライブラリは空で、論文の探索で得られたblueprint群そのものは同梱されていません。リポジトリにはLICENSEファイルがなく、導入前に利用条件の確認が必要です。
39%の削減は論文条件下の重み付き推論費用であり、戦略の探索・初期開発に使うメタエージェント(GPT-6/Codex CLI級)の費用や開発工数を含む総費用ではありません。74.7%対74.0%は30ベンチマークの平均で、全タスクでの優越を示すものではなく、結果はすべて著者報告です。公開実装は探索の出発点であり、論文の成果ライブラリは含まれず、ライセンス条項もまだ確認できていません。実務データでの安定性、未知タスクや長期運用での転移性能は今後の検証課題です。
出典
- Strategist: Evolving Reasoning with Agents(arXiv:2611.03618v1、2026-11-02提出、NeurIPS 2026表記)提出日(2026年11月2日)、著者4名と所属(Taiming Lu・Zhuang Liu=Princeton、Qi Xu・Zhigang Hua=Meta)、要旨の30ベンチマーク24件勝利・74.0%→74.7%・費用39%減・held-out 10件(77.8%→81.4%、8件上回る)・GPT-5とGemini-2.5への転移
- Strategist: Evolving Reasoning with Agents(arXiv HTML全文、2026-11-10確認)blueprintの定義(execute(llm, task) -> str、chat/agentの土台、4つの規律)、4段階パイプラインとK=5、40ベンチマーク(30主結果+10 held-out、GSM8K・AIME 2024・HotpotQA・MBPP+等)、18×6=108セルとBLの選び方、勝敗内訳(24勝・2同等・2トレードオフ・2敗北の対象と費用増9%/6%)、TF-IDF+埋め込み検索、測定カードと経験ノート、executor3層(Qwen3-0.6B/1.7B/4B)×nothink/thinkingの6構成、strategistはGPT-6(gpt-6-sol)をCodex CLI経由で使用
- zlab-princeton/Strategist(GitHubリポジトリ、2026-11-10確認)公開実装の構成(search.py、retrieval.py、scoring.py、tests)、READMEの「手法の出発点」説明、workflows/が共通ヘルパー以外は空の状態、Qwen3-0.6B/1.7B/4BのvLLM実行(scripts/serve_executors.sh)、backends.pyのcodex/claude-opus/claude-minimax選択、LICENSEファイルなし、リポジトリ作成2026-10-27・最終push 2026-11-04
出典の確認日 2026.11.10