LLMエージェントの性能はモデル単体では決まらない。ツールを呼ぶ順序、状態の保持、文脈の組み立て、停止条件といった実行制御の層「ハーネス」の設計が結果を左右する。論文によれば、この設計は今も手作業が中心で、プロンプト最適化や限定的な設定変更では、相互に依存する構成要素を横断して改善しにくい。HarnessFlowは、モデルと評価環境を固定したまま、実行可能なハーネス全体を探索対象として扱う。
「手作りハーネスのいずれよりも低い平均推論コストで動作し、6ベンチマーク全体でCodexの41.4%である。」
running at a lower average inference cost than every hand-engineered harness, at 41.4% of Codex's across the six benchmarks
ハーネス全体を1本のコードベースとしてMCTSで改良する
仕組みは3層に分けられる。まず、候補とその評価履歴を改良木(refinement tree)に整理する。次に、コーディングエージェントとしてCodex CLI(リリース0.154.0、GPT-5.5・最高推論effort)が、選ばれた親ノードのハーネスを、探索木のスコアと実行記録、アーカイブされた過去コード、再利用可能な機構を集めた部品ライブラリを参照しながら書き換える。最後に、MCTSに基づく方針が活用と探索のバランスを取り、次に改良するノードを選ぶ。探索空間はコード全体に及ぶが、評価は候補1件につき1試行と数えられ、各ベンチマークの予算は最大15試行だ。なお、MCTS自体やハーネス最適化の発明ではなく、先行手法Meta-Harness(Leeら、2026)と同じく完全なコード修正を許す枠組みで、木を保持し続けて再利用する点が違う。
- 01 開始
初期ハーネス
各ベンチマークの初期実装(Vanilla)を起点にする。実行モデルと評価環境は固定。
- 02 候補生成
Codexがコードを改良
コーディングエージェント(Codex CLI 0.154.0、GPT-5.5)が探索木の記録・過去コード・部品ライブラリを参照して候補を作る。
- 03 評価
検証セットで実行
候補1件ごとに検証セットで評価し、スコアと実行記録を木に保存する。
- 04 選択
MCTSで次を決定
活用と探索のバランスを取り、次に改良するノードを選ぶ。
- 05 最終評価
テストセットで5回
最適化では未観察のテストセットで各手法を5回実行して比べる。
arXiv:2611.06254(2026-11-04公開)の「2 Problem Setting」「3 Methodology」、付録C.4に基づく。候補試行は各ベンチマーク最大15回。探索自体の計算コストは論文の実行コスト比較に含まれない。
6ベンチマークの平均は69.48%、全ベンチマークで比較対象を上回る
評価は、エージェント課題(TAU2-bench、AppWorld)、コード生成(SWE-bench Verified、BigCodeBench-Hard)、ウェブ操作(WebShop、BrowseComp-Plus)の6ベンチマーク。各ベンチマークの公式指標(タスク成功率、解決率、Pass@1など)を百分率で報告し、実行モデルはGPT-5.4-mini(medium推論effort)に固定、TAU2-benchのユーザー模擬や採点に使う補助モデルも全手法で共通だ。検証セットとテストセットは固定シードで1回だけ分割し、最適化器はテストセットを観察しない。その結果、HarnessFlowの平均テストスコアは69.48%で、開始ハーネス(Vanilla、58.59%)比+10.89ポイント、市販エージェントのCodex(64.82%)比+4.66ポイント、同じ15候補予算の自動改良手法Meta-Harness(65.53%)比+3.95ポイントだった。開始ハーネスとの差が最大なのはWebShopの+21.70ポイントとTAU2-benchの+17.85ポイント。
Vanilla開始ハーネス
- 区分
- 初期実装
- 平均スコア
- 58.59%
- 開始ハーネス比
- —
Claude Code市販エージェント
- 区分
- 手作り
- 平均スコア
- 61.71%
- 開始ハーネス比
- +7.77
OpenHands市販エージェント
- 区分
- 手作り
- 平均スコア
- 62.61%
- 開始ハーネス比
- +6.87
Hermes市販エージェント
- 区分
- 手作り
- 平均スコア
- 64.28%
- 開始ハーネス比
- +5.20
Codex市販エージェント
- 区分
- 手作り
- 平均スコア
- 64.82%
- 開始ハーネス比
- +4.66
Meta-Harness既存の自動改良手法
- 区分
- 自動改良
- 平均スコア
- 65.53%
- 開始ハーネス比
- +3.95
HarnessFlow提案手法
- 区分
- 自動改良
- 平均スコア
- 69.48%
- 開始ハーネス比
- +10.89
arXiv:2611.06254 Table 1(2026-11-04公開v1)。各ベンチマーク5回実行の平均で、平均は6ベンチマークにわたる値。「開始ハーネス比」はHarnessFlow平均との差の本記事計算値。69.48%は異種ベンチマークの平均であり、一般のエージェント成功率ではない。
コストはCodex比41.4%、探索効率は3評価で71.5%
タスク実行コストはベンチマークごとに差が大きいため、論文は6ベンチマークのタスク当たり実行コストの幾何平均で比べている。HarnessFlowは0.101ドルで、Meta-Harness(0.092ドル)とともにスコア・コストのパレート最前線を形成し、手作りハーネスはこれらの2〜3倍のコストでスコアが下回る。平均推論コストは全手法で最低ではなく、6ベンチマーク平均でCodexの41.4%だ。この比較には、ハーネス探索自体の一回限りの計算コストは含まれない。探索効率としては、検証セットでの最高到達スコアの平均が候補評価3回で71.5%、15回で74.2%に達した。検証スコアで探索を進める都合上、自動採点が用意できない課題には適用できないと論文は述べている。実行モデルをGPT-5.4に置き換えた一般化実験も別節で報告している。
コードは公開予定、独立検証はこれから
論文は、表と図の再現のための実装とスクリプトを公開する予定だと述べているが、執筆時点で公開リポジトリは確認できていない。数値は著者らの6ベンチマーク実験結果で、第三者による再現はまだない。平均69.48%は指標の異なる6ベンチマークを平均した値で、単一の成功率として読むべきではない。改善幅はパーセントでなくパーセンテージポイントだ。制限として、探索木の各候補が単一の親を持つ構成であり、別枝で見つかった機構を組み合わせるグラフ構造への拡張は今後の課題とされる。モデル重みを更新しないまま実行環境の設計を測定対象にする研究は、エージェント運用のコストと品質の両方に影響する点で、今後の再現検証が注目される。
出典
- arXiv:2611.06254「HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents」(要旨ページ)2026-11-04公開v1。著者8名(Zhi Hong、Qianlong Wang、Hongchen Wei、Aidan Wu、Daohong Ying、Mingze Kong、Bei Liu、Chong Luo)、投稿日、要旨の数値(15試行、69.48%、+10.89/+3.95ポイント)。
- arXiv:2611.06254 本文(HTML版)Table 1の7手法×6ベンチマークの数値、指標の定義、検証/テスト分割とテスト未観察、GPT-5.4-mini(medium推論effort)固定と補助モデル、Codex CLI 0.154.0+GPT-5.5による候補生成、最大15試行、実行コスト(幾何平均0.101ドル、Meta-Harness 0.092ドル、Codex比41.4%、探索コスト除外)、検証スコア71.5%(3回)と74.2%(15回)、コード公開予定の記述、限界(自動採点必要性、単親木)。
出典の確認日 2026.11.13