NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

モデルを固定したままエージェントの実行基盤をMCTSで自動改良するHarnessFlow――6ベンチマーク平均69.48%、開始ハーネス比+10.89ポイント

Zhi Hong氏ら(華南理工大学、復旦大学、武汉大学、コーネル大学など)の研究チームは2026年11月4日、LLMエージェントの実行制御部分「ハーネス」全体をコードとしてモンテカルロ木探索(MCTS)で自動改良するHarnessFlowをarXivで公開した。モデル(GPT-5.4-mini)と評価環境を固定し、ベンチマークごとに最大15回の候補評価で探索した結果、6ベンチマークの平均テストスコアは69.48%で、開始ハーネス比+10.89ポイント、既存の自動改良手法Meta-Harness比+3.95ポイント。平均推論コストは手作りハーネスのCodex比41.4%だった。数値は著者らの実験値で、コードは公開予定の段階。公開コードは現時点でなく、独立した再現検証はまだない。

LLMエージェントの性能はモデル単体では決まらない。ツールを呼ぶ順序、状態の保持、文脈の組み立て、停止条件といった実行制御の層「ハーネス」の設計が結果を左右する。論文によれば、この設計は今も手作業が中心で、プロンプト最適化や限定的な設定変更では、相互に依存する構成要素を横断して改善しにくい。HarnessFlowは、モデルと評価環境を固定したまま、実行可能なハーネス全体を探索対象として扱う。

「手作りハーネスのいずれよりも低い平均推論コストで動作し、6ベンチマーク全体でCodexの41.4%である。」

running at a lower average inference cost than every hand-engineered harness, at 41.4% of Codex's across the six benchmarks

arXiv:2611.06254「HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents」(2026年11月4日公開v1)、Introduction

ハーネス全体を1本のコードベースとしてMCTSで改良する

仕組みは3層に分けられる。まず、候補とその評価履歴を改良木(refinement tree)に整理する。次に、コーディングエージェントとしてCodex CLI(リリース0.154.0、GPT-5.5・最高推論effort)が、選ばれた親ノードのハーネスを、探索木のスコアと実行記録、アーカイブされた過去コード、再利用可能な機構を集めた部品ライブラリを参照しながら書き換える。最後に、MCTSに基づく方針が活用と探索のバランスを取り、次に改良するノードを選ぶ。探索空間はコード全体に及ぶが、評価は候補1件につき1試行と数えられ、各ベンチマークの予算は最大15試行だ。なお、MCTS自体やハーネス最適化の発明ではなく、先行手法Meta-Harness(Leeら、2026)と同じく完全なコード修正を許す枠組みで、木を保持し続けて再利用する点が違う。

図解HarnessFlowの探索の流れ(arXiv:2611.06254の2〜3節、付録C.4に基づく)
  1. 01 開始

    初期ハーネス

    各ベンチマークの初期実装(Vanilla)を起点にする。実行モデルと評価環境は固定。

  2. 02 候補生成

    Codexがコードを改良

    コーディングエージェント(Codex CLI 0.154.0、GPT-5.5)が探索木の記録・過去コード・部品ライブラリを参照して候補を作る。

  3. 03 評価

    検証セットで実行

    候補1件ごとに検証セットで評価し、スコアと実行記録を木に保存する。

  4. 04 選択

    MCTSで次を決定

    活用と探索のバランスを取り、次に改良するノードを選ぶ。

  5. 05 最終評価

    テストセットで5回

    最適化では未観察のテストセットで各手法を5回実行して比べる。

arXiv:2611.06254(2026-11-04公開)の「2 Problem Setting」「3 Methodology」、付録C.4に基づく。候補試行は各ベンチマーク最大15回。探索自体の計算コストは論文の実行コスト比較に含まれない。

6ベンチマークの平均は69.48%、全ベンチマークで比較対象を上回る

評価は、エージェント課題(TAU2-bench、AppWorld)、コード生成(SWE-bench Verified、BigCodeBench-Hard)、ウェブ操作(WebShop、BrowseComp-Plus)の6ベンチマーク。各ベンチマークの公式指標(タスク成功率、解決率、Pass@1など)を百分率で報告し、実行モデルはGPT-5.4-mini(medium推論effort)に固定、TAU2-benchのユーザー模擬や採点に使う補助モデルも全手法で共通だ。検証セットとテストセットは固定シードで1回だけ分割し、最適化器はテストセットを観察しない。その結果、HarnessFlowの平均テストスコアは69.48%で、開始ハーネス(Vanilla、58.59%)比+10.89ポイント、市販エージェントのCodex(64.82%)比+4.66ポイント、同じ15候補予算の自動改良手法Meta-Harness(65.53%)比+3.95ポイントだった。開始ハーネスとの差が最大なのはWebShopの+21.70ポイントとTAU2-benchの+17.85ポイント。

図解6ベンチマークの平均テストスコア(Table 1、arXiv:2611.06254)
  • Vanilla開始ハーネス

    区分
    初期実装
    平均スコア
    58.59%
    開始ハーネス比
    —
  • Claude Code市販エージェント

    区分
    手作り
    平均スコア
    61.71%
    開始ハーネス比
    +7.77
  • OpenHands市販エージェント

    区分
    手作り
    平均スコア
    62.61%
    開始ハーネス比
    +6.87
  • Hermes市販エージェント

    区分
    手作り
    平均スコア
    64.28%
    開始ハーネス比
    +5.20
  • Codex市販エージェント

    区分
    手作り
    平均スコア
    64.82%
    開始ハーネス比
    +4.66
  • Meta-Harness既存の自動改良手法

    区分
    自動改良
    平均スコア
    65.53%
    開始ハーネス比
    +3.95
  • HarnessFlow提案手法

    区分
    自動改良
    平均スコア
    69.48%
    開始ハーネス比
    +10.89

arXiv:2611.06254 Table 1(2026-11-04公開v1)。各ベンチマーク5回実行の平均で、平均は6ベンチマークにわたる値。「開始ハーネス比」はHarnessFlow平均との差の本記事計算値。69.48%は異種ベンチマークの平均であり、一般のエージェント成功率ではない。

コストはCodex比41.4%、探索効率は3評価で71.5%

タスク実行コストはベンチマークごとに差が大きいため、論文は6ベンチマークのタスク当たり実行コストの幾何平均で比べている。HarnessFlowは0.101ドルで、Meta-Harness(0.092ドル)とともにスコア・コストのパレート最前線を形成し、手作りハーネスはこれらの2〜3倍のコストでスコアが下回る。平均推論コストは全手法で最低ではなく、6ベンチマーク平均でCodexの41.4%だ。この比較には、ハーネス探索自体の一回限りの計算コストは含まれない。探索効率としては、検証セットでの最高到達スコアの平均が候補評価3回で71.5%、15回で74.2%に達した。検証スコアで探索を進める都合上、自動採点が用意できない課題には適用できないと論文は述べている。実行モデルをGPT-5.4に置き換えた一般化実験も別節で報告している。

コードは公開予定、独立検証はこれから

論文は、表と図の再現のための実装とスクリプトを公開する予定だと述べているが、執筆時点で公開リポジトリは確認できていない。数値は著者らの6ベンチマーク実験結果で、第三者による再現はまだない。平均69.48%は指標の異なる6ベンチマークを平均した値で、単一の成功率として読むべきではない。改善幅はパーセントでなくパーセンテージポイントだ。制限として、探索木の各候補が単一の親を持つ構成であり、別枝で見つかった機構を組み合わせるグラフ構造への拡張は今後の課題とされる。モデル重みを更新しないまま実行環境の設計を測定対象にする研究は、エージェント運用のコストと品質の両方に影響する点で、今後の再現検証が注目される。

出典

  1. arXiv:2611.06254「HarnessFlow: MCTS-Guided Harness Optimization for LLM Agents」(要旨ページ)2026-11-04公開v1。著者8名(Zhi Hong、Qianlong Wang、Hongchen Wei、Aidan Wu、Daohong Ying、Mingze Kong、Bei Liu、Chong Luo)、投稿日、要旨の数値(15試行、69.48%、+10.89/+3.95ポイント)。
  2. arXiv:2611.06254 本文(HTML版)Table 1の7手法×6ベンチマークの数値、指標の定義、検証/テスト分割とテスト未観察、GPT-5.4-mini(medium推論effort)固定と補助モデル、Codex CLI 0.154.0+GPT-5.5による候補生成、最大15試行、実行コスト(幾何平均0.101ドル、Meta-Harness 0.092ドル、Codex比41.4%、探索コスト除外)、検証スコア71.5%(3回)と74.2%(15回)、コード公開予定の記述、限界(自動採点必要性、単親木)。

出典の確認日 2026.11.13

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む