コーディングAgentがテストやデバッグ、パッチ検証の前に整えるのが実行環境で、その構築を自動化するsetup agentは復旧の単位を1コマンドかスクリプト全体に置いてきた。コマンド単位では失敗の原因が前の工程にあると対処できず、論文はRepo2RunがコマンドごとのDockerスナップショットで復帰しても実行可能性の改善は3.1%にとどまったと引用する。逆にDockerfileやBashスクリプトを一括で生成する方式(Installamaticは失敗時に新しいAgentで最大2回再構築)は汚染された状態を避けられる一方、成功済みの工程を捨て、原因の特定も難しい。
- 01 分析
リポジトリ解析
ディスク上のリポジトリを解析し、入力のDockerfileからベースイメージを構築する
- 02 計画
ブロック分割
リポジトリと実行時の情報から、セットアップブロックをシェルスクリプトに展開する
- 03 実行
1ブロックずつ
隔離したDockerコンテナ内でブロックを実行し、内部検証を通す
- 04 成功時
Docker保存
docker commitで検証済み区間をチェックポイントにし、同じコンテナで次のブロックへ進む
- 05 失敗時
復帰と修復
ブロック基点のチェックポイントへ戻し、観測したエラーから修復を試みて再生する
- 06 完成
成果物の保存
最終スクリプト・実行記録・LLM使用量・manifestを保存し、クリーンな環境からの再生に備える
arXiv:2611.18443v1の要約・第3章とGitHubリポジトリREADMEのCore Loop(2026-11-16確認)。修復に成功した修正はpatch-backでブロックの成果物(Bashスクリプトかシェルの永続設定)へ反映する。
HerAgentの主張は、進行管理の単位を1つ(セマンティックセットアップブロック)に定め、実行・検証・チェックポイント・修復・復帰をその単位に揃えることだ。実装はPythonで、タスクは隔離したDockerコンテナ内で完結する。失敗ブロックの修復は3段階で、動いているコンテナ内で修正案を実行し、成功した修正をブロックの成果物へ反映し(patch-back)、ブロックを再生する。原因が前のブロックにあると判断した場合は、その直前のチェックポイントへ復帰し、以降のブロックとチェックポイントを無効にしてやり直す。成果物の妥当性はクリーンな環境からの再生で確認する。
4つのデータセットで6つの先行エージェントと比較
比較対象はsetup agentのExecutionAgent、Repo2Run、Installamaticに汎用コーディングAgentのAutoGPT、SWE-agent、OpenHandsを加えた6つで、データセットはExecutionAgent-Bench、Repo2Run-Bench、SetupBench、Installamatic-Benchの4つ。SetupBenchは環境構築93タスクのうち、7つの言語エコシステム(Python、TypeScript、JavaScript、Go、Rust、Java、C++)にまたがる54リポジトリのRepo Setupサブセットを使う。成功率はデータセットが提供する検証対象を通過したタスクの割合で、HerAgentは3回の独立実行のうち1回が合格すれば成功とするany@3で測る。比較対象の値は各原典のプロトコルに従い、ExecutionAgentとRepo2Runはany@3、Installamaticはany@10で、集計条件が異なることを表の脚注で明記している。使用モデルはGPT-4o-mini、GPT-4o、GPT-4.1、GPT-5.4で、比較対象ごとにモデルを揃える。費用はOpenAIの料金表(2026年6月25日アクセス)からトークン使用量で計算した。
ExecutionAgent-BenchGPT-4o-mini
- 従来のAgent
- 66.0
- HerAgent
- 70.0
Repo2Run-BenchGPT-4o
- 従来のAgent
- 86.0
- HerAgent
- 87.1
SetupBenchGPT-4.1
- 従来のAgent
- 46.3
- HerAgent
- 70.4
Installamatic-BenchGPT-4o-mini
- 従来のAgent
- 52.0
- HerAgent
- 85.0
arXiv:2611.18443v1表2(2026-11-16確認)。HerAgentはany@3、従来の値は各原典のプロトコル(ExecutionAgentとRepo2Runはany@3、Installamaticはany@10)。同じデータセットでの汎用Agentの参考値はExecutionAgent-BenchのAutoGPTが8.0%、Repo2Run-BenchのSWE-agentが9.0%、SetupBenchのOpenHandsが46.3%。GPT-5.4のHerAgentは4データセットで80.0/94.0/90.7/92.5%。
GPT-5.4を使ったHerAgentの成功率は4データセットで80.0%、94.0%、90.7%、92.5%だった。費用はSetupBenchのGPT-4.1設定で1タスクあたりOpenHandsの2.20ドルに対して0.12ドルと94.5%減、Repo2Run-BenchのGPT-4o設定では3.56ドルに対して0.42ドル(88.2%減)で、平均時間は29.0分から23.9分に縮まる。平均時間はHerAgentがSetupBenchで9.11分。ExecutionAgent-Benchの比較対象の74分は5プロジェクトを並列処理したプロジェクト単位の時間で、HerAgentの23.1分と条件が異なる(原典の脚注)。
SetupBenchOpenHands GPT-4.1
- 費用(ドル)
- 2.20
- 時間(分)
- 未報告
SetupBenchHerAgent GPT-4.1
- 費用(ドル)
- 0.12
- 時間(分)
- 9.11
Repo2Run-BenchRepo2Run GPT-4o
- 費用(ドル)
- 3.56
- 時間(分)
- 29.0
Repo2Run-BenchHerAgent GPT-4o
- 費用(ドル)
- 0.42
- 時間(分)
- 23.9
arXiv:2611.18443v1表2(2026-11-16確認)。SetupBenchのOpenHands時間は原典で未報告。Repo2Runの29.0分は成功ビルド361リポジトリの報告値。Installamatic-Benchは費用を報告しておらず、Installamaticの8.35分は1試行あたりの時間。94.5%の削減はSetupBench・GPT-4.1・OpenHands比較の値。
ブロックの境界と修正の反映が効く
SetupBench(GPT-5.4)で構成要素の寄与を測ると、ブロックの意味的な境界を外すと最終成功率が90.7%から48.1%に下がり、修復した修正をスクリプトへ反映しない構成では25.9%まで落ちる。ブロック分割を外してスクリプト全体を再生成する構成では46.3%にとどまる。成功率は3段階で測っており、最終成功率はクリーンな環境からの再生がデータセットの検証対象も通した値、再生成功率は自己生成のブロック検査まで通した値と定義を分けている。
査読前のプレプリントで、数値は著者の測定に基づく。成功率の集計はHerAgentのany@3と比較対象の原典プロトコルで揃っておらず、表2は同一モデル設定での報告値の比較である。94.5%の費用削減はSetupBench・GPT-4.1・OpenHandsという特定の比較での最大値で、4データセット全体の平均ではない。実験はubuntu:24.04を起点とするDockerコンテナ内で行われ、コマンド実行とイメージ構築には1800秒の制限を置く。実装と実験データはGitHubのBeeuniLab/pheragentに公開されているが、リポジトリにライセンスの表記は確認できていない(2026年11月16日時点)。
出典
- arXiv:2611.18443「HerAgent: A Block-Level Checkpointing Harness for Coding-Agent Environment Setup」(2026-11-13投稿)タイトル・著者5名(Xiang Li、Siyu Lu、Federica Sarro、Claire Le Goues、He Ye)・所属(University College London、Uppsala University、Carnegie Mellon University)・要旨(成功率は全比較で改善、Installamatic-Bench 52.0→85.0%とSetupBench 46.3→70.4%が最大の改善、費用は最大94.5%削減)を2026-11-16に全文確認
- arXiv HTML版(2611.18443v1全文)セマンティックセットアップブロックの定義・実行と検証・docker commitによるチェックポイント・修復3段階(attempt、patch-back、replay)・根因ブロックへの復帰・表2(全数値と脚注:「-」は原典で未報告か比較不能、*はExecutionAgentの5プロジェクト並列時間、†はRepo2Runの成功ビルド361リポジトリの報告値、‡はInstallamaticの1試行あたり時間)・表4の寄与分解(最終90.7%→境界なし48.1%/patch-backなし25.9%/ブロック分割なし46.3%)・any@3の定義と比較対象の集計差(Installamatic any@10)・費用はOpenAI料金表(2026-06-25アクセス)・ubuntu:24.04と1800秒制限・SetupBenchは93タスク中7エコシステム54リポジトリのRepo Setupサブセットを2026-11-16に確認
- GitHub BeeuniLab/pheragent(論文が公開先として提示)READMEのCore Loop(リポジトリ解析、ベースイメージ構築、隔離コンテナ、preflight、ブロック展開、最初のチェックポイント、1ブロック実行、docker commitでのチェックポイント、失敗時の復帰と局所修復、最終成果物の保存)とsrc・tests・statistic・docsの実装を2026-11-16にAPIで確認。LICENSEの表記は確認できず。リポジトリ作成2026-06-15、最終push 2026-08-10
- CASRAI「HerAgent: Block Checkpointing for Coding Agents」(2026-11-16公開、二次資料)構造化データ(datePublished 2026-11-16T09:31:28Z)で発表の枠組みを確認。本文の「成功率最大90.7%」はSetupBench値で、Repo2Run-Benchの94.0%(GPT-5.4)を含まないため数値は原論文を採用
出典の確認日 2026.11.16