NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

HerAgent、コーディングAgentの環境構築を意味のあるブロック単位で保存・復旧──SetupBenchで成功率46.3%→70.4%、GPT-5.4版は90.7%、費用は最大94.5%削減

ユニバーシティ・カレッジ・ロンドン(UCL)のXiang Li氏ら5名は2026年11月13日、コーディングAgentの環境構築を「意味のあるブロック」単位で実行・検証・保存・復旧するハーネスHerAgent(Harness EnviRonment Setup Agent)をarXivに公開した。著者はUCLのほかウプサラ大学とカーネギーメロン大学に属する。1コマンド単位の復旧では原因が前の工程にあると対処できず、スクリプト一括の再実行では成功済みの工程も失うという粒度の問題に、ブロックごとのDockerチェックポイントと局所修復で応える。4つの環境構築データセットと6つの先行エージェントとの比較で成功率はすべての比較で改善し、SetupBenchではGPT-4.1設定で46.3%から70.4%へ、GPT-5.4版は90.7%に達した。費用はSetupBenchでOpenHands比94.5%削減(1タスク2.20ドル→0.12ドル)。査読前のプレプリントで、HerAgentの成功率は3回の独立実行のうち1回成功(any@3)の値、比較対象の集計条件は原典ごとに異なる。

コーディングAgentがテストやデバッグ、パッチ検証の前に整えるのが実行環境で、その構築を自動化するsetup agentは復旧の単位を1コマンドかスクリプト全体に置いてきた。コマンド単位では失敗の原因が前の工程にあると対処できず、論文はRepo2RunがコマンドごとのDockerスナップショットで復帰しても実行可能性の改善は3.1%にとどまったと引用する。逆にDockerfileやBashスクリプトを一括で生成する方式(Installamaticは失敗時に新しいAgentで最大2回再構築)は汚染された状態を避けられる一方、成功済みの工程を捨て、原因の特定も難しい。

図解HerAgentの実行ループ
  1. 01 分析

    リポジトリ解析

    ディスク上のリポジトリを解析し、入力のDockerfileからベースイメージを構築する

  2. 02 計画

    ブロック分割

    リポジトリと実行時の情報から、セットアップブロックをシェルスクリプトに展開する

  3. 03 実行

    1ブロックずつ

    隔離したDockerコンテナ内でブロックを実行し、内部検証を通す

  4. 04 成功時

    Docker保存

    docker commitで検証済み区間をチェックポイントにし、同じコンテナで次のブロックへ進む

  5. 05 失敗時

    復帰と修復

    ブロック基点のチェックポイントへ戻し、観測したエラーから修復を試みて再生する

  6. 06 完成

    成果物の保存

    最終スクリプト・実行記録・LLM使用量・manifestを保存し、クリーンな環境からの再生に備える

arXiv:2611.18443v1の要約・第3章とGitHubリポジトリREADMEのCore Loop(2026-11-16確認)。修復に成功した修正はpatch-backでブロックの成果物(Bashスクリプトかシェルの永続設定)へ反映する。

HerAgentの主張は、進行管理の単位を1つ(セマンティックセットアップブロック)に定め、実行・検証・チェックポイント・修復・復帰をその単位に揃えることだ。実装はPythonで、タスクは隔離したDockerコンテナ内で完結する。失敗ブロックの修復は3段階で、動いているコンテナ内で修正案を実行し、成功した修正をブロックの成果物へ反映し(patch-back)、ブロックを再生する。原因が前のブロックにあると判断した場合は、その直前のチェックポイントへ復帰し、以降のブロックとチェックポイントを無効にしてやり直す。成果物の妥当性はクリーンな環境からの再生で確認する。

4つのデータセットで6つの先行エージェントと比較

比較対象はsetup agentのExecutionAgent、Repo2Run、Installamaticに汎用コーディングAgentのAutoGPT、SWE-agent、OpenHandsを加えた6つで、データセットはExecutionAgent-Bench、Repo2Run-Bench、SetupBench、Installamatic-Benchの4つ。SetupBenchは環境構築93タスクのうち、7つの言語エコシステム(Python、TypeScript、JavaScript、Go、Rust、Java、C++)にまたがる54リポジトリのRepo Setupサブセットを使う。成功率はデータセットが提供する検証対象を通過したタスクの割合で、HerAgentは3回の独立実行のうち1回が合格すれば成功とするany@3で測る。比較対象の値は各原典のプロトコルに従い、ExecutionAgentとRepo2Runはany@3、Installamaticはany@10で、集計条件が異なることを表の脚注で明記している。使用モデルはGPT-4o-mini、GPT-4o、GPT-4.1、GPT-5.4で、比較対象ごとにモデルを揃える。費用はOpenAIの料金表(2026年6月25日アクセス)からトークン使用量で計算した。

図解成功率の比較(同一モデル設定、%)
  • ExecutionAgent-BenchGPT-4o-mini

    従来のAgent
    66.0
    HerAgent
    70.0
  • Repo2Run-BenchGPT-4o

    従来のAgent
    86.0
    HerAgent
    87.1
  • SetupBenchGPT-4.1

    従来のAgent
    46.3
    HerAgent
    70.4
  • Installamatic-BenchGPT-4o-mini

    従来のAgent
    52.0
    HerAgent
    85.0

arXiv:2611.18443v1表2(2026-11-16確認)。HerAgentはany@3、従来の値は各原典のプロトコル(ExecutionAgentとRepo2Runはany@3、Installamaticはany@10)。同じデータセットでの汎用Agentの参考値はExecutionAgent-BenchのAutoGPTが8.0%、Repo2Run-BenchのSWE-agentが9.0%、SetupBenchのOpenHandsが46.3%。GPT-5.4のHerAgentは4データセットで80.0/94.0/90.7/92.5%。

GPT-5.4を使ったHerAgentの成功率は4データセットで80.0%、94.0%、90.7%、92.5%だった。費用はSetupBenchのGPT-4.1設定で1タスクあたりOpenHandsの2.20ドルに対して0.12ドルと94.5%減、Repo2Run-BenchのGPT-4o設定では3.56ドルに対して0.42ドル(88.2%減)で、平均時間は29.0分から23.9分に縮まる。平均時間はHerAgentがSetupBenchで9.11分。ExecutionAgent-Benchの比較対象の74分は5プロジェクトを並列処理したプロジェクト単位の時間で、HerAgentの23.1分と条件が異なる(原典の脚注)。

図解費用と時間(1タスク平均)
  • SetupBenchOpenHands GPT-4.1

    費用(ドル)
    2.20
    時間(分)
    未報告
  • SetupBenchHerAgent GPT-4.1

    費用(ドル)
    0.12
    時間(分)
    9.11
  • Repo2Run-BenchRepo2Run GPT-4o

    費用(ドル)
    3.56
    時間(分)
    29.0
  • Repo2Run-BenchHerAgent GPT-4o

    費用(ドル)
    0.42
    時間(分)
    23.9

arXiv:2611.18443v1表2(2026-11-16確認)。SetupBenchのOpenHands時間は原典で未報告。Repo2Runの29.0分は成功ビルド361リポジトリの報告値。Installamatic-Benchは費用を報告しておらず、Installamaticの8.35分は1試行あたりの時間。94.5%の削減はSetupBench・GPT-4.1・OpenHands比較の値。

ブロックの境界と修正の反映が効く

SetupBench(GPT-5.4)で構成要素の寄与を測ると、ブロックの意味的な境界を外すと最終成功率が90.7%から48.1%に下がり、修復した修正をスクリプトへ反映しない構成では25.9%まで落ちる。ブロック分割を外してスクリプト全体を再生成する構成では46.3%にとどまる。成功率は3段階で測っており、最終成功率はクリーンな環境からの再生がデータセットの検証対象も通した値、再生成功率は自己生成のブロック検査まで通した値と定義を分けている。

査読前のプレプリントで、数値は著者の測定に基づく。成功率の集計はHerAgentのany@3と比較対象の原典プロトコルで揃っておらず、表2は同一モデル設定での報告値の比較である。94.5%の費用削減はSetupBench・GPT-4.1・OpenHandsという特定の比較での最大値で、4データセット全体の平均ではない。実験はubuntu:24.04を起点とするDockerコンテナ内で行われ、コマンド実行とイメージ構築には1800秒の制限を置く。実装と実験データはGitHubのBeeuniLab/pheragentに公開されているが、リポジトリにライセンスの表記は確認できていない(2026年11月16日時点)。

出典

  1. arXiv:2611.18443「HerAgent: A Block-Level Checkpointing Harness for Coding-Agent Environment Setup」(2026-11-13投稿)タイトル・著者5名(Xiang Li、Siyu Lu、Federica Sarro、Claire Le Goues、He Ye)・所属(University College London、Uppsala University、Carnegie Mellon University)・要旨(成功率は全比較で改善、Installamatic-Bench 52.0→85.0%とSetupBench 46.3→70.4%が最大の改善、費用は最大94.5%削減)を2026-11-16に全文確認
  2. arXiv HTML版(2611.18443v1全文)セマンティックセットアップブロックの定義・実行と検証・docker commitによるチェックポイント・修復3段階(attempt、patch-back、replay)・根因ブロックへの復帰・表2(全数値と脚注:「-」は原典で未報告か比較不能、*はExecutionAgentの5プロジェクト並列時間、†はRepo2Runの成功ビルド361リポジトリの報告値、‡はInstallamaticの1試行あたり時間)・表4の寄与分解(最終90.7%→境界なし48.1%/patch-backなし25.9%/ブロック分割なし46.3%)・any@3の定義と比較対象の集計差(Installamatic any@10)・費用はOpenAI料金表(2026-06-25アクセス)・ubuntu:24.04と1800秒制限・SetupBenchは93タスク中7エコシステム54リポジトリのRepo Setupサブセットを2026-11-16に確認
  3. GitHub BeeuniLab/pheragent(論文が公開先として提示)READMEのCore Loop(リポジトリ解析、ベースイメージ構築、隔離コンテナ、preflight、ブロック展開、最初のチェックポイント、1ブロック実行、docker commitでのチェックポイント、失敗時の復帰と局所修復、最終成果物の保存)とsrc・tests・statistic・docsの実装を2026-11-16にAPIで確認。LICENSEの表記は確認できず。リポジトリ作成2026-06-15、最終push 2026-08-10
  4. CASRAI「HerAgent: Block Checkpointing for Coding Agents」(2026-11-16公開、二次資料)構造化データ(datePublished 2026-11-16T09:31:28Z)で発表の枠組みを確認。本文の「成功率最大90.7%」はSetupBench値で、Repo2Run-Benchの94.0%(GPT-5.4)を含まないため数値は原論文を採用

出典の確認日 2026.11.16

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む
  2. Appleの研究チーム、対話操作に足る速さの動画生成「FastFrames」を公開──1.3B構成で1フレーム36ms、VAE復号とKVキャッシュ更新の置換が鍵

    Appleの研究チームは2026年11月17日、入力に応じた対話操作が可能な速さで480p動画を生成する自己回帰型動画拡散モデル「FastFrames」の論文をarXivに公開した(arXiv:2611.23226)。1.3Bの構成では単一のNVIDIA B200で1フレーム36ミリ秒(毎秒27.8回の応答)、14Bの構成では8基のB200で45ミリ秒を著者らは報告している。論文はまず既存モデルの推論を計測し、VAE復号とKVキャッシュ更新という「固定の実装詳細」とされてきた処理がエンドツーエンド遅延の半分以上を占めることを示したうえで、この2つを軽量な代替に置き換えた。論文、コード、重みが公開されている。

    記事を読む
  3. Google、GeminiのエージェントをTasksへ刷新──日本を含む6カ国で無料提供を順次開始、Gemini 4 Hydrogenとアカウント専用VMで実行

    グーグルは2026年11月17日、Geminiアプリの常時稼働型エージェントを「Tasks」として刷新し、米国・日本・韓国・カナダ・オーストラリア・インドの6カ国で無料提供を順次開始すると発表した。Gemini 4 Hydrogenを使い、ホーム画面のトグルをChatからTaskへ切り替えると、Google CloudのAgent Compute Engineが提供するアカウント専用のハードウェア隔離VMでタスクを実行する。電話発信やgemini@google.comへのメール転送、SMSによる指示は米国から順次の提供で、日本で同等の機能が使えるとは発表されていない。重要な操作の前に確認や事前承認を求める設計も明らかにした。

    記事を読む