AIコーディングエージェント、ハーネスが違うと費用は最大3倍　成功率の差は再実行のノイズと同程度との計測

ハーネスは、チャットモデルをリポジトリ作業に使えるようにするsystem prompt、ツール群、文脈管理など、モデルを囲む部分です。ベンダーはハーネスの更新で成功率が上がると宣伝し、リーダーボードには異なるハーネスの結果が混ざります。研究はモデルを固定したまま、ハーネスを交換したときの変化と、同じ構成を再実行したときの変化を同じ尺度で比べました。

評価にはSWE-bench Verifiedを使い、公開Webサービスを必要とする8課題を除く492課題をオフラインで実行しました。最も難しい2つの難度帯すべての45課題は5モデル（Qwen3.6-35B-A3B、Qwen3.8-27B、DeepSeek-V4-Flash、GLM-5.3-Flash、HY4-Preview）で、残る447課題は研究チームが自前でサーブしたQwenの2モデルで評価しています。Claude Opus 5はClaude Code内で強い基準点として追加されました。正否は課題単位のペア比較で検定し、同等性は5ポイントのマージンで判断します。

447課題では、最も重いClaude Codeと最も軽いmini-SWE-agentの成功率の差は両Qwenモデルで1.8ポイントと1.4ポイントにとどまり、5ポイントの同等性マージン内でした。統計的なノイズを超えた差は、OpenCodeが下回る部分だけです（最大9.2ポイント）。うち半分近くは、モデルの推論が出力トークン上限を超えたときにOpenCodeが再プロンプトせず、パッチを出す前に試行が終わるケースでした。45課題でハーネス交換によって正否が反転する課題の割合は中央値13%。同じハーネスを再実行したときの反転も13%で、ハーネス交換の変動は再実行のノイズと同じ大きさでした。モデルを交換した場合は22%です。

費用はハーネスで大きく変わりました。同じモデル・課題・料金表で、1課題当たりの費用は最大3倍の差です。GLM-5.3-Flashの45課題では、1試行の推定費用がClaude Code 1.81元、mini-SWE-agent 0.97元、OpenCode 0.56元でした。差の源泉は、各ステップで再送される固定部分のpreambleです。system promptとツール定義はClaude Codeで16,581トークン、OpenCodeで7,025、mini-SWE-agentで829に達し、毎ステップ支払われます。履歴の伸びはハーネス間で1.5倍以内で、費用は初回コールの重さにステップ数を掛けた形で決まります。キャッシュヒット価格は請求額を増減させますが、ハーネス間の順位は変えませんでした。

留保も複数あります。447課題の大規模比較はQwenの2モデルに限られ、他の3モデルは45課題のみです。mini-SWE-agentには文脈圧縮がなく、長期作業や安全統制、IDE体験は評価範囲外です。OpenCodeの低費用には早期停止が含まれます。Qwen3.6-35B-A3Bの447課題では、OpenCodeの試行は中央値28回のモデル呼び出しで終わり、mini-SWE-agentは71回、Claude Codeは55回でした。品質を揃えたうえでの費用比較ではありません。

研究過程には一段落もあります。初期にWeb接続を許した評価では、DeepSeekとQwenの試行の71%がGitHubから上流の修正を取得するリークが見つかり、該当試行を破棄して最終評価をオフラインに切り替えた、と著者は説明しています。8,032試行のデータ、解析スクリプト、150ジョブ分のHarbor設定はGitHubで公開されており、再現スクリプトはラップトップのCPUで1分以内に完了する設計です。研究は査読前のプレプリントです。

分解能の面で示唆もあります。観測された反転率では、45課題は13ポイントの差を半分の確率でしか検出できず、80%の検出力では検出できません。447課題でも5ポイントどまりです。公表されているハーネス改善の多くはこの分解能以下に当たります。エージェントの選定では、成功率だけでなく、成功1件当たりの総費用、再実行時のばらつき、出力上限への到達を併せて見るのが現実的な水準だ、というのが研究の示唆です。