SWE-bench系の評価は、課題を解けたかどうかの二値でシステムを並べる。Nebius所属のIbragim Badertdinov氏とAlexander Golubev氏は2026年11月12日、その実行過程を行動として読み解く論文をarXivで公開した。対象はSWE-rebenchリーダーボードの実行軌跡143,209件で、125のエージェント構成が117種類の基盤モデルの上で動いている。Pythonは860タスク・413リポジトリ(2025年1月〜2026年5月)、多言語はGo・Java・Python・Rust・TypeScriptの111タスクに及ぶ(Python 134,329件、多言語8,880件)。
解析の中心は、生のツール実行を決定論的なルールで共通行動へ変換するパーサーだ。モデルごとに名前の違うツール呼び出しをそのまま比べるとハーネスの差が混ざるため、正規化した行動で比較する。パーサーの精度は、層別に選んだ500イベントを6つのフロンティアモデルの合意と照らして検証した。基準ラベルは、6つのうち5つ以上のモデルが一致させたときに採用している。
「タスク単位で集計した解決率はシステムの順位付けには役立つが、システムがどう動いているかについては限られた情報しか返さない。」
Aggregated across tasks, this produces a solve rate that is useful for ranking systems but offers limited insight into how they operate.
パーサーの一致率は属性ごとに違う
監査の結果は属性によって幅がある。主要操作の一致率は82.4%(Macro-F1 88.8)で、読み取りモードは96.6%に達する。一方、対象ファイルの役割は77.0%、編集の変異タイプは68.8%にとどまる。論文はこの結果を受けて、パスの解決や変異の分類に強く依存する指標を診断的な代理指標として扱うとしている。基準ラベル自体がモデルの合意であって人手の正解ではない点も、論文自身が限界として明記する。
主要操作
- 一致率
- 82.4%
- Macro-F1
- 88.8
読み取りモード
- 一致率
- 96.6%
- Macro-F1
- 98.4
順序付き操作
- 一致率
- 86.0%
- Macro-F1
- 71.6
対象ファイル役割
- 一致率
- 77.0%
- Macro-F1
- 57.8
変異タイプ
- 一致率
- 68.8%
- Macro-F1
- 73.7
4項目の完全一致
- 一致率
- 77.5%
- Macro-F1
- —
arXiv:2611.17440の表1(2026-11-17確認)。層別に選んだ500イベントの監査で、基準ラベルは6モデル中5以上の合意。人手の正解ではなく、モデル合意のバイアスが残る可能性も論文が挙げる。
成功率を合わせても行動は分かれる
成功率を揃えた比較でも、行動の差は消えない。同じハーネスを使い、解決率の差が1ポイント以内(中央値0.40ポイント)で共有タスクが50以上ある60ペアを調べた。6つの作業指標のうち1つ以上で差が確かめられたペアは60ペア全部だった。同じスタックの実行を半分に分けて作った対照では、1指標以上で差が出る割合は30.53%にとどまる。3指標以上で差が出たペアは96.7%で、対照の0.781%を大きく上回る。
1指標以上
- マッチしたペア
- 100.0%
- 対照(null)
- 30.53%
2指標以上
- マッチしたペア
- 100.0%
- 対照(null)
- 6.40%
3指標以上
- マッチしたペア
- 96.7%
- 対照(null)
- 0.781%
arXiv:2611.17440の表2(2026-11-17確認)。ペアは同一ハーネス・解決率の差1ポイント以内・共有タスク50以上の60ペア。対照は同じスタックの実行を半分に分けた分割比較。タスクごとに対応させた95%区間が0を外れた指標数を数えている。
ハーネスと推論強度が行動を動かす
モデルの重みとハーネスを固定して推論強度を上げると、外部への操作が増える。GPT-5.5のeffortをMediumからxHighに上げると総ツールアクション数は24.2から43.4になり、Claude Opus 4.8をClaude Codeで動かすとLowの31.3からxHighの54.4に増える。ハーネスの違いも編集と読み取りのやり方を変える。論文が示すClaude Code構成では認識された編集の92.4%と読み取りの90.5%がネイティブAPI経由で、Codex構成では編集の30.9%がネイティブ編集だった。bashのリダイレクトやPythonスクリプトでの書き換えは、汎用のbashハーネスで比重が高くなる。これらは著者の測定値(表3・表4)である。
行動プロファイルでスタックを照合できる
成功判定・トークン数・ツール名を使わずに作った8次元の行動プロファイルにも、スタックの特徴が表れる。リポジトリを207と206に分けて111スタックの照合を222回行うと、85.1%で正しいスタックを1位に選び、上位3件では96.8%に達した。ランダムの当たり率は0.9%だ。言語を跨ぐ実験では、5言語・111タスクを動く16構成(8,880軌跡)について10通りの3対2分割で照合し、1位一致は90.3%、上位3件は98.8%(ランダム6.25%)だった。ただし論文自身が、リポジトリを跨ぐ比較ではタスク構成を完全には統制できていないと注記している。
- 01 収集
143,209軌跡
SWE-rebenchのPython 860タスク・413リポジトリと5言語111タスク。125構成・117モデル
- 02 正規化
ルールベース解析器
ツール実行を探索・読み取り・編集・テストなどの共通行動へ決定論的に分類
- 03 監査
500イベント
6モデル合意との一致は主要操作82.4%、変異タイプ68.8%
- 04 比較
8次元プロファイル
成功判定・トークン数・ツール名を使わずスタックを照合。リポジトリ分割で85.1%
arXiv:2611.17440の本文と表1・表7(2026-11-17確認)から作成。値は論文の測定・監査の条件つき。
公開範囲は解析器とパイプライン
コードはSWE-rebench組織のGitHubリポジトリtrajectory-analyzer(2026年11月10日作成、MITライセンス)で公開された。parser.pyとextract_metrics.pyはPython標準ライブラリだけで動く。論文は「注釈付きの軌跡サブセット」の公開にも触れるが、READMEは現在のチェックアウトに軌跡・Parquet・合意ラベル・生成物を含まないと明記する。解析に使った13.4万件のコーパスと固定レジストリも未公開だ。READMEは、研究時の解析器との間で四捨五入した表の100セルのうち31セルが一致しなかった比較結果も記している。
データ側の公開範囲も動いている。Python側の解析に使うpython_spring2026(18,468軌跡・110タスク、CC BY 4.0)について、READMEは2026年11月9日付けでデータセットが非公開化され認証が必要になったと書く。2026年11月17日にHugging FaceのAPIで確認したところ、このデータセットはprivate:false・gated:false・最終更新2026年11月16日で、再び公開状態にあった。多言語側のibragim-bad/swe_rebench_07_2026_trajectories(111タスク・8,880軌跡)は公開のままだ。READMEの記述時点と現時点の差は、再現を試みる前に確認する必要がある。
論文の所属表記はNebiusで、著者らのリポジトリはNeurIPS 2026のワークショップ「Interpreting Agent Behavior(IAB)」での発表として引用情報を載せる。ワークショップのサイトは実在するが、論文本体とarXivのコメント欄にはワークショップ表記がない。
読むときの留保として、この研究は解決率の改善を示すものではなく、行動の観測と解析だ。監査の基準はモデルの合意で、変異タイプの一致率68.8%は編集内容の分類がまだ粗いことを示す。解析対象は明示的なツール呼び出しで、モデル内部の思考過程は見ていない。公開コードとデータによる第三者の再現はこれからで、行動プロファイルが品質や費用の予測に使えるかも未検証だ。
出典
- arXiv:2611.17440 要約ページ一次資料。公開2026-11-12、著者(Ibragim Badertdinov、Alexander Golubev)、要旨の143,209軌跡・125構成・117モデル、6モデル合意500イベントの監査、scaffoldとreasoning effortが行動を系統的にずらす点、解析器とパイプラインの公開(2026-11-17確認)
- arXiv:2611.17440 HTML本文一次資料。SWE-rebenchのPython 860タスク・413リポジトリ(2025年1月〜2026年5月)と5言語111タスク、軌跡の内訳(134,329+8,880)、表1の一致率(主要操作82.4%・読み取りモード96.6%・変異タイプ68.8%・完全一致77.5%)、表2の対照比較(100.0%対30.53%など)、表3・4の推論強度とハーネスの測定値、リポジトリ分割照合85.1%(上位3件96.8%)、言語横断照合90.3%、限界の列挙(2026-11-17確認)
- SWE-rebench/trajectory-analyzer README一次資料。MITライセンス、同梱スクリプトと動作条件、軌跡・合意ラベル・生成物をチェックアウトに含まない旨、13.4万件のコーパスと固定レジストリの未公開、python_spring2026(18,468軌跡・110タスク)を2026-11-09に非公開化した記載、研究時解析器との100セル中31セル不一致、NeurIPS 2026のIABワークショップでの発表という引用情報。GitHub APIで作成2026-11-10T21:01:56Z・MITを確認(2026-11-17確認)
- Hugging Faceデータセット nebius/SWE-rebench-leaderboard-trajectories一次資料。データカードのpython_spring2026(18,468軌跡・110タスク)とmultilingual_2026_07(8,880軌跡・111タスク・16構成)、CC BY 4.0。API応答はprivate:false・gated:false・最終更新2026-11-16で、READMEの非公開化の記述より後の状態を確認(2026-11-17確認)
- IAB(Interpreting Agent Behavior)ワークショップサイトNeurIPS 2026ワークショップの実在確認(2026-11-17確認)。論文本体とarXivコメント欄にはワークショップ表記がなく、発表という記述は著者らのリポジトリ側
出典の確認日 2026.11.17