ツール利用エージェントは各段階でLLMが次の行動を決め、柔軟な代わりに遅く、費用がかかる。固定ワークフローは速いが、分岐の条件を人間が設計する負担が残る。ReTraceは標準作業手順(SOP)と少数のエージェント実行履歴を入力に、各ツール呼び出しの理由を抽出し、条件をルール文書へ集約し、実行基盤ごとのコードへコンパイルする。単純なトレースの再生ではなく、ステップごとの判断根拠から条件を取り出す点が特徴で、実行時には計画用のLLM呼び出しが不要になる。ただし、ツール自体が内部でモデルを呼ぶ場合はその費用は残る。失敗例からの修復も方式に含む。
- 01 入力
SOPと実行履歴
標準作業手順と、その手順をエージェントが実行した少数の履歴を入力にする
- 02 抽出
理由の抽出
各ステップでツールを呼んだ理由(reasoning)を実行履歴から抽出する
- 03 統合
ルール文書
抽出した条件を中間のルール表現に集約する
- 04 変換
コード生成
ルールを実行基盤ごとに実行可能なワークフローコードへコンパイルする
- 05 実行
計画なし
実行時はLLMの計画なしでワークフローがツールを呼ぶ。失敗例からの修復にも対応する
arXiv:2611.14492v1の要約と本文(2026-11-17確認)。
3つの評価での数値
企業の手順では、著者の運用平台から顧客の利用量でサンプリングした79件の実運用手順を使う。完了率はReTrace 93.8%に対して元エージェント96.8%で3.0ポイント低く、1タスクの平均費用は0.127ドルから0.096ドルへ24%下がった。テスト入力は構築に使った入力と分離され、各方式が実行できた手順(79件のうち70〜78件)の上で測っている。この評価でのReTraceのワークフローはk=3で、パラメータのチューニングはしていない。
「企業の手順79件とτ²-Benchで、ReTraceのワークフローはエージェントにそれぞれ3ポイントと5ポイント以内に迫りながら、1タスクの企業内費用を24%切り下げ、τ²-Benchの1タスク時間を170秒から1.3秒にした。」
On 79 production procedures and on τ²-bench, ReTrace workflows come within 3 and 5 points of the agent, respectively, while cutting enterprise cost per task by 24% and τ²-bench time per task from 170 s to 1.3 s.
τ²-Benchでは成功率75.8%対80.6%(5ポイント差)で、1タスクの時間は170秒から1.3秒になった。論文はこの速度差がシミュレーションツールの条件によるもので、実運用の一般的な速度倍率ではないと説明する。SOP-Benchの8手順では、修復なしのReTraceは少数例から生成したワークフロー(80.6%)に届かない。ラベル付きの訓練失敗例から3回の修復を施すと87.8%(0.40秒/タスク)に達し、元エージェントの85.5%(46.6秒)を上回る。修復は別の設定(k=2)のワークフローを66.7%から81.2%へ上げた。
企業手順79件の完了率
- 元エージェント
- 96.8%
- ReTrace
- 93.8%(3.0ポイント低い)
企業手順の1タスク費用
- 元エージェント
- 0.127ドル
- ReTrace
- 0.096ドル(24%減)
τ²-Benchの成功率
- 元エージェント
- 80.6%
- ReTrace
- 75.8%(5ポイント低い)
τ²-Benchの1タスク時間
- 元エージェント
- 170秒
- ReTrace
- 1.3秒
SOP-Bench 8手順(修復後の成功率と時間)
- 元エージェント
- 85.5%(46.6秒)
- ReTrace
- 87.8%(0.40秒)
arXiv:2611.14492v1の要約・本文・表(2026-11-17確認)。ベンチマーク間でタスクと条件が異なり、数値を横断比較しない。SOP-Benchの修復後の比較はラベル付きの訓練失敗例を使うため、未修復の方式と完全に同じ条件ではない。
読むときの留保として、これは査読前のプレプリントで、コードの公開と第三者による再現はまだ確認していない。企業内の完了フラグは実際のツールの成功と一致するとは限らず、論文自身もWebツールの成功率の差を別途報告している。蒸留には各ステップの推論を抽出できるモデルや実行ログへのアクセスが必要で、SOPの更新時には再蒸留と品質の監視が要る。定型の振り分けや申請チェックのような反復業務で、通常経路をコード化し例外をエージェントに残す運用が想定される適用先だ。
出典
- ReTrace: Distilling Tool-Using Agents into Planner-Free Workflows(arXiv:2611.14492v1)一次資料(2026-11-10投稿)。著者9名・所属、79手順の完了率93.8%対96.8%、費用0.127→0.096ドル(24%減)、τ²-Bench 75.8%対80.6%・170秒→1.3秒、SOP-Bench 87.8%/0.40秒対85.5%/46.6秒、k=2修復の66.7%→81.2%
- arXiv:2611.14492v1 HTML全文方法の詳細(理由の抽出、ルール文書、コードへのコンパイル、修復)、評価設定(テスト入力の分離、実行可能手順70〜78件、k=3無チューニング)、表の数値の確認
出典の確認日 2026.11.17