必要な変更と余計な変更を確かめる
小売、旅行、自動車保険、銀行内のIT、コンサルティング会社のIT・人事業務を模した課題を用意した。実行ごとに独立した環境を使い、同じ初期状態から始める。誤った変更、必要な処理の漏れ、余計な変更を採点で検出する。
477課題は業務システムの最終状態で判定し、残る30課題は返答に必要な内容も確認する。公開課題は実際の業務パターンを基に再構成した模擬データで、実在の顧客の処理実績を表すものではない。
pass@1
- 定義
- 全試行のうち成功した割合
pass@20
- 定義
- 20回中1回以上成功した課題の割合
Observed 20/20
- 定義
- 記録された20回すべて成功した課題の数
10月3日の共同ブログの定義。20回すべての成功も、将来の実行で必ず成功する保証ではない。
三つの指標を分けることで、何度か試せば解ける課題と、繰り返し安定して処理できる課題の差を確認できる。公表された成績はこの評価環境での結果であり、個別企業の本番業務では追加の確認が必要だ。
出典
- The Agent Said It Was Done. The Database Disagreed.2026-10-03の共同ブログ本文。507課題、分野、20回反復、477/30課題の判定、指標と模擬データの説明を確認。 2026-10-07確認。
- One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows2026-10-01改訂の要旨を確認。隔離したMCP環境、最終状態の採点、誤り・漏れ・余計な変更の検出を照合。 2026-10-07確認。
出典の確認日 2026.10.07