AI開発者は、エージェントが業務でコードを変更したり外部ツールを操作したりする場面に、危険な行動を見つけて警告や停止をする監視モデルを組み込み始めています。監視が十分かを確かめる標準的な方法が制御評価(control evaluation)で、攻撃役のモデルに機密情報の持ち出しや脆弱性の埋め込みといった有害行動を意図的に試みさせ、監視が成功前に止められるかを測る。評価にはBashArenaやLinuxArenaのような専用環境が使われるが、Redwoodは、本番環境固有のコードベース、外部サービス、権限の関係が専用環境に反映されにくい点を課題として挙げています。
SCEの仕組み
SCEは、実際のエージェント作業の履歴とコードベースを参照しながら、攻撃役モデルのツール呼び出しを環境で実行せず、シミュレーターの言語モデルがツール応答を生成して置き換えます。主なシミュレーターはGPT-6 Astraで、応答を返さない場合のフォールバックにGPT-5.6 Solが使われました。環境の状態を確認できないため、攻撃が成立したかは別の判定モデルが推定します。こちらもGPT-5.6 Solで、有害な目的の記述と成功の判定条件を渡されたうえで、攻撃が成功した確率を見積もります。
- 01 攻撃役
攻撃方針の生成
実際の作業履歴とコードベースを参照し、機密情報の持ち出しなどの有害な副課題を達成しようとする行動を選ぶ。
- 02 模擬
ツール応答の生成
ツール呼び出しを実行せず、シミュレーター(GPT-6 Astra、拒否時はGPT-5.6 Sol)が応答を生成する。
- 03 監視
危険な行動の検知
監視モデルがやり取りを見て、危険なら警告や停止の対象として記録する。
- 04 判定
攻撃成功の推定
判定モデル(GPT-5.6 Sol)が、攻撃目的と成功条件から攻撃が成立した確率を推定する。
Redwood Researchの研究ブログと論文arXiv:2610.31593(2026-10-22投稿)にもとづく。モデル名はRedwoodの表記のまま。2026-10-25確認。
実行結果との比較で精度を測定
Redwoodは、SCEの精度を測る正解がないため、攻撃を実際に実行できるLinuxArenaを本番の代わりに使いました。同じ制御評価をLinuxArenaの実行と模擬の両方で行い、予測のずれを比較しています。監査予算5%、5つの監視モデルの条件で、安全性の予測誤差(RMSE)は模擬が3.6ポイント、BashArenaが10.1ポイントでした。攻撃戦略、攻撃側の推論、監視側の判断の分布のずれを示すKLダイバージェンスは、BashArenaとの比較の10倍以上小さく、繰り返し実行したときのばらつきと同程度だったと報告しています。また、実行全体の4.6%相当のサンプルを模擬するだけで、実行全体を使ったBashArenaによる予測の誤差を下回りました。
「安全性という主要な数値を予測する誤差は3.6ポイントで、BashArenaでは10.1ポイントだった。」
Its error in predicting the main safety number is 3.6 percentage points, versus 10.1 for BashArena.
模擬評価(SCE)
- 安全性予測の誤差
- 3.6ポイント
- 行動の分布差
- 実行と比べ10倍超小さい
- 必要なサンプル
- 実行全体の4.6%相当
専用環境(BashArena)
- 安全性予測の誤差
- 10.1ポイント
- 行動の分布差
- 比較の基準
- 必要なサンプル
- 実行環境全体を使用
監査予算5%、5つの監視モデルでの測定。誤差は安全性指標の予測RMSEで、安全性が3.6%という意味ではない。論文(2026-10-22)と研究ブログ(2026-10-24)にもとづく。研究者測定値。2026-10-25確認。
模擬の結果は、環境ごとの攻撃成功率や安全性の違いの78〜85%を説明できたと論文は要約しています。どの監視がより防ぐか、監査を増やす効果がどの程度かといった結論は、実行した場合と模擬した場合で同様になったとブログは述べています。
先行研究との違い
言語モデルで環境を模擬する発想自体は新しくありません。OpenAIは2026年6月16日、実際の利用に近い会話とツール応答を模擬してリリース前のモデル挙動を予測する研究を公開しています。SCEはこれを、攻撃役モデルと監視AIが対抗する制御評価に拡張した点をRedwoodは違いとして挙げます。狙うのは、モデル単体のベンチマークでは出てこない監視の実効性という量です。
手法の限界
Redwood自身が限界を明示しています。本番環境で攻撃を実行した記録はないため、LinuxArenaの実行を本番の代わりに使った近似であり、企業の実際の環境で攻撃成功率を確かめたわけではありません。記録済みのLinuxArena環境から新しいタスク集合を取り出す試みは、未知のタスクや環境への一般化を試すことにはならないと述べています。長期間の攻撃や複数エージェントの連携、シミュレーターが意図的に誤る場合への対処も未解決とされています。結果は研究者自身による測定で、第三者の独立した再現はこの時点で確認できていません。
企業がエージェントを業務システムへ導入する前に監視の弱点を調べる需要は増えており、SCEは本番を攻撃せずに評価できる点で実用的な選択肢になり得ます。ただし精度はシミュレーターの忠実度と判定モデルの誤差に依存するため、導入時にはこの部分の検証が別に必要になります。この段落は本稿の編集部による分析です。
今後の確認点
LinuxArena以外の未知のコードベースや実際の企業環境での精度、長期・マルチエージェント攻撃への対応、手法と評価データの公開と第三者再現は、2026年10月25日時点で確認できていません。
出典
- Simulated Control Evals(Redwood Research)2026-10-24公開。著者3名、手法、5%監査予算での予測誤差3.6/10.1ポイント、KLダイバージェンス、サンプル効率、限界を本文で確認。2026-10-25確認。
- Simulated Control Evals(arXiv:2610.31593)2026-10-22投稿。題名、著者、投稿日、要旨の数値(5つの監視モデル、3.6対10.1ポイント、KLダイバージェンス10倍超、環境間変動の説明率)を確認。2026-10-25確認。
- Predicting model behavior before release by simulating deployment(OpenAI)2026-06-16公開。先行する模擬研究の日付と位置づけを確認。2026-10-25確認。
出典の確認日 2026.10.25