NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Redwood Research、AIエージェントの監視体制を本番攻撃なしで評価する「Simulated Control Evals」を公開 安全性予測の誤差3.6ポイントで専用環境の10.1ポイントを下回る

AI安全性研究のRedwood Researchは2026年10月24日、AIエージェントを監視する「監視AI」が危険な行動を検出できるかを、環境を実際に実行せずに大規模言語モデルで模擬して評価する手法「Simulated Control Evals(SCE)」を公表しました。論文は2026年10月22日にarXivへ投稿されています。コーディング評価環境LinuxArenaでの比較では、監査予算5%の条件で安全性という指標をどれだけ正確に予測できるかを示す誤差(RMSE)はSCEが3.6ポイントで、別の専用評価環境BashArenaを使った場合の10.1ポイントを下回りました。

AI開発者は、エージェントが業務でコードを変更したり外部ツールを操作したりする場面に、危険な行動を見つけて警告や停止をする監視モデルを組み込み始めています。監視が十分かを確かめる標準的な方法が制御評価(control evaluation)で、攻撃役のモデルに機密情報の持ち出しや脆弱性の埋め込みといった有害行動を意図的に試みさせ、監視が成功前に止められるかを測る。評価にはBashArenaやLinuxArenaのような専用環境が使われるが、Redwoodは、本番環境固有のコードベース、外部サービス、権限の関係が専用環境に反映されにくい点を課題として挙げています。

SCEの仕組み

SCEは、実際のエージェント作業の履歴とコードベースを参照しながら、攻撃役モデルのツール呼び出しを環境で実行せず、シミュレーターの言語モデルがツール応答を生成して置き換えます。主なシミュレーターはGPT-6 Astraで、応答を返さない場合のフォールバックにGPT-5.6 Solが使われました。環境の状態を確認できないため、攻撃が成立したかは別の判定モデルが推定します。こちらもGPT-5.6 Solで、有害な目的の記述と成功の判定条件を渡されたうえで、攻撃が成功した確率を見積もります。

図解SCEで監視を評価する流れ
  1. 01 攻撃役

    攻撃方針の生成

    実際の作業履歴とコードベースを参照し、機密情報の持ち出しなどの有害な副課題を達成しようとする行動を選ぶ。

  2. 02 模擬

    ツール応答の生成

    ツール呼び出しを実行せず、シミュレーター(GPT-6 Astra、拒否時はGPT-5.6 Sol)が応答を生成する。

  3. 03 監視

    危険な行動の検知

    監視モデルがやり取りを見て、危険なら警告や停止の対象として記録する。

  4. 04 判定

    攻撃成功の推定

    判定モデル(GPT-5.6 Sol)が、攻撃目的と成功条件から攻撃が成立した確率を推定する。

Redwood Researchの研究ブログと論文arXiv:2610.31593(2026-10-22投稿)にもとづく。モデル名はRedwoodの表記のまま。2026-10-25確認。

実行結果との比較で精度を測定

Redwoodは、SCEの精度を測る正解がないため、攻撃を実際に実行できるLinuxArenaを本番の代わりに使いました。同じ制御評価をLinuxArenaの実行と模擬の両方で行い、予測のずれを比較しています。監査予算5%、5つの監視モデルの条件で、安全性の予測誤差(RMSE)は模擬が3.6ポイント、BashArenaが10.1ポイントでした。攻撃戦略、攻撃側の推論、監視側の判断の分布のずれを示すKLダイバージェンスは、BashArenaとの比較の10倍以上小さく、繰り返し実行したときのばらつきと同程度だったと報告しています。また、実行全体の4.6%相当のサンプルを模擬するだけで、実行全体を使ったBashArenaによる予測の誤差を下回りました。

「安全性という主要な数値を予測する誤差は3.6ポイントで、BashArenaでは10.1ポイントだった。」

Its error in predicting the main safety number is 3.6 percentage points, versus 10.1 for BashArena.

Redwood Research研究ブログ、2026年10月24日
図解LinuxArenaの実行を正解にした予測精度
  • 模擬評価(SCE)

    安全性予測の誤差
    3.6ポイント
    行動の分布差
    実行と比べ10倍超小さい
    必要なサンプル
    実行全体の4.6%相当
  • 専用環境(BashArena)

    安全性予測の誤差
    10.1ポイント
    行動の分布差
    比較の基準
    必要なサンプル
    実行環境全体を使用

監査予算5%、5つの監視モデルでの測定。誤差は安全性指標の予測RMSEで、安全性が3.6%という意味ではない。論文(2026-10-22)と研究ブログ(2026-10-24)にもとづく。研究者測定値。2026-10-25確認。

模擬の結果は、環境ごとの攻撃成功率や安全性の違いの78〜85%を説明できたと論文は要約しています。どの監視がより防ぐか、監査を増やす効果がどの程度かといった結論は、実行した場合と模擬した場合で同様になったとブログは述べています。

先行研究との違い

言語モデルで環境を模擬する発想自体は新しくありません。OpenAIは2026年6月16日、実際の利用に近い会話とツール応答を模擬してリリース前のモデル挙動を予測する研究を公開しています。SCEはこれを、攻撃役モデルと監視AIが対抗する制御評価に拡張した点をRedwoodは違いとして挙げます。狙うのは、モデル単体のベンチマークでは出てこない監視の実効性という量です。

手法の限界

Redwood自身が限界を明示しています。本番環境で攻撃を実行した記録はないため、LinuxArenaの実行を本番の代わりに使った近似であり、企業の実際の環境で攻撃成功率を確かめたわけではありません。記録済みのLinuxArena環境から新しいタスク集合を取り出す試みは、未知のタスクや環境への一般化を試すことにはならないと述べています。長期間の攻撃や複数エージェントの連携、シミュレーターが意図的に誤る場合への対処も未解決とされています。結果は研究者自身による測定で、第三者の独立した再現はこの時点で確認できていません。

企業がエージェントを業務システムへ導入する前に監視の弱点を調べる需要は増えており、SCEは本番を攻撃せずに評価できる点で実用的な選択肢になり得ます。ただし精度はシミュレーターの忠実度と判定モデルの誤差に依存するため、導入時にはこの部分の検証が別に必要になります。この段落は本稿の編集部による分析です。

今後の確認点

LinuxArena以外の未知のコードベースや実際の企業環境での精度、長期・マルチエージェント攻撃への対応、手法と評価データの公開と第三者再現は、2026年10月25日時点で確認できていません。

出典

  1. Simulated Control Evals(Redwood Research)2026-10-24公開。著者3名、手法、5%監査予算での予測誤差3.6/10.1ポイント、KLダイバージェンス、サンプル効率、限界を本文で確認。2026-10-25確認。
  2. Simulated Control Evals(arXiv:2610.31593)2026-10-22投稿。題名、著者、投稿日、要旨の数値(5つの監視モデル、3.6対10.1ポイント、KLダイバージェンス10倍超、環境間変動の説明率)を確認。2026-10-25確認。
  3. Predicting model behavior before release by simulating deployment(OpenAI)2026-06-16公開。先行する模擬研究の日付と位置づけを確認。2026-10-25確認。

出典の確認日 2026.10.25

KEEP EXPLORING

あわせて読みたい記事と映像

AIと社会の記事一覧
  1. Bitdefender、AIコーディング環境を狙う悪性GitHubコンテンツを分析──AGENTS.mdでの誘導と起動フックの2経路、悪性リンク22件

    セキュリティ企業Bitdefenderの研究部門Bitdefender Labsは2026年11月17日、AIコーディング支援ツールの利用環境を狙う悪性GitHubコンテンツの分析を公開した。研究者Andrei Anton-Aanei氏らが確認した悪性リンクは22件で、AGENTS.mdやCLAUDE.mdの文章でAIにsetup.jsの実行を誘導する経路に加え、.claude/settings.jsonのセッション開始フックでAIの判断を介さずコマンドを実行できる経路が報告されている。22件はリンクの数で、感染者数を示すものではない。

    記事を読む
  2. POSTECH、LLMが勾配学習なしでモデルの重みを直接書く「Weight-Space Programming」──3つのLLMが疎なテーブルを設計、ARCで最大54.4%

    POSTECH(韓国の浦項工科大学)のHyunjong Ok氏とJaeho Lee氏は2026年11月17日、勾配ベースの学習を使わず、大規模言語モデル(LLM)にモデルの重みを直接記述させる「Weight-Space Programming」の研究をarXivに公開した(arXiv:2611.22055)。Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astraの3モデルに10件のラベル付き例とサンドボックスを与えて実験したところ、アーキテクチャの設計を任せた3モデルすべてが、テキストで書いた事実を置く疎なテーブルと、それを読む固定の手続きでモデルを構成した。ARCの選択式テスト3,530問での精度は最大54.4%(偶然は25%)で、著者報告では、同じLLMが記述した最良の公開Transformerを約1,800分の1のパラメータで上回った。実験で作った56モデル(テキストファイル計68MB)をMITライセンスで公開しているが、測定・分析コードの大半は含まれていない。

    記事を読む
  3. Google GTIG、実際の侵入でAIエージェント基盤の悪用を観測──脆弱性調査と悪用の完全自動化を初確認、LLMJackingの被害は単日10万ドル超

    GoogleのGoogle Threat Intelligence Group(GTIG)とMandiantは2026年11月16日、四半期ごとの脅威観測レポート「GTIG AI Threat Tracker: Agentic Threat Activity Crosses a Significant Threshold」を公開した。複数の脅威アクターがオープンソースのマルチエージェント型ペネトレーション基盤(ARTEX、CAIRN、CyberStrikeAI、PentAGI)を悪用し、実際の侵入の個別の工程を自動化した事例を観測した。脆弱性の発見と悪用を人間の介入なしに完全自動化するLLM基盤の使用は、この四半期に初めて確認したという。LLM認証情報の窃取でクラウド資源を消費するLLMJackingでは、単日の不正請求が10万ドルを超えた事例があり、最も深刻な事例では累計100万ドルに達した。観測範囲は限られ、数値はGoogleの報告値。

    記事を読む