NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

小型LLMにセキュリティ記述を書かせない防御CapLite――15モデルの攻撃付き1万3,935エピソードで攻撃成功0、トークンはCaMeL比18%

東京大学のZimo Xu氏、中国科学院自動化研究所のWenzhuo Liu氏、東京大学のHideki Nakayama氏の研究チームは2026年11月12日、エージェント自身のモデルにセキュリティポリシーなどの「セキュリティ成果物」を書かせず、ツールスキーマとユーザー要求から書込操作を事前に確定する防御CapLiteを発表した(arXiv:2611.17115、査読前)。1.7B〜35Bのオープンウェイトモデル15個でProgent、IPIGuard、DRIFT、CaMeLの4防御を測定したところ、モデルが書いたポリシー・依存グラフ・制約リストはそれぞれ14、13、11モデルで攻撃を許し、CaMeLのプログラムはモデルによって最大68%のエピソードで実行不能だった。CapLiteは攻撃付きAgentDojoの1万3,935エピソードで攻撃成功0を報告し、攻撃下ユーティリティは29.0%(CaMeL 27.2%)、トークン消費は1エピソード1万7,100でCaMeLの18%だった。数値はすべて著者らの実験値で、公式コードの公開は確認できていない。

ツールを使うエージェントは、メール、ファイル、ウェブページなど誰でも書けるデータを読む。その内容に潜んだ指示が、送信や書込みなどエージェントの行動を乗っ取るのがプロンプトインジェクションだ。強い保証を持つ防御は判断をモデルの文脈から取り出してコードに与えるが、CaMeL(プログラム)、Progent(権限ポリシー)、IPIGuard(依存グラフ)、DRIFT(軌跡とチェックリスト)は、いずれも「エージェント自身のモデルに書かせるセキュリティ成果物」をコードが強制する構成で、成果物の質がそのまま防御の質になる。研究チームは、小規模モデル(SLM)がこうした成果物を書けるのかを15モデルで測った。

「エージェントのモデルが書くポリシー、グラフ、制約リストは15モデルのうち14(Progent)、13(IPIGuard)、11(DRIFT)で攻撃を許し、CaMeLのプログラムは最大68%のエピソードで実行不能になる。」

the policies, graphs and constraints that the agent's model writes admit attacks on 14 (Progent), 13 (IPIGuard) and 11 (DRIFT) of the models, and CaMeL's programs fail to run in up to 68% of episodes

arXiv:2611.17115「CapLite: Prompt-Injection Defense for Small Language Model Agents without Model-Written Security Artifacts」(2026年11月12日公開v1)、要旨

測定――モデルが書いた防御記述は両方向に失敗する

測定はAgentDojoを使い、15モデル(1.7B〜12Bの13個と、参照としてQwen3-32B、MoEのQwen3.6-35B-A3B)のそれぞれを各防御の全モデル役割で実行した。何を許すかを決める成果物は「開いて失敗」する。Progentのポリシーは14モデルで攻撃を許し(計676攻撃、Qwen3-32Bでは929ペア中最大132)、攻撃下の書込み試行の25〜77%をブロックする一方、良性ユーティリティは防御なしの59.4%から43.8%に落ちた。IPIGuardは13モデル(435攻撃)、DRIFTは11モデル(214攻撃)で突破された。DRIFTの攻撃を許さなかった4モデルは、攻撃付きタスクを4.7〜9.5%しか完遂しておらず、ゼロは無為によるものだ。何が実行されるかを決める成果物は「閉じて失敗」する。CaMeLの攻撃成功は1万3,935エピソード中20件にとどまるが、8モデルで最終プログラムの15%超が実行不能(Granite-4.2-8Bでは68%、モデルがコードを全く返さない)で、修復に呼び出しを重ねて1エピソード9.4万トークンを消費し、良性ユーティリティは24.9%だった。モデルが大きいほど成果物は良くならず、Progentの攻撃成功率はQwen3で3.0%から14.2%へ、Gemma-4で0%から12.7%へ上昇した。防御なしのエージェントもモデルが強いほど注入に従いやすい。

図解主要結果: 15モデル平均(arXiv:2611.17115のTable 1)
  • 防御なし

    良性utility
    59.4%
    攻撃下utility
    50.2%
    成功率
    16.66%
    成功攻撃数
    2,322
    ゼロモデル数
    0/15
    トークン/回
    28.0k
  • Progent権限ポリシー

    良性utility
    43.8%
    攻撃下utility
    40.6%
    成功率
    4.85%
    成功攻撃数
    676
    ゼロモデル数
    1/15
    トークン/回
    63.4k
  • IPIGuard依存グラフ

    良性utility
    40.1%
    攻撃下utility
    35.7%
    成功率
    3.12%
    成功攻撃数
    435
    ゼロモデル数
    2/15
    トークン/回
    60.5k
  • DRIFT軌跡とチェックリスト

    良性utility
    35.7%
    攻撃下utility
    34.9%
    成功率
    1.54%
    成功攻撃数
    214
    ゼロモデル数
    4/15‡
    トークン/回
    28.1k
  • CaMeLプログラム

    良性utility
    24.9%
    攻撃下utility
    27.2%
    成功率
    0.14%
    成功攻撃数
    20
    ゼロモデル数
    12/15‡
    トークン/回
    93.7k
  • CapLiteスキーマ派生ポリシー

    良性utility
    28.1%
    攻撃下utility
    29.0%
    成功率
    0.00%
    成功攻撃数
    0
    ゼロモデル数
    15/15
    トークン/回
    17.1k

arXiv:2611.17115(2026-11-12公開v1)のTable 1(important_instructions、15モデル平均、著者らの測定値)。攻撃成功率は15モデル×929のツール目標エピソードをプールした値。‡のDRIFT・CaMeLの「攻撃成功なしモデル」には、タスクをほぼ完遂しない無為によるゼロを含む(論文の注記)。トークンは1エピソード当たり。CapLiteの攻撃下ユーティリティ1,000トークン当たり1.69はenforcement型防御で最高。

CapLiteの仕組み――書込を先に確定し、要求に書かれた値だけを許す

CapLiteはモデルに何を許可するかを決めさせない。ポリシーは、ツール名・docstring・JSONパラメータスキーマというツールレジストリが持つ情報から固定規則で導出する(名前とdocstringの先頭動詞が両方読み系なら読み取り専用、どちらかが書き系なら書込みツール)。パイプラインは3層だ。要求だけを見るPlannerが、ツール結果を読む前に書込み呼び出しを値のプレースホルダ付きでコミットする。Binderは観測から抽出した型付き候補の中から、要求の根拠集合G(q)――要求がそのまま述べる値とトークンnグラム――に含まれるものだけを制約付きデコーディングで選び、自分から値を書かない。Mediatorは決定論的コードで、ツールが分類済みであること、プレースホルダが残っていないこと、引数がスキーマに一致すること、権限を決める全引数がG(q)の要素と完全一致すること(部分文字列は不一致)を確認して初めて書込みを通す。最初の拒否、確認要求、ツールエラーで残りの書込みは停止する。宛先などの権限値がツール結果にしか現れない場合はユーザーに確認し、評価ではそうした要求には応じずエピソードを失敗と数えた。

「これにより書込整合性が保証される。注入されたテキストは書込みを追加できず、書込みがユーザーが述べていない受取人、金額、対象、宛先に届くこともない。」

This guarantees write integrity: injected text cannot add a write, and no write reaches a recipient, amount, object or destination that the user did not state.

arXiv:2611.17115(2026年11月12日公開v1)、要旨
図解CapLiteのパイプライン(arXiv:2611.17115の3節、Figure 4に基づく)
  1. 01 Planner

    要求のみを見る

    ツール結果を読む前に書込み呼び出しをコミットし、調べる値はプレースホルダのまま置く。

  2. 02 Binder

    候補から1つを選ぶ

    観測から抽出した候補のうち、要求の根拠集合G(q)に含まれる値だけを制約付きデコーディングで選ぶ。選べなければ「なし」か確認要求。

  3. 03 Mediator

    決定論的コードで判定

    ツール分類・プレースホルダ消失・スキーマ一致・全権限引数のG(q)完全一致を検査。部分文字列は一致とみなさない。

  4. 04 実行または停止

    最初の拒否で残り停止

    通した書込みだけが実行され、拒否・確認要求・エラーの後続の書込みは実行しない。

  5. 05 Reporter

    観測から回答

    書込み結果の報告はテキスト生成で行う。

arXiv:2611.17115(2026-11-12公開v1)の3節「CapLite」、Figure 4に基づく。ポリシー導出の規則(読み系・書き系の分類)は3.1節。権限値がツール結果にしかない場合の確認要求と、それを失敗と数える評価方針は3節と付録Hの記述による。

結果と限界――柔軟性とのトレードオフ、独立検証はまだ

攻撃付き1万3,935エピソード(15モデル×929のツール目標ペア)で、CapLiteの攻撃成功は0だった。攻撃下ユーティリティは29.0%でCaMeLの27.2%に匹敵し、トークンは1エピソード1万7,100でCaMeLの18%、enforcement型防御と防御なしのどちらよりも少ない。CapLiteの設計を狙った2攻撃(読み取りデータの持ち出しを促すread exfiltration、スキーマ記述の衝突を狙うdescriptor collision)でも、8モデルの頑健性試験でそれぞれ0/168、0/104の成功にとどまった。半面、良性ユーティリティは28.1%と防御なしの59.4%の半分以下で、宛先や金額を実行前に確定できないワークフローは失敗または確認扱いになる。著者らは、正しい書込みを落としたり候補を誤選択したりするモデル側の失敗は残ると述べている。数値は著者らの実験条件(vLLM 0.30.0、temperature 0、seed 0、thinking無効)での結果で、無条件の安全保証ではない。公式コードの公開は2026年11月13日時点で確認できておらず、第三者による独立検証はまだない。

出典

  1. arXiv:2611.17115「CapLite: Prompt-Injection Defense for Small Language Model Agents without Model-Written Security Artifacts」(要旨ページ)2026-11-12T17:07:22Z公開v1(arXiv APIで確認)。著者3名(Zimo Xu、Wenzhuo Liu、Hideki Nakayama)。要旨の主張(15モデルのうち13が1.7B〜12B、モデル書き成果物の攻撃許容が14/13/11モデル、CaMeL最大68%実行不能、13,935攻撃付きエピソードで攻撃成功0、攻撃下utility 29.0%対CaMeL 27.2%、17.1kトークンでCaMeLの18%、write integrityの定義)。2026-11-13に要旨をAPIで全文確認。
  2. arXiv:2611.17115 論文PDF(v1)所属(東京大学×2、中国科学院自動化研究所)、2節の測定(Progent 676攻撃・Qwen3-32Bで929ペア中最大132・書込みの25〜77%ブロック・良性59.4%→43.8%、IPIGuard 435攻撃、DRIFT 214攻撃とクリーン4モデルの完遂率4.7〜9.5%、CaMeL 20件・15%超実行不能が8モデル・Granite-4.2-8Bで68%・94kトークン・良性24.9%、Progent攻撃成功率のモデル規模に伴う上昇3.0%→14.2%〔Qwen3〕・0%→12.7%〔Gemma-4〕、成果物失敗と能力の有意な相関なし)、3節の設計(Planner/Binder/Mediator、スキーマからの読み・書き分類、根拠集合G(q)の完全一致、部分文字列不採用、権限値がツール結果のみのときの確認要求と失敗扱い)、Table 1(防御なし59.4/50.2/16.66/2,322/0-15/28.0kほか全行)、Table 2(important_instructions 0/7,432、tool_knowledge 0/7,432、read exfiltration 0/168、descriptor collision 0/104)、4節の実験設定(15モデルの内訳〔Qwen3-1.7B〜-32B、Qwen3.5-4B/-9B、Llama-3.1-8B-Instruct、Gemma-4-E2B/-E4B/-12B、Granite-4.2-8B、Ministral-3-8B、LFM2.5-2.6B、Qwen3.6-35B-A3B〕、vLLM 0.30.0、temperature 0、seed 0、thinking無効、出力2,048トークン/呼び出し〔DRIFTのみ8,192〕)。2026-11-13にpdftotextで全文確認。

出典の確認日 2026.11.13

KEEP EXPLORING

あわせて読みたい記事と映像

AIと社会の記事一覧
  1. Bitdefender、AIコーディング環境を狙う悪性GitHubコンテンツを分析──AGENTS.mdでの誘導と起動フックの2経路、悪性リンク22件

    セキュリティ企業Bitdefenderの研究部門Bitdefender Labsは2026年11月17日、AIコーディング支援ツールの利用環境を狙う悪性GitHubコンテンツの分析を公開した。研究者Andrei Anton-Aanei氏らが確認した悪性リンクは22件で、AGENTS.mdやCLAUDE.mdの文章でAIにsetup.jsの実行を誘導する経路に加え、.claude/settings.jsonのセッション開始フックでAIの判断を介さずコマンドを実行できる経路が報告されている。22件はリンクの数で、感染者数を示すものではない。

    記事を読む
  2. POSTECH、LLMが勾配学習なしでモデルの重みを直接書く「Weight-Space Programming」──3つのLLMが疎なテーブルを設計、ARCで最大54.4%

    POSTECH(韓国の浦項工科大学)のHyunjong Ok氏とJaeho Lee氏は2026年11月17日、勾配ベースの学習を使わず、大規模言語モデル(LLM)にモデルの重みを直接記述させる「Weight-Space Programming」の研究をarXivに公開した(arXiv:2611.22055)。Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astraの3モデルに10件のラベル付き例とサンドボックスを与えて実験したところ、アーキテクチャの設計を任せた3モデルすべてが、テキストで書いた事実を置く疎なテーブルと、それを読む固定の手続きでモデルを構成した。ARCの選択式テスト3,530問での精度は最大54.4%(偶然は25%)で、著者報告では、同じLLMが記述した最良の公開Transformerを約1,800分の1のパラメータで上回った。実験で作った56モデル(テキストファイル計68MB)をMITライセンスで公開しているが、測定・分析コードの大半は含まれていない。

    記事を読む
  3. Google GTIG、実際の侵入でAIエージェント基盤の悪用を観測──脆弱性調査と悪用の完全自動化を初確認、LLMJackingの被害は単日10万ドル超

    GoogleのGoogle Threat Intelligence Group(GTIG)とMandiantは2026年11月16日、四半期ごとの脅威観測レポート「GTIG AI Threat Tracker: Agentic Threat Activity Crosses a Significant Threshold」を公開した。複数の脅威アクターがオープンソースのマルチエージェント型ペネトレーション基盤(ARTEX、CAIRN、CyberStrikeAI、PentAGI)を悪用し、実際の侵入の個別の工程を自動化した事例を観測した。脆弱性の発見と悪用を人間の介入なしに完全自動化するLLM基盤の使用は、この四半期に初めて確認したという。LLM認証情報の窃取でクラウド資源を消費するLLMJackingでは、単日の不正請求が10万ドルを超えた事例があり、最も深刻な事例では累計100万ドルに達した。観測範囲は限られ、数値はGoogleの報告値。

    記事を読む