NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

Georgia Tech、介入された内部情報の読み出しと自己報告は学習段階で乖離するとOLMo 3で報告――学習8.4Bトークンで外部分類器98.3%対モデル自身の回答11.1%

ジョージア工科大学のDustin Rubin氏ら6名は2026年11月11日、言語モデルが「自分の内部活性がどこで攪乱されたか」を自ら答えられるかを、外部から訓練した分類器と比較する実験をarXivに投稿した(プレプリント)。OLMo 3 32Bの第0層に典型的な残差ノルムの4倍のベクトルを加え第24層から読み出す条件では、学習8.4Bトークンの時点で外部分類器は98.3%を検出するのにモデル自身の9択回答は当たり確率の11.1%にとどまり、公開済みのベースモデルでは99.1%対89.6%になる。注入位置が第6層では自己回答は37.7%まで下がる。自己報告を信頼性判定に使う際は、内部信号の検出と推論の忠実な説明を区別すべきだとしている。プレプリントで、実験コードの公開は確認できていない。

言語モデルの内省(introspection)を測る研究では、モデルに内部状態について尋ねて答えの正しさを見る。この論文は別の視点を取る。9個の番号付き文を読ませ、1つの文に対応する内部活性にベクトルを加えて攪乱し、どの文が変わったかをモデル自身に答えさせる。同じ質問に対して、最終入力位置の活性から別途訓練したロジスティック回帰(線形プローブ)で位置を推定し、両者の正答率を並べて比較する。外部の分類器が検出できてモデルが答えられないなら、成功に必要だったのは内省ではなく単純な情報読み出しだ、という見方で検証する。

「言語モデルの内省を研究する一つの方法は、モデルが自分の活性化がどこで攪乱されたかを識別できるか試すことだ。」

One way to study language-model introspection is to test whether models can identify where their activations have been perturbed.

arXiv:2611.15267「A Closer Look at Language Model Introspection: Probing Information and Reporting」(2026年11月11日投稿)
図解内部情報の読み出しと自己報告の乖離(OLMo 3 32B、著者実験)
  • 学習8.4B時点

    外部分類器
    98.3%
    モデル自身
    11.1%
  • 公開ベースモデル

    外部分類器
    99.1%
    モデル自身
    89.6%
  • 第6層注入

    外部分類器
    —
    モデル自身
    37.7%
  • 質問なし・直後

    外部分類器
    —
    モデル自身
    31.5%
  • 質問なし・256後

    外部分類器
    —
    モデル自身
    21.5%
  • 非注入対照

    外部分類器
    —
    モデル自身
    11.5%/10.9%

上2行は第0層に典型的な残差ノルムの4倍で注入し第24層から読み出す主条件(学習8.4Bトークンのチェックポイントと公開済みベースモデル。「モデル自身」は9択のゼロショット回答で、当たり確率は11.1%)。第6層注入は同じ強度4での自己回答の低下を示す。質問なし・強度8は直後と256トークン追加後の値、非注入対照はその順。すべて著者の報告。

主条件の結果が示すのは、学習の途中では「読み出せるのに言えない」期間が存在することだ。学習8.4Bトークンの時点、攪乱ベクトルは典型的な活性ノルムの4倍で第0層に加え、読み出しは第24層で行う。外部の線形分類器は98.3%の正確さで位置を検出するが、モデル自身の9択回答は当たり確率の11.1%にとどまる。学習が進んだ公開済みベースチェックポイントでは、分類器99.1%、モデル89.6%に達する。

この自己報告の上達は注入位置にも依存する。同じ強度4でも、第0層注入なら89.6%だった自己回答は、第6層注入では37.7%まで下がる。攪乱の痕跡が上層へどの程度伝わるかで、モデルが自力で検出できる範囲が変わるという結果だ。また7Bと32Bの両サイズで、ランダム初期化の未学習ネットワークでも位置の痕跡は線形に読み出せた。位置情報の伝播自体は学習を必要としない。

質問を与えない実験では、文リストの直後に31.5%、さらに256トークン生成させたあと21.5%で、非注入の対照は11.5%と10.9%だった。攪乱の痕跡は質問がなくても伝播し、しばらく経っても対照より高い水準で検出できることを示す。一方で論文自身、質問なし条件での学習済みモデルの非注入対照に未解決の異常があると認めており、この条件の比較は解釈に注意が必要だ。

著者らの結論は、自己報告の成否を直ちに内省能力と読み替えられない、というものだ。外部の分類器は教師ありで訓練されており、モデルはゼロショットで答えるため、両者の条件は同じではない。主条件も探索的な選択の結果であることが付録で示されている。論文は、自己報告を監査や信頼性判定の指標に使う設計では、独立した検証器や外部ログによる測定と自己申告を分けて評価すべきだとする。意識の有無などモデルの主観についての主張は、この実験では測定していない。論文のライセンスはCC BY 4.0で、OLMo 3の公開チェックポイントを利用した。実験コードの公開は本次資料では確認できなかった。

出典

  1. arXiv:2611.15267 A Closer Look at Language Model Introspection: Probing Information and Reporting要旨。主条件(第0層にノルム4倍注入・第24層読み出し)でのプローブ98.3%対自己回答11.1%、公開チェックポイントで99.1%対89.6%、未学習ネットワークでも位置が読み出せる
  2. arXiv HTML版(v1)9文タスクの設定、第6層注入37.7%、質問なし・強度8の31.5%/21.5%と対照11.5%/10.9%、非注入対照の未解決異常、CC BY 4.0、著者6名の所属(Georgia Institute of Technology)

出典の確認日 2026.11.15

KEEP EXPLORING

あわせて読みたい記事と映像

AIと社会の記事一覧
  1. Bitdefender、AIコーディング環境を狙う悪性GitHubコンテンツを分析──AGENTS.mdでの誘導と起動フックの2経路、悪性リンク22件

    セキュリティ企業Bitdefenderの研究部門Bitdefender Labsは2026年11月17日、AIコーディング支援ツールの利用環境を狙う悪性GitHubコンテンツの分析を公開した。研究者Andrei Anton-Aanei氏らが確認した悪性リンクは22件で、AGENTS.mdやCLAUDE.mdの文章でAIにsetup.jsの実行を誘導する経路に加え、.claude/settings.jsonのセッション開始フックでAIの判断を介さずコマンドを実行できる経路が報告されている。22件はリンクの数で、感染者数を示すものではない。

    記事を読む
  2. POSTECH、LLMが勾配学習なしでモデルの重みを直接書く「Weight-Space Programming」──3つのLLMが疎なテーブルを設計、ARCで最大54.4%

    POSTECH(韓国の浦項工科大学)のHyunjong Ok氏とJaeho Lee氏は2026年11月17日、勾配ベースの学習を使わず、大規模言語モデル(LLM)にモデルの重みを直接記述させる「Weight-Space Programming」の研究をarXivに公開した(arXiv:2611.22055)。Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astraの3モデルに10件のラベル付き例とサンドボックスを与えて実験したところ、アーキテクチャの設計を任せた3モデルすべてが、テキストで書いた事実を置く疎なテーブルと、それを読む固定の手続きでモデルを構成した。ARCの選択式テスト3,530問での精度は最大54.4%(偶然は25%)で、著者報告では、同じLLMが記述した最良の公開Transformerを約1,800分の1のパラメータで上回った。実験で作った56モデル(テキストファイル計68MB)をMITライセンスで公開しているが、測定・分析コードの大半は含まれていない。

    記事を読む
  3. Google GTIG、実際の侵入でAIエージェント基盤の悪用を観測──脆弱性調査と悪用の完全自動化を初確認、LLMJackingの被害は単日10万ドル超

    GoogleのGoogle Threat Intelligence Group(GTIG)とMandiantは2026年11月16日、四半期ごとの脅威観測レポート「GTIG AI Threat Tracker: Agentic Threat Activity Crosses a Significant Threshold」を公開した。複数の脅威アクターがオープンソースのマルチエージェント型ペネトレーション基盤(ARTEX、CAIRN、CyberStrikeAI、PentAGI)を悪用し、実際の侵入の個別の工程を自動化した事例を観測した。脆弱性の発見と悪用を人間の介入なしに完全自動化するLLM基盤の使用は、この四半期に初めて確認したという。LLM認証情報の窃取でクラウド資源を消費するLLMJackingでは、単日の不正請求が10万ドルを超えた事例があり、最も深刻な事例では累計100万ドルに達した。観測範囲は限られ、数値はGoogleの報告値。

    記事を読む