言語モデルの内省(introspection)を測る研究では、モデルに内部状態について尋ねて答えの正しさを見る。この論文は別の視点を取る。9個の番号付き文を読ませ、1つの文に対応する内部活性にベクトルを加えて攪乱し、どの文が変わったかをモデル自身に答えさせる。同じ質問に対して、最終入力位置の活性から別途訓練したロジスティック回帰(線形プローブ)で位置を推定し、両者の正答率を並べて比較する。外部の分類器が検出できてモデルが答えられないなら、成功に必要だったのは内省ではなく単純な情報読み出しだ、という見方で検証する。
「言語モデルの内省を研究する一つの方法は、モデルが自分の活性化がどこで攪乱されたかを識別できるか試すことだ。」
One way to study language-model introspection is to test whether models can identify where their activations have been perturbed.
学習8.4B時点
- 外部分類器
- 98.3%
- モデル自身
- 11.1%
公開ベースモデル
- 外部分類器
- 99.1%
- モデル自身
- 89.6%
第6層注入
- 外部分類器
- —
- モデル自身
- 37.7%
質問なし・直後
- 外部分類器
- —
- モデル自身
- 31.5%
質問なし・256後
- 外部分類器
- —
- モデル自身
- 21.5%
非注入対照
- 外部分類器
- —
- モデル自身
- 11.5%/10.9%
上2行は第0層に典型的な残差ノルムの4倍で注入し第24層から読み出す主条件(学習8.4Bトークンのチェックポイントと公開済みベースモデル。「モデル自身」は9択のゼロショット回答で、当たり確率は11.1%)。第6層注入は同じ強度4での自己回答の低下を示す。質問なし・強度8は直後と256トークン追加後の値、非注入対照はその順。すべて著者の報告。
主条件の結果が示すのは、学習の途中では「読み出せるのに言えない」期間が存在することだ。学習8.4Bトークンの時点、攪乱ベクトルは典型的な活性ノルムの4倍で第0層に加え、読み出しは第24層で行う。外部の線形分類器は98.3%の正確さで位置を検出するが、モデル自身の9択回答は当たり確率の11.1%にとどまる。学習が進んだ公開済みベースチェックポイントでは、分類器99.1%、モデル89.6%に達する。
この自己報告の上達は注入位置にも依存する。同じ強度4でも、第0層注入なら89.6%だった自己回答は、第6層注入では37.7%まで下がる。攪乱の痕跡が上層へどの程度伝わるかで、モデルが自力で検出できる範囲が変わるという結果だ。また7Bと32Bの両サイズで、ランダム初期化の未学習ネットワークでも位置の痕跡は線形に読み出せた。位置情報の伝播自体は学習を必要としない。
質問を与えない実験では、文リストの直後に31.5%、さらに256トークン生成させたあと21.5%で、非注入の対照は11.5%と10.9%だった。攪乱の痕跡は質問がなくても伝播し、しばらく経っても対照より高い水準で検出できることを示す。一方で論文自身、質問なし条件での学習済みモデルの非注入対照に未解決の異常があると認めており、この条件の比較は解釈に注意が必要だ。
著者らの結論は、自己報告の成否を直ちに内省能力と読み替えられない、というものだ。外部の分類器は教師ありで訓練されており、モデルはゼロショットで答えるため、両者の条件は同じではない。主条件も探索的な選択の結果であることが付録で示されている。論文は、自己報告を監査や信頼性判定の指標に使う設計では、独立した検証器や外部ログによる測定と自己申告を分けて評価すべきだとする。意識の有無などモデルの主観についての主張は、この実験では測定していない。論文のライセンスはCC BY 4.0で、OLMo 3の公開チェックポイントを利用した。実験コードの公開は本次資料では確認できなかった。
出典
- arXiv:2611.15267 A Closer Look at Language Model Introspection: Probing Information and Reporting要旨。主条件(第0層にノルム4倍注入・第24層読み出し)でのプローブ98.3%対自己回答11.1%、公開チェックポイントで99.1%対89.6%、未学習ネットワークでも位置が読み出せる
- arXiv HTML版(v1)9文タスクの設定、第6層注入37.7%、質問なし・強度8の31.5%/21.5%と対照11.5%/10.9%、非注入対照の未解決異常、CC BY 4.0、著者6名の所属(Georgia Institute of Technology)
出典の確認日 2026.11.15