小さな検出器から監査モデルへ
監視には、モデルの計算途中の値を読む小さな分類器を使う。こうした内部の値は活性と呼ばれる。モデルが通常の推論で計算した値を再利用し、疑わしいやり取りだけを別のAIモデルへ送って詳しく判定する。
活性の検出器
- 入力
- モデル内部の計算値
- 役割
- 疑わしいやり取りを選ぶ
監査用モデル
- 入力
- 選ばれたやり取り
- 役割
- 追加の判定を行う
Goodfireの公式技術資料に基づく。内部計算にアクセスできる実行環境を使う。
10月8日付の技術資料では、Kimi K3とGLM 5.3向けの監視を説明した。社内評価には約2,400件の会話・エージェント利用セッション、6万件超のターンを用い、Claude Opus 5の判定を参照ラベルに使った。
Goodfireによると、Kimi K3の監視構成は有害なセッションの約93%を検出し、無害なセッションの5.5%を追加確認の対象にした。費用比較では、検出率90%以上で無害なセッションの追加確認を10%以下に抑える構成を使った。監査用モデルの推論モードを無効にした場合は100万ターンあたり65米ドル、有効にした場合は185米ドルと試算した。商用料金を示す数字ではない。
この結果は同社のデータと評価条件に基づく。すべてのモデルや実運用で同じ検出率を得られるかは別途検証が必要だ。Baseten顧客向けには、監視する行動や検出後の記録、追加確認、拒否などを選べる構成を案内している。一般提供日や商用価格は発表本文では確認できない。
出典
- Goodfire and Baseten partner to bring frontier safety to open models公開日2026-10-09。Project Beacon提携、監視の仕組み、Baseten顧客向け構成と対応選択肢を支える。2026-10-13に本文確認。
- Training and Deploying Production Cyber Monitors on Kimi K3公開日2026-10-08。対象モデル、約2400セッション/6万超ターン、参照ラベル、93%と5.5%、100万ターンあたりの監査費用試算を支える。2026-10-13に本文確認。
出典の確認日 2026.10.13