採点前に実行環境を整える
強化学習では、AIが試した作業を採点し、その結果から学ぶ。採点器や正解データに触れられると、課題を解かずに得点だけを上げる可能性がある。Karotteはこうした環境の弱点を減らすための開発基盤だ。
- 01 実行
権限を制限
AIの処理を隔離環境の非特権ユーザーで動かす。
- 02 採点前
プロセスを終了
AIが起動した処理を止める。
- 03 入力確認
ファイルを検査
採点器を壊し得る特殊なファイルを拒否する。
会社発表の対策。すべての報酬ハックへの防御を保証するものではない。
同社は100万回超の内部評価と管理下の攻撃テストを行ったと説明する。a16zも公開基盤と投資を紹介した。SignalFire、South Park Commonsなどが資金調達に参加している。
Karotteは訓練環境を作る用途を中心とし、ベンチマークにも使えると説明する。クラウド計算サービスとの直接統合は初期状態で備えていない。評価回数は会社側の説明で、防御性能を第三者が再現した結果は今回確認していない。
出典
- Preference Model「Introducing Karotte」公開日2026-10-07。OSS公開、防御設計、シード額と参加者、クラウド統合の範囲を確認。 2026-10-13確認。
- a16z「Investing in Preference Model」公開日2026-10-07。投資と強化学習環境の事業、Karotteの公開を確認。 2026-10-13確認。
出典の確認日 2026.10.13