固定した問題集での検査では、評価用データを学習したモデルが高得点を取る可能性や、新たな悪用手法を捉えにくい課題がある。三者は評価用プロンプトを作成・更新し、モデルの応答を継続的に点検する方式を進める。
さくら
- 主な役割
- 適用検討・運用環境の整備
PFN
- 主な役割
- 国産モデル開発・評価基盤への組み込み
NICT
- 主な役割
- 評価手法の高度化・技術提供
2026年10月14日の共同発表に基づく。基盤全体の完成や一般提供開始を示すものではない。
NICTは、危険性の高い質問を自動生成して応答を評価する仕組みや、大量のWebページと照合して矛盾を探す構成要素を開発している。現段階で一部の試作システムが稼働しており、将来は統合して基盤を完成させる予定だ。
既存モデルの提供と評価基盤の計画を分ける
PFNのPLaMo 3.0 Primeは6月22日に商用提供を始め、さくらのAI Engineでは8月4日に提供を開始した。今回の発表は、これらの既存サービスを含む連携を進め、評価基盤を社会で使える形にする計画である。
三者は評価結果の妥当性を継続して確かめる方法も検討する。モデルや社会の変化に応じて検査と改善を続ける構想だ。運用開始は目標であり、達成済みの実績ではない。
出典
- NICT・PFN・さくらインターネット共同発表2026-10-14公表。これまでの成果、これからの取り組み、能動的評価基盤の用語解説を確認。2026-10-18確認。
出典の確認日 2026.10.18