OpenAIの発表は同社の公式フィードで「参加するプロバイダーに対してAI学習の選好を伝えるために、共通のrobots.txt信号を尊重する」と説明されています(発表本文の全文取得は本確認時点でできず、発表の題名・日付・公式説明をフィードで確認しました)。Googleは検索セントラルブログで、2027年にこの共通制御をサポートする計画を示しました。robots.txtに共通トークンによる学習拒否があり、Google-Extendedの指定が明示されていない場合、「Google-Extendedを拒否した場合と同様に扱う」方針です。企業別の既存制御は新しい信号と並行して機能し続けると説明しています。
個人草案の公開
IETF Datatrackerにdraft-kelley-aipref-training-preference-signal-00。共通トークン__usage_ai-trainingを定義
OpenAI・Google・Microsoftの方針
OpenAIは共通信号を尊重する方針、Googleは2027年対応予定、Bingは新しい設定体系を発表
Bingの適用開始
クロール時にAI TrainingとAI Groundingの設定を尊重
Bingの移行期限
NoArchive/NoCacheを使うサイトは新設定への移行を案内
各社の公式発表(2026-10-30)とIETF Datatrackerによる。OpenAIの実装時期は「今後数か月」とThe Vergeが報道。IETF草案は承認済みの標準ではない。
草案では、robots.txtに「User-Agent: __usage_ai-training」というグループを書き、「Disallow: /」とすればサイト全体のAI学習利用を望まない意思表示になります。「Allow: /press-kit/」のようにパス単位の例外も書けます。学習を許可するのが既定で、設定を書かなくても動作は変わりません。草案は、ワイルドカードの「User-Agent: *」はこのトークンへの意思表示として解釈してはならない(MUST NOT)と定義しています。これは、全クローラー向けの既存設定が誤って学習拒否と読まれることを防ぐ規定です。
robots.txtのグループ__usage_ai-training
- Disallow: /
学習拒否の意思表示
サイト全体のAI学習利用を望まないこと。参加プロバイダーが尊重する方針
- Disallow: /example-path/
パス単位の学習拒否
指定したパスだけ学習しない意思表示
- Allow: /press-kit/
パス単位の例外
学習拒否の中で指定パスを許可する書き方。記載がなければ許可が既定
- User-Agent: *の既存ルール
意思表示としては扱わない
ワイルドカードグループはこのトークンへの表示として解釈してはならない(草案の定義)
draft-kelley-aipref-training-preference-signal-00(2026-10-30)による。個人提出のInternet-Draftで、IETFの承認した標準(RFC)ではない。
Microsoft Bingは、AI Training(学習への利用)とAI Grounding(生成回答の根拠としての利用)を独立に設定できる仕組みを発表しました。サイトやパス単位の設定はrobots.txtで、ページ単位の設定も可能です。新しいページ単位の設定DisallowExtendedは、grounding用途をAI Mode、AI Overview、Copilot、Microsoft 365などMicrosoft自身の体験に限定し、Web IQやFoundryのAPI経由で第三者に提供されるgroundingから外します。検索結果への掲載適格性は変わらないと説明されています。既存のNoArchiveとNoCacheは新しい設定に置き換わるため、これらを使うサイトは2027年3月1日までの移行を求められている。
この仕組みが扱うのは学習と回答生成への利用の選好で、それ以外の問題はそのまま残ります。草案自身が、このトークンはクロールの挙動を指示するものではないと定めており、悪意あるボットの遮断や、コンテンツ利用の対価、著作権の帰属を決めるものではありません。The Vergeは、OpenAI・Google・Microsoft・Anthropicの4社が共通トークンを見つけた場合にAIクローラーのアクセスを制限すると報じ、Anthropicがすでに信号を採用したと伝えています(Anthropicの実装状況の独立確認は本確認時点で未実施)。Metaの広報責任者も新しい設定への支持を示したと同紙は報じていますが、社内での尊重を明言したものではありません。
出典
- OpenAI「Making it easier for websites to express AI training preferences」(2026-10-30、公式フィードで発表を確認)OpenAI公式RSS(2026-10-30 09:30 GMT)で発表の題名・日付・公式説明(参加プロバイダーへの共通robots.txt信号の尊重)を確認。本文はCloudflareブロックで全文取得できず、実装時期「今後数か月」はThe Verge報道に帰属
- Google Search Central Blog「AI training control」(2026-10-30)2027年の対応予定、Google-Extendedの明示指定がない場合に共通拒否をG-E拒否と同様に扱う方針、既存の企業別制御の継続を確認
- Microsoft Bing Blog「Your content, your choice: clearer preferences for training and grounding」(2026-10-30)AI TrainingとAI Groundingの独立設定、2027-02-01適用開始、2027-03-01移行期限、ページ単位設定とDisallowExtended(AI Mode・AI Overview・Copilot・Microsoft 365に限定、Web IQとFoundry APIの第三者groundingを除外)、検索掲載適格性の不変を確認
- IETF Datatracker「draft-kelley-aipref-training-preference-signal-00」(2026-10-30、個人提出Internet-Draft)Kevin Kelleyによる個人草案(IETF未承認、expires 3 May 2027)、トークン__usage_ai-trainingの構文、パス単位ルール、User-Agent: *の不適用(MUST NOT)、クローリングとの独立性を草案本文で確認
- The Verge「The biggest names in AI are backing a new way to opt out of scraping」(2026-10-30)4社が共通トークン検知時にAIクローラーのアクセスを制限する方針、Anthropicの既存採用、OpenAIの実装時期「今後数か月」、Meta広報の支持(履行は未明言)を確認
出典の確認日 2026.10.30