AI学習の拒否をrobots.txtで一括指定、OpenAI・Google・Microsoftが対応表明

OpenAI、Google、Microsoftの3社が2026年10月30日（米国時間）、サイト運営者がAIの学習利用を拒否・許可するための共通の目印を、robots.txtに書けるようにする取り組みに対応すると発表しました。ITmedia NEWSによると、Kelley氏はAIPREFのメーリングリストで、Anthropicがドラフトの実装を始めたと報告しています。これまで各社のクローラーごとに指定する必要がありましたが、1つの書き方でまとめて伝えられる可能性が出てきました。ただし、3社の対応はいずれも開始前で、時期も会社ごとに違います。

IETFの個人提出ドラフトが土台になっている

土台になっているのは、AnthropicのKevin Kelley氏が2026年10月30日付で出した、IETFのインターネットドラフト「Machine-Readable Training Preference Signal」（draft-kelley-aipref-training-preference-signal-00）です。IETFのAIPREF作業部会のメーリングリストでの議論をもとにしていますが、ドラフトはIETFの承認を受けたものではなく、正式な標準としての地位はまだありません。有効期限は2027年5月3日と記載されています。

仕組みは次のとおりです。robots.txtのUser-Agentの行に、ポリシートークン__usage_ai-trainingを書き、その下のDisallowで「学習への利用に反対」、Allowで「賛成」の意向を、パスごとに表明します。ドラフトの例では、/をDisallow、/press-kit/をAllowにすると、全体は反対しつつ、プレスキットだけは賛成という意味になります。

新しい命令や文法は増やしていません。RFC 9309のパス表現や最長一致のルールはそのままなので、既存のrobots.txtパーサーが新しいトークンを知らなくても、読み込みが壊れない設計です。また、User-Agent: *のグループは、このトークンに一致させてはならないとされています。つまり、すべてのボットに向けた一括指定ではなく、トークンを明示したグループが必要です。

意向の表明はクロール制御とは別

ドラフトによると、この表明はクロール自体を禁じるものではなく、既存の製品トークン向けの規則は、これまでどおり解釈されます。クロールを制限したい運営者は、各クローラーの製品トークンで指定する必要があります。受け取る側は、表明を参考にしてクロールを控えてもよいが、義務ではないとされています。

「AI学習」の定義は、生成AIモデルの学習済みパラメータを変更するためにコンテンツを使うことです。生成を行わないタスク専用のモデルの訓練は対象外です。個別の契約があれば、それがこの意向を上書きすることもできます。トークンが書かれていなければ、意向は表明されていないものとして扱われます。

各社の動き：OpenAIは数か月内、Googleは2027年、Microsoftは2027年2月

ITmedia NEWSの報道（2026年11月1日）によると、各社の対応は次のとおりです。

• OpenAI：数か月以内の対応を目指し、実装時に詳細を公開する。ほかのAI企業にも尊重を呼びかけている
• Google：2027年を目標に、ほかのAI企業とともに対応する。共通の信号で拒否し、かつGoogle-Extendedを明示していないサイトは、Google-Extendedも拒否として扱う方針
• Microsoft：2027年2月1日から、クローラーが新しい設定を読む

Microsoftについては、Bingの公式ブログ（2026年10月30日）によると、AI学習の設定はrobots.txtでサイトやパス単位に指定でき、ページ単位で上書きできます。デフォルトは「許可」です。AIの回答の根拠として使うこと（グラウンディング）の設定は、デフォルトは許可で、ページ単位のみ。Allow、DisallowExtended、Disallowの3つから選びます。DisallowExtendedは、CopilotやMicrosoft 365、AI ModeなどMicrosoft自身の体験では使い、Web IQやFoundryのAPIなど第三者向けのサービスでは使わない設定です。

この新しい設定は、2023年に導入されたNoArchiveとNoCacheを置き換えます。2027年3月1日以降、この2つは学習やグラウンディングの設定として読まれなくなります。Bingの検索結果への掲載資格は変わらないと、公式ブログは書いています。Googleの公式ブログ（Search Central、2026年10月30日）でも、2027年の対応とGoogle-Extendedの扱いが確認できます。OpenAIの公式ページは取得できず、OpenAIの時期はITmedia NEWSの報道に基づいています。

サイト運営者がいま確認できること

1. いまのrobots.txtを見直す：GPTBotやGoogle-Extendedなど、クローラー別の指定がどうなっているかを確認します。新しい書き方が使えるようになるのはまだ先です。
2. NoArchive／NoCacheを使っているサイトは、Microsoftの期限を確認する：2027年3月1日以降、この2つは読まれなくなるため、学習はrobots.txtかページ単位、グラウンディングはページ単位で指定し直すことになります。2026年12月15日からは、Bing Webmaster Toolsで一時的なグラウンディング設定も使えます（期限は2027年9月30日、または再クロールで新設定が検出された時点の早い方）。
3. どこまで拒否したいかを決める：AI学習を拒否しても、Googleは、Google-Extendedを明示的に許可したサイトが、Geminiアプリの回答に表示され、クリックを受ける対象になりうるとしています。拒否の範囲を決めるときに、検索やAIの回答での表示との関係も考える必要があります。

設定を公開しても、すぐに反映されるわけではありません。Microsoftは、ページが再クロールされて初めて検出されると説明しています。

「意向の表明」でどこまで守られるのか

筆者は、この仕組みの価値は拒否を強制できる点ではなく、意向を機械が読める形で1か所に残せる点にあると考えます。トークンは共通でも、Microsoftは2027年2月1日、Googleは2027年と読み始める時期がそろっておらず、当面は書いても効く相手と効かない相手が混在します。また、Microsoftが学習とグラウンディングを分けたように、AI回答での露出と学習拒否を別々に選ばせる流れも見えてきました。拒否の範囲は、各社の実装の詳細が出てから、自サイトにとってどちらの露出が大事かを見比べて決めても遅くはないと見ています。これは私見で、各社の公式の見解ではありません。

参考にした情報

• ITmedia NEWS「AI学習への利用拒否をrobots.txtで一括指定へ」（2026年11月1日）
• IETF Internet-Draft: Machine-Readable Training Preference Signal（draft-kelley-aipref-training-preference-signal-00）
• Google Search Central Blog「Supporting a shared AI training control for websites」（2026年10月30日）
• Bing Search Blog「Your content, your choice」（2026年10月）

2026年11月1日時点の情報です。