AIニュース

ChatGPTのクローラー設定|AI学習を拒否するrobots.txtの書き方

自分のサイトやブログをAIの学習に使われたくない、あるいは逆に検索ではしっかり拾ってほしい。そのどちらもrobots.txtという設定ファイルで意思表示できます。OpenAIはクローラー(サイトを自動で巡回してページを読み取るプログラム)の一覧と、robots.txtでの扱い方をまとめた資料を公開しており、AIの学習を拒否する設定と検索への掲載を別々に指定できる形になっています。この記事では個人のサイト運営者向けに、書き方と確認手順まで順に見ていきます。

要点

  • OpenAIはOAI-SearchBotとGPTBotのrobots.txtタグで、サイト運営者が自分のサイトとコンテンツのAIとの関わり方を管理できるようにしている
  • それぞれの設定は互いに独立していて、検索には出しつつ学習には使わせないという組み合わせが選べる
  • GPTBotをDisallowにすることは、そのサイトの内容を生成AI基盤モデルの学習に使うべきでないという意思表示になる
  • OAI-SearchBotをオプトアウトしたサイトは、ChatGPTの検索の回答には表示されない
  • 検索については、robots.txtの更新がOpenAI側のシステムに反映されるまで約24時間かかることがある

何が発表されたか

OpenAIは、自社製品のための動作を自動またはユーザーの要求に応じて実行するために、ウェブクローラー(robots)とユーザーエージェントを使っていると説明しています。そのうえで、OAI-SearchBotとGPTBotのrobots.txtタグによって、サイト運営者が自分のサイトとコンテンツのAIとの関わり方を管理できるようにしているとしています。

重要なのは、それぞれの設定が互いに独立している点です。資料には例として、検索結果に表示されるためにOAI-SearchBotを許可しながら、クロールした内容を生成AI基盤モデルの学習に使うべきでないという意思表示としてGPTBotを拒否する、という組み合わせが挙げられています。両方のボットを許可している場合は、重複したクロールを避けるため、1回のクロール結果を両方の用途に使うことがあるとされています。

OAI-SearchBotは検索向け

OAI-SearchBotは検索のためのもので、ChatGPTの検索機能の検索結果にサイトを表示するために使われます。OAI-SearchBotをオプトアウトしたサイトはChatGPTの検索の回答には表示されませんが、ナビゲーションリンクとしては表示されることがあるとされています。検索結果に出したい場合は、robots.txtでOAI-SearchBotを許可し、公開されているIPレンジからのリクエストを許可することが推奨されています。

GPTBotは学習向け

GPTBotは、OpenAIの生成AI基盤モデルをより有用で安全なものにするために使われ、モデルの学習に使われる可能性のあるコンテンツをクロールするためのものです。GPTBotを拒否することは、そのサイトのコンテンツを生成AI基盤モデルの学習に使うべきでないという意思表示になると書かれています。学習を断りたい個人のサイトで、まず見るべきはここです。

OAI-AdsBotとChatGPT-User

OAI-AdsBotは、ChatGPT上の広告として提出されたウェブページの安全性を確認するために使われます。広告を提出するとOpenAIがリンク先ページを訪問してポリシーに適合しているか確認することがあり、ページの内容を広告を出す適切なタイミングの判断に使うこともあるとされています。OAI-AdsBotは広告として提出されたページしか訪問せず、OAI-AdsBotが収集したデータは生成AI基盤モデルの学習には使われません。

ChatGPT-Userは、ChatGPTやCustom GPTsでの一部のユーザー操作のために使われます。ユーザーが質問したときにChatGPTやCustomGPTがウェブページを訪問することがあり、GPT Actionsを通じて外部アプリとやり取りする場合もあります。ChatGPT-Userは自動的にウェブをクロールするためのものではなく、ユーザーが起点の操作であるためrobots.txtのルールが適用されない場合があるとされています。

robots.txtでの書き方と反映の確認

robots.txtはサイトの最上位に置くテキストファイルで、User-agentで対象のボットを指定し、DisallowやAllowで範囲を書きます。学習に使われたくない場合は次の2行です。

User-agent: GPTBot
Disallow: /

検索には出したい場合は、別のブロックとして書きます。

User-agent: OAI-SearchBot
Allow: /

一部だけ外したいときはDisallow: /members/のようにパスを指定します。書いたら、ブラウザで自分のドメインの末尾に/robots.txtを付けて開き、意図した行がそのまま見えるかを確認します。サーバーのアクセスログでユーザーエージェント名を探す方法もあります。資料では、robots.txtを取得する際にユーザーエージェント文字列にrobots.txtのマーカーを付けることがあり、ログにパスが含まれない場合でも他のリクエストと区別しやすくなると説明されています。検索への反映には約24時間かかることがあるため、更新直後に変化がなくても少し待って見直すとよいでしょう。

個人の仕事や学びにどう使えるか

フリーランスのライターやデザイナーなら、ポートフォリオの文章や作品説明は学習に使われたくない一方で、ChatGPTの検索から仕事の相談が来るのは歓迎、という人が多いはずです。この場合はOAI-SearchBotを許可しGPTBotを拒否する、という独立した設定が役立ちます。

副業で個人ブログを運営している会社員なら、まず検索側を確認するのが先です。OAI-SearchBotをオプトアウトしているとChatGPTの検索の回答には表示されないため、集客を重視するなら推奨どおり許可にしておき、学習だけを別に判断します。

会員向けページや顧客向け資料を公開している個人事業主や情シス担当者は、サイト全体ではなく特定のディレクトリだけをDisallowにする運用が現実的です。あわせて、ChatGPT上の広告を出す場合はリンク先ページにOAI-AdsBotが訪問することも押さえておくと、ログを見たときに慌てません。

会社・チームで使うときのポイント

複数のドメインやサブドメインを持つ組織では、サイトごとにrobots.txtが分かれるため、学習を断るのか検索には出すのかという方針を先に決め、担当者が同じ書き方で反映できるようにしておくのが安全です。広報とSEOの担当、法務、サイトを触る情シスの間で判断が食い違うと、片方のサイトだけ設定が抜ける事故が起きます。検索への反映に約24時間かかることがある点も、公開前のスケジュールに織り込んでおくとよいでしょう。法人でAIの社内ルール整備や研修を考えているなら、株式会社デジライズに相談できます。デジライズは法人向けAIリスキリングサービスで導入社数No.1(東京商工リサーチ・2026年3月末時点)で、累計600社超・5万人以上のAI活用を支援しています。

使う前の注意点

まず、ChatGPT-Userはユーザーが起点の操作であるためrobots.txtのルールが適用されない場合があるとされており、またChatGPT-UserはコンテンツがSearchに表示されるかの判断には使われません。検索のオプトアウトと自動クロールの管理にはrobots.txtでOAI-SearchBotを使うよう案内されています。つまり「GPTBotを拒否すれば誰も見に来ない」という理解は正確ではありません。

OAI-SearchBotをオプトアウトした場合でもナビゲーションリンクとしては表示されることがある点、ユーザーエージェント文字列のバージョン番号は変わることがある点も頭に入れておきましょう。クローラーの仕様は更新されるため、設定の前後で公式のドキュメントやヘルプを開いて最新の内容と提供範囲を確かめるのが確実です。資料のページにはRSSフィードが用意されており、更新を追うこともできます。

まとめ

AIの学習を拒否するか許可するかは、サイトの性格によって答えが変わります。OpenAIの場合はGPTBotとOAI-SearchBotが独立しているので、学習は断りつつ検索には出す、という選び方ができる点を押さえておけば、robots.txtの数行で意思表示できます。こうした実務を体系的に学びたい方は、デジライズAIスクールのコース一覧を見てみてください。個人向けのオンラインAIスクールで動画は990本以上あり、「IT・デジタルのAI活用全体図(職種別|IT・デジタル)」のような講座から始められます。

出典


この記事は、各社の公式の発表をもとに AI で下書きし、出典の本文との照合とGoogle 検索による事実確認(ファクトチェック)を通ったものだけを公開しています。

AI学習を拒否するrobots.txt設定|ChatGPT対応 | デジライズAIスクール