OAI-SearchBot、GPTBot、ChatGPT-Userの違い
OpenAIのクローラーは目的別に3種類あります。ChatGPTの検索に出るためのbot、学習用のbot、利用者の操作で読みに来るアクセスの違いと、robots.txtでの許可・拒否の決め方を整理します。
「AIに勝手に学習されたくないので、AIのクローラーは全部止めてください」——制作会社にこう頼むと、ChatGPTの検索で御社が紹介される機会まで止まることがあります。OpenAIは、目的の違う3種類のアクセスを別々の名前(User-Agent)で案内しており、robots.txtで別々に許可・拒否できます。
3つの違いを1枚で
2026年10月時点のOpenAIの公式資料(Overview of OpenAI Crawlers)にもとづく整理です。
| OAI-SearchBot | GPTBot | ChatGPT-User | |
|---|---|---|---|
| 目的 | ChatGPTの検索機能で、サイトを見つけて結果に出す | 生成AIモデルの学習に使う可能性のある取得 | 利用者がChatGPTに頼んだときに、そのページを読みに行く |
| 誰のきっかけで来るか | OpenAIの巡回 | OpenAIの巡回 | ChatGPTを使っている人の操作 |
| 拒否するとどうなるか | ChatGPTの検索の回答で、御社のページが紹介されにくくなる | 学習に使ってほしくないという意思表示になる | 下記の注意を参照 |
| 当サービスの採点 | 採点する(検索・回答用) | 採点しない(経営判断) | 採点する(検索・回答用) |
ChatGPT-Userの注意点
ChatGPT-Userは、自動で巡回するbotではなく、利用者が「このページを要約して」などと頼んだときのアクセスです。OpenAIの資料では、利用者の操作によるアクセスのため robots.txtのルールが自動巡回と同じようには適用されない場合がある という趣旨の説明がされています。扱いは変わることがあるため、止めたい事情がある場合は、その時点の公式資料を確認してください。
Googleの場合(参考)
Googleにも似た区分があります。Google-Extended は、GeminiなどGoogleの生成AIの改善や回答の根拠づけにサイトの内容を使ってよいかを指定するための名前で、Google検索への掲載や順位には影響しないとGoogleは説明しています。Google検索のAIによる概要(AI Overviews)は検索の一部のため、Google-Extendedを拒否しても外れません。Googlebotを拒否すると、検索そのものから消えます。
自分で確認する方法
- ブラウザで
https://自社ドメイン/robots.txtを開く User-agent:の行を探し、次のどれに当たるかを見る
# 例1:全部許可(何も書いていない、またはこれだけ)
User-agent: *
Allow: /
# 例2:学習用だけ拒否(検索での紹介は許可)
User-agent: GPTBot
Disallow: /
# 例3:注意が必要な書き方(検索用まで止まっている)
User-agent: OAI-SearchBot
Disallow: /
Disallow: /は「サイト全体を取得しないで」、Disallow:(空)は「制限なし」です。1文字の違いで意味が逆になります- robots.txt が無い(404)場合は、すべて許可と同じ扱いです
WordPressのセキュリティ系プラグインやCDNの「AIボット対策」機能が、robots.txtとは別に、アクセス自体を遮断していることもあります。この場合はrobots.txtを見ても分かりません。管理画面や契約しているサービスの設定画面で、「AIクローラーをブロック」のような項目がオンになっていないかを確認してください。
よくある誤解
- 「robots.txtで拒否すればAIに一切使われない」:robots.txtは行儀のよいbotが従う「お願い」で、強制力はありません。また、過去に取得された情報や、他のサイトに書かれた御社の情報は対象外です
- 「GPTBotを拒否するとChatGPTに出なくなる」:OpenAIの説明では、検索用はOAI-SearchBotで別です
- 「全部許可すると情報漏えいになる」:robots.txtで許可するのは、すでに誰でも見られる公開ページの取得です。見せたくない情報は、そもそも公開ページに置かない・ログインで守るのが正しい対策です。逆に、robots.txtに秘密のパスを書くと、その場所を公開しているのと同じになります
- 「一度設定すれば終わり」:クローラーの名前や役割は各社が変更することがあります。年に数回は公式資料を確認してください
当サービスの診断ではこう判定します
当社のAI検索向けの確認では、robots.txtを読み、検索・回答用のクローラー(Googlebot、Bingbot、OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User)を拒否していないかを「検索・回答用クローラーの許可」(20点)で採点します。
| 判定 | 条件 | 点数 |
|---|---|---|
| 合格 | 検索・回答用をすべて許可 | 20点 |
| 一部 | 一部を拒否(Googlebot・Bingbotは許可) | 10点 |
| 不合格 | Googlebotを拒否 | 0点(総合点の上限20点) |
| 不合格 | 検索・回答用をすべて拒否 | 0点(総合点の上限30点) |
GPTBot・ClaudeBot・Google-Extendedなど学習用のクローラーは、許可・拒否の一覧を表示するだけで点数に入れません。学習に使わせるかどうかは、各社の方針で決めてよい経営判断だからです。
当サイトの robots.txt は、/go(転送用)と /api/ 以外をすべてのクローラーに許可しています。サービスの説明を正しく読んでもらうことを優先した判断です。
方針の決め方と、依頼文の例
まず社内で「学習に使われてもよいか」「AIの検索・回答で紹介されたいか」の2つを分けて決めます。多くの会社にとって後者は「紹介されたい」のはずで、そうであれば検索・回答用は許可します。
件名:robots.txt の AI クローラー設定の確認と変更のお願い
お世話になっております。弊社サイトの robots.txt について、次の方針で設定をお願いします。
・検索・回答用(Googlebot、Bingbot、OAI-SearchBot、ChatGPT-User、PerplexityBot など)は許可
・学習用の GPTBot、ClaudeBot、Google-Extended は拒否(※弊社方針。許可でよければこの行は不要)
・セキュリティプラグインや CDN 側で AI ボットを一括遮断する設定があれば、上記と矛盾しないか確認
変更後の robots.txt の内容をお送りください。
あわせて、AIが読みに来たときに会社情報やサービスを読み取れる状態かも確認しておくと効果的です。詳しくはAIに会社情報を読み取ってもらうための基本項目をご覧ください。llms.txtを検討している場合はllms.txtでできること、できないことも参考になります。
robots.txtの見直しから会社情報・FAQの整備まで、まとめて任せたい場合はAIに伝わる情報設計パック、AIで実際にどう紹介されているかの確認はAI検索での紹介のされ方の点検・改善で対応します。
自社のサイトがAI検索からどう見えているか分からない場合は、無料のご相談からお気軽にお問い合わせください。
よくある質問
GPTBotを拒否すると、ChatGPTの検索に出なくなりますか?
OpenAIの説明では、検索に使うのはOAI-SearchBotで、GPTBotとは別に指定できます。GPTBotだけを拒否しても、OAI-SearchBotを許可していれば検索での表示の対象から外れることはありません。
robots.txtで拒否すれば、すでに学習されたデータも消えますか?
robots.txtはこれからの取得についての指示です。過去に取得された情報の扱いは各社の方針によるため、robots.txtだけで消えるとは考えないでください。
参照資料
- OpenAI:Overview of OpenAI Crawlers(2026.10.01 確認)
- Google 検索セントラル:robots.txt の概要(2026.10.01 確認)
- RFC 9309 Robots Exclusion Protocol(2026.10.01 確認)
- Google 検索セントラル:Google のクローラーとフェッチャーの一覧(Google-Extended の説明)(2026.10.01 確認)