OAI-SearchBotとは、ChatGPTの検索機能でウェブサイトを見つけるためのOpenAIのクローラーです。検索への掲載を目指し、学習への利用は拒否したい場合は、robots.txtでOAI-SearchBotを許可し、学習用のGPTBotを拒否できます。
ChatGPT検索に出したいページは、robots.txtの許可に加えて、サーバーやCDNがOpenAIの公開IP範囲からの取得を妨げていないか確認します。設定後も検索結果への掲載は保証されません。OpenAI公式のクローラー仕様では、robots.txtの変更が検索システムに反映されるまで約24時間かかる場合があると案内しています。
要点
- OAI-SearchBotはChatGPT検索用のクローラーで、学習用のGPTBotとはrobots.txtで個別に設定できます。
- 公開ページだけを通したい場合は、OAI-SearchBot専用の設定に既存のパス制限を引き継ぎます。
- 検索に出ないときは、対象URLの設定、公開IPからの取得、検索回答への掲載を分けて確認します。
OAI-SearchBotとは何か。GPTBot・ChatGPT-User との違い
OpenAI の公式ドキュメントでは、crawler の役割は用途ごとに分かれています。OAI-SearchBot は ChatGPT Search でサイトを表示するための crawler、GPTBot は生成 AI 基盤モデルの学習用 crawler、ChatGPT-User はユーザーや Custom GPT の操作に応じてページへアクセスする user agent です。したがって、Search に載りたいか、学習を許可するか、ユーザー起点アクセスをどう扱うかは、別々に考える必要があります。
この違いを混同すると、たとえば GPTBot を disallow しただけで Search にも出なくなると誤解したり、逆に OAI-SearchBot を止めているのに「なぜ ChatGPT Search に載らないのか」と本文改善ばかり見てしまったりします。OpenAI は ChatGPT Search ヘルプ でも、掲載対象となる前提として OAI-SearchBot のクロール許可と公開 IP の許可を案内しています。
| user agent | 主な役割 | robots.txt | 実務で見るべき点 |
|---|---|---|---|
| OAI-SearchBot | ChatGPT の検索機能にサイトを表示するためのクロール | 適用される | robots.txt と CDN / WAF で通っているか |
| GPTBot | 生成 AI 基盤モデルの学習に使う可能性のあるクロール | 適用される | 学習利用を許可するかどうか |
| ChatGPT-User | ChatGPT や GPT でユーザーが操作したときのアクセス（自動クロールではない） | 適用されない場合がある | 検索への表示とは関係しない。アクセス制御は WAF などで考える |
| OAI-AdsBot | ChatGPT 広告として申請されたランディングページの安全確認 | ドキュメントに記載なし | 広告を出すなら、申請したページに到達できるか |
OpenAI は各 bot の IP 範囲を公開しています（OAI-SearchBot は https://openai.com/searchbot.json、GPTBot は gptbot.json、ChatGPT-User は chatgpt-user.json、OAI-AdsBot は adsbot.json）。なお、OAI-SearchBot と GPTBot の両方を許可している場合、OpenAI は1回のクロール結果を両方の目的に使うことがあります。
ChatGPT Search に出るかを見たいときは、まず OAI-SearchBot を見ます。GPTBot と ChatGPT-User は別の問いです。
AIクローラー管理はSearch・Agent・Trainingで分ける
OAI-SearchBot、GPTBot、ChatGPT-User の違いは、OpenAI だけの個別設定ではありません。AI検索やAIエージェントが広がるほど、サイト側では「検索に出すためのクロール」「ユーザーの依頼でページを開くアクセス」「モデル学習のためのクロール」を分けて扱う必要が出てきます。
Cloudflare は 2026年7月1日の公式発表で、AI traffic を Search、Agent、Training の3分類で管理する考え方を示しました。発表では、Search はコンテンツを索引化して後から回答に使う動き、Agent は人の依頼を実行するためのリアルタイムなアクセス、Training はモデルの学習や微調整のためにコンテンツを取り込む動きとして整理されています。これは、OAI-SearchBot、GPTBot、ChatGPT-User を別々に見る実務感覚と近い分類です。
| 管理単位 | 代表的な見方 | BtoBサイトでの判断 |
|---|---|---|
| Search | 検索やAI回答で見つけてもらうためのクロール | 公開記事、比較表、FAQ、製品情報は許可を基本にし、noindex対象だけを分ける |
| Agent | ユーザーの依頼でページを開く、フォーム確認や購買補助などのアクセス | 問い合わせフォーム、ログイン前ページ、価格表では悪用対策と正規アクセスの両立を見る |
| Training | モデル学習や微調整のためにコンテンツを取り込むクロール | 検索掲載とは別に、学習利用を許可するかを法務・ブランド方針として決める |
Cloudflareの利用者は、管理画面の「Security」→「Settings」で「Bot traffic」を絞り込み、AI Crawler and Agent access policiesでSearch・Agent・Trainingの設定を確認します。Cloudflareの現行ドキュメントでは、新規ドメインは3分類とも既定で許可です。Training向けの設定は検索と学習を兼ねるクローラーにも適用されるため、利用中のドメインでは実際の設定とログを確認します。
この分類で見ると、robots.txt の設定だけで完結させない方が安全です。たとえば ChatGPT Search に出したいページは OAI-SearchBot を通しつつ、学習用の GPTBot は止める。さらに CDN や WAF では、正規の Search crawler まで一括で弾かないようにする。逆に、フォームや管理画面に近い領域では、ユーザー代理の Agent アクセスをどこまで許可するかを別に決める。このように、公開ページ、フォーム、会員・管理領域で設定方針を分けると、AI検索の露出とデータ保護を両立しやすくなります。
robots.txt と noindex をどう設定すべきか
OAI-SearchBot を許可したいなら、robots.txt 側で明示的に妨げないことが出発点です。OpenAI のドキュメントでは、OAI-SearchBot を拒否したサイトは ChatGPT の検索回答には表示されないものの、ナビゲーション用のリンクとしては表示される可能性があると案内されています。クロールの拒否と検索結果からの除外は別の操作です。たとえばGoogle検索でnoindexを使うには、Googlebotがページを取得して指示を読める状態にします。Googleのrobotsメタタグ仕様も確認してください。
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /この例は、検索用クローラーにサイト全体の取得を許可し、学習用クローラーには全体を拒否する設定です。既存のファイルを置き換える際は、ほかのクローラー向けのルールやSitemap行を保ちます。
既存のパス制限を引き継ぐ設定例
たとえば、User-agent: *で/members/を除外しているサイトにOAI-SearchBot専用の設定を追加するなら、専用のグループにもその制限を書きます。robots.txtの標準仕様（RFC 9309）では、クローラー名に一致するグループがある場合、共通の*は引き継がれません。同じクローラー名のグループが複数ある場合はルールが結合されます。
User-agent: *
Disallow: /members/
User-agent: OAI-SearchBot
Allow: /
Disallow: /members/
User-agent: GPTBot
Disallow: /この例では、OAI-SearchBotは/products/を取得でき、/members/の下は取得しません。パスの判定ルールでは、一致したルールのうち、より具体的なパスが優先されます。会員向けの情報は、引き続き認証で保護します。
| やりたいこと | robots.txt の書き方 |
|---|---|
| 検索には出し、学習には使わせない | User-agent: OAI-SearchBot / Allow: / と User-agent: GPTBot / Disallow: / |
| 検索にも学習にも使わせない | OAI-SearchBot と GPTBot の両方を Disallow: / |
| 一部のディレクトリだけ検索から外す | User-agent: OAI-SearchBot / Disallow: /members/ のようにパスを指定 |
ChatGPT-User はユーザーの操作によるアクセスのため、robots.txt で止められない場合があります。会員ページや管理画面など、ユーザー経由でも開かせたくない領域は、robots.txt ではなくログインなどのアクセス制御で守ります。
公開後に確認すべきポイント
OpenAI の crawler docs では、robots.txt 更新後に反映が調整されるまでおよそ 24 時間かかることがあると案内されています。したがって、変更直後に 1 回見て終わりではなく、公開、反映待ち、再確認までをセットで運用した方が確実です。
たとえば製品比較ページを検索で見つけてもらいたい場合は、担当者が対象URLを1本決めて検証します。同じURLで、取得の可否と検索回答への掲載を分けて記録します。
- 公開URLと取得条件を確認する。 ログアウト状態で対象ページが開き、最終URLで製品名・比較条件が読めることを確認します。公開先ホストのルートにある
/robots.txtを開き、OAI-SearchBot用の設定を対象パスに当てはめます。 - CDNやWAFのアクセスログを確認する。 時刻、アクセス先パス、User-Agent、送信元IP、応答を記録します。名前だけでは送信元を判断できないため、OpenAIが公開するIP範囲と照合します。
/robots.txtへのアクセスと、製品ページ本文へのアクセスは別々に確認します。 - 反映後に同じ条件で再確認する。 変更時刻を控え、約24時間を目安にログを見直します。取得を確認したら、ChatGPTで顧客が使う比較の質問を試し、出典とリンク先を記録します。流入はChatGPT検索からの流入計測で別に確認します。
| ログや画面で見つかったこと | 確認する場所 | 次の操作 |
|---|---|---|
| 対象パスが専用グループで拒否されている | 公開中の/robots.txt | 対象パスと一致するルールを確認し、公開したい範囲だけを許可する |
| 公開IPから対象ページへのアクセスが403、または認証画面に転送される | CDN・WAFのイベント、リダイレクト設定 | 拒否を起こした設定を特定し、公開ページに限って到達できるようにする |
/robots.txtの取得記録はあるが、対象ページの記録がない | URL単位のログ、公開中の内部リンク | ルール反映後も確認し、トップやカテゴリから製品ページへたどれるかを見る |
| 対象ページを取得できているが、比較の質問で出典に出ない | 実際の検索回答、製品ページの比較条件や根拠 | 質問が求める条件をページで答えられているか確認し、ChatGPT検索向けの本文設計を見直す |
OAI-SearchBot 設定で起こりやすい失敗
- GPTBot を止めれば Search も止まる、あるいはその逆だと誤解する。
- robots.txt では許可しているのに、CDN や WAF 側で公開 IP を弾いている。
- 公開したい製品ページに、検証環境から引き継いだnoindexや認証が残っている。
- 公開条件だけ整えて、本文の比較軸や責任主体を見直さないまま終える（ChatGPT 検索で表示されるための条件も確認する）。
よくある質問
OAI-SearchBotを許可すれば必ず ChatGPT Search に表示されますか？
必ずではありません。OpenAI も複数要因で決まると案内しており、許可はあくまで前提条件です。
GPTBot を止めても ChatGPT Search に出せますか？
はい。OpenAI の crawler docs では設定は独立していると案内されています。
ChatGPT-User も robots.txt で管理すべきですか？
ChatGPT-User はユーザーの操作によるアクセスで、OpenAI は robots.txt が適用されない場合があると説明しています。また、ChatGPT の検索に表示されるかどうかは ChatGPT-User では決まりません。検索への表示は OAI-SearchBot、学習は GPTBot で管理し、ユーザー経由のアクセスを止めたい領域はログインなどのアクセス制御で守ります。
AIクローラーはSearch・Agent・Trainingで分けるべきですか？
分けるべきです。検索に出すためのクロール、ユーザーの依頼でページを開くアクセス、モデル学習のためのクロールは目的もリスクも違います。公開記事はSearchを通し、学習利用は別に判断し、フォームやログイン周辺ではAgentアクセスの扱いを個別に決めると整理しやすくなります。
OAI-SearchBot を disallow してもリンクが表示されることはありますか？
あります。OpenAI のドキュメントでは、OAI-SearchBot を拒否したサイトは ChatGPT の検索回答には表示されないものの、ナビゲーション用のリンクとしては表示される可能性があると案内されています。
OAI-AdsBot とは何ですか？
ChatGPT に広告として申請されたランディングページの安全性を確認するための OpenAI のクローラーです。申請されたページだけを訪れ、取得したデータは基盤モデルの学習には使われないと説明されています。ChatGPT 広告を出す場合は、申請したページに到達できるかを確認します。
