robots.txtでAIクローラーを許可・拒否する方法（GPTBot・ClaudeBotなど）

結論： AIのクローラーは、「学習用」「検索用」「利用者の操作で動くもの」に分かれ、それぞれ別の名前で指定します。AI検索に自社の情報を出したいなら、検索用のクローラーを拒否しないことが前提です。学習に使われたくない場合だけ、学習用を個別に拒否します。

まず、robots.txtとは

robots.txt は、サイトのいちばん上の階層（https://example.com/robots.txt）に置く、クローラー向けの案内ファイルです。「このクローラーは、どこを見てよいか」を書きます。

強制力はありません。 あくまで、守るクローラーに向けたお願いです。見られたくない情報は、robots.txtではなく、パスワードなどで守ります。

提供元	名前（User-agent）	役割
OpenAI	`GPTBot`	モデルの学習用
OpenAI	`OAI-SearchBot`	ChatGPTの検索機能に、サイトを表示するため
OpenAI	`ChatGPT-User`	利用者の操作に応じて、ページを取得する。robots.txtのルールが適用されない場合があると、公式が説明している
Anthropic	`ClaudeBot`	モデルの学習用
Anthropic	`Claude-SearchBot`	検索結果の品質向上のため、ページを調べる
Anthropic	`Claude-User`	利用者の質問に応じて、ページを取得する
Google	`Google-Extended`	Geminiなどの学習・参照に使うかどうかの指定。Google検索での表示順位には影響しない
Perplexity	`PerplexityBot`	検索結果のために、ページを調べる

名前や役割は変わります。設定する前に、必ず各社の公式ドキュメントで最新の情報を確認してください（OpenAI、Anthropicの公式ドキュメント）。なお、Anthropicの古い名前（anthropic-ai、claude-web）は、すでに使われていません。

すべて許可する（AI検索にも出したい場合。多くの企業サイトの基本形）

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

学習には使われたくないが、検索には出したい場合

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: *
Allow: /

学習用だけを拒否して、検索用（OAI-SearchBot、Claude-SearchBot）は拒否しない、という書き方です。

検索用のクローラーを拒否する： そのAIの検索回答に、自社のサイトが出にくくなります。OpenAIは、OAI-SearchBot を拒否すると、ChatGPTの検索の回答に表示されなくなる、と説明しています。反映には、最大で24時間ほどかかる場合があります。
学習用を拒否する： AIの検索回答への出方に、直接の影響があるとは、確認されていません。ただし、AIがどう扱うかは公開されていないため、断定はできません。
Disallow: / を、うっかり全体に書く： 検索エンジンからも見えなくなります。サイトを作り直したときに、テスト用の設定が残っていて起きることが多い失敗です。

当サイトは、AIのクローラーも含めて、拒否しない設定にしています。会社の情報を正しく見つけてもらうことを優先しているためです。この方針は、状況を見て見直します。

Q. AIに学習されたくない場合は、どうしますか？
学習用のクローラー（GPTBot、ClaudeBot など）を、名前を指定して拒否します。ただし、守らないクローラーもあるため、完全には防げません。

Q. robots.txtを書くと、AIに引用されやすくなりますか？
いいえ。拒否していないことの確認にはなりますが、引用を増やす設定ではありません。

Q. ChatGPT-User を拒否しても大丈夫ですか？
OpenAIは、ChatGPT-User には、robots.txtのルールが適用されない場合があると説明しています。確実に止められるとは考えないでください。

AI検索に出したいなら、検索用のクローラーを拒否しない。学習を避けたいなら、学習用だけを名前で拒否する。この2つを覚えておけば足ります。全体の考え方は、AIO（AI検索対策）とはで説明しています。サイトの設定の確認は、無料サイトチェックでもお受けしています。