robots.txt ジェネレーター
robots.txtファイルをビジュアルエディタで生成。ボットのブロック、クロールルール設定、サイトマップ追加 — テンプレート付き
Tool UI component not found: dev/robots-txt
このツールについて
robots.txtファイルは、検索エンジンのクローラーにウェブサイトのどのページにアクセスできるか（できないか）を伝えます。サイトのルートディレクトリに配置され、行儀の良いクローラーがコンテンツをインデックスする前に最初にチェックするファイルです。
robots.txtの設定を間違えると、Googleがサイト全体をインデックスできなくなったり、逆に非公開にしたい管理ページを誤って公開してしまうこともあります。このジェネレーターは、ビジュアルエディタで正しいrobots.txtを作成できます — ボットごとのルール追加、Allow/Disallowパスの設定、サイトマップURLの指定、よくある設定のテンプレートを使用できます。
生成されるファイルは、Google、Bing、Yandexなど主要な検索エンジンがサポートするRobots Exclusion Protocol標準に準拠しています。
使い方
1. テンプレートから始めるか、ゼロから作成
2. User-agentグループを追加 — 各グループは特定のボット（または*で全ボット）をターゲット
3. 各グループにAllowとDisallowルールを追加
4. 対応ボット向けにCrawl-delayを設定（オプション）
5. サイトマップURLを下部に追加
6. 生成されたrobots.txtをコピーして、サイトのルートディレクトリにアップロード
よくある質問
robots.txtファイルはどこに置く？
robots.txtファイルはウェブサイトのルートディレクトリに配置し、https://yourdomain.com/robots.txt でアクセスできる必要があります。サブディレクトリに置いても機能しません。
robots.txtでページをブロックするとGoogleの検索結果に表示されない？
正確には違います。robots.txtはクロールをブロックしますが、インデックス登録をブロックするわけではありません。他のサイトからDisallowしたページへのリンクがある場合、Googleは（スニペットなしで）検索結果に表示することがあります。完全にインデックスをブロックするには、'noindex'メタタグを使用してください。
'User-agent: *'とは？
アスタリスク（*）はすべてのクローラーにマッチするワイルドカードです。'User-agent: *'の下のルールは、ファイル内に専用セクションがないすべてのボットに適用されます。
GPTBotなどのAIクローラーをブロックすべき？
それはあなたの判断次第です。コンテンツをAI学習に使われたくない場合は、'User-agent: GPTBot'と'Disallow: /'を追加してOpenAIのクローラーをブロックできます。Google-ExtendedやCCBotなど他のAIボット用にも同様のルールがあります。
Crawl-delayとは？
Crawl-delayは、ボットにリクエスト間で指定秒数待つよう伝えます。BingとYandexはサポートしていますが、Googleは無視します。過度なクロールでサーバーに負荷がかかっている場合に使用してください。
robots.txtのパスでワイルドカードは使える？
GoogleとBingは限定的なワイルドカードをサポートしています：*は任意の文字列にマッチし、$はURLの終端を示します。例えば、'Disallow: /*.pdf$'はすべてのPDFファイルをブロックします。すべてのボットがこれらの拡張機能をサポートしているわけではありません。