本文へスキップ
SPCXTools

Robots.txt 作成ツール

検索エンジンのクローラー制御やAIボットをブロックするためのカスタムrobots.txtファイルを生成・ダウンロードできます。

ローカルで動作 — ファイルは端末から出ません

ツールを読み込み中…

Robots.txt 作成ツールの使い方

  1. 1すべての検索エンジンに対するサイトのクロールを許可、または拒否するデフォルトポリシーを選択します。
  2. 2特定のユーザーエージェントやパスに対するカスタムルールを追加します（例：/admin/ や /private/ へのアクセスを拒否）。
  3. 3クロール遅延を任意で設定し、過剰なクロールによるサーバーへの負荷を防ぎます。
  4. 4「AIクローラーをブロック」にチェックを入れると、一般的なAIボットによるコンテンツのスクレイピングを防ぐルールが即座に追加されます。
  5. 5サイトマップのURLを入力し、生成されたコードをコピーするか、ファイルをデバイスに直接ダウンロードします。

高速・安全な robots.txt 作成ツール

検索エンジンやウェブスクレイパーによるウェブサイトへのアクセスを適切に管理することは、SEO対策やサーバーのパフォーマンス維持において非常に重要です。この robots.txt 作成ツールを使えば、構文を手動で記述することなく、直感的な操作画面からクローラー向けの指示を作成、管理、エクスポートできます。

ツールはすべてブラウザ上で動作するため、サイト構造や非公開パス、設定内容などの機密情報が外部に漏れることはありません。入力したデータがサーバーに送信されることは一切なく、リアルタイムで更新される出力結果をすぐにコピーまたはダウンロードして利用できます。

主な機能

デフォルトのアクセスポリシー: まず、すべてのボットに対する基本的な動作を定義します。すべて許可（一般的な公開サイトの標準）、またはすべてブロック（ステージング環境やプライベートネットワークに有効）から選択できます。

カスタムディレクティブ: 特定のボットやパスに対する個別のルールを追加します。/admin/ や /search などの重要なディレクトリへのアクセスを全クローラーに対してブロックしつつ、特定のボットにのみアクセスを許可することができます。

AIクローラーのブロック: 大規模言語モデルの普及に伴い、AI学習用のコンテンツ収集（スクレイピング）を防ぎたいサイト管理者が増えています。本ツールには、AIクローラーをブロックする専用機能が備わっています。チェックを入れるだけで、GPTBot、ClaudeBot、PerplexityBot、Google-Extended、Applebot-Extended、Bytespiderなど、主要なAIボットに対する Disallow: / ディレクティブを即座に追加できます。

クロール遅延: 自動ボットによる大量のアクセスでサーバーに負荷がかかる場合、クロール遅延を設定できます。これにより Crawl-delay ディレクティブが出力され、リクエスト間隔として指定した秒数だけ待機するようボットに指示します。

サイトマップの追加: robots.txt の sitemap ディレクティブは、XMLサイトマップの場所を検索エンジンに伝える最も効率的な方法です。複数のサイトマップURLを（1行に1つずつ）貼り付けるだけで、適切な形式にフォーマットされ、ファイルの末尾に追加されます。

robots.txtの効果的な作成方法

robots.txtを作成する際は、クローラーが指示をどう解釈するかを理解することが重要です。ファイルはブロック単位で構成され、各ブロックはUser-agentの宣言で始まり、その後に適用するルールを記述します。

  1. User-agentの指定: User-agent（ユーザーエージェント）はボットの名前を指します。アスタリスク（*）を使うと、すべてのボットにルールが適用されます。Googleの画像クローラーのみを指定したい場合は、Googlebot-Imageを使用します。
  2. パスの定義: パスはドメインのルートからの相対パスで指定し、必ずスラッシュ（/）で始める必要があります。ディレクトリ全体をブロックする場合は末尾にスラッシュを付け（例: /private/）、特定のファイルをブロックする場合は拡張子を含めます（例: /data.csv）。
  3. 優先順位: 最近のクローラーの多くは、自身の名前に最も一致する具体的なUser-agentブロックを探します。例えばGooglebotがサイトをクロールする際、User-agent: Googlebotのルールに従い、User-agent: *のブロックは無視します。このジェネレーターは、正しく整ったファイルを出力するため、User-agentごとにルールを自動で整理します。

制限事項について

robots.txt作成ツールを使えば構文を簡単に記述できますが、このファイルでできないことを理解しておくことが重要です。

セキュリティ対策にはなりません。 robots.txtでパスをブロック（Disallow）すると、一般的なボットのクロールは防げますが、悪意のあるスクレイパーはファイルを完全に無視します。さらに、robots.txtはブラウザから誰でも閲覧できるため、隠したいディレクトリの場所を自ら公開していることになります。確実なセキュリティ対策には、適切な認証と401 Unauthorizedや403 ForbiddenなどのHTTPステータスコードを使用してください。

インデックス登録を完全に防ぐものではありません。 robots.txtでブロックされたページをGoogleはクロールしません。しかし、ウェブ上の他の場所からリンクされている場合、GoogleはURL自体をインデックスに登録する可能性があります（多くの場合、「このページに関する情報はありません」のようなメッセージが表示されます）。検索エンジンの結果からページを完全に削除したい場合は、robots.txtでクロールを許可した上で、代わりにnoindexHTMLタグを使用する必要があります。適切なタグは、当サイトのメタタグ作成ツールで生成できます。

配置とテスト

ルールの設定が完了したら、ダウンロードをクリックしてファイルを保存します。ファイル名は必ず robots.txt（すべて小文字）とし、ドメインのルートディレクトリにアップロードする必要があります。例：https://yourdomain.com/robots.txt。https://yourdomain.com/assets/robots.txt のようなサブフォルダに配置した場合、クローラーはファイルを見つけられず、制限が設定されていないものとみなします。

よくある質問

robots.txtファイルとは何ですか？
robots.txtファイルは、ウェブサイトのルートディレクトリに配置するシンプルなテキストファイルです。Googlebotなどのクローラーに対し、サイト内のどのページやファイルにアクセスしてよいか（またはアクセスしてはいけないか）を指示します。
AIクローラーをブロックするには？
このツールの「AIをブロック」オプションにチェックを入れると、GPTBot、ChatGPT-User、ClaudeBot、PerplexityBot、Google-Extendedなどの既知のAIクローラーをブロックするルールが自動的に追加されます。これにより、大規模言語モデルの学習にサイトのコンテンツを使用しないよう指示できます。
クロール遅延（Crawl-delay）とは何ですか？
クロール遅延（Crawl-delay）は、サーバーへの連続したリクエストの間にボットが待機する秒数を指定します。過剰なクロールによって帯域幅が消費されたり、サイトが重くなったりするのを防ぐのに役立ちます。Googleなど一部の検索エンジンはサポートしていませんが、他の多くの検索エンジンで有効です。
robots.txtファイルはどこに配置すればよいですか？
ウェブサイトの最上位であるルートディレクトリに配置する必要があります。例えば、ドメインが example.com の場合、必ず https://example.com/robots.txt でアクセスできるようにします。サブディレクトリに配置すると、クローラーに認識されません。
このツールを使うと、サイトのデータはサーバーに送信されますか？
いいえ。このrobots.txt作成ツールは、すべてお使いのブラウザ上でローカルに処理されます。設定したルール、パス、サイトマップURLなどが当社のサーバーに送信・保存されることは一切ありません。
robots.txtでページを検索結果から非表示にできますか？
必ずしもそうとは限りません。検索エンジンによるページコンテンツのクロールを防ぐことはできますが、他のサイトからリンクされている場合、URLが検索結果に表示される可能性があります。検索インデックスからページを完全に削除するには、代わりに「noindex」メタタグを使用してください。

関連ツール

メタタグ生成ツール検索結果のライブプレビューを見ながら、標準的なSEO、OGP、Twitterカードのメタタグを生成します。HTTPステータスコード標準的なHTTPレスポンスコードを検索・絞り込み、サーバーエラーやステータスメッセージの意味をすばやく確認できます。URLエンコード・デコードテキストをURL用にパーセントエンコーディングしたり、エンコードされたURLやクエリ文字列を読みやすいテキストにデコード（復元）したりできます。Base64エンコード＆デコードテキストとファイルをBase64に双方向変換。UTF-8とBase64URLに完全対応。Base64 画像変換Base64文字列やデータURIをデコードし、ブラウザ上で即座に表示・ダウンロード可能な画像に復元します。Chmod 計算ツールチェックボックス、8進数（755など）、記号表記（rwxr-xr-xなど）間でパーミッションを相互変換します。