🤖 robots.txt生成ツール

検索エンジンのクローラーにどのパスを許可し、どこをブロックするかを伝えるrobots.txtファイルを、数クリックで作成できるツールです。User-agentグループごとのAllow・DisallowルールとSitemapの場所を入力すると、標準形式のファイルをすぐに生成してダウンロードできます。

使い方

1. 「全許可・全ブロック」プリセットから始めるか、ルールを直接入力します。
2. User-agentを決め、Disallow・Allowのパスを1行に1つずつ書きます。
3. 必要ならグループを追加し、SitemapのURLを1行に1つずつ入力します。
4. 「robots.txtをコピー」または「ファイルをダウンロード」で結果を取得します。

よくある質問

入力したパスはサーバーに送信されますか？

いいえ。ルール入力もrobots.txt生成もすべてブラウザ内だけで行われ、どのパスやURLもサーバーに送信・保存されません。

作ったファイルはどこに置けばいいですか？

必ずサイトの最上位（ルート）にrobots.txtという名前で置く必要があります。例: https://example.com/robots.txt。サブフォルダに置くと検索エンジンが認識しません。

Disallowにすると検索結果から完全に消えますか？

いいえ。Disallowはクロール（訪問）を控えてほしいという案内にすぎず、インデックス自体を止めるものではありません。検索結果から確実に外すには、そのページにnoindexメタタグを使うか、アクセスを認証で保護する必要があります。