robots.txtのDisallowとnoindexの違いと検索除外

検索結果から外そうとrobots.txtにDisallowを書いたのに、何日経ってもそのURLが検索に出てくる。そんな経験はありませんか。設定ミスではなく、Disallowがそもそもその役割を担っていないからです。
robots.txtはロボットがページを読み取ること(クロール)を制御するファイルで、検索結果に載せるかどうか(インデックス)を決めるのはnoindexです。階層が違う2つの設定なので、一方がもう一方の代わりにはなれません。
まとめ ①
Disallowはクロールを禁止するシグナルです。Googleのドキュメントには、robots.txtでブロックされたページでも、他のサイトからリンクされていればインデックスされる可能性があると明記されています。 ② その場合、検索結果には説明文のない状態でURLだけが表示されます。 ③ 検索から外すにはnoindexを使う必要がありますが、robots.txtでブロックしているとロボットはそのnoindexを見られません。 この2つを併用してはいけません。
ブロックしたのに検索に出るのはなぜか
Google検索セントラルのドキュメントの表現をそのまま引くと、robots.txtでdisallowされたページも他のサイトからリンクされていればインデックスされる可能性があります。そしてそうやってインデックスされた結果には説明文が付きません。
理由はシンプルです。ロボットはページ本文を読めなかっただけで、「そういうURLが存在する」という事実と、そのURLを指す外部リンクのアンカーテキストは、robots.txtとは関係なく把握できます。
だからブロックは正しく守られているのに、URLは検索に残ります。Google Search Consoleのページのインデックス作成レポートでは、この状態がIndexed, though blocked by robots.txt(robots.txtでブロックされているがインデックス済み)という警告として表示されます。
つまり「ブロックしたのになぜ出るのか」は不具合ではなく、役割を選び間違えた結果です。
クロールとインデックスは階層が違う
2つの設定がどこに置かれ、何を止めるのかを比べると違いがはっきりします。
robots.txtのDisallow | noindex | |
|---|---|---|
| 止める対象 | クロール(ロボットがページを読むこと) | インデックス(検索結果に登録されること) |
| 書く場所 | サイト最上位の/robots.txtファイル | ページのmetaタグ、またはHTTPレスポンスヘッダー |
| ロボットがルールを見るには | robots.txtファイルを読むだけでよい | そのページをクロールできる必要がある |
| すでにインデックスされたURL | そのまま残ることがある | 再クロールされたあとに消える |
表の3行目がこの記事の核心です。noindexはページの中に書くシグナルなので、ロボットがそのページを開いてみて初めて読めます。
そのため、同じURLにDisallowとnoindexを同時に指定すると、かえってインデックスが維持されます。Googleのドキュメントも「noindexルールが機能するには、そのページがrobots.txtでブロックされていてはいけない」と明言しています。
目的別に何を使うべきか
求める結果によって、選ぶべき手段は変わります。
| やりたいこと | 使うもの |
|---|---|
| クロールのトラフィックを減らしたい | robots.txtのDisallow |
| 検索結果から外したい | noindex(クロールは開いたまま) |
| 誰にも見せたくない | パスワード保護、またはページの削除 |
Googleが検索に表示されないようにするために推奨している方法は3つです。ファイルにパスワードをかける、noindexメタタグかレスポンスヘッダーを使う、ページ自体を削除する。robots.txtによるブロックはこのリストに入っていません。
もう1点押さえておきたいのは、robots.txtはあくまでロボットへのお願いであり、ファイル自体は誰でも見られるということです。機密性の高いパスをDisallowに書いておくと、かえってそのパスの一覧を公開する格好になります。
ツールを使わずに確認・作成する方法
まず現状を確認する
ブラウザのアドレスバーでドメインの後ろに/robots.txtを付けて開くと、現在適用されているファイルがそのまま表示されます。このファイルはサイト最上位のパスに、小文字のrobots.txtという名前で置く必要があり(RFC 9309)、下位フォルダに置いても認識されません。
ページのnoindexの有無は、ブラウザでページのソース表示を開き、<meta name="robots" content="noindex">があるかを探せばわかります。HTMLではないファイル(PDFなど)はレスポンスヘッダーで指定するので、curl -I URLでX-Robots-Tagを確認します。
robots.txtの文法は4行で足りる
Googleがサポートするフィールドはuser-agent、allow、disallow、sitemapの4つです。1つのグループはUser-agentで始まり、その下のルールがそのロボットに適用されます。
User-agent: *
Allow: /admin/help/
Disallow: /admin/
Disallow: /search
Sitemap: https://example.com/sitemap.xml
Disallow:の後を空にすると何もブロックしないという意味です(RFCの空パターン)。全体を許可するときはこう書きます。- 全体ブロックは
Disallow: /です。スラッシュ1つの違いで正反対になります。 - ルールが重なった場合はより具体的なもの、つまりパスが最も長いルールが優先されます。長さまで同じなら
Allowが優先です。 - パスは大文字と小文字を区別します。
/Admin/と/admin/は別のパスです。 - クローラーは
*(0文字以上の任意の文字)と$(パスの末尾)をサポートする必要があります。Disallow: /*.pdf$のように使います。 #以降はコメントです。
上の例では/admin/help/がDisallow: /admin/よりパスが長く具体的なので、管理フォルダをブロックしつつヘルプだけを開いておく形になります。
置き場所と反映のタイミング
ファイルはホスト・プロトコル・ポート単位で適用されます。blog.example.comとexample.comはそれぞれ自前のrobots.txtが必要です。
反映も即時ではありません。Googleはrobots.txtを通常最大24時間キャッシュし、RFC 9309もクローラーがキャッシュしたファイルを24時間を超えて使い続けないよう推奨しています。またGoogleは500 KiBを超える部分を無視します。
私たちのツールで作る。 グループを複数使っていると、グループ間の空行、パスの先頭のスラッシュ、フィールド名の綴りでミスが起きがちです。ツールはUser-agentとDisallow・Allowのパス(1行に1つ)、SitemapのURLを入力すれば、規格に合ったファイルをその場で組み立てて表示します。全体許可・全体ブロックのプリセット、User-agentグループの追加、コピーとファイルのダウンロードボタンがあります。
ツールにはCrawl-delayの欄もありますが任意項目です。Googleはサポートするフィールドの一覧にcrawl-delayを入れていないため、他の検索エンジンのために必要な場合でなければ空欄のままでかまいません。
インストールも会員登録も不要で、ブラウザ内でそのまま組み立てられます。入力したパスはサーバーに送信されません。

つまずきやすいポイント
すでにインデックスされたURLを外すには順番が重要です。Disallowを先に解除しなければ、ロボットが入ってnoindexを読み、インデックスから外すことができません。ブロックを維持したままnoindexだけを入れても何も起きません。
| 状況 | どうなるか |
|---|---|
robots.txtにNoindex:の行を書く | Googleがサポートしないフィールドなので無視されます |
Disallowとnoindexを同時に適用 | noindexが読まれず、インデックスが残ります |
Crawl-delayを指定 | Googleはサポートしていません |
| CSS・JSのフォルダをブロック | ページのレンダリングに必要なファイルまで塞がれ、評価が変わり得ます |
機密情報のパスをDisallowに列挙 | ファイルが公開されるため、パスがそのまま露出します |
Crawl-delayはRFC 9309で定義されたフィールドではなく、Googleもサポートするフィールドの一覧に入れていません。ただし他の検索エンジンが解釈する場合があるため、必要な場合はその検索エンジンのウェブマスタードキュメントで対応状況を確認するのが正確です。
急いで結果を下げたいときはSearch Consoleの削除ツールを使えますが、これはあくまで一時的な措置です。Googleのドキュメントではリクエストが約6か月ほどしか維持されないと案内されているので、その間にnoindexや削除といった恒久的な対応を済ませておく必要があります。
まとめ
- robots.txt の
Disallowはクロール禁止であり、検索結果からの除外ではありません。 - ブロックしたURLでも外部リンクがあればインデックスされることがあり、その場合は説明なしでURLだけが表示されます。
- 検索結果から外すには
noindexメタタグやX-Robots-Tagレスポンスヘッダーを使い、そのページのクロールは許可したままにします。 - 両方を同時に設定すると
noindexが読まれず、逆の結果になります。すでにブロックしている場合は、まずブロックを解除します。 - 完全に隠したい内容はパスワード保護や削除で対応します。robots.txt は公開ファイルです。
- ファイルは最上位のパスに小文字の
robots.txtとして置き、ルールは最も長いパスが優先され、大文字と小文字を区別します。
インストールも会員登録も不要で、ブラウザ内でそのまま組み立てられます。入力したパスはサーバーに送信されません。
よくある質問
robots.txt に noindex と書けばいいのでは?
Google は robots.txt ファイルで noindex を指定する方法をサポートしていないと明記しています。対応しているフィールドは user-agent、allow、disallow、sitemap の4つだけで、それ以外の行は無視されます。noindex はページの meta タグか HTTP レスポンスヘッダーに入れる必要があります。
すでに検索結果に出ているURLを外すには、どの順番で進めればいいですか?
まず robots.txt でそのパスの Disallow を解除し、ロボットがページにアクセスできるようにします。次にページへ noindex を設定し、再クロールされるのを待ちます。急ぎの場合はサーチコンソールの削除ツールで一時的な対応ができますが、約6か月間の措置なので、その間に noindex の設定やページの削除で完了させます。
Crawl-delay を入れたのにクロール速度が変わりません
Google が対応しているフィールドに crawl-delay がないためです。RFC 9309 にも定義されていない非標準のフィールドなので、解釈されるかどうかは検索エンジンによって異なります。利用している検索エンジンのウェブマスターツールのドキュメントで対応状況を確認し、対応していない場合はサーバー側の設定や各ツールが提供するクロール速度の設定を確認するほうが確実です。
サブドメインや http・https でもファイルを別に作る必要がありますか?
はい。robots.txt はホスト・プロトコル・ポート単位で適用されます。https://example.com/robots.txt のルールは https://blog.example.com には適用されず、各ホストが自分の最上位パスにファイルを持っている必要があります。ポートが異なるアドレスも同様に別扱いです。
この記事は韓国語の原文をもとに作成しています。 韓国語の原文を読む