robots.txtのDisallowとnoindexの違いと検索除外

公開ツールrobots.txt生成ツール

目次
  1. ブロックしたのに検索に出るのはなぜか
  2. クロールとインデックスは階層が違う
  3. 目的別に何を使うべきか
  4. ツールを使わずに確認・作成する方法
  5. つまずきやすいポイント
  6. まとめ
  7. よくある質問

検索結果から外そうとrobots.txtにDisallowを書いたのに、何日経ってもそのURLが検索に出てくる。そんな経験はありませんか。設定ミスではなく、Disallowがそもそもその役割を担っていないからです。

robots.txtはロボットがページを読み取ること(クロール)を制御するファイルで、検索結果に載せるかどうか(インデックス)を決めるのはnoindexです。階層が違う2つの設定なので、一方がもう一方の代わりにはなれません。

まとめ ① Disallowはクロールを禁止するシグナルです。Googleのドキュメントには、robots.txtでブロックされたページでも、他のサイトからリンクされていればインデックスされる可能性があると明記されています。 ② その場合、検索結果には説明文のない状態でURLだけが表示されます。 ③ 検索から外すにはnoindexを使う必要がありますが、robots.txtでブロックしているとロボットはそのnoindexを見られません。 この2つを併用してはいけません。

ブロックしたのに検索に出るのはなぜか

Google検索セントラルのドキュメントの表現をそのまま引くと、robots.txtでdisallowされたページも他のサイトからリンクされていればインデックスされる可能性があります。そしてそうやってインデックスされた結果には説明文が付きません。

理由はシンプルです。ロボットはページ本文を読めなかっただけで、「そういうURLが存在する」という事実と、そのURLを指す外部リンクのアンカーテキストは、robots.txtとは関係なく把握できます。

だからブロックは正しく守られているのに、URLは検索に残ります。Google Search Consoleのページのインデックス作成レポートでは、この状態がIndexed, though blocked by robots.txt(robots.txtでブロックされているがインデックス済み)という警告として表示されます。

つまり「ブロックしたのになぜ出るのか」は不具合ではなく、役割を選び間違えた結果です。

クロールとインデックスは階層が違う

2つの設定がどこに置かれ、何を止めるのかを比べると違いがはっきりします。

robots.txtのDisallownoindex
止める対象クロール(ロボットがページを読むこと)インデックス(検索結果に登録されること)
書く場所サイト最上位の/robots.txtファイルページのmetaタグ、またはHTTPレスポンスヘッダー
ロボットがルールを見るにはrobots.txtファイルを読むだけでよいそのページをクロールできる必要がある
すでにインデックスされたURLそのまま残ることがある再クロールされたあとに消える

表の3行目がこの記事の核心です。noindexはページの中に書くシグナルなので、ロボットがそのページを開いてみて初めて読めます。

そのため、同じURLにDisallowとnoindexを同時に指定すると、かえってインデックスが維持されます。Googleのドキュメントも「noindexルールが機能するには、そのページがrobots.txtでブロックされていてはいけない」と明言しています。

目的別に何を使うべきか

求める結果によって、選ぶべき手段は変わります。

やりたいこと使うもの
クロールのトラフィックを減らしたいrobots.txtのDisallow
検索結果から外したいnoindex(クロールは開いたまま)
誰にも見せたくないパスワード保護、またはページの削除

Googleが検索に表示されないようにするために推奨している方法は3つです。ファイルにパスワードをかける、noindexメタタグかレスポンスヘッダーを使う、ページ自体を削除する。robots.txtによるブロックはこのリストに入っていません。

もう1点押さえておきたいのは、robots.txtはあくまでロボットへのお願いであり、ファイル自体は誰でも見られるということです。機密性の高いパスをDisallowに書いておくと、かえってそのパスの一覧を公開する格好になります。

ツールを使わずに確認・作成する方法

まず現状を確認する

ブラウザのアドレスバーでドメインの後ろに/robots.txtを付けて開くと、現在適用されているファイルがそのまま表示されます。このファイルはサイト最上位のパスに、小文字のrobots.txtという名前で置く必要があり(RFC 9309)、下位フォルダに置いても認識されません。

ページのnoindexの有無は、ブラウザでページのソース表示を開き、<meta name="robots" content="noindex">があるかを探せばわかります。HTMLではないファイル(PDFなど)はレスポンスヘッダーで指定するので、curl -I URLでX-Robots-Tagを確認します。

robots.txtの文法は4行で足りる

Googleがサポートするフィールドはuser-agent、allow、disallow、sitemapの4つです。1つのグループはUser-agentで始まり、その下のルールがそのロボットに適用されます。

User-agent: *
Allow: /admin/help/
Disallow: /admin/
Disallow: /search

Sitemap: https://example.com/sitemap.xml
  • Disallow:の後を空にすると何もブロックしないという意味です(RFCの空パターン)。全体を許可するときはこう書きます。
  • 全体ブロックはDisallow: /です。スラッシュ1つの違いで正反対になります。
  • ルールが重なった場合はより具体的なもの、つまりパスが最も長いルールが優先されます。長さまで同じならAllowが優先です。
  • パスは大文字と小文字を区別します。/Admin/と/admin/は別のパスです。
  • クローラーは*(0文字以上の任意の文字)と$(パスの末尾)をサポートする必要があります。Disallow: /*.pdf$のように使います。
  • #以降はコメントです。

上の例では/admin/help/がDisallow: /admin/よりパスが長く具体的なので、管理フォルダをブロックしつつヘルプだけを開いておく形になります。

置き場所と反映のタイミング

ファイルはホスト・プロトコル・ポート単位で適用されます。blog.example.comとexample.comはそれぞれ自前のrobots.txtが必要です。

反映も即時ではありません。Googleはrobots.txtを通常最大24時間キャッシュし、RFC 9309もクローラーがキャッシュしたファイルを24時間を超えて使い続けないよう推奨しています。またGoogleは500 KiBを超える部分を無視します。

私たちのツールで作る。 グループを複数使っていると、グループ間の空行、パスの先頭のスラッシュ、フィールド名の綴りでミスが起きがちです。ツールはUser-agentとDisallow・Allowのパス(1行に1つ)、SitemapのURLを入力すれば、規格に合ったファイルをその場で組み立てて表示します。全体許可・全体ブロックのプリセット、User-agentグループの追加、コピーとファイルのダウンロードボタンがあります。

ツールにはCrawl-delayの欄もありますが任意項目です。Googleはサポートするフィールドの一覧にcrawl-delayを入れていないため、他の検索エンジンのために必要な場合でなければ空欄のままでかまいません。

robots.txt生成ツール

インストールも会員登録も不要で、ブラウザ内でそのまま組み立てられます。入力したパスはサーバーに送信されません。

つまずきやすいポイント

すでにインデックスされたURLを外すには順番が重要です。Disallowを先に解除しなければ、ロボットが入ってnoindexを読み、インデックスから外すことができません。ブロックを維持したままnoindexだけを入れても何も起きません。

状況どうなるか
robots.txtにNoindex:の行を書くGoogleがサポートしないフィールドなので無視されます
Disallowとnoindexを同時に適用noindexが読まれず、インデックスが残ります
Crawl-delayを指定Googleはサポートしていません
CSS・JSのフォルダをブロックページのレンダリングに必要なファイルまで塞がれ、評価が変わり得ます
機密情報のパスをDisallowに列挙ファイルが公開されるため、パスがそのまま露出します

Crawl-delayはRFC 9309で定義されたフィールドではなく、Googleもサポートするフィールドの一覧に入れていません。ただし他の検索エンジンが解釈する場合があるため、必要な場合はその検索エンジンのウェブマスタードキュメントで対応状況を確認するのが正確です。

急いで結果を下げたいときはSearch Consoleの削除ツールを使えますが、これはあくまで一時的な措置です。Googleのドキュメントではリクエストが約6か月ほどしか維持されないと案内されているので、その間にnoindexや削除といった恒久的な対応を済ませておく必要があります。

まとめ

  • robots.txt の Disallow はクロール禁止であり、検索結果からの除外ではありません。
  • ブロックしたURLでも外部リンクがあればインデックスされることがあり、その場合は説明なしでURLだけが表示されます。
  • 検索結果から外すには noindex メタタグや X-Robots-Tag レスポンスヘッダーを使い、そのページのクロールは許可したままにします。
  • 両方を同時に設定すると noindex が読まれず、逆の結果になります。すでにブロックしている場合は、まずブロックを解除します。
  • 完全に隠したい内容はパスワード保護や削除で対応します。robots.txt は公開ファイルです。
  • ファイルは最上位のパスに小文字の robots.txt として置き、ルールは最も長いパスが優先され、大文字と小文字を区別します。
robots.txt生成ツール

インストールも会員登録も不要で、ブラウザ内でそのまま組み立てられます。入力したパスはサーバーに送信されません。

よくある質問

robots.txt に noindex と書けばいいのでは?

Google は robots.txt ファイルで noindex を指定する方法をサポートしていないと明記しています。対応しているフィールドは user-agent、allow、disallow、sitemap の4つだけで、それ以外の行は無視されます。noindex はページの meta タグか HTTP レスポンスヘッダーに入れる必要があります。

すでに検索結果に出ているURLを外すには、どの順番で進めればいいですか?

まず robots.txt でそのパスの Disallow を解除し、ロボットがページにアクセスできるようにします。次にページへ noindex を設定し、再クロールされるのを待ちます。急ぎの場合はサーチコンソールの削除ツールで一時的な対応ができますが、約6か月間の措置なので、その間に noindex の設定やページの削除で完了させます。

Crawl-delay を入れたのにクロール速度が変わりません

Google が対応しているフィールドに crawl-delay がないためです。RFC 9309 にも定義されていない非標準のフィールドなので、解釈されるかどうかは検索エンジンによって異なります。利用している検索エンジンのウェブマスターツールのドキュメントで対応状況を確認し、対応していない場合はサーバー側の設定や各ツールが提供するクロール速度の設定を確認するほうが確実です。

サブドメインや http・https でもファイルを別に作る必要がありますか?

はい。robots.txt はホスト・プロトコル・ポート単位で適用されます。https://example.com/robots.txt のルールは https://blog.example.com には適用されず、各ホストが自分の最上位パスにファイルを持っている必要があります。ポートが異なるアドレスも同様に別扱いです。

この記事は韓国語の原文をもとに作成しています。 韓国語の原文を読む

関連記事

  1. 手書き署名を背景透明のPNGで保存する方法キャンバスに描いた署名が背景透明のPNGで保存される仕組みと、JPGとの違い、契約書で使うときの画像署名と公認電子署名の技術的な違いをまとめました。
  2. sitemap priorityは無視される?lastmodの意味Googleはサイトマップのpriorityとchangefreqを無視すると公式に明記。既定値と範囲、lastmodが使われる条件、インデックスを保証しない理由をまとめました。
  3. 人数をチーム分けすると何人ずつ?余りの配分ルール22人を「1チーム5人」で分けると5人2チーム・4人3チームになる理由を、割り算の商と余りから解説します。チーム数基準との違いや余りの配分の決まり方も確認できます。
  4. テストデータに実データを使わない理由とダミーデータの作り方本番データをコピーするとダンプやログ、レポートに広がります。実データが混ざっていないか確認する方法と、RFC 2606の予約ドメインやUUIDで実在しないダミーデータを作る手順をまとめました。
  5. IDが重複しないユーザー名の作り方|形容詞+名詞+数字会員登録で「すでに使用されています」と表示される理由と、形容詞・名詞・数字を組み合わせて重複しにくいユーザー名を一度に複数作る方法をまとめました。
  6. UUID v4の構造と重複確率|122ビットの意味UUID v4が8-4-4-4-12で区切られる理由と、3つ目の4や4つ目の8・9・a・bの意味をRFC 9562に沿って解説。122ビットのランダム部分の重複確率も計算します。

関連ツール