robots.txt Disallow vs. noindex: Warum gesperrte Seiten erscheinen

VeröffentlichtToolrobots.txt-Generator

Inhalt
  1. Warum erscheint eine gesperrte Seite trotzdem in der Suche?
  2. Crawling und Indexierung sind zwei verschiedene Ebenen
  3. Welches Mittel für welches Ziel?
  4. Prüfen und Schreiben ohne Hilfsmittel
  5. Typische Stolperstellen
  6. Zusammenfassung
  7. Häufig gestellte Fragen

Sie haben in der robots.txt ein Disallow eingetragen, um eine Seite aus den Suchergebnissen zu entfernen, doch auch nach Tagen taucht die Adresse noch in der Suche auf. Das liegt nicht an einer falschen Einstellung: Disallow ist für diese Aufgabe schlicht nicht gedacht.

Die robots.txt steuert, ob ein Crawler eine Seite abrufen und lesen darf (Crawling). Ob die Seite in den Suchergebnissen erscheint (Indexierung), legt dagegen noindex fest. Es sind zwei Einstellungen auf unterschiedlichen Ebenen, und keine kann die andere ersetzen.

Kurzfassung ① Disallow ist ein Signal, das das Crawling untersagt. Laut Google-Dokumentation kann eine per robots.txt gesperrte Seite trotzdem indexiert werden, wenn andere Websites auf sie verlinken. ② In den Suchergebnissen erscheint dann nur die Adresse, ohne Beschreibung. ③ Um eine Seite aus der Suche herauszuhalten, brauchen Sie noindex. Ist die Seite per robots.txt gesperrt, kann der Crawler dieses noindex aber nicht sehen. Kombinieren Sie die beiden daher nicht.

Warum erscheint eine gesperrte Seite trotzdem in der Suche?

Sinngemäß nach der Google-Dokumentation (Google Search Central): Auch Seiten, die in der robots.txt mit Disallow gesperrt sind, können indexiert werden, wenn andere Websites auf sie verlinken. Solche Treffer werden ohne Beschreibung angezeigt.

Der Grund ist einfach. Der Crawler hat zwar den Inhalt der Seite nicht gelesen, aber die Tatsache, dass es diese Adresse gibt, und den Ankertext externer Links, die auf sie zeigen, kennt er unabhängig von der robots.txt.

Die Sperre wird also korrekt eingehalten, und die Adresse bleibt trotzdem in der Suche. In der Google Search Console zeigt der Bericht „Seitenindexierung“ diesen Zustand als Hinweis Indexed, though blocked by robots.txt (trotz Sperrung durch robots.txt indexiert) an.

„Ich habe die Seite gesperrt, warum erscheint sie trotzdem?“ ist demnach keine Fehlfunktion, sondern die Folge eines falsch gewählten Mittels.

Crawling und Indexierung sind zwei verschiedene Ebenen

Ein Vergleich zeigt, wo die beiden Einstellungen stehen und was sie jeweils verhindern.

Disallow in der robots.txtnoindex
Was wird verhindert?Crawling (der Crawler liest die Seite)Indexierung (Aufnahme in die Suchergebnisse)
Wo steht die Angabe?In der Datei /robots.txt im Stammverzeichnis der WebsiteIm meta-Tag der Seite oder im HTTP-Antwort-Header
Damit der Crawler die Regel siehtEr muss nur die robots.txt lesenEr muss die Seite crawlen können
Bereits indexierte AdresseKann bestehen bleibenVerschwindet, sobald die Seite erneut gecrawlt wurde

Die dritte Zeile der Tabelle ist der Kern dieses Artikels. noindex ist ein Signal, das auf der Seite selbst steht. Der Crawler kann es also nur lesen, wenn er die Seite aufrufen darf.

Setzen Sie Disallow und noindex gleichzeitig auf dieselbe Adresse, bleibt sie sogar eher im Index. Auch die Google-Dokumentation hält fest: Damit die noindex-Regel wirkt, darf die Seite nicht per robots.txt gesperrt sein.

Welches Mittel für welches Ziel?

Je nach gewünschtem Ergebnis kommt ein anderes Mittel infrage.

ZielGeeignetes Mittel
Crawling-Traffic verringernDisallow in der robots.txt
Seite aus den Suchergebnissen entfernennoindex (Crawling bleibt dabei erlaubt)
Seite für niemanden sichtbar machenPasswortschutz oder Seite löschen

Google empfiehlt drei Wege, damit Inhalte nicht in der Suche erscheinen: die Datei mit einem Passwort schützen, ein noindex-Meta-Tag oder einen Antwort-Header verwenden oder die Seite ganz löschen. Eine Sperre per robots.txt gehört nicht zu dieser Liste.

Noch ein Hinweis: Die robots.txt ist lediglich eine Bitte an Crawler, und die Datei selbst kann jeder aufrufen. Wer sensible Pfade unter Disallow einträgt, veröffentlicht damit praktisch eine Liste dieser Pfade.

Prüfen und Schreiben ohne Hilfsmittel

Zuerst den aktuellen Stand prüfen

Hängen Sie in der Adresszeile des Browsers /robots.txt an die Domain an, sehen Sie die aktuell gültige Datei im Original. Sie muss im Stammverzeichnis der Website unter dem kleingeschriebenen Namen robots.txt liegen (RFC 9309). In einem Unterordner wird sie nicht erkannt.

Ob eine Seite noindex trägt, finden Sie heraus, indem Sie sich im Browser den Seitenquelltext anzeigen lassen und nach <meta name="robots" content="noindex"> suchen. Bei Dateien, die kein HTML sind (z. B. PDF), wird die Angabe über den Antwort-Header gesetzt. Prüfen Sie X-Robots-Tag dann mit curl -I Adresse.

Die Syntax der robots.txt besteht aus wenigen Zeilen

Google unterstützt vier Felder: user-agent, allow, disallow und sitemap. Eine Gruppe beginnt mit User-agent, die darunter stehenden Regeln gelten für diesen Crawler.

User-agent: *
Allow: /admin/help/
Disallow: /admin/
Disallow: /search

Sitemap: https://example.com/sitemap.xml
  • Bleibt der Wert hinter Disallow: leer, wird nichts gesperrt (leeres Muster laut RFC). So drücken Sie „alles erlaubt“ aus.
  • Alles sperren erreichen Sie mit Disallow: /. Ein einziger Schrägstrich macht den Unterschied zum genauen Gegenteil.
  • Überschneiden sich Regeln, gewinnt die spezifischste, also die Regel mit dem längsten Pfad. Bei gleicher Länge hat Allow Vorrang.
  • Pfade sind groß-/kleinschreibungsabhängig. /Admin/ und /admin/ sind verschiedene Pfade.
  • Crawler müssen * (beliebig viele beliebige Zeichen, auch keines) und $ (Pfadende) unterstützen, z. B. Disallow: /*.pdf$.
  • Alles hinter # ist ein Kommentar.

Im Beispiel oben ist /admin/help/ länger als Disallow: /admin/ und damit spezifischer. Der Admin-Ordner ist also gesperrt, nur der Hilfebereich bleibt zugänglich.

Speicherort und Zeitpunkt der Wirkung

Die Datei gilt pro Host, Protokoll und Port. blog.example.com und example.com brauchen jeweils eine eigene robots.txt.

Auch wirksam wird eine Änderung nicht sofort. Google speichert die robots.txt in der Regel bis zu 24 Stunden im Cache, und auch RFC 9309 empfiehlt Crawlern, eine zwischengespeicherte Datei nicht länger als 24 Stunden zu verwenden. Außerdem ignoriert Google alles, was über 500 KiB hinausgeht.

Mit unserem robots.txt-Generator erstellen. Wer mehrere Gruppen schreibt, macht schnell Fehler bei der Leerzeile zwischen den Gruppen, beim Schrägstrich am Pfadanfang oder bei der Schreibweise der Feldnamen. Im Tool tragen Sie User-agent, die Pfade für Disallow und Allow (einen pro Zeile) sowie die Sitemap-Adresse ein, und die Datei wird sofort regelkonform zusammengesetzt und angezeigt. Es gibt die Voreinstellungen Alles erlauben und Alles sperren, eine Schaltfläche zum Hinzufügen weiterer User-agent-Gruppen sowie Schaltflächen zum Kopieren und zum Herunterladen der Datei.

Das Tool hat außerdem ein Feld für Crawl-delay, das optional ist. Google führt crawl-delay nicht in seiner Liste der unterstützten Felder. Sie können es also leer lassen, sofern Sie es nicht für andere Suchmaschinen benötigen.

robots.txt-Generator

Der robots.txt-Generator läuft direkt im Browser, ohne Installation und ohne Registrierung. Die eingegebenen Pfade werden nicht an einen Server übertragen.

Typische Stolperstellen

Wenn Sie eine bereits indexierte Adresse entfernen wollen, kommt es auf die Reihenfolge an. Sie müssen Disallow zuerst aufheben, damit der Crawler die Seite aufrufen, das noindex lesen und die Seite aus dem Index nehmen kann. Bleibt die Sperre bestehen und Sie setzen nur noindex, passiert nichts.

SituationWas passiert?
Eine Zeile Noindex: in der robots.txtGoogle unterstützt dieses Feld nicht und ignoriert es
Disallow und noindex gleichzeitignoindex wird nicht gelesen, der Eintrag bleibt im Index
Crawl-delay angegebenGoogle unterstützt es nicht
CSS- und JS-Ordner gesperrtAuch Dateien, die zum Rendern der Seite nötig sind, werden blockiert, was die Bewertung verändern kann
Pfade zu sensiblen Informationen unter Disallow aufgelistetDie Datei ist öffentlich, die Pfade sind damit sichtbar

Crawl-delay ist kein in RFC 9309 definiertes Feld, und Google führt es ebenfalls nicht unter den unterstützten Feldern. Manche andere Suchmaschinen werten es jedoch aus. Wenn Sie es brauchen, prüfen Sie am sichersten in der Webmaster-Dokumentation der jeweiligen Suchmaschine, ob es unterstützt wird.

Müssen Sie ein Ergebnis dringend entfernen, können Sie das Entfernen-Tool der Search Console nutzen, das ist aber nur eine vorübergehende Maßnahme. Laut Google-Dokumentation bleibt der Antrag nur etwa 6 Monate wirksam. In dieser Zeit sollten Sie eine dauerhafte Lösung wie noindex oder das Löschen der Seite umsetzen.

Zusammenfassung

  • Disallow in der robots.txt verbietet das Crawling, schließt eine Seite aber nicht aus den Suchergebnissen aus.
  • Auch gesperrte URLs können indexiert werden, wenn externe Links auf sie verweisen. Sie erscheinen dann nur mit der Adresse, ohne Beschreibung.
  • Um eine Seite aus der Suche herauszuhalten, verwenden Sie das Meta-Tag noindex oder den HTTP-Header X-Robots-Tag und lassen das Crawling dieser Seite zu.
  • Wenn Sie beides kombinieren, kann noindex nicht gelesen werden, und es tritt das Gegenteil des gewünschten Effekts ein. Haben Sie die Seite bereits gesperrt, heben Sie zuerst die Sperre auf.
  • Inhalte, die vollständig verborgen bleiben müssen, schützen Sie per Passwort oder löschen sie. Die robots.txt ist eine öffentliche Datei.
  • Legen Sie die Datei im Stammverzeichnis unter dem kleingeschriebenen Namen robots.txt ab. Bei den Regeln hat der längste Pfad Vorrang, und es wird zwischen Groß- und Kleinschreibung unterschieden.
robots.txt-Generator

Der robots.txt-Generator läuft direkt im Browser, ohne Installation und ohne Registrierung. Die eingegebenen Pfade werden nicht an einen Server übertragen.

Häufig gestellte Fragen

Kann ich nicht einfach noindex in die robots.txt schreiben?

Google gibt ausdrücklich an, dass die Angabe von noindex in der robots.txt nicht unterstützt wird. Unterstützt werden nur die vier Felder user-agent, allow, disallow und sitemap; alle anderen Zeilen werden ignoriert. noindex gehört in das meta-Tag der Seite oder in den HTTP-Antwort-Header.

In welcher Reihenfolge entferne ich eine bereits in der Suche angezeigte URL?

Heben Sie zunächst in der robots.txt das Disallow für den betreffenden Pfad auf, damit der Bot auf die Seite zugreifen kann. Setzen Sie anschließend noindex auf die Seite und warten Sie, bis sie erneut gecrawlt wird. Wenn es eilt, können Sie in der Search Console das Tool zum Entfernen von URLs als vorübergehende Maßnahme nutzen. Es gilt allerdings nur etwa 6 Monate, daher sollten Sie in dieser Zeit mit noindex oder dem Löschen der Seite für eine dauerhafte Lösung sorgen.

Ich habe Crawl-delay eingetragen, aber die Crawling-Geschwindigkeit ändert sich nicht

Das liegt daran, dass crawl-delay nicht zu den Feldern gehört, die Google unterstützt. Es handelt sich um ein nicht standardisiertes Feld, das auch in RFC 9309 nicht definiert ist, daher interpretieren es die Suchmaschinen unterschiedlich. Prüfen Sie in der Dokumentation der Webmaster-Tools Ihrer Suchmaschine, ob das Feld unterstützt wird. Falls nicht, sind Einstellungen auf Serverseite oder die Optionen zur Crawling-Rate, die die jeweiligen Tools bieten, der sicherere Weg.

Brauche ich für Subdomains oder http und https jeweils eine eigene Datei?

Ja. Die robots.txt gilt jeweils für Host, Protokoll und Port. Die Regeln unter https://example.com/robots.txt gelten nicht für https://blog.example.com; jeder Host muss in seinem eigenen Stammverzeichnis eine Datei bereitstellen. Auch eine Adresse mit einem anderen Port wird getrennt betrachtet.

Dieser Artikel basiert auf unserem koreanischen Original. Koreanisches Original lesen

Ähnliche Artikel

  1. Unterschrift als transparentes PNG erstellen und direkt speichernWarum gezeichnete Unterschriften als PNG transparent bleiben und wie sich Bildsignatur und qualifizierte elektronische Signatur unterscheiden.
  2. Sitemap priority und changefreq: Google ignoriert beide WerteGoogle ignoriert priority und changefreq in der Sitemap. Hier lesen Sie, was die Werte laut Standard bedeuten, wann lastmod zählt und warum keine Indexierung folgt.
  3. Personen auf Teams aufteilen: Rechnung bei ungleichen GruppenWie viele Personen landen in welchem Team, wenn die Aufteilung nicht aufgeht? Rechenweg für Teamzahl und Teamgröße samt Verteilung des Rests.
  4. Testdaten ohne echte Kundendaten: Warum und wie Sie Dummy-Daten erzeugenWarum echte Kundendaten nicht in Testumgebungen gehören, wie Sie Ihre Testdaten prüfen und mit reservierten Domains nach RFC 2606 und UUIDs fiktive Daten erzeugen.
  5. Benutzername schon vergeben: Nicknames, die nicht doppelt sindWarum Benutzernamen bei der Registrierung oft vergeben sind und wie Sie aus Adjektiv, Substantiv und Zahl mehrere Nicknames auf einmal erzeugen.
  6. UUID v4: Aufbau, Kollisionswahrscheinlichkeit und 122 BitWarum UUID v4 im Format 8-4-4-4-12 vorliegt, was die 4 und 8, 9, a, b bedeuten (RFC 9562) und wie hoch die Kollisionswahrscheinlichkeit bei 122 Bit ist.

Passende Tools