robots.txt Disallow vs. noindex: Warum gesperrte Seiten erscheinen

Inhalt
Sie haben in der robots.txt ein Disallow eingetragen, um eine Seite aus den Suchergebnissen zu entfernen, doch auch nach Tagen taucht die Adresse noch in der Suche auf. Das liegt nicht an einer falschen Einstellung: Disallow ist für diese Aufgabe schlicht nicht gedacht.
Die robots.txt steuert, ob ein Crawler eine Seite abrufen und lesen darf (Crawling). Ob die Seite in den Suchergebnissen erscheint (Indexierung), legt dagegen noindex fest. Es sind zwei Einstellungen auf unterschiedlichen Ebenen, und keine kann die andere ersetzen.
Kurzfassung ①
Disallowist ein Signal, das das Crawling untersagt. Laut Google-Dokumentation kann eine per robots.txt gesperrte Seite trotzdem indexiert werden, wenn andere Websites auf sie verlinken. ② In den Suchergebnissen erscheint dann nur die Adresse, ohne Beschreibung. ③ Um eine Seite aus der Suche herauszuhalten, brauchen Sienoindex. Ist die Seite per robots.txt gesperrt, kann der Crawler diesesnoindexaber nicht sehen. Kombinieren Sie die beiden daher nicht.
Warum erscheint eine gesperrte Seite trotzdem in der Suche?
Sinngemäß nach der Google-Dokumentation (Google Search Central): Auch Seiten, die in der robots.txt mit Disallow gesperrt sind, können indexiert werden, wenn andere Websites auf sie verlinken. Solche Treffer werden ohne Beschreibung angezeigt.
Der Grund ist einfach. Der Crawler hat zwar den Inhalt der Seite nicht gelesen, aber die Tatsache, dass es diese Adresse gibt, und den Ankertext externer Links, die auf sie zeigen, kennt er unabhängig von der robots.txt.
Die Sperre wird also korrekt eingehalten, und die Adresse bleibt trotzdem in der Suche. In der Google Search Console zeigt der Bericht „Seitenindexierung“ diesen Zustand als Hinweis Indexed, though blocked by robots.txt (trotz Sperrung durch robots.txt indexiert) an.
„Ich habe die Seite gesperrt, warum erscheint sie trotzdem?“ ist demnach keine Fehlfunktion, sondern die Folge eines falsch gewählten Mittels.
Crawling und Indexierung sind zwei verschiedene Ebenen
Ein Vergleich zeigt, wo die beiden Einstellungen stehen und was sie jeweils verhindern.
Disallow in der robots.txt | noindex | |
|---|---|---|
| Was wird verhindert? | Crawling (der Crawler liest die Seite) | Indexierung (Aufnahme in die Suchergebnisse) |
| Wo steht die Angabe? | In der Datei /robots.txt im Stammverzeichnis der Website | Im meta-Tag der Seite oder im HTTP-Antwort-Header |
| Damit der Crawler die Regel sieht | Er muss nur die robots.txt lesen | Er muss die Seite crawlen können |
| Bereits indexierte Adresse | Kann bestehen bleiben | Verschwindet, sobald die Seite erneut gecrawlt wurde |
Die dritte Zeile der Tabelle ist der Kern dieses Artikels. noindex ist ein Signal, das auf der Seite selbst steht. Der Crawler kann es also nur lesen, wenn er die Seite aufrufen darf.
Setzen Sie Disallow und noindex gleichzeitig auf dieselbe Adresse, bleibt sie sogar eher im Index. Auch die Google-Dokumentation hält fest: Damit die noindex-Regel wirkt, darf die Seite nicht per robots.txt gesperrt sein.
Welches Mittel für welches Ziel?
Je nach gewünschtem Ergebnis kommt ein anderes Mittel infrage.
| Ziel | Geeignetes Mittel |
|---|---|
| Crawling-Traffic verringern | Disallow in der robots.txt |
| Seite aus den Suchergebnissen entfernen | noindex (Crawling bleibt dabei erlaubt) |
| Seite für niemanden sichtbar machen | Passwortschutz oder Seite löschen |
Google empfiehlt drei Wege, damit Inhalte nicht in der Suche erscheinen: die Datei mit einem Passwort schützen, ein noindex-Meta-Tag oder einen Antwort-Header verwenden oder die Seite ganz löschen. Eine Sperre per robots.txt gehört nicht zu dieser Liste.
Noch ein Hinweis: Die robots.txt ist lediglich eine Bitte an Crawler, und die Datei selbst kann jeder aufrufen. Wer sensible Pfade unter Disallow einträgt, veröffentlicht damit praktisch eine Liste dieser Pfade.
Prüfen und Schreiben ohne Hilfsmittel
Zuerst den aktuellen Stand prüfen
Hängen Sie in der Adresszeile des Browsers /robots.txt an die Domain an, sehen Sie die aktuell gültige Datei im Original. Sie muss im Stammverzeichnis der Website unter dem kleingeschriebenen Namen robots.txt liegen (RFC 9309). In einem Unterordner wird sie nicht erkannt.
Ob eine Seite noindex trägt, finden Sie heraus, indem Sie sich im Browser den Seitenquelltext anzeigen lassen und nach <meta name="robots" content="noindex"> suchen. Bei Dateien, die kein HTML sind (z. B. PDF), wird die Angabe über den Antwort-Header gesetzt. Prüfen Sie X-Robots-Tag dann mit curl -I Adresse.
Die Syntax der robots.txt besteht aus wenigen Zeilen
Google unterstützt vier Felder: user-agent, allow, disallow und sitemap. Eine Gruppe beginnt mit User-agent, die darunter stehenden Regeln gelten für diesen Crawler.
User-agent: *
Allow: /admin/help/
Disallow: /admin/
Disallow: /search
Sitemap: https://example.com/sitemap.xml
- Bleibt der Wert hinter
Disallow:leer, wird nichts gesperrt (leeres Muster laut RFC). So drücken Sie „alles erlaubt“ aus. - Alles sperren erreichen Sie mit
Disallow: /. Ein einziger Schrägstrich macht den Unterschied zum genauen Gegenteil. - Überschneiden sich Regeln, gewinnt die spezifischste, also die Regel mit dem längsten Pfad. Bei gleicher Länge hat
AllowVorrang. - Pfade sind groß-/kleinschreibungsabhängig.
/Admin/und/admin/sind verschiedene Pfade. - Crawler müssen
*(beliebig viele beliebige Zeichen, auch keines) und$(Pfadende) unterstützen, z. B.Disallow: /*.pdf$. - Alles hinter
#ist ein Kommentar.
Im Beispiel oben ist /admin/help/ länger als Disallow: /admin/ und damit spezifischer. Der Admin-Ordner ist also gesperrt, nur der Hilfebereich bleibt zugänglich.
Speicherort und Zeitpunkt der Wirkung
Die Datei gilt pro Host, Protokoll und Port. blog.example.com und example.com brauchen jeweils eine eigene robots.txt.
Auch wirksam wird eine Änderung nicht sofort. Google speichert die robots.txt in der Regel bis zu 24 Stunden im Cache, und auch RFC 9309 empfiehlt Crawlern, eine zwischengespeicherte Datei nicht länger als 24 Stunden zu verwenden. Außerdem ignoriert Google alles, was über 500 KiB hinausgeht.
Mit unserem robots.txt-Generator erstellen. Wer mehrere Gruppen schreibt, macht schnell Fehler bei der Leerzeile zwischen den Gruppen, beim Schrägstrich am Pfadanfang oder bei der Schreibweise der Feldnamen. Im Tool tragen Sie User-agent, die Pfade für Disallow und Allow (einen pro Zeile) sowie die Sitemap-Adresse ein, und die Datei wird sofort regelkonform zusammengesetzt und angezeigt. Es gibt die Voreinstellungen Alles erlauben und Alles sperren, eine Schaltfläche zum Hinzufügen weiterer User-agent-Gruppen sowie Schaltflächen zum Kopieren und zum Herunterladen der Datei.
Das Tool hat außerdem ein Feld für Crawl-delay, das optional ist. Google führt crawl-delay nicht in seiner Liste der unterstützten Felder. Sie können es also leer lassen, sofern Sie es nicht für andere Suchmaschinen benötigen.
Der robots.txt-Generator läuft direkt im Browser, ohne Installation und ohne Registrierung. Die eingegebenen Pfade werden nicht an einen Server übertragen.

Typische Stolperstellen
Wenn Sie eine bereits indexierte Adresse entfernen wollen, kommt es auf die Reihenfolge an. Sie müssen Disallow zuerst aufheben, damit der Crawler die Seite aufrufen, das noindex lesen und die Seite aus dem Index nehmen kann. Bleibt die Sperre bestehen und Sie setzen nur noindex, passiert nichts.
| Situation | Was passiert? |
|---|---|
Eine Zeile Noindex: in der robots.txt | Google unterstützt dieses Feld nicht und ignoriert es |
Disallow und noindex gleichzeitig | noindex wird nicht gelesen, der Eintrag bleibt im Index |
Crawl-delay angegeben | Google unterstützt es nicht |
| CSS- und JS-Ordner gesperrt | Auch Dateien, die zum Rendern der Seite nötig sind, werden blockiert, was die Bewertung verändern kann |
Pfade zu sensiblen Informationen unter Disallow aufgelistet | Die Datei ist öffentlich, die Pfade sind damit sichtbar |
Crawl-delay ist kein in RFC 9309 definiertes Feld, und Google führt es ebenfalls nicht unter den unterstützten Feldern. Manche andere Suchmaschinen werten es jedoch aus. Wenn Sie es brauchen, prüfen Sie am sichersten in der Webmaster-Dokumentation der jeweiligen Suchmaschine, ob es unterstützt wird.
Müssen Sie ein Ergebnis dringend entfernen, können Sie das Entfernen-Tool der Search Console nutzen, das ist aber nur eine vorübergehende Maßnahme. Laut Google-Dokumentation bleibt der Antrag nur etwa 6 Monate wirksam. In dieser Zeit sollten Sie eine dauerhafte Lösung wie noindex oder das Löschen der Seite umsetzen.
Zusammenfassung
Disallowin der robots.txt verbietet das Crawling, schließt eine Seite aber nicht aus den Suchergebnissen aus.- Auch gesperrte URLs können indexiert werden, wenn externe Links auf sie verweisen. Sie erscheinen dann nur mit der Adresse, ohne Beschreibung.
- Um eine Seite aus der Suche herauszuhalten, verwenden Sie das Meta-Tag
noindexoder den HTTP-HeaderX-Robots-Tagund lassen das Crawling dieser Seite zu. - Wenn Sie beides kombinieren, kann
noindexnicht gelesen werden, und es tritt das Gegenteil des gewünschten Effekts ein. Haben Sie die Seite bereits gesperrt, heben Sie zuerst die Sperre auf. - Inhalte, die vollständig verborgen bleiben müssen, schützen Sie per Passwort oder löschen sie. Die robots.txt ist eine öffentliche Datei.
- Legen Sie die Datei im Stammverzeichnis unter dem kleingeschriebenen Namen
robots.txtab. Bei den Regeln hat der längste Pfad Vorrang, und es wird zwischen Groß- und Kleinschreibung unterschieden.
Der robots.txt-Generator läuft direkt im Browser, ohne Installation und ohne Registrierung. Die eingegebenen Pfade werden nicht an einen Server übertragen.
Häufig gestellte Fragen
Kann ich nicht einfach noindex in die robots.txt schreiben?
Google gibt ausdrücklich an, dass die Angabe von noindex in der robots.txt nicht unterstützt wird. Unterstützt werden nur die vier Felder user-agent, allow, disallow und sitemap; alle anderen Zeilen werden ignoriert. noindex gehört in das meta-Tag der Seite oder in den HTTP-Antwort-Header.
In welcher Reihenfolge entferne ich eine bereits in der Suche angezeigte URL?
Heben Sie zunächst in der robots.txt das Disallow für den betreffenden Pfad auf, damit der Bot auf die Seite zugreifen kann. Setzen Sie anschließend noindex auf die Seite und warten Sie, bis sie erneut gecrawlt wird. Wenn es eilt, können Sie in der Search Console das Tool zum Entfernen von URLs als vorübergehende Maßnahme nutzen. Es gilt allerdings nur etwa 6 Monate, daher sollten Sie in dieser Zeit mit noindex oder dem Löschen der Seite für eine dauerhafte Lösung sorgen.
Ich habe Crawl-delay eingetragen, aber die Crawling-Geschwindigkeit ändert sich nicht
Das liegt daran, dass crawl-delay nicht zu den Feldern gehört, die Google unterstützt. Es handelt sich um ein nicht standardisiertes Feld, das auch in RFC 9309 nicht definiert ist, daher interpretieren es die Suchmaschinen unterschiedlich. Prüfen Sie in der Dokumentation der Webmaster-Tools Ihrer Suchmaschine, ob das Feld unterstützt wird. Falls nicht, sind Einstellungen auf Serverseite oder die Optionen zur Crawling-Rate, die die jeweiligen Tools bieten, der sicherere Weg.
Brauche ich für Subdomains oder http und https jeweils eine eigene Datei?
Ja. Die robots.txt gilt jeweils für Host, Protokoll und Port. Die Regeln unter https://example.com/robots.txt gelten nicht für https://blog.example.com; jeder Host muss in seinem eigenen Stammverzeichnis eine Datei bereitstellen. Auch eine Adresse mit einem anderen Port wird getrennt betrachtet.
Dieser Artikel basiert auf unserem koreanischen Original. Koreanisches Original lesen