robots.txt-Generator
Erlauben/Sperren pro User-Agent und Sitemap-Pfad eingeben – robots.txt sofort erzeugen
도구를 불러오는 중…
🔒 Alles läuft zu 100 % in Ihrem Browser. Ihre Dateien und Eingaben werden niemals auf einen Server hochgeladen.
Mit diesem Tool erstellst du in wenigen Klicks eine robots.txt-Datei, die Suchmaschinen-Crawlern mitteilt, welche Pfade erlaubt und welche gesperrt sind. Gib Allow-/Disallow-Regeln je User-Agent-Gruppe und den Sitemap-Pfad ein, und die Datei wird sofort im Standardformat erzeugt und zum Download bereitgestellt.
Anleitung
- Mit der Vorlage „Alles erlauben / alles sperren" starten oder Regeln direkt eingeben.
- Den User-Agent festlegen und Disallow-/Allow-Pfade zeilenweise (einen pro Zeile) eintragen.
- Bei Bedarf weitere Gruppen hinzufügen und Sitemap-URLs zeilenweise eintragen.
- Mit „robots.txt kopieren" oder „Datei herunterladen" das Ergebnis holen.
FAQ
- Werden die eingegebenen Pfade an einen Server gesendet?
- Nein. Regeleingabe und robots.txt-Erstellung laufen komplett im Browser ab; kein Pfad und keine URL wird an einen Server gesendet oder gespeichert.
- Wohin muss ich die fertige Datei hochladen?
- Sie muss zwingend im Stammverzeichnis der Website unter dem Namen robots.txt liegen, z. B. https://example.com/robots.txt. In einem Unterordner wird sie von Suchmaschinen nicht erkannt.
- Verschwindet eine Seite mit Disallow komplett aus den Suchergebnissen?
- Nein. Disallow ist nur die Bitte, die Seite nicht zu crawlen (zu besuchen), verhindert aber nicht die Indexierung selbst. Um eine Seite sicher aus den Suchergebnissen zu entfernen, verwende ein noindex-Meta-Tag oder schütze den Zugriff per Authentifizierung.