Generatore robots.txt: crea il file per i crawler
Aggiungi regole Allow/Disallow per ogni user-agent e l'indirizzo della sitemap per generare subito il tuo robots.txt, gratis e direttamente nel browser.
Crea un file robots.txt — che indica ai crawler dei motori di ricerca quali percorsi consentire o bloccare — in pochi clic. Inserisci le regole Allow/Disallow per ogni gruppo di user-agent e l'indirizzo della tua sitemap per generare e scaricare all'istante un file in formato standard.
Caricamento dello strumento…
Tutto avviene al 100% nel tuo browser. I file e i dati che inserisci non vengono mai caricati su un server.
Come si usa
- Parti da un preset "Consenti tutto / Blocca tutto" oppure inserisci le tue regole.
- Imposta lo user-agent e inserisci i percorsi Disallow/Allow, uno per riga.
- Aggiungi altri gruppi se serve e inserisci gli URL della sitemap, uno per riga.
- Recupera il risultato con "Copia robots.txt" o "Scarica file".
Domande frequenti
I percorsi che inserisco vengono inviati a un server?
No. L'inserimento delle regole e la generazione di robots.txt avvengono solo nel tuo browser: nessun percorso o URL viene mai trasmesso né memorizzato su un server.
Dove devo caricare il file?
Va caricato nella radice del tuo sito come file chiamato robots.txt, per esempio https://example.com/robots.txt. I motori di ricerca non lo riconoscono se si trova in una sottocartella.
Disallow rimuove del tutto una pagina dai risultati di ricerca?
No. Disallow chiede soltanto ai crawler di non visitarla; di per sé non impedisce l'indicizzazione. Per rimuovere davvero una pagina dai risultati di ricerca, usa un meta tag noindex oppure proteggi l'accesso con l'autenticazione.