Générateur robots.txt : créer un fichier robots.txt en ligne
Créez un robots.txt avec des règles Allow/Disallow pour chaque user-agent et votre sitemap, gratuitement, dans le navigateur et sans envoi de données.
Créez en quelques clics un fichier robots.txt, qui indique aux robots des moteurs de recherche quels chemins autoriser ou bloquer. Saisissez des règles Allow/Disallow pour chaque groupe de user-agents ainsi que l'emplacement de votre sitemap pour générer instantanément un fichier au format standard et le télécharger.
Tout se passe à 100 % dans votre navigateur. Vos fichiers et ce que vous saisissez ne sont jamais envoyés sur un serveur.
Mode d'emploi
- Partez d'un préréglage « Tout autoriser / Tout bloquer » ou saisissez vos propres règles.
- Définissez le user-agent, puis listez les chemins Disallow/Allow, un par ligne.
- Ajoutez d'autres groupes si nécessaire et saisissez les URL des sitemaps, une par ligne.
- Récupérez le résultat avec « Copier robots.txt » ou « Télécharger le fichier ».