Generator robots.txt: Buat File robots.txt Online Gratis

Tambahkan aturan izin/blokir per user-agent dan lokasi sitemap Anda untuk membuat robots.txt secara instan, gratis di browser tanpa instalasi.

Buat file robots.txt—yang memberi tahu crawler mesin pencari jalur mana yang boleh diizinkan atau diblokir—hanya dalam beberapa klik. Masukkan aturan Allow/Disallow per grup user-agent dan lokasi sitemap Anda untuk langsung membuat dan mengunduh file dalam format standar.

Memuat alat…

Semua diproses 100% di browser Anda. File dan isian Anda tidak pernah diunggah ke server.

Cara pakai

  1. Mulai dari preset 'Izinkan semua / Blokir semua', atau masukkan aturan Anda sendiri.
  2. Atur user-agent dan daftarkan jalur Disallow/Allow satu per baris.
  3. Tambahkan grup lain jika perlu dan masukkan URL sitemap satu per baris.
  4. Ambil hasilnya dengan 'Salin robots.txt' atau 'Unduh file'.

Pertanyaan umum

Apakah jalur yang saya masukkan dikirim ke server?
Tidak. Memasukkan aturan dan membuat robots.txt sepenuhnya terjadi hanya di browser Anda, dan tidak ada jalur atau URL yang pernah dikirim maupun disimpan di server.
Di mana saya harus mengunggah filenya?
File harus diunggah ke root situs Anda dengan nama robots.txt—misalnya, https://example.com/robots.txt. Mesin pencari tidak akan mengenalinya jika file berada di dalam subfolder.
Apakah Disallow menghapus halaman dari hasil pencarian sepenuhnya?
Tidak. Disallow hanya meminta crawler untuk tidak mengunjungi halaman; perintah ini tidak memblokir pengindeksan itu sendiri. Untuk menghapus halaman dari hasil pencarian secara andal, gunakan tag meta noindex pada halaman tersebut atau lindungi aksesnya dengan autentikasi.

Lihat semua alat