Generator Robots.txt Online

Cara memakai generator robots.txt

1. Di Mulai dari, pilih preset: Izinkan semuanya, Blokir semuanya, Blokir crawler AI, atau WordPress. Setelah itu Anda dapat mengubah setiap baris.
2. Di setiap grup, daftar User agent yang menjadi sasaran aturan, satu per baris. * berarti setiap crawler yang tidak memiliki grup sendiri.
3. Tambahkan aturan Allow dan Disallow dengan Tambah aturan. Path diawali / dan membedakan huruf besar-kecil.
4. Jika perlu, atur Crawl-delay dalam detik (opsional) untuk crawler yang mendukungnya, dan tambahkan grup dengan Tambah grup user-agent.
5. Daftar URL sitemap Anda, satu URL absolut per baris.
6. Tinjau Pemeriksaan, lalu Unduh file (sudah bernama robots.txt) atau Salin, dan unggah ke root situs Anda, misalnya https://example.com/robots.txt.

Semuanya berjalan di browser Anda: aturan dan URL yang Anda masukkan tidak dikirim ke server.

Cara kerja robots.txt

File robots.txt memberi tahu crawler bagian mana dari situs yang boleh mereka ambil. File ini mengikuti Robots Exclusion Protocol, yang distandardisasi sebagai RFC 9309 pada 2022. File hanya berlaku untuk host dan protokol persis tempat file itu disajikan: https://toko.example.com/robots.txt tidak mencakup https://example.com.

Setiap grup diawali satu atau lebih baris User-agent diikuti aturan. Crawler memakai grup yang user agent-nya paling spesifik cocok dengan namanya, dan mengabaikan yang lain; jika tidak ada yang cocok, ia beralih ke grup *. Di dalam grup, Google menerapkan aturan dengan path cocok terpanjang, dan bila aturan Allow dan Disallow sama panjang, Allow menang. Itulah sebabnya Disallow: /wp-admin/ yang digabung dengan Allow: /wp-admin/admin-ajax.php berfungsi.

Dua wildcard didukung mesin pencari utama: * cocok dengan urutan karakter apa pun, dan $ di akhir path berarti “URL berakhir di sini”. Misalnya, Disallow: /*.pdf$ memblokir setiap URL yang berakhir dengan .pdf. Disallow: kosong berarti tidak ada yang diblokir, dan begitulah alat ini menulis grup tanpa aturan.

Pemeriksaan yang dilakukan

• Grup tanpa user agent, yang akan diabaikan crawler.
• Path yang tidak diawali /, memuat spasi atau huruf beraksen (harus dienkode persen), atau memakai $ di tengah.
• Path yang sama sekaligus diizinkan dan dilarang dalam satu grup.
• User agent yang muncul di beberapa grup: Google menggabungkannya, tetapi crawler lain mungkin hanya membaca yang pertama.
• URL sitemap yang relatif atau tidak valid, dan file yang lebih besar dari 500 KiB, batas setelah itu Google berhenti membaca.
• Crawl-delay yang ditujukan ke Google, yang mengabaikannya. Bing dan sebagian crawler lain menghormatinya; untuk Google, laju perayapan menyesuaikan otomatis dengan seberapa cepat server Anda merespons.

Tentang crawler AI

Preset Blokir crawler AI tetap mengizinkan mesin pencari biasa dan menambahkan grup yang melarang seluruh situs untuk GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider, dan meta-externalagent. Google-Extended dan Applebot-Extended bukan crawler terpisah: keduanya adalah token yang memberi tahu Google dan Apple agar tidak memakai konten Anda untuk melatih atau mendasari model AI mereka, tanpa memengaruhi pengindeksan pencarian biasa. Crawler AI baru muncul secara berkala, jadi tinjau daftarnya dari waktu ke waktu.