Generator robots.txt

Cum folosești generatorul robots.txt

1. La Pornește de la, alege un model: Permite tot, Blochează tot, Blochează crawlerele AI sau WordPress. Apoi poți schimba fiecare linie.
2. În fiecare grup, listează User agents cărora li se aplică regulile, câte unul pe rând. * înseamnă orice crawler care nu are un grup propriu.
3. Adaugă reguli Allow și Disallow cu Adaugă o regulă. Căile încep cu / și țin cont de litere mari și mici.
4. Dacă vrei, setează Crawl-delay în secunde (opțional) pentru crawlerele care îl acceptă și adaugă mai multe grupuri cu Adaugă un grup de user-agent.
5. Listează URL-uri sitemap, câte un URL absolut pe rând.
6. Verifică Verificări, apoi folosește Descarcă (fișierul se numește deja robots.txt) sau Copiază și încarcă-l în rădăcina site-ului tău, de exemplu https://example.com/robots.txt.

Totul se generează în browserul tău: adresele și regulile tale nu sunt trimise către un server.

Cum funcționează robots.txt

Un fișier robots.txt le spune crawlerelor ce părți ale unui site au voie să le preia. Respectă Robots Exclusion Protocol, standardizat ca RFC 9309 în 2022. Fișierul se aplică doar exact gazdei și protocolului unde este servit: https://magazin.example.com/robots.txt nu acoperă https://example.com.

Fiecare grup începe cu una sau mai multe linii User-agent, urmate de reguli. Un crawler folosește grupul al cărui user agent se potrivește cel mai specific cu numele lui și le ignoră pe celelalte; dacă nu se potrivește nimic, revine la grupul *. În cadrul grupului, Google aplică regula cu cea mai lungă cale potrivită, iar când o regulă Allow și una Disallow au aceeași lungime, câștigă Allow. De aceea funcționează Disallow: /wp-admin/ împreună cu Allow: /wp-admin/admin-ajax.php.

Două metacaractere sunt acceptate de marile motoare de căutare: * se potrivește cu orice succesiune de caractere, iar $ la sfârșitul unei căi înseamnă „URL-ul se termină aici”. De exemplu, Disallow: /*.pdf$ blochează orice URL care se termină în .pdf. Un Disallow: gol înseamnă că nu se blochează nimic, așa scrie instrumentul un grup fără reguli.

Verificări efectuate

• Un grup fără user agent, pe care crawlerele l-ar ignora.
• Căi care nu încep cu /, conțin spații sau caractere cu diacritice (acestea trebuie codificate în procente) ori folosesc $ la mijloc.
• Aceeași cale permisă și interzisă în același grup.
• Un user agent care apare în mai multe grupuri: Google le îmbină, dar alte crawlere pot citi doar primul.
• URL-uri de sitemap relative sau invalide și un fișier mai mare de 500 KiB, limita după care Google nu mai citește.
• Un Crawl-delay destinat Google, care îl ignoră. Bing și alte crawlere îl respectă; pentru Google, rata de parcurgere se ajustează automat după cât de repede răspunde serverul tău.

Despre crawlerele AI

Modelul Blochează crawlerele AI lasă motoarele de căutare obișnuite permise și adaugă un grup care interzice întregul site pentru GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider și meta-externalagent. Google-Extended și Applebot-Extended nu sunt crawlere separate: sunt tokenuri care le spun Google și Apple să nu folosească conținutul tău pentru antrenarea sau fundamentarea modelelor lor de AI, fără să afecteze indexarea obișnuită în căutare. Apar regulat crawlere AI noi, așa că revizuiește lista din când în când.