Robots.txt generátor

Így használd a robots.txt generátort

1. Az Indulás innen alatt válassz előbeállítást: Minden engedélyezése, Minden tiltása, AI-crawlerek tiltása vagy WordPress. Ezután minden sort módosíthatsz.
2. Minden csoportban sorold fel a User agentek közül azokat, amelyekre a szabályok vonatkoznak, soronként egyet. A * minden olyan crawlert jelent, amelynek nincs saját csoportja.
3. A Szabály hozzáadása gombbal adj hozzá Allow és Disallow szabályokat. Az útvonalak /-rel kezdődnek, és megkülönböztetik a kis- és nagybetűt.
4. Ha szeretnéd, állíts be Crawl-delay értéket az azt támogató crawlerekhez, és a User-agent csoport hozzáadása gombbal vegyél fel további csoportokat.
5. Sorold fel a Sitemap URL-ek értékeit, soronként egy abszolút URL-t.
6. Nézd át az Ellenőrzések részt, majd Letöltés (a fájl neve már robots.txt) vagy Másolás, és töltsd fel az oldalad gyökerébe, például a https://example.com/robots.txt címre.

Az eszköz a böngésződben fut. Semmit, amit beírsz, nem küld el a szervernek.

Hogyan működik a robots.txt

A robots.txt fájl megmondja a crawlereknek, hogy az oldal mely részeit tölthetik le. A Robots Exclusion Protocolt követi, amelyet 2022-ben RFC 9309 néven szabványosítottak. A fájl csak arra a pontos hosztra és protokollra vonatkozik, ahol kiszolgálják: a https://shop.example.com/robots.txt nem érvényes a https://example.com címre.

Minden csoport egy vagy több User-agent sorral kezdődik, amelyeket szabályok követnek. A crawler azt a csoportot használja, amelynek user agentje a legpontosabban illeszkedik a nevére, a többit figyelmen kívül hagyja; ha semmi sem illeszkedik, a * csoportra esik vissza. A csoporton belül a Google a leghosszabban illeszkedő útvonalú szabályt alkalmazza, és ha az Allow és a Disallow szabály egyforma hosszú, az Allow nyer. Ezért működik a Disallow: /wp-admin/ és az Allow: /wp-admin/admin-ajax.php kombinációja.

A nagy keresőmotorok két helyettesítő karaktert támogatnak: a * tetszőleges karaktersorozatra illeszkedik, az útvonal végén álló $ pedig azt jelenti: „az URL itt ér véget”. Például a Disallow: /*.pdf$ minden .pdf-re végződő URL-t tilt. Az üres Disallow: azt jelenti, hogy semmi sincs tiltva, így írja az eszköz a szabályok nélküli csoportot.

Elvégzett ellenőrzések

• User agent nélküli csoport, amelyet a crawlerek figyelmen kívül hagynának.
• Olyan útvonalak, amelyek nem /-rel kezdődnek, szóközt vagy ékezetes karaktert tartalmaznak (ezeket százalékkódolni kell), vagy a közepén $ áll.
• Ugyanaz az útvonal egy csoportban egyszerre engedélyezve és tiltva.
• Több csoportban szereplő user agent: a Google egyesíti őket, de más crawlerek csak az elsőt olvashatják.
• Relatív vagy érvénytelen sitemap URL-ek, és az 500 KiB-nál nagyobb fájl, amely fölött a Google abbahagyja az olvasást.
• A Google-nek szánt Crawl-delay, amelyet a Google figyelmen kívül hagy. A Bing és néhány más crawler tiszteletben tartja; a Google esetében a feltérképezési sebesség automatikusan igazodik a szervered válaszidejéhez.

Az AI-crawlerekről

Az AI-crawlerek tiltása előbeállítás megtartja a hagyományos keresőmotorok engedélyezését, és hozzáad egy csoportot, amely a GPTBot (OpenAI), a ClaudeBot (Anthropic), a CCBot (Common Crawl), a Google-Extended, az Applebot-Extended, a PerplexityBot, a Bytespider és a meta-externalagent számára tiltja az egész oldalt. A Google-Extended és az Applebot-Extended nem különálló crawlerek: olyan tokenek, amelyek azt kérik a Google-től és az Apple-től, hogy ne használják a tartalmadat AI-modelljeik tanítására vagy megalapozására, a normál keresési indexelés érintése nélkül. Új AI-crawlerek rendszeresen megjelennek, ezért időnként nézd át a listát.