Gerador de robots.txt

Como usar o gerador de robots.txt

1. Em Começar com, escolhe um modelo: Permitir tudo, Bloquear tudo, Bloquear robôs de IA ou WordPress. Depois podes alterar todas as linhas.
2. Em cada grupo, lista os User agents a que as regras se aplicam, um por linha. * significa todos os robôs que não têm um grupo próprio.
3. Acrescenta regras Allow e Disallow com Adicionar uma regra. Os caminhos começam por / e distinguem maiúsculas de minúsculas.
4. Se quiseres, define um Crawl-delay para os robôs que o suportam e acrescenta mais grupos com Adicionar um grupo de user agents.
5. Lista os teus URL de sitemaps, um URL absoluto por linha.
6. Revê as Verificações e depois usa Transferir (o ficheiro já se chama robots.txt) ou Copiar, e coloca-o na raiz do teu site, por exemplo https://example.com/robots.txt.

Como funciona o robots.txt

Um ficheiro robots.txt indica aos robôs de rastreio que partes de um site podem visitar. Segue o Robots Exclusion Protocol, normalizado como RFC 9309 em 2022. O ficheiro só se aplica ao anfitrião e ao protocolo exatos onde é servido: https://loja.example.com/robots.txt não abrange https://example.com.

Cada grupo começa com uma ou mais linhas User-agent, seguidas das regras. Um robô usa o grupo cujo user agent corresponde ao seu nome da forma mais específica e ignora os outros; se nada corresponder, recorre ao grupo *. Dentro do grupo, a Google aplica a regra com o caminho correspondente mais longo e, quando uma regra Allow e uma regra Disallow têm o mesmo comprimento, ganha o Allow. É por isso que Disallow: /wp-admin/ combinado com Allow: /wp-admin/admin-ajax.php funciona.

Os principais motores de busca suportam dois caracteres especiais: * corresponde a qualquer sequência de caracteres e $ no fim de um caminho significa «o URL acaba aqui». Por exemplo, Disallow: /*.pdf$ bloqueia todos os URL que terminam em .pdf. Um Disallow: vazio significa que nada está bloqueado, e é assim que esta ferramenta escreve um grupo sem regras.

Verificações feitas

• Um grupo sem user agent, que os robôs ignorariam.
• Caminhos que não começam por /, que contêm espaços ou caracteres acentuados (estes têm de usar codificação percentual) ou que usam $ a meio.
• O mesmo caminho permitido e bloqueado no mesmo grupo.
• Um user agent que aparece em vários grupos: a Google junta-os, mas outros robôs podem ler só o primeiro.
• URL de sitemap relativos ou inválidos, e um ficheiro com mais de 500 KiB, o limite a partir do qual a Google deixa de ler.
• Um Crawl-delay dirigido à Google, que o ignora. O Bing e alguns outros robôs respeitam-no; no caso da Google, o ritmo de rastreio ajusta-se automaticamente à rapidez com que o teu servidor responde.

Sobre os robôs de IA

O modelo Bloquear robôs de IA mantém os motores de busca normais autorizados e acrescenta um grupo que bloqueia o site inteiro para GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Google-Extended, Applebot-Extended, PerplexityBot, Bytespider e meta-externalagent. Google-Extended e Applebot-Extended não são robôs separados: são indicadores que dizem à Google e à Apple para não usarem o teu conteúdo para treinar ou fundamentar os seus modelos de IA, sem afetar a indexação normal na pesquisa. Aparecem regularmente novos robôs de IA, por isso revê a lista de vez em quando.