Gerador de robots.txt
Crie um robots.txt claro e compacto.
Gerador de robots.txt
Gere um ficheiro robots.txt legível para orientar os motores de pesquisa, declarar o sitemap, limitar alguns crawlers e bloquear bots indesejados.
Perfil do site
Regras gerais
Sitemap
Bots a bloquear
Avançado
gerado robots.txt
robots.txt dá instruções aos crawlers. Não é uma proteção de segurança.
Explicação rápida
Escolha um perfil inicial, adicione as regras gerais, indique o sitemap se necessário e selecione os robots que pretende bloquear. O ficheiro gerado mantém-se compacto para evitar repetições desnecessárias.
Experimente também
Quer verificar as visitas dos crawlers?
Utilize o Analisador de logs Apache para ver IPs, motores de pesquisa, erros e URLs realmente pedidos no seu site.
Informações adicionais
Preparar um robots.txt legível
O ficheiro robots.txt fornece instruções aos robots que exploram um site. Pode indicar áreas que não devem ser rastreadas, declarar o endereço do sitemap, definir um atraso de rastreio para alguns bots ou bloquear user-agents específicos.
Este gerador privilegia uma saída curta e fácil de rever: as diretivas comuns são agrupadas, os blocos desnecessários são evitados e o resultado pode ser copiado diretamente para um ficheiro robots.txt.
Bloquear sem complicar
Os perfis rápidos fornecem um ponto de partida simples: site normal, permitir tudo, bloquear tudo ou site em preparação. Depois pode adicionar os caminhos Allow e Disallow e selecionar apenas os robots que pretende excluir.
Um ficheiro robots.txt não é uma proteção de segurança. Para ocultar uma página privada, use proteção real no servidor, autenticação ou uma regra de acesso adequada.
Verificar depois da publicação
Depois de publicar, confirme o comportamento real dos crawlers com o Analisador de logs Apache. Os logs mostram quais os URLs pedidos, quais os robots mais frequentes e quais os erros que se repetem.
Limites e reutilização
As ferramentas AppErgo são disponibilizadas gratuitamente para fins práticos e informativos. Apesar do cuidado dedicado à sua conceção, um resultado pode estar incompleto, ser inesperado ou estar incorreto. Antes de confiar num resultado para uma utilização importante, confirme-o com um método adequado.
Para comunicar um erro na ferramenta, pode utilizar o formulário específico de reporte.
Os resultados produzidos pelas ferramentas AppErgo podem ser copiados e reutilizados livremente. Ao reutilizar publicamente um resultado, um método ou uma página AppErgo, agradecemos um link para a página relevante.
Salvo indicação em contrário, os textos, imagens, elementos visuais, scripts, modelos e componentes internos do AppErgo continuam a ser propriedade do AppErgo.
Para qualquer outro pedido, pode contactar o webmaster.