Generador de robots.txt
Crea un archivo robots.txt claro y compacto.
Generador de robots.txt
Genera un archivo robots.txt legible para orientar a los motores de búsqueda, declarar tu sitemap, limitar algunos rastreadores y bloquear bots no deseados.
Perfil del sitio
Reglas generales
Sitemap
Bots que bloquear
Avanzado
generado robots.txt
robots.txt da instrucciones a los rastreadores. No es una protección de seguridad.
Explicación rápida
Elige un perfil inicial, añade tus reglas generales, indica el sitemap si lo necesitas y selecciona los robots que quieras bloquear. El archivo generado se mantiene compacto para evitar repeticiones innecesarias.
También puedes probar
¿Quieres comprobar el paso de los robots?
Utiliza el Analizador de logs Apache para ver las IP, los motores de búsqueda, los errores y las URLs que realmente se solicitan en tu sitio.
Información adicional
Preparar un robots.txt legible
El archivo robots.txt da instrucciones a los robots que rastrean un sitio web. Puede indicar zonas que no deben explorarse, declarar la dirección del sitemap, establecer un retraso de rastreo para determinados robots o bloquear user-agents concretos.
Este generador prioriza un resultado breve y fácil de revisar: agrupa las directivas comunes, evita bloques innecesarios y permite copiar el resultado directamente a un archivo robots.txt.
Bloquear sin complicarlo todo
Los perfiles rápidos ofrecen un punto de partida limpio: sitio normal, permitir todo, bloquear todo o sitio en preparación. Después puedes añadir tus rutas Allow y Disallow y seleccionar únicamente los robots que quieras excluir.
Un archivo robots.txt no es una medida de seguridad. Para ocultar una página privada necesitas una protección real del lado del servidor, autenticación o una regla de acceso adecuada.
Comprobar después de publicar
Tras publicar, comprueba el comportamiento real de los rastreadores con el Analizador de logs Apache. Los logs muestran qué URLs se solicitan, qué robots pasan con frecuencia y qué errores se repiten.
Límites y reutilización
Las herramientas de AppErgo se ofrecen gratuitamente con fines prácticos e informativos. Aunque se presta atención a su diseño, un resultado puede ser incompleto, inesperado o incorrecto. Antes de confiar en un resultado para un uso importante, compruébalo con un método adecuado.
Para informar de un error en la herramienta, puedes utilizar el formulario específico.
Los resultados producidos por las herramientas de AppErgo pueden copiarse y reutilizarse libremente. Si reutilizas públicamente un resultado, un método o una página de AppErgo, se agradece un enlace a la página correspondiente.
Salvo que se indique lo contrario, los textos, imágenes, elementos visuales, scripts, plantillas y componentes internos de AppErgo siguen siendo propiedad de AppErgo.
Para cualquier otra solicitud, puedes contactar con el webmaster.