robots.txt 生成器
创建简洁清晰的 robots.txt 文件。
robots.txt 生成器
生成清晰易读的 robots.txt，用于引导搜索引擎、声明 sitemap、限制部分爬虫并屏蔽不需要的机器人。
网站概况
通用规则
站点地图
要阻止的机器人
高级
已生成 robots.txt
robots.txt 用于向爬虫提供指令，并不是安全防护措施。
快速说明
选择一个初始配置，添加通用规则，需要时填写 sitemap，然后选择要屏蔽的机器人。生成的文件会尽量保持简洁，避免不必要的重复。
也可以试试
想检查爬虫的实际访问吗？
使用 Apache 日志分析器，可以查看网站实际收到的 IP、搜索引擎、错误以及 URL 请求。
更多信息
准备清晰易读的 robots.txt
robots.txt 用来向抓取网站的机器人提供指令。它可以标记不应抓取的区域、声明 sitemap 地址、为部分机器人设置抓取延迟，或屏蔽特定 user-agent。
此生成器优先输出简短、便于检查的内容：合并通用指令、避免无用区块，结果可以直接复制到 robots.txt 文件中。
只屏蔽需要屏蔽的内容
快捷配置提供几个清晰起点：普通网站、允许全部、禁止全部或建设中的网站。之后可以添加 Allow 和 Disallow 路径，并仅选择真正需要排除的机器人。
robots.txt 不是安全保护手段。若要隐藏私有页面，应使用真正的服务器端保护、身份验证或合适的访问规则。
发布后检查实际情况
上线后，可通过 Apache 日志分析器检查爬虫的真实行为。日志会显示哪些 URL 被请求、哪些机器人访问频繁以及哪些错误反复出现。
限制与重复使用
AppErgo 工具免费提供，用于实用和信息参考。虽然我们在设计时尽可能谨慎，但结果仍可能不完整、出乎意料或不正确。在将结果用于重要用途之前，请使用适当的方法进行核实。
如需报告工具中的错误，可以使用专用的错误报告表单。
AppErgo 工具生成的结果可以自由复制和重复使用。公开重复使用某项结果、方法或 AppErgo 页面时，如能附上相关页面的链接，我们将十分感谢。
除非另有说明，AppErgo 的文本、图片、视觉元素、脚本、模板和内部组件仍归 AppErgo 所有。
如有其他请求，可以联系网站管理员。