Генератор robots.txt
Создаёт понятный и компактный файл robots.txt.
Генератор robots.txt
Создавайте понятный файл robots.txt, чтобы задавать правила поисковым системам, указывать sitemap, ограничивать некоторых краулеров и блокировать нежелательных ботов.
Профиль сайта
Общие правила
Карта сайта
Боты для блокировки
Расширенный
создано robots.txt
robots.txt даёт инструкции поисковым роботам. Это не средство защиты.
Краткое объяснение
Выберите начальный профиль, добавьте общие правила, при необходимости укажите sitemap, затем отметьте роботов, которых нужно заблокировать. Сгенерированный файл остаётся компактным и не содержит лишних повторов.
Попробуйте также
Хотите проверить реальные посещения роботов?
Используйте Анализатор логов Apache, чтобы увидеть IP-адреса, поисковые системы, ошибки и URL, которые действительно запрашивались на сайте.
Дополнительная информация
Подготовить понятный robots.txt
Файл robots.txt задаёт инструкции роботам, которые обходят сайт. В нём можно указать области, которые не следует сканировать, адрес sitemap, задержку обхода для отдельных ботов или заблокировать конкретные user-agent.
Генератор старается формировать короткий и удобный для проверки результат: общие директивы объединяются, лишние блоки не создаются, а результат можно сразу скопировать в файл robots.txt.
Блокировать без лишней путаницы
Быстрые профили дают чистую основу: обычный сайт, разрешить всё, запретить всё или сайт в разработке. Затем можно добавить пути Allow и Disallow и выбрать только тех роботов, которых действительно нужно исключить.
robots.txt не является средством защиты. Для приватной страницы необходима настоящая серверная защита, аутентификация или подходящее правило доступа.
Проверить после публикации
После публикации проверьте реальное поведение краулеров с помощью Анализатора логов Apache. Логи показывают, какие URL запрашиваются, какие боты заходят чаще и какие ошибки повторяются.
Ограничения и повторное использование
Инструменты AppErgo предоставляются бесплатно для практических и информационных целей. Несмотря на тщательную разработку, результат может оказаться неполным, неожиданным или ошибочным. Перед важным использованием проверьте результат подходящим способом.
Чтобы сообщить об ошибке в инструменте, вы можете воспользоваться специальной формой сообщения об ошибке.
Результаты, полученные с помощью инструментов AppErgo, можно свободно копировать и использовать повторно. При публичном использовании результата, метода или страницы AppErgo приветствуется ссылка на соответствующую страницу.
Если не указано иное, тексты, изображения, визуальные элементы, скрипты, шаблоны и внутренние компоненты AppErgo остаются собственностью AppErgo.
По любым другим вопросам вы можете связаться с веб-мастером.