Проверка robots.txt

Что делает проверка robots.txt

Инструмент запрашивает файл robots.txt указанного веб-сайта, сообщает, существует ли файл, и показывает содержащиеся в нём ссылки на sitemap и правила disallow. Он даёт быструю и понятную сводку инструкций сканирования, которые сайт публикует для поисковых ботов, без необходимости открывать необработанный файл и разбирать его вручную.

Robots.txt — это текстовый файл, размещённый в корне домена, например https://example.com/robots.txt. Сканеры, соблюдающие протокол исключения роботов, читают его перед запросом других страниц. Файл может разрешать или запрещать определённые пути для конкретных user agent и указывать на XML-карты сайта. Поскольку он находится в фиксированном месте, отсутствие или некорректный файл может незаметно повлиять на сканирование сайта, поэтому проверка является рутинной частью технического SEO-аудита.

Как читать результаты

Проверка сообщает точный URL, который был запрошен, чтобы вы могли убедиться, что файл искали в корне домена, а не по подпути. Если файл найден, инструмент извлекает записи sitemap и обнаруженные запрещённые пути и перечисляет их отдельно. Это позволяет легко увидеть, объявляет ли сайт свои sitemap и какие области он просит сканеры пропускать.

Если файл не найден, это не обязательно означает, что что-то сломано. Сайт без файла robots.txt для соблюдающих сканеров обрабатывается так, как будто всё разрешено. Тем не менее, неожиданная 404 на домене, где файл должен быть, заслуживает изучения, поскольку может указывать на проблему конфигурации сервера, цепочку перенаправлений или файл, удалённый во время развёртывания.

Список запрещённых путей показывает шаблоны путей, которые ограничивает файл. Читайте их с учётом контекста user agent: правило, применяемое к одному боту, может не применяться к другому, а правила сопоставляются как префиксы, а не как точные URL. Одна запись Disallow: /, например, блокирует всё для тех user agent, на которые она нацелена.

Почему robots.txt важен для SEO

Robots.txt — первая линия контроля сканирования. Он помогает предотвратить трату бюджета сканерами на административные панели, внутренние результаты поиска, тестовые копии, фасетную навигацию или дублирующиеся URL с параметрами. При хорошей настройке сканеры больше времени уделяют страницам, заслуживающим индексации. При плохой настройке важные страницы могут быть случайно заблокированы, и последующее падение видимости может занять недели для диагностики.

Файл также служит средством обнаружения. Директивы sitemap внутри robots.txt дают сканерам дополнительный способ найти XML-карты сайта наряду с отправкой через консоли поисковых систем. Это не замена отправленному sitemap, но полезная избыточность.

Распространённые ошибки, которых следует избегать

• Блокировка CSS и JavaScript. Если сканеры не могут получить ресурсы, от которых зависит страница, они могут неверно оценить отрисованную страницу. Современные поисковые системы рендерят страницы, поэтому блокировка таблиц стилей и скриптов редко бывает хорошей идеей.
• Использование robots.txt для скрытия страниц из результатов поиска. Запрещённый URL всё ещё может быть проиндексирован, если на него ссылаются другие страницы, поскольку сканеры могут проиндексировать URL, не посещая его. Для этой цели используйте метатеги noindex или HTTP-заголовки.
• Неправильное использование wildcard и якорей. Поддержка * и $ широко распространена, но не универсальна для всех ботов, поэтому тестируйте шаблоны, на которые полагаетесь.
• Устаревшие правила после редизайна. Старые записи disallow часто переживают миграции и в итоге блокируют новые важные разделы.
• Путаница с регистром и завершающей косой чертой. Пути чувствительны к регистру, а отсутствующая или лишняя завершающая косая черта меняет то, чему соответствует правило.

Практические проверки

Начните с подтверждения, что файл загружается со статусом 200 и отдаётся как простой текст. Затем убедитесь, что URL sitemap, указанный в файле, действительно разрешается и возвращает корректный XML. Просмотрите каждое правило disallow и спросите, действительно ли заблокированный путь следует исключать из сканирования. Обратите внимание на правила, нацеленные на конкретных ботов, таких как сканеры изображений или новостей, поскольку широкое правило может непреднамеренно ограничить их. Наконец, сравните живой файл с тем, что вы ожидаете из репозитория или CMS, поскольку производственная и тестовая среды часто расходятся.

Ограничения

Проверка сообщает, что содержит файл на момент запроса. Она не моделирует, как каждая поисковая система будет интерпретировать каждое правило, и не проверяет, проиндексированы ли заблокированные страницы. Используйте её как быструю диагностическую отправную точку, затем подтвердите поведение сканирования в инструментах вебмастера поисковых систем, на которые вы полагаетесь.