В Яндекс.Вебмастере или Google Search Console появились ошибки 403. Робот не может получить страницу, хотя в браузере она открывается нормально. Причина почти всегда в блокировке на уровне сервера, firewall или антибот-системы, которая не отличает робота от подозрительного посетителя. Разберём, как найти причину и вернуть доступ роботам.
Что означает 403 для поискового робота
403 Forbidden — это HTTP-статус, который означает, что сервер понял запрос, но отказывается его выполнять. Для поискового робота это сигнал, что страница недоступна. Если робот получает 403 регулярно, страница может выпасть из индекса.
В отличие от 404, 403 не означает, что страницы нет. Она есть, но доступ к ней запрещён. Это важное различие: 404 — страница удалена, 403 — доступ закрыт.
Типичные симптомы:
— в браузере страница открывается;
— робот получает 403;
— в Вебмастере и Search Console появляются ошибки доступа;
— страницы постепенно выпадают из индекса.
Причина 1: блокировка по User-Agent
Самая частая причина — сервер или антибот-система блокирует запросы с определённым User-Agent. Иногда блокируются все роботы, иногда только конкретные.
Что проверить:
— правила в nginx или Apache, которые блокируют по User-Agent;
— настройки антибот-систем (Cloudflare, Qrator, DDoS-Guard);
— правила в .htaccess;
— настройки CMS-плагинов безопасности.
Проверить, какой User-Agent у робота, можно в документации Яндекса и Google. Для Яндекса — YandexBot, для Google — Googlebot. Если сервер блокирует эти User-Agent, робот получает 403.
Причина 2: блокировка по IP
Некоторые администраторы блокируют IP-диапазоны, из которых, по их мнению, идёт подозрительная активность. Если в этот диапазон попали IP-адреса поисковых роботов, они тоже получают 403.
Что проверить:
— правила firewall (iptables, ufw, fail2ban);
— блокировки на уровне CDN;
— блокировки в антибот-системах;
— правила в nginx или Apache.
Список IP-адресов роботов Яндекса и Google публикуется официально. Проверьте, не заблокированы ли эти диапазоны.
Причина 3: антибот-системы
Антибот-системы анализируют поведение посетителей и могут блокировать запросы, которые кажутся подозрительными. Роботы поисковых систем иногда попадают под такие блокировки, особенно если антибот настроен агрессивно.
Что проверить:
— настройки антибот-системы;
— правила для известных роботов;
— логи блокировок;
— настройки проверки JavaScript-челленджей.
Многие антибот-системы имеют отдельные настройки для поисковых роботов. Убедитесь, что роботы не блокируются.
Причина 4: ограничения на уровне CMS
Некоторые CMS и плагины безопасности имеют собственные настройки доступа. Например, плагин может блокировать запросы без cookies, а роботы cookies не передают.
Что проверить:
— настройки плагинов безопасности;
— настройки доступа к контенту;
— правила для гостевых посетителей;
— настройки кэширования.
Иногда проблема в том, что плагин безопасности блокирует запросы без определённых заголовков, которые роботы не передают.
Причина 5: ошибки в конфигурации сервера
Иногда 403 возникает не из-за явной блокировки, а из-за ошибки в конфигурации:
— неправильные права доступа к файлам;
— ошибка в правилах rewrite;
— ограничения на методы запроса;
— ограничения по Referer;
— ограничения на одновременные соединения.
Что проверить:
— права на файлы и директории;
— правила rewrite;
— разрешённые HTTP-методы;
— ограничения по количеству соединений.
Для проверки HTTP-заголовков и статуса ответа используйте проверка HTTP-заголовков — инструмент покажет, какие заголовки отдаёт сервер и с каким статусом.
Как найти причину 403
Пошаговая диагностика:
— проверьте логи сервера на записи о 403;
— проверьте, какой User-Agent у запроса;
— проверьте, с какого IP пришёл запрос;
— проверьте правила firewall и антибот;
— проверьте настройки CMS и плагинов;
— проверьте конфигурацию nginx или Apache;
— проверьте, не блокируется ли запрос на уровне CDN.
Если страница открывается в браузере, но не открывается для робота, сравните заголовки запроса. Разница в User-Agent или отсутствие cookies часто указывают на причину.
Как исправить
План действий:
— добавьте официальные User-Agent роботов в белый список;
— добавьте IP-диапазоны роботов в белый список;
— настройте антибот-систему так, чтобы она не блокировала известных роботов;
— отключите блокировки, которые не нужны;
— проверьте права доступа к файлам;
— проверьте правила rewrite;
— проверьте настройки CDN;
— запросите переобход страниц после исправления.
Как проверить результат
Чек-лист:
— робот получает 200 вместо 403;
— в Вебмастере и Search Console нет ошибок доступа;
— страницы возвращаются в индекс;
— в логах нет 403 для роботов;
— антибот не блокирует известных роботов.
Если нужно проверить сразу несколько параметров — заголовки, редиректы, доступность — логично перейти к SEO-аудиту.
Частые ошибки
— блокировка всех запросов без cookies;
— блокировка по User-Agent без белого списка;
— агрессивные настройки антибот-систем;
— блокировка IP-диапазонов роботов;
— неправильные права доступа к файлам;
— ограничения на методы запроса;
— отсутствие проверки после изменений.
FAQ
Почему робот получает 403, а браузер открывает страницу?
Скорее всего, сервер или антибот блокирует запросы по User-Agent, IP или отсутствию cookies. Роботы не передают cookies и имеют специфический User-Agent.
Как проверить, какой статус получает робот?
Используйте инструмент проверки HTTP-заголовков и логи сервера. В Яндекс.Вебмастере и Google Search Console есть отчёты о ошибках доступа.
Может ли CDN блокировать роботов?
Да. Некоторые CDN и антибот-системы блокируют запросы, которые кажутся подозрительными. Проверьте настройки для известных роботов.
Что делать, если 403 появляется только для Яндекса?
Проверьте, не блокируется ли User-Agent YandexBot. У Яндекса есть несколько роботов с разными User-Agent, убедитесь, что все они в белом списке.
Влияет ли 403 на позиции?
Да. Если робот не может получить страницу, она может выпасть из индекса. Это снижает трафик и позиции.
Как добавить роботов в белый список?
В зависимости от системы: в nginx — через правила allow, в антибот — через настройки известных роботов, в firewall — через IP-диапазоны.
Где взять список IP-адресов роботов?
Официальные списки публикуются Яндексом и Google. Они периодически обновляются, поэтому стоит проверять актуальность.
Что делать, если 403 появился после смены хостинга?
Проверьте настройки firewall, антибот и правила сервера на новом хостинге. Часто новые хостинги имеют более строгие настройки по умолчанию.
Может ли 403 быть временным?
Да, если блокировка сработала по ошибке и была снята. Но если 403 повторяется, робот может перестать обходить страницу.
Как проверить, что робот снова получает 200?
Запросите переобход в Вебмастере и Search Console, проверьте логи сервера и отчёты о ошибках доступа. Если 403 исчез, страница вернётся в индекс.
