Ошибка 429 означает, что сервер получил слишком много запросов и временно заблокировал доступ. Почему это случается при обходе Яндексом, как влияет на индексацию и пошаговый план устранения.
Поисковый робот Яндекса заходит на сайт и получает в ответ не HTML-код страницы, а пустой ответ с заголовком HTTP/1.1 429 Too Many Requests. С точки зрения сервера всё логично: робот делает слишком много запросов в единицу времени, сервер включает защиту и начинает отбрасывать часть обращений. Но для владельца сайта это катастрофа. Страницы, на которые робот не смог зайти, не попадают в индекс. Регулярные 429-ошибки ведут к деградации позиций: Яндекс видит сайт как нестабильный, снижает частоту обходов, новый контент индексируется с задержкой в недели. Запрос «яндекс 429 ошибка» уже выходит на первую позицию в выдаче, а значит, вебмастеры ищут решение этой проблемы. Разберёмся, почему она возникает и как её устранить.
Что такое ошибка 429 и чем она отличается от других
Все HTTP-ошибки делятся на категории. 404 — страница не найдена. 500 — внутренняя ошибка сервера. 503 — сервер временно недоступен. А 429 — это специфический код из категории «клиент отправил слишком много запросов». Он означает, что сервер работает нормально, но сознательно ограничивает доступ конкретному клиенту, который превысил лимит. Лимит может быть настроен на уровне веб-сервера (nginx, Apache), на уровне файрвола, на уровне CDN (например, Cloudflare) или на уровне хостинг-провайдера. В отличие от ошибок 5xx, где проблема на стороне сервера, при 429 проблема в том, что сервер считает поведение робота подозрительным. Робот Яндекса — очень активный клиент. Он может запрашивать десятки страниц в минуту, особенно если сайт большой и краулинговый бюджет высокий. Если сервер не готов к такой нагрузке, он начинает отвечать 429.
Почему Яндекс получает 429 чаще, чем Google
Робот Яндекса ведёт себя агрессивнее робота Google. Он может делать больше запросов в единицу времени, особенно после отправки новых страниц на переобход через Вебмастер. Кроме того, Яндекс использует несколько пулов IP-адресов для обхода, и все они могут одновременно заходить на сайт. Если сервер настроен на ограничение по IP (например, не более 10 запросов в секунду с одного адреса), а Яндекс заходит с десяти адресов по 10 запросов, сервер видит 100 запросов в секунду и включает rate limiting. Google, напротив, более консервативен в скорости обхода и лучше соблюдает рекомендации по crawl rate из Search Console. Поэтому ситуация, когда Google индексирует сайт нормально, а Яндекс сыпет 429-ошибками, — довольно частая. Диагностировать её можно через Яндекс.Вебмастер: в разделе «Индексирование» → «Страницы в поиске» → «Исключённые страницы» будет указана причина «Ошибка HTTP 429».
Как ошибка 429 влияет на SEO и индексацию
Когда робот Яндекса получает 429, он не индексирует страницу. Если это единичный случай, робот вернётся позже и повторит попытку. Но если 429 возникает регулярно при каждом обходе, страница не попадает в индекс никогда. Хуже того, Яндекс снижает краулинговый бюджет для сайта: чем чаще робот упирается в 429, тем реже он пытается заходить. Это создаёт замкнутый круг: часть страниц не индексируется → Яндекс снижает частоту обходов → ещё больше страниц не индексируется. Для крупных сайтов (интернет-магазинов, каталогов, форумов) это может означать, что десятки тысяч страниц никогда не увидят поисковой выдачи. Проверить, какие страницы отдают 429, можно несколькими способами. Первый — логи сервера. Найдите все строки с кодом 429 и посмотрите, на какие URL они приходят. Второй — инструмент Проверка HTTP заголовков. Введите подозрительный URL и посмотрите код ответа. Третий — комплексный SEO-аудит через SEO аудит сайта онлайн, который выявит страницы с ошибками. Четвёртый — Яндекс.Вебмастер, раздел с исключёнными страницами.
Причина 1: Rate limiting на уровне веб-сервера
Самая частая причина 429 для робота Яндекса — настройки ограничения частоты запросов в nginx или Apache. Администраторы сервера настраивают защиту от DDoS и парсинга: не более N запросов в секунду с одного IP. Для обычных пользователей это работает отлично. Но робот Яндекса с одного IP может делать 5-10 запросов в секунду, и это нормальное поведение. Если лимит стоит на уровне 3-5 запросов в секунду, Яндекс упрётся в него очень быстро. Решение: настроить разные лимиты для поисковых роботов и для остальных клиентов. Для nginx это делается через модуль ngx_http_limit_req_module. Создаются две зоны: одна для обычных пользователей с жёстким лимитом, другая для поисковых роботов с мягким или вообще без лимита. Роботы определяются по User-Agent: YandexBot, Googlebot. Пример конфигурации nginx: limit_req_zone $binary_remote_addr zone=userlimit:10m rate=5r/s; limit_req_zone $binary_remote_addr zone=botlimit:10m rate=20r/s;. Затем в location применяется limit_req zone=userlimit для всех, а для User-Agent содержащих YandexBot — limit_req zone=botlimit. Если вы не управляете сервером напрямую, а сидите на виртуальном хостинге, обратитесь в поддержку с просьбой увеличить лимиты для поисковых роботов или отключить rate limiting для User-Agent Яндекса.
Причина 2: Защита на уровне CDN или файрвола
Многие сайты используют CDN (Cloudflare, Qrator, DDoS-Guard) или файрволы для защиты от атак. Эти сервисы имеют собственные механизмы rate limiting и могут блокировать поисковых роботов, принимая их за часть ботнета. Особенно часто это случается, когда Яндекс меняет пул IP-адресов для обхода, и новые адреса ещё не внесены в белые списки CDN-провайдера. Решение: в настройках CDN или файрвола добавить User-Agent Яндекса (YandexBot, YandexMobileBot, YandexImages) в исключения rate limiting. Также можно добавить диапазоны IP-адресов Яндекса в белый список. Актуальный список IP публикуется в документации Яндекса и обновляется periodically. Проверить, блокирует ли CDN робота, можно через логи CDN или через временное отключение защиты и повторную проверку индексации.
Причина 3: Ограничения хостинг-провайдера
На дешёвых тарифах виртуального хостинга часто действуют скрытые лимиты: не более N запросов в час, не более M одновременных соединений, не более K процессов PHP. Робот Яндекса, активно обходя сайт, может исчерпать эти лимиты за минуты. После этого хостинг начинает отвечать 429 на все запросы — и от роботов, и от пользователей. Это самая неприятная ситуация, потому что вы не можете изменить настройки сервера — они жёстко заданы тарифом. Решение: сменить тариф на более производительный или переехать на VPS, где вы полностью контролируете лимиты. При выборе хостинга обращайте внимание на характеристики «количество одновременных соединений» и «лимиты по нагрузке». Для сайтов с активной индексацией эти параметры важнее, чем объём диска. Подробнее о выборе хостинга читайте в статье Выбор хостинга для сайта: критерии 2026.
Причина 4: Тяжёлые страницы и медленный backend
Если каждая страница сайта генерируется за 2-3 секунды, а робот запрашивает 5 страниц одновременно, сервер должен обрабатывать 5 тяжёлых PHP-процессов разом. На слабом хостинге это приводит к исчерпанию пула процессов. Новые запросы встают в очередь и в итоге отбрасываются с ошибкой 429 или 503. Робот видит ошибку и уходит. Решение: оптимизировать время генерации страниц. Включить серверное кеширование — Redis, Memcached, файловый кеш. Тогда страница не генерируется с нуля при каждом запросе, а отдаётся из кеша за миллисекунды. Подробная инструкция по серверному кешированию есть в статье Серверное кеширование: Redis и nginx. Проверьте TTFB сайта через Проверка TTFB. Если время ответа больше 500 мс, сервер не справляется с нагрузкой от роботов. Оптимизация TTFB описана в статье TTFB выше 600 мс: диагностика и решение.
Причина 5: Плагины безопасности в CMS
На сайтах под управлением WordPress, Bitrix, Joomla часто устанавливают плагины безопасности, которые включают собственный rate limiting. Например, Wordfence, All In One WP Security, Limit Login Attempts. Они отслеживают частоту запросов и могут блокировать IP-адреса, которые делают больше N обращений в минуту. Робот Яндекса подпадает под этот критерий очень быстро. Решение: в настройках плагина безопасности добавить User-Agent Яндекса в белый список или увеличить лимиты до значений, при которых робот не блокируется. Обычно это делается в разделе «Брандмауэр» или «Rate Limiting». Если плагин не поддерживает исключения для роботов, рассмотрите его замену на более SEO-friendly аналог.
Причина 6: Неправильный robots.txt и краулинговый бюджет
Иногда проблема не в сервере, а в том, что Яндекс тратит краулинговый бюджет на мусорные страницы. Если robots.txt не запрещает индексацию служебных URL (результаты поиска по сайту, страницы с параметрами сортировки, дубли), робот тратит время и ресурсы сервера на их обход. До полезных страниц очередь не доходит, а сервер между тем нагружается и начинает выдавать 429. Решение: проверить robots.txt через Проверка robots.txt. Закрыть от индексации все параметрические URL, страницы поиска, фильтрации, сортировки. Оставить открытыми только канонические адреса. Настроить директиву Crawl-Delay для Яндекса, если нагрузка слишком высокая. Подробнее о краулинговом бюджете написано в статье Краулинговый бюджет сайта: что это и как оптимизировать. Также проверьте sitemap.xml — он должен содержать только нужные для индексации URL, без дублей и мусора. Проверка через Проверка sitemap.xml.
Как проверить, что 429 ещё возникает
После исправления причин нужно убедиться, что ошибка ушла. Способ 1: следите за разделом «Исключённые страницы» в Яндекс.Вебмастере. Если количество страниц с ошибкой 429 снижается — проблема решается. Способ 2: запросите переобход страниц, которые ранее выдавали 429, через инструмент «Переобход страниц» в Вебмастере. Способ 3: проверьте отдельные URL через Проверка HTTP заголовков — ответ должен быть 200, а не 429. Способ 4: запустите полный SEO-аудит через SEO аудит сайта онлайн и посмотрите, нет ли ошибок 429 в отчёте. Помните, что Яндекс не сразу восстанавливает частоту обходов после исправления проблемы. Если сайт долго отвечал 429, робот мог снизить краулинговый бюджет на недели. После исправления отправьте сигнал через Вебмастер: «Индексирование» → «Настройка скорости обхода» → установите максимальную скорость, если такая опция доступна.
Профилактика: как не допустить повторения
Настройте мониторинг. Раз в неделю проверяйте логи сервера на наличие 429-ошибок. Если их количество растёт — принимайте меры до того, как это повлияет на индексацию. Настройте уведомления в Яндекс.Вебмастере о проблемах с обходом — система пришлёт письмо, если количество ошибок превысит порог. Контролируйте нагрузку на сервер при пиковых обходах. Если сайт регулярно не справляется с роботами, пора задуматься об апгрейде хостинга или оптимизации кода. Помните: каждый час простоя индексации — это потеря потенциального трафика на дни и недели вперёд.
Часто задаваемые вопросы
Что означает ошибка 429 Too Many Requests при индексации Яндексом?
Это означает, что сервер заблокировал запрос поискового робота, потому что посчитал его частью слишком большого количества обращений. Робот не может проиндексировать страницу, и она не попадает в поиск. При регулярных 429 Яндекс снижает краулинговый бюджет.
Как исправить ошибку 429 для робота Яндекса?
Отключите или настройте rate limiting для User-Agent Яндекса на веб-сервере и в CDN. Увеличьте лимиты хостинга или перейдите на VPS. Включите серверное кеширование, чтобы снизить нагрузку. Закройте мусорные страницы в robots.txt и настройте sitemap.xml.
Как узнать, что Яндекс получает ошибку 429 на моём сайте?
Проверьте раздел «Исключённые страницы» в Яндекс.Вебмастере — там будет указана причина «Ошибка HTTP 429». Также можно проанализировать логи сервера на наличие строк с кодом 429 и User-Agent Яндекса.
Влияет ли ошибка 429 на Google?
Принцип тот же, но Google реже сталкивается с 429, потому что его робот менее агрессивен и соблюдает crawl rate. Однако если сервер настроен на очень жёсткий rate limiting, Google тоже может получать 429, что приведёт к проблемам с индексацией в обеих системах.
