Разбираем, что такое краулинговый бюджет, почему Яндекс обходит не все страницы, как анализировать статистику обхода и перераспределить внимание робота на приоритетные URL сайта.
Краулинговый бюджет: скрытый ресурс, о котором молчат новички
Вы написали отличную статью, добавили её в sitemap, отправили на переобход через Яндекс.Вебмастер, а она не индексируется неделю, две, месяц. Знакомая ситуация? Возможно, проблема не в качестве контента и не в технических ошибках, а в том, что ваш сайт исчерпал свой краулинговый бюджет. Это понятие, пришедшее из SEO-лексикона Google, применимо и к Яндексу, хотя отечественный поисковик не даёт прямого числового значения этого показателя. Суть одна: у робота есть ограниченное количество страниц, которые он готов обойти за один заход на сайт. Если на сайте сотни тысяч URL, а робот за сутки обходит только тысячу, то новые страницы могут ждать своей очереди неделями. В этой статье мы разберём, из чего складывается краулинговый бюджет, как его измерить доступными в РФ инструментами и, главное, как им управлять, чтобы все важные страницы попадали в индекс максимально быстро.
Что такое краулинговый бюджет: два компонента одной формулы
Краулинговый бюджет состоит из двух частей: лимита частоты обхода и лимита спроса на обход. Лимит частоты определяет, как часто робот может заходить на сайт, не создавая чрезмерной нагрузки на сервер. Если сервер отвечает быстро и без ошибок, лимит растёт. Если робот регулярно получает таймауты, 500-е ошибки или долгие ответы, лимит урезается — поисковик бережёт ваш сервер. Лимит спроса зависит от популярности и свежести контента. Страницы, на которые часто ссылаются, которые регулярно обновляются и имеют хорошие поведенческие метрики, обходятся чаще. Страницы-дубли, мусорные фильтры, пагинация без уникального контента — снижают спрос, и робот начинает считать сайт не стоящим частого обхода. Баланс этих двух компонентов и определяет, сколько страниц в день Яндекс реально проиндексирует на вашем сайте, независимо от того, сколько URL вы добавили в sitemap.
Как узнать свой краулинговый бюджет: анализ через Яндекс.Вебмастер
Яндекс не показывает конкретную цифру «ваш бюджет — 500 страниц в сутки», но даёт все данные для его оценки. Заходим в Яндекс.Вебмастер, раздел «Индексирование» — «Статистика обхода». Здесь мы видим график с тремя кривыми: всего запросов, успешных и с ошибками. Посмотрите на среднее количество успешных запросов в сутки за последние две недели. Это и есть ваш фактический суточный краулинговый бюджет. Если успешных запросов 300 в день, а на сайте 30 000 страниц, то полный переобход займёт 100 дней — неприемлемо долго для интернет-магазина с меняющимся ассортиментом. Второй источник данных — раздел «Страницы в поиске». Сравните количество загруженных страниц с количеством исключённых. Если исключённых больше, значит, робот тратит бюджет на мусорные URL, не добираясь до ценных. Третий источник — логи сервера. Попросите хостинг-провайдера предоставить логи обращений бота YandexBot. Подсчитайте количество уникальных URL, запрошенных за сутки, и сопоставьте со статистикой из Вебмастера. Так вы получите объективную картину.
Пожиратели краулингового бюджета: что съедает внимание робота
Главный враг эффективной индексации — дубли. Одна и та же страница, доступная по нескольким адресам: с www и без, с параметрами сортировки в URL, с метками UTM, с заглавными и строчными буквами в адресе. Если canonical настроен, Яндекс в итоге склеит дубли, но бот сначала обойдёт каждый вариант, потратив на это драгоценные запросы. Вторая проблема — пагинация. Страницы пагинации вида site.ru/catalog?page=3 часто не несут уникальной ценности, но их сотни. Третья — внутренние страницы поиска. Если форма поиска на сайте формирует URL типа site.ru/search?q=запрос, и эти URL доступны для обхода, робот может уйти в бесконечное блуждание по поисковой выдаче. Четвёртая — неоптимизированная карта сайта. Sitemap, содержащий 50 000 URL, среди которых 20 000 — 404 ошибки или редиректы, заставляет робота тратить время на мёртвые страницы. Пятый пожиратель — фасетная навигация в интернет-магазинах. Фильтры по цвету, размеру, материалу генерируют экспоненциальный рост URL, большинство из которых никому не нужны в поиске.
Оптимизация краулингового бюджета: наводим порядок в URL
Первый и самый эффективный шаг — настройка файла robots.txt. Запретите индексацию служебных разделов, страниц поиска, корзины, личного кабинета, страниц с UTM-метками. Используйте директиву Clean-param в Вебмастере, чтобы указать Яндексу, какие параметры URL не несут смысловой нагрузки и должны игнорироваться. Например, параметры сортировки, сессионные идентификаторы, метки рекламных кампаний. Второй шаг — аудит sitemap.xml. Удалите из карты сайта все URL, отдающие не 200 код, и все неканонические адреса. В sitemap должны быть только финальные, канонические URL, готовые к индексации. Третий шаг — работа с пагинацией и фильтрами. Для пагинации используйте теги rel="prev" и rel="next" или вообще замените бесконечную пагинацию на кнопку «Показать ещё» с подгрузкой через JavaScript, чтобы поисковый бот не проваливался в глубину страниц. Четвёртый шаг — настройка внутренней перелинковки. Страницы, на которые ведут ссылки с главной и из меню, получают приоритет при обходе. Убедитесь, что все приоритетные URL связаны с главной не более чем в 2-3 клика.
Скорость ответа сервера как множитель бюджета
Время ответа сервера напрямую влияет на то, сколько страниц робот успеет обойти за один сеанс. Если ваш сервер отдаёт страницу за 50 миллисекунд, за минуту бот обойдёт 1200 страниц. Если ответ занимает 2 секунды — всего 30 страниц. Разница в 40 раз. Проверьте TTFB через инструменты Яндекс.Вебмастера. Если время ответа превышает 300-500 мс, это повод для разговора с хостинг-провайдером. Российские хостеры, такие как TimeWeb, Beget, REG.RU, предлагают VPS с SSD-дисками, которые обеспечивают TTFB в пределах 100-200 мс при правильной настройке. Также критично включение кеширования на уровне сервера. Если каждая страница генерируется динамически через PHP и базу данных, сервер тратит ресурсы на одни и те же вычисления. Установите Nginx FastCGI Cache или используйте плагины кеширования для вашей CMS. Страница, отдаваемая из кеша, обрабатывается в 10-50 раз быстрее, высвобождая ресурсы сервера и увеличивая скорость обхода.
Приоритизация через Sitemap: lastmod, changefreq и priority
Sitemap.xml — не просто список URL, а инструмент управления вниманием робота. Поле lastmod сообщает Яндексу дату последнего изменения страницы. Если вы обновили 10 страниц из 1000, и честно проставили даты, робот пойдёт в первую очередь на обновлённые, а не будет перетряхивать архив трёхлетней давности. Поле changefreq задаёт ожидаемую частоту обновления: always, hourly, daily, weekly, monthly, yearly, never. Поле priority от 0.0 до 1.0 указывает приоритет страницы относительно других страниц сайта. Яндекс не гарантирует строгое следование этим параметрам, но использует их как рекомендацию при распределении краулингового бюджета. Настройте sitemap с умом: для главной страницы — daily и priority 1.0, для категорий — weekly и 0.8, для карточек товаров — weekly или monthly в зависимости от частоты обновления цен и остатков, для статей блога — monthly и 0.5. Главное — не обманывайте робота, проставляя daily для страниц, которые реально обновляются раз в год. Это подрывает доверие к sitemap в целом.
Устранение мягких 404 и цепочек редиректов
Мягкая 404 — это когда страница отдаёт код 200, но по сути является пустышкой: «Товар не найден», «Нет результатов», пустая страница пагинации. Робот обходит такой URL, тратит бюджет, но контента, достойного индексации, не находит. Яндекс научился определять мягкие 404 и помечает их в Вебмастере. Проверьте раздел «Исключённые страницы» на наличие статуса «Не найден» или аналогичных пометок. Цепочки редиректов — ещё один пожиратель. Каждый редирект требует дополнительного запроса от бота. Если URL A ведёт на B, а B на C, бот делает три запроса вместо одного. Настройте прямые 301 редиректы с исходного URL сразу на финальный. В идеале цепочка должна состоять из одного звена. Регулярно проверяйте логи сервера на наличие длинных цепочек и исправляйте их.
Мониторинг и поддержание здоровья краулингового бюджета
Оптимизация краулингового бюджета — не разовая акция. Внедрите ежемесячный регламент: проверяйте график статистики обхода в Вебмастере, отслеживайте тренд успешных запросов. Если график ползёт вниз — ищите причину. Анализируйте список исключённых страниц на предмет новых дублей и ошибок. Проверяйте sitemap на наличие битых URL. Мониторьте TTFB и аптайм сервера. При росте сайта пересматривайте robots.txt и настройки Clean-param. Помните: чем больше на сайте страниц, тем важнее становится управление краулинговым бюджетом. Для сайта из 50 страниц это не критично, робот обойдёт всё за полчаса. Для сайта из 50 000 страниц без управления бюджетом можно оказаться в ситуации, когда новые товары индексируются по 2 месяца, а конкуренты уже снимают сливки с сезонного спроса.
Чек-лист: 15 шагов по оптимизации краулингового бюджета
1. Проверить robots.txt на наличие запрета служебных разделов.
2. Настроить директиву Clean-param в Яндекс.Вебмастере для неинформативных параметров.
3. Провести аудит sitemap.xml: удалить битые, неканонические и запрещённые URL.
4. Проставить корректные lastmod, changefreq и priority в sitemap.
5. Настроить канонические теги на всех страницах.
6. Закрыть или ограничить индексацию пагинации.
7. Настроить обработку мягких 404.
8. Исправить цепочки редиректов на прямые 301.
9. Проверить скорость ответа сервера (TTFB) и оптимизировать при необходимости.
10. Настроить серверное кеширование.
11. Проверить, не индексируются ли внутренние страницы поиска.
12. Удалить или запретить дубли с www/non-www, http/https.
13. Настроить внутреннюю перелинковку для приоритетных страниц.
14. Настроить мониторинг важных страниц в Вебмастере.
15. Ежемесячно сверять динамику обхода и корректировать настройки. Последовательное выполнение этих шагов гарантирует, что робот Яндекса будет тратить своё время только на действительно ценные страницы вашего сайта.
