Вы опубликовали новые страницы, добавили их в sitemap, но в Яндексе они не появляются неделями. Или появляются, но не все. Это одна из самых частых проблем молодых и растущих сайтов. Причины могут быть в краулинговом бюджете, качестве контента, технических блокировках или настройках Вебмастера. Разберём, как найти причину и ускорить индексацию.
Как Яндекс индексирует новые страницы
Индексация в Яндексе — это многоступенчатый процесс. Сначала робот должен найти страницу: через внутренние ссылки, sitemap, внешние ссылки или другие источники. Затем он должен её обойти, проанализировать и добавить в индекс.
Этапы:
— обнаружение URL;
— обход страницы;
— анализ контента;
— оценка качества;
— добавление в индекс.
На каждом этапе страница может «застрять». Если она не обнаружена — робот её не увидит. Если обнаружена, но не обойдена — она ждёт в очереди. Если обойдена, но не проиндексирована — Яндекс считает её недостаточно качественной или неважной.
Причина 1: страница не обнаружена
Если на новую страницу нет ссылок, робот может её не найти. Sitemap помогает, но не гарантирует обнаружение.
Что проверить:
— есть ли ссылки на страницу из других страниц сайта;
— добавлена ли страница в sitemap;
— указан ли sitemap в robots.txt;
— есть ли внешние ссылки на страницу;
— доступна ли страница для обхода.
Для проверки используйте проверка robots.txt — инструмент покажет, какие директивы заданы и не блокируется ли страница от обхода.
Причина 2: страница закрыта от индексации
Иногда страница технически доступна, но закрыта от индексации. Причины:
— noindex в meta robots;
— noindex в X-Robots-Tag;
— страница закрыта в robots.txt;
— canonical указывает на другую страницу;
— страница отдаёт редирект;
— страница недоступна для робота из-за блокировки по User-Agent.
Что проверить:
— meta robots;
— X-Robots-Tag;
— robots.txt;
— canonical;
— статус ответа сервера.
Если страница закрыта, Яндекс не сможет её проиндексировать, даже если она доступна пользователям.
Причина 3: краулинговый бюджет
Краулинговый бюджет — это количество страниц, которое Яндекс готов обойти за определённый период. Если сайт большой или на нём много мусорных страниц, бюджет расходуется на них, а новые страницы ждут в очереди.
Признаки проблемы:
— новые страницы не индексируются неделями;
— робот обходит старые страницы чаще, чем новые;
— в Вебмастере много страниц в статусе «не обойдена»;
— сайт медленно отвечает.
Что делать:
— ускорить сервер;
— убрать мусорные страницы;
— закрыть от индексации служебные страницы;
— улучшить внутреннюю перелинковку;
— обновить sitemap.
Причина 4: низкое качество контента
Яндекс оценивает качество страницы. Если контент поверхностный, дублируется или не отвечает на запрос, страница может не попасть в индекс.
Признаки низкого качества:
— мало текста;
— контент дублируется с других страниц;
— нет уникальной информации;
— страница не отвечает на интент;
— много рекламы или мало полезного контента.
Что делать:
— добавить уникальный контент;
— убрать дубли;
— ответить на вопросы пользователей;
— улучшить структуру страницы.
Причина 5: настройки Вебмастера
В Яндекс.Вебмастере есть настройки, которые влияют на индексацию:
— регион сайта;
— основное зеркало;
— sitemap;
— переобход страниц;
— диагностика ошибок.
Что проверить:
— указано ли основное зеркало;
— добавлен ли sitemap;
— нет ли ошибок в диагностике;
— запрошен ли переобход новых страниц;
— правильно ли указан регион.
Как ускорить индексацию
Пошаговый план:
— убедиться, что страница доступна и не закрыта;
— добавить ссылки на страницу из других страниц;
— добавить страницу в sitemap;
— указать sitemap в robots.txt;
— запросить переобход в Вебмастере;
— улучшить качество контента;
— ускорить сервер;
— убрать мусорные страницы;
— подождать.
Как проверить результат
Чек-лист:
— страница доступна и не закрыта;
— есть ссылки на страницу;
— страница в sitemap;
— sitemap указан в robots.txt;
— в Вебмастере нет ошибок;
— страница появилась в индексе.
Если нужно проверить сразу несколько параметров — robots.txt, sitemap, canonical — логично перейти к SEO-аудиту.
Частые ошибки
— отсутствие ссылок на новую страницу;
— страница не в sitemap;
— sitemap не указан в robots.txt;
— страница закрыта от индексации;
— низкое качество контента;
— мусорные страницы расходуют краулинговый бюджет;
— отсутствие переобхода в Вебмастере.
FAQ
Почему новые страницы не индексируются в Яндексе?
Причин несколько: страница не обнаружена, закрыта от индексации, краулинговый бюджет расходуется на другие страницы, низкое качество контента или ошибки в Вебмастере.
Сколько времени занимает индексация новой страницы в Яндексе?
От нескольких дней до нескольких недель. Зависит от авторитета сайта, качества контента и краулингового бюджета.
Как ускорить индексацию?
Добавить ссылки на страницу, обновить sitemap, запросить переобход в Вебмастере, улучшить качество контента и ускорить сервер.
Что такое краулинговый бюджет?
Это количество страниц, которое Яндекс готов обойти за период. Если бюджет расходуется на мусорные страницы, новые страницы ждут в очереди.
Может ли robots.txt блокировать индексацию?
Да, если страница закрыта в robots.txt, робот не сможет её обойти. Но robots.txt не удаляет страницу из индекса, если она уже там.
Почему страница в индексе, но не в выдаче?
Это разные вещи. Индексация означает, что страница в базе Яндекса. Ранжирование означает, что она показывается по запросам. Страница может быть в индексе, но не ранжироваться.
Нужно ли добавлять страницу в sitemap?
Да, это помогает роботу быстрее найти страницу. Но sitemap не гарантирует индексацию.
Влияет ли качество контента на индексацию?
Да. Если контент поверхностный или дублируется, Яндекс может не индексировать страницу.
Что делать, если страница не индексируется месяцами?
Проверить доступность, закрытие от индексации, ссылки, sitemap, качество контента и настройки Вебмастера. Если всё в порядке, подождать и запросить переобход.
Можно ли гарантировать индексацию?
Нет. Яндекс сам решает, что индексировать. Но можно создать условия, при которых индексация более вероятна.
