Почему страница не индексируется: проверяем теги noindex, директивы в robots.txt, canonical, HTTP-заголовки и мета-обновления. Комплексная диагностика одной кнопкой.
Одна из самых частых причин, по которой сайт показывается в поиске, но не получает трафика по конкретным страницам — это случайное закрытие этих страниц от индексации. Вебмастер может даже не подозревать, что посадочная страница, на которую ведётся продвижение, помечена тегом noindex. Или robots.txt запрещает обход целого раздела. Или атрибут canonical указывает на совсем другой URL. Пока страница не проиндексирована, она не участвует в ранжировании. Получить по ней трафик невозможно. Поэтому первый шаг в диагностике любой проблемы с позициями — убедиться, что страница вообще доступна для индексации.
Шаг 1: Проверка тега noindex в HTML-коде
Самый простой и в то же время часто встречающийся способ закрыть страницу — прописать в её коде мета-тег robots с директивой noindex. Это могло быть сделано осознанно при разработке, а потом оставлено по ошибке при выкладке в продакшн. Чтобы проверить любую страницу на наличие noindex, не нужно лезть в исходный код вручную. Введите URL в инструмент Проверка noindex. Если тег обнаружен, вы увидите предупреждение. Обратите внимание на значение атрибута content. Возможны варианты: noindex (запрет индексации), nofollow (запрет перехода по ссылкам), noindex, nofollow (полный запрет). Часто CMS позволяют глобально ставить такие метки для черновиков или архивов. Проверьте, не распространяется ли это правило на нужные вам страницы. Если страница должна индексироваться, удалите тег или замените его на index, follow.
Шаг 2: Проверка robots.txt
Второй барьер — файл robots.txt. Даже если в HTML нет noindex, запрет в robots.txt не даст роботу скачать страницу. Проверьте файл robots.txt вашего сайта через Проверка robots.txt. Найдите правило Disallow, которое может затрагивать ваш URL. Например, если для всех роботов прописано Disallow: /catalog/, то ни одна страница из каталога не будет проиндексирована. Обратите внимание, что для разных поисковиков могут быть заданы разные правила. Директива для User-agent: Yandex может отличаться от User-agent: *. Убедитесь, что целевой поисковик имеет доступ к странице. Подробный разбор синтаксиса и шаблонов есть в статье Настройка robots.txt: шаблоны для разных CMS. После правок robots.txt не забудьте проверить его валидность, чтобы не закрыть весь сайт одной опечаткой.
Шаг 3: HTTP-заголовки X-Robots-Tag
Менее очевидный, но не менее эффективный способ управления индексацией — HTTP-заголовок X-Robots-Tag. Он передаётся сервером вместе с ответом и может содержать те же директивы noindex и nofollow. Проверить его через просмотр кода страницы нельзя. Нужен инструмент, который показывает заголовки ответа сервера. В SerpMax это Проверка HTTP-заголовков. Введите URL и посмотрите на наличие строки X-Robots-Tag. Если там стоит noindex, страница не попадёт в индекс. Эта настройка часто используется на серверах nginx или в CDN для массового закрытия групп файлов, например, PDF или изображений. Снять её может только администратор сервера.
Шаг 4: Проверка canonical
Иногда страница открыта для индексации, но её канонический адрес указывает на другую страницу. Поисковик получает сигнал, что основная версия — иная, и не ранжирует текущий URL. Такое часто бывает при наличии дублей или после смены структуры URL. Для проверки используйте Проверка canonical тега. Убедитесь, что атрибут href содержит именно тот адрес, который вы продвигаете. Если canonical указывает на другой URL, а текущая страница должна быть основной, исправьте тег. Если же канонический адрес верен, а продвигаемый URL — дубль, то трафик следует ожидать именно на каноническую версию.
Шаг 5: Мета-обновления и JavaScript-редиректы
Редкая, но возможная проблема — тег meta refresh, который мгновенно перенаправляет пользователя (и робота) на другой URL. По сути, это редирект, который поисковик может интерпретировать по-разному. Проверьте страницу через Проверка meta refresh. Если тег обнаружен с нулевой задержкой, это может быть причиной того, что в индексе оказывается совсем другая страница. Также некоторые JavaScript-редиректы могут работать аналогично. Если сайт построен на JS, проверьте, видит ли поисковик контент, с помощью Проверка видимости JS-контента Яндексом. Только после выполнения всех пяти шагов можно утверждать, что страница точно доступна для индексации.
Часто задаваемые вопросы
Как проверить, закрыта ли страница от индексации в Яндексе?
Используйте комплексную проверку: убедитесь, что в HTML нет meta-тега noindex, в robots.txt нет запрета для Яндекса, а в HTTP-заголовках отсутствует X-Robots-Tag: noindex. Все три проверки доступны в SerpMax.
Почему страница открыта, но всё равно не индексируется?
Причины могут быть в низком качестве контента, отсутствии внешних и внутренних ссылок, медленной загрузке или технических сбоях сервера. Если все проверки пройдены, обратитесь к анализу краулингового бюджета в руководстве Краулинговый бюджет сайта.
Что важнее: robots.txt или мета-тег noindex?
Приоритет имеет robots.txt. Если страница запрещена в robots.txt, робот не будет её скачивать и не узнает о наличии мета-тега noindex. Поэтому сначала проверяйте robots.txt.
