Разбираем все способы закрытия страниц от индексации: мета-тег noindex, заголовок X-Robots-Tag, robots.txt. Как выбрать правильный метод под задачу.
Не все страницы сайта должны присутствовать в поисковой выдаче. Служебные разделы, корзина интернет-магазина, страницы с результатами внутреннего поиска, дубли — всё это нужно закрывать от индексации. Ошибка в настройке может привести к тому, что в выдачу попадёт то, что не предназначено для пользователей, или наоборот — пропадут важные страницы. Разберём все доступные методы и когда какой применять.
Мета-тег noindex: основной способ для HTML-страниц
Мета-тег noindex размещается в блоке head страницы и выглядит как meta name="robots" content="noindex". Он даёт команду поисковым роботам не включать страницу в индекс. Яндекс и Google понимают эту директиву и при следующем обходе исключают страницу из поиска. Важно: страница с noindex должна быть доступна для обхода. Если закрыть её в robots.txt, робот не увидит мета-тег, и страница может остаться в индексе на основе внешних ссылок. Проверить наличие noindex на странице можно инструментом Noindex Checker.
X-Robots-Tag для не-HTML файлов
Мета-тег работает только в HTML. Для PDF, изображений, видео и других типов файлов используется HTTP-заголовок X-Robots-Tag. Он настраивается на уровне сервера и позволяет гибко управлять индексацией любых ресурсов. Например, можно закрыть от индексации все PDF определённой директории, не трогая HTML-страницы. Проверить HTTP-заголовки ответа сервера можно через HTTP Headers Lookup.
Robots.txt: запрет обхода, но не индексации
Самое частое заблуждение — считать, что Disallow в robots.txt закрывает страницу от индексации. На самом деле robots.txt запрещает роботу обходить страницу, но не исключает её из индекса. Если на закрытую страницу ведут внешние ссылки, она может оказаться в выдаче без описания. Такой результат выглядит хуже, чем полное отсутствие. Правильная стратегия: закрывать страницы от индексации через noindex, а robots.txt использовать для экономии краулингового бюджета, запрещая обход технических разделов. Подробнее о настройке robots.txt читайте в статье Robots.txt для сайта: как составить и проверить.
Какие страницы нужно закрывать от индексации
Стандартный список включает: страницы авторизации и регистрации, корзину и личный кабинет, результаты внутреннего поиска, страницы с параметрами сортировки и фильтрации, дубли страниц, служебные страницы CMS, страницы с UTM-метками в URL. Перед массовым закрытием страниц проведите аудит индексации. В этом поможет SEO-аудит SerpMax, который показывает, какие страницы попали в индекс, а какие нет, и позволяет найти нежелательные URL в поиске.
Как проверить, что noindex работает
После установки noindex нужно дождаться переобхода страницы роботом. Ускорить это можно через инструмент «Переобход страниц» в Яндекс.Вебмастере. Через несколько дней проверьте, исчезла ли страница из выдачи, поиском по URL в Яндексе. Также можно использовать Noindex Checker, чтобы убедиться, что мета-тег корректно отдаётся в HTML-коде. Для HTTP-заголовков используйте HTTP Headers Lookup.
Noindex и удаление уже проиндексированных страниц
Если страница уже в индексе и вы хотите её убрать, одного noindex недостаточно для быстрого результата. Робот может переобходить её не сразу. Для ускорения используйте инструмент «Удаление страниц из поиска» в Яндекс.Вебмастере. Но перед этим обязательно закройте страницу через noindex — иначе после временного удаления она может вернуться в индекс. Пошаговая инструкция есть в статье Как удалить страницы из поиска: способы и ошибки.
Часто задаваемые вопросы
Можно ли закрыть от индексации часть текста на странице?
Да, для этого используется тег noindex в теле страницы. Он работает только в Яндексе и скрывает фрагмент текста от индексации, не удаляя саму страницу из поиска. В Google этот тег не поддерживается.
Что будет, если закрыть robots.txt и не поставить noindex?
Страница может остаться в индексе как «серая» ссылка — без заголовка и описания. Пользователь увидит в выдаче только URL, что снижает доверие и CTR.
Как снять noindex со страницы, которая должна вернуться в поиск?
Удалите мета-тег или HTTP-заголовок и запросите переобход в Яндекс.Вебмастере. Страница вернётся в индекс при следующем обходе.
