X-Robots-Tag — это HTTP заголовок, который управляет индексацией страницы так же, как meta-тег robots. Но есть важное отличие: meta-тег работает только для HTML-страниц, а X-Robots-Tag — для любых файлов. PDF, изображения, видео, документы — всё это можно закрыть от индексации через заголовок.
Проверить X-Robots-Tag онлайн можно через инструмент SerpMax. Он покажет все заголовки ответа сервера, включая X-Robots-Tag и его директивы.
Для комплексной проверки индексации и других технических параметров используйте SEO-аудит SerpMax.
Чем X-Robots-Tag отличается от meta robots
Meta robots стоит внутри HTML-кода страницы. X-Robots-Tag приходит в HTTP заголовке ответа сервера. Оба управляют индексацией, но работают в разных ситуациях:
— meta robots — только для HTML-страниц;
— X-Robots-Tag — для любых файлов, включая PDF, изображения, видео;
— X-Robots-Tag имеет приоритет, если оба указаны и противоречат друг другу;
— meta robots видят все роботы, X-Robots-Tag — только те, что поддерживают заголовок (Google, Яндекс, Bing).
Если нужно закрыть от индексации PDF-файл, meta-тег не поможет — внутри PDF нет HTML. А X-Robots-Tag работает.
Какие директивы поддерживает X-Robots-Tag
Заголовок принимает те же директивы, что и meta robots:
— noindex — не индексировать страницу;
— nofollow — не переходить по ссылкам на странице;
— none — то же самое, что noindex, nofollow вместе;
— noarchive — не показывать копию страницы в кэше;
— nosnippet — не показывать сниппет в выдаче;
— noimageindex — не индексировать изображения на странице;
— notranslate — не предлагать перевод страницы.
Директивы можно комбинировать через запятую:
X-Robots-Tag: noindex, nofollow
Как проверить X-Robots-Tag: пошаговая инструкция
Способ 1: Через инструмент SerpMax
Откройте проверку HTTP заголовков, введите URL и запустите. Инструмент покажет все заголовки ответа. Найдите строку X-Robots-Tag. Если её нет — заголовок не установлен, страница индексируется по умолчанию.
Если заголовок есть, посмотрите директивы. Например:
X-Robots-Tag: noindex — страница закрыта от индексации.
X-Robots-Tag: noindex, nofollow — страница закрыта и ссылки не передают вес.
Способ 2: Через DevTools в браузере
Откройте страницу, нажмите F12, перейдите на вкладку Network. Обновите страницу. Кликните на первый запрос. Справа откроется панель с заголовками. Найдите раздел Response Headers. Там будет X-Robots-Tag, если он установлен.
Способ 3: Через curl
Выполните в терминале:
curl -I https://example.com/page
Флаг -I запрашивает только заголовки. В выводе найдите строку X-Robots-Tag. Если строки нет — заголовок не установлен.
Типичные ошибки с X-Robots-Tag
Ошибка 1: Заголовок закрывает весь сайт
Самая разрушительная ошибка. Если сервер отдаёт X-Robots-Tag: noindex для всех страниц — весь сайт выпадает из индекса. Часто случается при неправильной настройке nginx или Apache. Проверить можно через инструмент SerpMax — если заголовок стоит на главной, скорее всего, он стоит везде.
Ошибка 2: Конфликт с meta robots
В HTML стоит <meta name="robots" content="index, follow">, а в HTTP заголовке — X-Robots-Tag: noindex. Поисковик использует более строгую директиву. Страница не индексируется, хотя вы этого не хотели. Проверьте оба места.
Ошибка 3: Заголовок стоит на страницах, которые должны индексироваться
Например, после тестирования забыли убрать noindex с раздела блога. Страницы не в индексе, трафик не идёт. Проверить можно через проверку HTTP заголовков SerpMax.
Ошибка 4: X-Robots-Tag для изображений
Если нужно закрыть изображения от индексации, но оставить страницу — используйте X-Robots-Tag: noimageindex. Если поставить noindex на изображение — оно не будет показываться в поиске по картинкам.
Как исправить X-Robots-Tag
Способ зависит от сервера.
Для Apache (.htaccess)
Чтобы закрыть конкретный файл:
<Files "secret.pdf">Header set X-Robots-Tag "noindex"</Files>
Чтобы закрыть всю папку:
<Directory "/var/www/staging">Header set X-Robots-Tag "noindex, nofollow"</Directory>
Для nginx
В конфигурации сервера:
location /staging/ {add_header X-Robots-Tag "noindex, nofollow";}
Для конкретного файла:
location = /secret.pdf {add_header X-Robots-Tag "noindex";}
Для PHP
В начале скрипта:
header("X-Robots-Tag: noindex", true);
Для статических файлов на CDN
Многие CDN позволяют добавлять кастомные заголовки через настройки. Найдите раздел Headers или Response Headers и добавьте X-Robots-Tag с нужной директивой.
Как проверить X-Robots-Tag после исправления
Снова откройте проверку HTTP заголовков SerpMax. Убедитесь, что:
1. Заголовок X-Robots-Tag отсутствует на страницах, которые должны индексироваться.
2. Заголовок присутствует на страницах, которые нужно закрыть.
3. Директивы корректны — noindex для полного закрытия, noimageindex для изображений.
4. Нет конфликта с meta robots.
После исправления подождите переиндексации. Если страница была закрыта, а теперь открыта — ускорить можно через ускорение индексации.
FAQ
Влияет ли X-Robots-Tag на позиции?
Да. Если заголовок закрывает страницу от индексации — она выпадает из поиска. Если страница не в индексе — она не ранжируется. Проверяйте заголовок после любых изменений на сервере.
Что приоритетнее — X-Robots-Tag или meta robots?
X-Robots-Tag. Если в заголовке noindex, а в meta — index, поисковик использует noindex. Более строгая директива всегда побеждает.
Можно ли использовать X-Robots-Tag для PDF?
Да, это один из немногих способов закрыть PDF от индексации. Meta-тег внутри PDF не работает. Используйте заголовок.
Как проверить X-Robots-Tag бесплатно?
Через инструмент SerpMax. Вставьте URL, запустите проверку — результат покажет все заголовки, включая X-Robots-Tag.
Что делать, если X-Robots-Tag стоит на всём сайте?
Найдите, где он настроен — в .htaccess, nginx или PHP. Уберите директиву для тех разделов, которые должны индексироваться. Оставьте только для служебных страниц.
Работает ли X-Robots-Tag для Яндекс?
Да. Яндекс поддерживает X-Robots-Tag так же, как Google. Директивы noindex, nofollow, noarchive работают.
Можно ли указать X-Robots-Tag только для одного робота?
Да. Формат: X-Robots-Tag: googlebot: noindex. Это применит директиву только к Googlebot. Для Яндекса: X-Robots-Tag: yandex: noindex.
Как быстро поисковик учтёт изменения X-Robots-Tag?
От нескольких дней до нескольких недель. Ускорить можно через переобход в Яндекс.Вебмастер или Google Search Console.
