Как проверить индексацию страниц сайта в Яндекс и Google: пошаговое руководство по Google Search Console, Яндекс.Вебмастер, операторам поиска и онлайн-инструментам. Узнайте причины исключения страниц и способы ускорить индексацию.
Введение: индексация — это видимость
Представьте: вы запустили сайт. Написали 50 отличных статей. Настроили дизайн. Подключили метрики. Проходит неделя, две, месяц — трафика нет. Вы открываете поиск, вводите запрос по своей же статье — её нет в выдаче. Вообще. Первая мысль: «Может, контент плохой?» Но проблема глубже — страницы просто не попали в индекс поисковых систем. Без индексации ваш сайт не существует для Яндекса и Google. Это как напечатать книгу, но не сдать её в библиотеку — читатели никогда не узнают о её существовании.
По данным исследования Search Engine Journal за 2025 год, в среднем 15-20% страниц коммерческих сайтов не индексируются по техническим причинам, о которых владельцы даже не подозревают. Для крупных интернет-магазинов этот показатель может достигать 35-40%. Каждая исключённая страница — это потерянный трафик, лиды и деньги. При этом большинство проблем с индексацией решается за часы, а не за недели — если знать, где искать.
В этом руководстве мы разберём все способы проверки индексации сайта в Яндекс и Google: от базовых операторов поиска до продвинутой аналитики через Google Search Console, Яндекс.Вебмастер и специализированные онлайн-инструменты для SEO-аудита. Вы узнаете, как найти исключённые страницы, понять причины их выпадения из индекса и вернуть их в поиск.
Что такое индексация сайта и почему это важно
Индексация — это процесс, при котором поисковый робот (краулер) сканирует страницу, анализирует её содержимое и добавляет информацию о ней в поисковый индекс — гигантскую базу данных, из которой формируется выдача по запросам пользователей.
Формула трафика: Контент создан → Робот просканировал → Страница в индексе → Пользователь ввёл запрос → Страница в выдаче → Трафик. Если на этапе «Страница в индексе» происходит сбой, вся цепочка рвётся. Трафика нет, сколько бы усилий вы ни вложили в контент.
Этапы индексации
- Обнаружение (Discovery): поисковый робот узнаёт о существовании страницы через sitemap, внутренние или внешние ссылки.
- Краулинг (Crawling): робот заходит на страницу и скачивает её содержимое (HTML, CSS, JS).
- Обработка (Processing): поисковая система анализирует контент, извлекает текст, ссылки, структурированные данные.
- Индексация (Indexing): страница добавляется в поисковый индекс и становится доступной для показа в выдаче.
- Ранжирование (Ranking): при появлении релевантного запроса алгоритм определяет позицию страницы в выдаче.
Проверка индексации позволяет понять, на каком этапе произошёл сбой. Страница может быть обнаружена, но не просканирована. Или просканирована, но исключена из индекса. Или проиндексирована, но с ошибками, которые мешают ранжированию.
Как проверить индексацию сайта в Яндексе
Яндекс — основная поисковая система для русскоязычного сегмента, поэтому проверку индексации в Яндексе нужно проводить в первую очередь.
Способ 1: Оператор host (базовая проверка)
Самый простой и быстрый способ узнать, сколько страниц сайта проиндексировано Яндексом — использовать поисковый оператор host:.
Как использовать:
- Откройте yandex.ru
- В поисковой строке введите: host:вашсайт.ru (без https:// и www)
- Нажмите Enter
Что вы видите:
- Общее количество страниц сайта в индексе Яндекса (над результатами поиска)
- Сами проиндексированные страницы в выдаче
- Примерный срез того, какие разделы сайта видны поисковой системе
Важно: оператор host: показывает только главное зеркало сайта. Если у вас есть поддомены (blog.вашсайт.ru), их нужно проверять отдельно.
Ограничения метода:
— Показывает не все страницы, а репрезентативную выборку
— Не показывает исключённые страницы
— Нет данных о причинах исключения
— Количество может отличаться от реального
Когда использовать: для быстрой ежедневной проверки, всё ли в порядке с индексацией. Если вчера было 500 страниц, а сегодня 10 — проблема очевидна.
Способ 2: Яндекс.Вебмастер (профессиональный инструмент)
Яндекс.Вебмастер — обязательный инструмент для каждого владельца сайта. Он даёт детальную картину индексации и сообщает о проблемах.
Где смотреть индексацию в Яндекс.Вебмастер:
Раздел «Индексирование» → «Страницы в поиске»:
— Точное количество проиндексированных страниц
— График изменения количества страниц в поиске по дням
— Динамика: страницы добавлены, страницы исключены
Раздел «Индексирование» → «Исключённые страницы»:
— Список URL, исключённых из поиска
— Причины исключения для каждой страницы
Причины исключения, которые вы увидите:
— «Запрещено в robots.txt»
— «Ошибка HTTP» (4xx, 5xx)
— «Редирект»
— «Дубликат»
— «Малоинформативная страница»
— «Нет индексации» (noindex)
— «Не найден» (404)
Раздел «Индексирование» → «Статистика обхода»:
— Сколько страниц робот обходит ежедневно
— Коды ответов сервера при обходе
— Время загрузки страниц при обходе
Как анализировать исключённые страницы:
Зайдите в список исключённых страниц и отсортируйте по причине. Типичная картина для проблемного сайта:
— 40% — «Запрещено в robots.txt» (что-то лишнее закрыто)
— 25% — «Дубликат» (страницы с GET-параметрами, пагинация)
— 15% — «Ошибка HTTP» (битые ссылки, проблемы сервера)
— 10% — «Малоинформативная страница» (пустые страницы рубрик)
— 10% — прочее
Каждая причина требует своего решения. Закрыто в robots.txt — правим robots.txt. Дубликат — настраиваем canonical. Ошибка HTTP — исправляем серверные проблемы.
Инструмент «Проверка статуса URL» позволяет проверить конкретную страницу:
— Проиндексирована ли она
— Когда был последний обход
— Какие проблемы обнаружены
— Как робот видит страницу (сохранённая копия)
Используйте этот инструмент для проверки ключевых страниц после доработок.
Способ 3: Анализ лог-файлов сервера
Самый глубокий метод — анализ логов сервера. Вы видите каждый запрос робота Яндекса (YandexBot) к вашему сайту: какие страницы он обходил, сколько времени заняла загрузка, какие коды ответов получал.
Что даёт анализ логов:
— Какие страницы робот обходит чаще всего (основной контент или мусор?)
— Есть ли страницы, которые робот ни разу не посетил
— Какой процент обходов уходит на служебные URL (фильтры, сортировки)
— Есть ли ошибки сервера (500) при попытке обхода
— Расходуется ли краулинговый бюджет эффективно
Инструменты для анализа логов:
— Специализированные SEO-краулеры (Screaming Frog Log File Analyzer)
— Онлайн-инструменты для SEO-аудита с функцией анализа логов
— Самописные скрипты (если есть технический ресурс)
Как проверить индексацию сайта в Google
Google — вторая по важности поисковая система для русскоязычного сегмента. Методы проверки во многом аналогичны яндексовым, но есть нюансы.
Способ 1: Оператор site (базовая проверка)
Аналог яндексового host:, но с другим синтаксисом.
Как использовать:
— Откройте google.com
— Введите: site:вашсайт.ru
— Нажмите Enter
Что вы видите:
— Примерное количество страниц в индексе Google (над результатами)
— Список проиндексированных страниц
Важно: Google показывает приблизительное число. Реальное количество проиндексированных страниц может отличаться на 20-40%. Для точных данных используйте Google Search Console.
Расширенные операторы для проверки:
— site:вашсайт.ru/blog/ — только страницы раздела blog
— site:вашсайт.ru inurl:product — страницы, содержащие product в URL
— site:вашсайт.ru "ключевая фраза" — страницы с точным совпадением фразы
Способ 2: Google Search Console (профессиональный инструмент)
Google Search Console (GSC) — обязательный инструмент для вебмастера. Даёт детальную картину индексации.
Где смотреть индексацию в GSC:
Отчёт «Индекс» → «Страницы» (Coverage):
— График: проиндексированные страницы vs исключённые
— Список всех известных Google страниц с разбивкой по статусам
Статусы страниц:
— Проиндексировано (Indexed) — страницы в поиске
— Исключено (Excluded) — страницы, которые Google знает, но не добавил в индекс
— Ошибка (Error) — страницы, которые не удалось проиндексировать
— Предупреждение (Warning) — страницы проиндексированы, но с проблемами
Детализация статусов исключённых страниц:
— «Обнаружено — не проиндексировано» (Discovered — currently not indexed)
— «Просканировано — не проиндексировано» (Crawled — currently not indexed)
— «Дубликат без выбранного пользователем канонического адреса»
— «Дубликат, Google выбрал другую каноническую страницу»
— «Страница с редиректом»
— «Страница с ошибкой 404»
— «Заблокировано в robots.txt»
— «Страница с noindex»
— «Альтернативная страница с каноническим тегом»
— «Мягкая 404» (Soft 404)
Инструмент «Проверка URL» (URL Inspection):
— Введите конкретный URL
— Узнайте статус индексации
— Узнайте дату последнего сканирования
— Увидите, как Googlebot видит страницу (сохранённый HTML, скриншот)
— Можете запросить индексацию (Request Indexing)
Статус «Обнаружено — не проиндексировано» (Discovered — currently not indexed):
Это самый частый статус для новых сайтов или страниц. Google знает о существовании URL, но ещё не просканировал его. Причины:
— Недостаток краулингового бюджета (слишком много страниц, робот не успевает)
— Низкое качество страницы (Google считает сканирование не приоритетным)
— Проблемы с сервером (медленный ответ)
— Плохая внутренняя перелинковка (страница «закопана» глубоко)
Решение: улучшить внутреннюю перелинковку, ускорить сайт, подать заявку на индексацию вручную для приоритетных страниц.
Способ 3: Google Cache
Проверка кеша Google показывает, какую версию страницы видит поисковая система и когда был последний обход.
Как проверить:
— В строке браузера: webcache.googleusercontent.com/search?q=cache:вашсайт.ru/stranica
— Или в поиске Google нажать на три точки рядом с результатом → «Сохранённая копия»
Что анализировать:
— Дата сохранения кеша — дата последнего обхода
— Текстовая версия — что именно видит Googlebot (JS-рендеринг, скрытый текст?)
— Отличие от реальной страницы — не подменяется ли контент
Сравнение инструментов для проверки индексации
Оператор host: / site:
Точность: Низкая
Детализация: Минимальная
Скорость: Мгновенно
Для кого: Быстрая проверка
Яндекс.Вебмастер
Точность: Высокая
Детализация: Высокая
Скорость: Данные за вчера
Для кого: Профессионалы
Google Search Console
Точность: Высокая
Детализация: Высокая
Скорость: Задержка 1-3 дня
Для кого: Профессионалы
Анализ логов
Точность: Абсолютная
Детализация: Максимальная
Скорость: Реальное время
Для кого: Технические специалисты
Онлайн SEO-аудиторы
Точность: Высокая
Детализация: Комплексная
Скорость: Минуты
Для кого: Универсальный вариант
Онлайн-инструменты для SEO-аудита (такие как SerpMax) совмещают данные из нескольких источников и дают комплексную картину: индексация + битые ссылки + robots.txt + sitemap в одном отчёте. Это экономит время по сравнению с ручной проверкой в каждой панели вебмастера.
Причины неиндексации страниц и способы решения
Причина 1: Страница закрыта в robots.txt
Как обнаружить:
— В Яндекс.Вебмастер: статус «Запрещено в robots.txt»
— В GSC: статус «Заблокировано в robots.txt»
— При проверке URL: робот не может обойти страницу
Решение:
— Откройте файл https://вашсайт.ru/robots.txt
— Найдите директиву Disallow:, закрывающую нужные страницы
— Удалите или измените правило
— Проверьте синтаксис (частая ошибка: Disallow: / закрывает весь сайт)
— Отправьте обновлённый robots.txt через панели вебмастеров
Причина 2: Мета-тег noindex на странице
Как обнаружить:
— Откройте HTML-код страницы
— Найдите <meta name="robots" content="noindex">
— Или HTTP-заголовок X-Robots-Tag: noindex
— В GSC: статус «Страница с noindex»
Решение:
— Удалите тег noindex из HTML
— Если noindex добавлен CMS (например, WordPress настройки чтения), измените настройки
— Убедитесь, что страница не закрыта повторно через HTTP-заголовки
— Запросите переобход в панелях вебмастеров
Причина 3: Канонический тег указывает на другую страницу
Как обнаружить:
— В HTML-коде: <link rel="canonical" href="другой-url">
— В GSC: статус «Альтернативная страница с каноническим тегом»
Решение:
— Проверьте, правильный ли canonical URL указан
— Если canonical должен быть на саму страницу — укажите self-canonical
— Если страница действительно дубликат — canonical должен указывать на основную версию
— Убедитесь, что canonical URL отдаёт 200 (не 404, не 301)
Причина 4: Низкое качество контента
Как обнаружить:
— В Яндекс.Вебмастер: статус «Малоинформативная страница»
— В GSC: статус «Просканировано — не проиндексировано»
— Страница имеет мало текста (< 300 слов) или дублирует другие страницы
Решение:
— Добавьте уникальный контент (минимум 500-800 слов)
— Проверьте страницу на дублирование контента с другими страницами сайта
— Удалите или объедините малоинформативные страницы
— Для технических страниц (пагинация, фильтры) — закройте от индексации
Причина 5: Медленная загрузка страницы
Как обнаружить:
— PageSpeed Insights: низкие оценки
— GSC: в отчёте Core Web Vitals
— Анализ логов: большое время ответа
Решение:
— Оптимизируйте изображения
— Включите кеширование
— Используйте CDN
— Минимизируйте CSS и JavaScript
— Перейдите на HTTP/2 или HTTP/3
Причина 6: Ошибки сервера (5xx)
Как обнаружить:
— GSC: статус «Ошибка сервера (5xx)»
— Яндекс.Вебмастер: «Ошибка HTTP»
— При открытии страницы — ошибка 500, 502, 503
Решение:
— Проверьте логи сервера на предмет ошибок
— Увеличьте ресурсы хостинга (CPU, память)
— Исправьте ошибки в коде (PHP, база данных)
— Настройте мониторинг доступности сайта
Причина 7: Страница-сирота (orphan page)
Как обнаружить:
— Страница есть в sitemap, но на неё нет внутренних ссылок
— При анализе структуры сайта — страница изолирована
Решение:
— Добавьте ссылки на страницу из других релевантных разделов сайта
— Включите страницу в навигацию или хлебные крошки
— Свяжите страницу через блоки «Похожие статьи» или «Рекомендуемые товары»
Как ускорить индексацию страниц
Метод 1: Ручная отправка на переобход
В Яндекс.Вебмастер:
— Перейдите в «Индексирование» → «Переобход страниц»
— Введите URL
— Нажмите «Отправить»
— Лимит: зависит от размера сайта
В Google Search Console:
— Введите URL в инструмент «Проверка URL»
— Нажмите «Запросить индексацию»
— Лимит: 10-15 URL в день (индивидуальные страницы), больше — через sitemap
Метод 2: Обновление sitemap.xml
— Убедитесь, что страница есть в sitemap
— Обновите дату lastmod на текущую
— Отправьте обновлённый sitemap в панели вебмастеров
— Убедитесь, что sitemap принят без ошибок
Метод 3: Внешние сигналы
Поисковые системы быстрее индексируют страницы, на которые появляются внешние ссылки:
— Разместите ссылку в соцсетях (Twitter/X индексируется почти мгновенно)
— Поделитесь страницей в Telegram-каналах
— Добавьте ссылку на других ваших сайтах
Метод 4: Внутренняя перелинковка
Разместите ссылку на новую страницу с главной страницы или с уже проиндексированных страниц с высоким авторитетом. Робот, обходя известные страницы, быстрее обнаружит новую.
Мониторинг индексации: системный подход
Разовая проверка индексации малоэффективна. Проблемы возникают постоянно: после обновлений CMS, изменения robots.txt, технических сбоев. Нужен системный мониторинг.
Чек-лист еженедельного мониторинга:
— Проверить количество проиндексированных страниц в Яндекс.Вебмастер и GSC
— Сравнить с прошлой неделей (нет ли резкого падения?)
— Проверить новые исключённые страницы
— Проверить статус важнейших страниц (главная, категории, топ-статьи)
— Проверить, не закрыт ли сайт в robots.txt (одна строка могла измениться случайно)
Настройка оповещений:
— В Яндекс.Вебмастер: уведомления о проблемах индексации на email
— В GSC: уведомления о проблемах покрытия
— Внешний мониторинг: сервисы, проверяющие доступность и robots.txt по расписанию
Автоматизация:
— Используйте API Яндекс.Вебмастер и Google Search Console для выгрузки данных
— Подключите онлайн-инструменты SEO-аудита с регулярными автоматическими проверками
— Настройте дашборд (Google Data Studio, Power BI) с ключевыми метриками индексации
Частые вопросы (FAQ)
Как быстро Яндекс и Google индексируют новый сайт?
Новый сайт без внешних ссылок и sitemap может индексироваться от 2 до 8 недель. С sitemap, отправленным через панели вебмастеров — от 3 до 14 дней. С активным продвижением (внешние ссылки, соцсети) — 1-5 дней. Главное, что ускоряет индексацию нового сайта: sitemap + отправка в вебмастера + пара внешних ссылок с уже проиндексированных ресурсов.
Сколько страниц сайта должно быть в индексе?
Идеально — все качественные страницы, предназначенные для поиска. Служебные (корзина, админка, результаты поиска, фильтры) должны быть ЗАКРЫТЫ от индексации. Если у вас 500 страниц контента и 5000 страниц фильтров, а в индексе 4500 страниц — это проблема. 4000 из них — дубли и мусор, расходующий краулинговый бюджет.
Как проверить индексацию конкретной страницы?
Самый быстрый способ — скопировать полный URL страницы и вставить в поисковую строку Яндекса или Google. Если страница в индексе — она появится в результатах. Более точный метод — инструмент «Проверка URL» в Google Search Console и Яндекс.Вебмастер. Он покажет не только факт индексации, но и возможные проблемы.
Почему страница исключена из поиска, хотя контент хороший?
Самые частые причины:
— Страница новая, и робот её ещё не просканировал (статус «Обнаружено — не проиндексировано»)
— На странице неправильный canonical, указывающий на другой URL
— Страница заблокирована в robots.txt (часто случайно — правило написали для одной папки, а закрыло больше)
— Конкурирующая страница на этом же сайте признана более релевантной (каннибализация)
— Техническая ошибка: робот получает 404 или 500 при обходе, хотя в браузере страница открывается
Что делать, если Яндекс индексирует, а Google нет?
Это распространённая ситуация. Причины:
— Разные алгоритмы оценки качества (Google может считать контент менее полезным)
— Технические проблемы, специфичные для Googlebot (например, блокировка в GSC или через User-Agent)
— Разная скорость краулинга (Яндекс может быть активнее на RU-сайтах)
Решение:
— Проверьте, нет ли в GSC сообщений о ручных мерах
— Проверьте robots.txt отдельно для Googlebot (User-agent: Googlebot)
— Проверьте, не блокирует ли сервер Googlebot по IP или User-Agent
— Убедитесь, что страница добавлена в sitemap, отправленный в GSC
— Используйте инструмент «Проверка URL» в GSC для диагностики конкретной страницы
Как удалить страницу из индекса?
Если страницу нужно срочно удалить из выдачи:
В Яндексе:
— Яндекс.Вебмастер → «Индексирование» → «Удаление страниц»
— Введите URL страницы (должна отдавать 404 или быть закрыта в robots.txt)
В Google:
— Google Search Console → «Индекс» → «Удаление» → «Временное удаление»
— Введите URL (временное удаление действует ~6 месяцев)
— Для постоянного удаления: страница должна отдавать 404/410 или иметь noindex
Важно: просто удалить страницу с сервера недостаточно. Она может оставаться в индексе неделями. Нужен noindex или 410 Gone для быстрого исключения.
Влияет ли возраст домена на скорость индексации?
Да. У доменов с историей и регулярным обходом краулинговый бюджет выше, робот приходит чаще и индексирует новые страницы быстрее. Новый домен без истории может индексироваться медленнее. Но это не главный фактор: правильная техническая настройка и sitemap важнее возраста.
Типичные сценарии и их решение
Сценарий 1: «После обновления сайта трафик упал в ноль»
Ситуация: обновили дизайн и движок сайта. Внешне всё работает. Через неделю трафик упал на 90%.
Диагностика индексации:
— Яндекс.Вебмастер: количество страниц в поиске — 5 вместо 500
— GSC: статус большинства страниц — «Исключено»
— Проверка robots.txt: Disallow: / (разработчики закрыли сайт на время работ и забыли открыть)
Решение: убрать Disallow: / из robots.txt, отправить на переобход. Трафик начинает восстанавливаться через 3-7 дней, полное восстановление — 2-3 недели.
Сценарий 2: «Новые статьи не индексируются неделями»
Ситуация: регулярно публикуются новые статьи в блог, но они не попадают в индекс по 2-3 недели. Старые статьи в индексе.
Диагностика:
— GSC: статус новых URL — «Обнаружено — не проиндексировано»
— Проверка sitemap: sitemap обновляется, новые URL в нём есть
— Проверка внутренних ссылок: новые статьи не добавлены в блоки «Последние статьи» или «Похожие материалы», ссылок на них нет нигде, кроме sitemap
Решение: добавить блок «Последние публикации» на главную страницу и в сайдбар, настроить внутреннюю перелинковку. Новые статьи начинают индексироваться в течение 3-5 дней.
Сценарий 3: «Интернет-магазин: товарные страницы не в индексе»
Ситуация: интернет-магазин на 2000 товаров. В индексе Яндекса — 700 страниц. Товарные страницы новые, контент уникальный.
Диагностика:
— Яндекс.Вебмастер → Исключённые страницы: 900 страниц — «Дубликат»
— Анализ URL: у каждого товара по 3-4 URL из-за фильтров (?color=red, ?size=m)
— Sitemap: содержит все варианты URL вместо канонических
Решение: закрыть фильтры в robots.txt, прописать canonical на основную версию каждого товара, обновить sitemap (только канонические URL). Через 2-3 недели количество страниц в индексе вырастает до 1800.
Заключение: индексация — это управляемый процесс
Проверка индексации сайта — это не разовая акция «посмотрел и забыл», а непрерывный процесс мониторинга и управления. Поисковые системы предоставляют мощные бесплатные инструменты для контроля индексации: Яндекс.Вебмастер и Google Search Console. Их использование — обязательный минимум для любого веб-мастера.
Ключевые выводы:
— Регулярно проверяйте индексацию: еженедельно в панелях вебмастеров, ежедневно — быстрая проверка операторами host: и site:
— Анализируйте не только проиндексированные, но и исключённые страницы — именно там скрыты проблемы
— Каждая причина исключения имеет конкретное решение: от правки robots.txt до улучшения контента
— Новые страницы индексируются быстрее при наличии внутренних ссылок, sitemap и внешних сигналов
— Используйте онлайн-инструменты для SEO-аудита для комплексной проверки индексации сразу в обеих поисковых системах
Помните: страница, не попавшая в индекс, не приносит трафик. А каждая неиндексированная страница — это упущенная возможность привлечь посетителя.
