Методология SEO-аудита битых ссылок. Краулеры, логи сервера, приоритизация ошибок, автоматизация редиректов. Как находить внутренние и внешние битые ссылки и настраивать массовые исправления.
Введение
Битые ссылки — это рак сайта. Они не болят, пока опухоль не станет заметной. Сначала одна 404 ошибка, потом десять, потом сотни. Вы удалили старый товар и забыли про редирект. Перенесли раздел блога, но не обновили внутренние ссылки. Изменили структуру URL — и все внешние ссылки теперь ведут в никуда. Результат: краулинговый бюджет тратится на мёртвые страницы, пользователи уходят, внешний ссылочный вес испаряется. В этой статье — методология полноценного SEO-аудита битых ссылок: от поиска до автоматизации исправления.
Типы битых ссылок и их влияние
Битые ссылки бывают трёх типов, и каждый влияет по-своему. Первый тип: внутренние битые ссылки. Это ссылки на вашем сайте, которые ведут на несуществующие страницы вашего же сайта. Влияние: ухудшают пользовательский опыт (кликнул — 404), тратят краулинговый бюджет (робот идёт по ссылке и упирается в ошибку), снижают эффективность перелинковки (вес уходит в никуда). Второй тип: внешние входящие битые ссылки. На ваш сайт ссылаются другие ресурсы, но URL не существует. Влияние: потеря ссылочного веса (внешний сайт передаёт вам вес, а страницы нет), упущенный трафик (пользователи с других сайтов не могут попасть к вам). Третий тип: исходящие битые ссылки. Вы ссылаетесь на другие сайты, а страницы там уже нет. Влияние: ухудшение пользовательского опыта, потенциальное снижение доверия со стороны поисковиков (вы ссылаетесь на некачественные ресурсы). Приоритет исправления: сначала внутренние битые ссылки (вы их полностью контролируете), потом внешние входящие (настраиваете редиректы), потом исходящие (обновляете или удаляете). О том, как находить битые ссылки через Яндекс.Вебмастер и краулеры, читайте в статье Как найти и исправить битые ссылки на сайте.
Инструменты для аудита битых ссылок
Для полного аудита нужны три типа инструментов. Первый: краулеры. Они обходят сайт по всем внутренним ссылкам и выдают отчёт: какие URL отдают 404, какие страницы содержат битые ссылки, цепочки редиректов, ошибки сервера. Второй: Яндекс.Вебмастер. В разделе «Исключённые страницы» показывает URL с ошибками HTTP, обнаруженные роботом Яндекса. В разделе «Внешние ссылки» можно увидеть, какие внешние страницы ссылаются на вас. Третий: сервисы анализа ссылочной массы. Показывают все внешние ссылки на ваш сайт и их статус (работает, 404, редирект). Комбинация этих инструментов даёт полную картину.
Методика аудита: пошаговый план
Шаг первый: запустите краулер. Получите список всех внутренних URL и их коды ответа. Отфильтруйте всё с кодом 404 и 500. Шаг второй: для каждого 404 URL определите источник. Краулер покажет, с каких страниц сайта ведут ссылки на этот битый адрес. Шаг третий: зайдите в Вебмастер. Сверьте список 404 из краулера со списком исключённых страниц. Возможно, краулер нашёл то, что робот Яндекса ещё не обнаружил. Шаг четвёртый: проверьте внешние ссылки. Выгрузите все ссылающиеся домены и URL, проверьте, какие из них ведут на несуществующие страницы. Шаг пятый: составьте карту исправлений. Для каждого битого URL определите, куда он должен вести: редирект, восстановление страницы или оставить 404. Шаг шестой: внедрите исправления. Настройте редиректы, обновите внутренние ссылки, создайте недостающие страницы. Шаг седьмой: перезапустите краулер и убедитесь, что ошибки исчезли.
Автоматизация исправления битых ссылок
Если битых ссылок десятки, их можно исправить вручную. Если сотни и тысячи — нужна автоматизация. Что можно автоматизировать. Первое: массовые редиректы. Вместо создания сотен отдельных правил используйте map-файл в nginx или правила rewrite с регулярными выражениями. Одна строка может исправить сотни URL. Подробнее о настройке массовых редиректов читайте в статье Как правильно настроить редиректы. Второе: обновление внутренних ссылок. Если URL изменился, а ссылки на него разбросаны по сотне страниц, используйте плагин поиска и замены в базе данных (для WordPress — Better Search Replace). Третье: мониторинг новых 404. Настройте уведомления в Вебмастере или скрипт, который анализирует логи и алертит о новых 404. Четвёртое: краулер по расписанию. Настройте еженедельный обход сайта краулером с отчётом на почту.
Приоритизация битых ссылок
Когда битых ссылок много, а времени мало, приоритизируйте. Критерии приоритета. Первый: ссылки с главной страницы и из меню. Они видны всем посетителям и роботу. Второй: ссылки с популярных страниц (с наибольшим трафиком). Третий: внешние входящие ссылки с авторитетных доменов. Четвёртый: ссылки, на которые ведут другие битые ссылки (каскадные ошибки). Пятый: ссылки на страницы, которые раньше приносили трафик. Шестой: всё остальное. Не тратьте время на исправление битой ссылки в статье десятилетней давности, которую никто не читает, если у вас висят битые ссылки в меню.
Часто задаваемые вопросы
Как часто нужно проверять сайт на битые ссылки? Раз в месяц — обязательно. Раз в неделю — если сайт активно обновляется (добавляются и удаляются товары, меняется структура). После крупных изменений (редизайн, смена CMS) — немедленно.
Что важнее: исправить внутренние или внешние битые ссылки? Внутренние. Вы их полностью контролируете и можете исправить за минуты. Внешние требуют настройки редиректов, но вы не можете исправить саму ссылку на чужом сайте — только перенаправить её.
Стоит ли исправлять битые ссылки на сайты, которые уже не работают? Удалите ссылку или замените на архивную копию (если есть). Ссылаться на мёртвый сайт бессмысленно. Если информация ценная, найдите альтернативный источник.
Как объяснить клиенту важность исправления битых ссылок? Покажите цифры: количество 404 ошибок, потери краулингового бюджета, упущенный трафик с внешних ссылок. Переведите на язык бизнеса: «Ваш сайт теряет столько-то посетителей в месяц из-за битых ссылок».
Можно ли полностью избавиться от битых ссылок? На крупном сайте — практически невозможно. Всегда будут появляться новые: удалённые товары, изменённые URL, опечатки. Но можно свести их количество к минимуму и оперативно исправлять новые.
