Как найти и удалить битые ссылки?

В сайт вкладывается много времени и сил, чтобы он стал источником ценной информации для посетителей, но нерабочие линки сводят на нет все усилия. Битые ссылки вредны по следующим причинам:

• Потеря посетителей. Пользователи испытывают раздражение, когда при переходе по ссылке возникает ошибка 404, и часто уходят с сайта;
• Влияние на SEO. Битые ссылки разрывают навигационную цепочку, что отрицательно сказывается на ранжировании сайта в поисковиках.

Периодическая проверка сайта на наличие битых ссылок позволит обойти эту проблему стороной, однако не все вебмастера знают, как это сделать. Данная статья содержит исчерпывающее руководство по поиску и устранению битых ссылок с понятным изложением всех этапов, выполнение которых не представляет особых трудностей.

1. Ищем битые ссылки
2. Собираем данные
3. Ставим редирект или удаляем

Шаг 1. Поиск битых ссылок.

Для выявления нерабочих ссылок используются инструменты, которые абсолютно бесплатны. Давайте рассмотрим 3 наиболее удачных способа проанализировать сайт и найти все битые ссылки до самой последней.

• Яндекс Вебмастер

В разделе для вебмастеров можно узнать много полезной информации о своем сайте, включая несуществующие страницы, для этого перейдите в меню "исключенные страницы" - там, вы увидите все проблемные страницы, которые не удалось проиндексировать. Прежде всего, обратите внимание на ошибку 404/403 именно она будет возникать случае появления битых ссылок. Если таковых ошибок очень много, воспользуйтесь возможностью выгрузить их в формате XLS/CSV таблиц, которую дает вам Яндекс. Также, можете проверить  ответ сервера при запросе любого URL, чтобы убедиться, что вы устранили проблему. Заодно робот любезно проверит кодировку вашего сайта, IP адрес, скорость и вес страницы. Когда все хорошо и страница доступна, она должна отдавать  HTTP статус "200 OK"

• Xenu

Бесплатный инструмент Xenu Link Sleuth, я давно взял его на вооружение. После установки программы на жесткий диск открываем её, находим вкладку File –> Check URL и вводим URL анализируемого сайта. Убираем галочку возле опции check external links («проверить исходящие ссылки») и жмем OK. При первом использовании программы Xenu анализ выполняется дольше обычного. Вот ссылка на скачивание, пусть вас не смущает невзрачный внешний вид их официального сайта ;) Главный плюс данной программы в том, что в отличии от поисковиков, она сканирует ваш сайт в реальном времени, как только вы запустите проверку, а значит все данные будут актуальны. Недостаток - в скорости анализа и расходовании трафика, особенно если у вашего сайта несколько тысяч страницы.

• Google Webmasters Tools

Гугл тоже умеет отслеживать проблемные ссылки, поэтому мы можем обратиться к нему. В "инструментах веб-мастера" переходим в раздел "Сканирование" -> "Ошибки сканирования" во вкладке "Не найдено" список всех битых ссылок, которые обнаружил Гугл, нажав на конкретную из них, вы уведите какие страницы ссылаются на данный URL.  По моему опыту,  многие результаты сканирования могут быть устаревшими и оставаться даже после того, как вы устранили проблему, не забудьте поставить галочку и нажать "Отметить исправленными." Аналогично яндеку, вы можете произвести выгрузку данных в таблицах.

Шаг 2. Создание отчета

После выявления битых ссылок необходимо экспортировать данные в таблицу Excel, чтобы в дальнейшем контролировать переадресацию. Инструмент Xenu позволяет экспортировать данные (вкладка File –> Export to Tab Separated File). Созданный текстовый файл необходимо открывать с помощью Excel. Для полноты картины на одном листе Excel комбинируем данные, полученные в сервисе Яндекс Вебмастер и в инструменте Xenu. Подпишите у каждой ссылки причину её отсуствия, чтобы знать, какие из них можно просто удалить, какие перенаправить на другой адрес. Если, это внешняя ссылка и она была размещена на коммерческой основе, свяжитесь с рекламодателем и предупредите его о том, что его сайт не работает.

Шаг 3: Анализ данных и настройка редиректа

Предыдущие шаги подготовили нас к ключевому этапу. С помощью выше рассмотренных инструментов мы получили список битых гиперссылок. Перед настройкой редиректа необходимо проанализировать страницы и выяснить причины ошибки 404, среди них может быть:

• Удаленная статья
• Смена архитектуры(ЧПУ) ссылок
• Смена домена
• Временный сбой сервера
• Ошибки в скриптах
• Заражение вирусами

И так далее, в конце концов человеческий фактор - вы поставили ошибочную ссылку при проведении внутренней перелинковки, либо пользователь некорректно копировал ссылку.  Теперь это не так важно, главное устранить все битые ссылки. Если по каким-либо причинам адреса страниц изменились, допустим вы сменили CMS, то возникает задача - как перенаправить все старые URL на новые и не потерять вес страницы, сохранить позиции в поиске. Ранее я писал о том, как сделать редирект вручную и вообще что это такое, совету прочитать. Но работать ручками придется  довольно долго, а если речь идет о тысячах страниц, что же делать? Есть способы автоматической переадресации, например для движка WordPress существует прекрасный плагин Permalink Finder, он умеет определять правильный URL по содержанию 2 и более слов в ссылке, для простоты приведу пример - была страница great-world.ru/ustranit-bitye-ssylki.html, но вдруг я решил изменить вид ссылок(добавить название категории) и  URL стал таким great-world.ru/seo/ustranit-bitye-ssylky/ - Permalink-Finder сам догадается и перенаправит посетителя со старой битой ссылки, на новый адрес, т.е. автоматически сделает редирект. Аналогичные модули вы можете найти и для своих движков: джумла, друпал, битрикс.. все они не обделены этим. Приступайте к делу? Надеюсь, что мне удалось довольно подробно показать, как найти и устранить все битые ссылки на вашем сайте. Не стоит их недооценивать, они наносят вред ссылочному весу, поведенческим факторам и вообще дают повод поисковым алгоритмам усомниться в том, что сайтом занимаются должным образом, и он не заброшен владельцем.