Xenu's Link Sleuth

В Интернете все происходит стремительно, ежедневно рождаются, умирают и переводятся на новые технологии отдельные страницы, целые сайты и даже огромные порталы. Соответственно, множество гиперссылок ежедневно становятся неактуальными. Это доставляет серьезное неудобство сайтостроителям: создал неделю назад страничку, а уже сегодня половина ссылок с нее ведет "в никуда". Естественно, посетители такой странички раздражены и начинают поминать недобрым словом ее создателя, который, в общем-то, не сильно виноват. Ведь не проверять же ему вручную работоспособность сотен ссылок на всех страницах своего сайта!

Впрочем, некоторая доля его вины есть: владелец сайта не озаботился установкой одной из множества программ, которая бы автоматически проверяла гиперссылки на живучесть. В качестве примера такой программы я приведу бесплатную утилиту Xenu’s Link Sleuth. Работать с Xenu на удивление просто, а в результате получается очень подробный и обстоятельный отчет обо всех имеющихся на сайте ссылках. Делается это так.

Первым делом укажем страницу, с которой Xenu начнет исследование гиперссылок. Это может быть адрес (URL) стартовой страницы нашего сайта, например, http://www.oursite.ru/. Точно так же можно указать отдельную страницу сайта, например, http://www.oursite.ru/page.html/. Наконец, это может быть HTML-документ, сохраненный на жестком диске домашнего компьютера, например, file:///D:\probe.html. Обратите внимание: адрес в Интернете (URL) должен заканчиваться символом "слеша" /.

Теперь зададим область исследования. Должен ли Xenu проверять работоспособность ссылок, которые уводят за пределы нашего сайта? Если должен, то поставим отметку в поле Check External Links. Затем перечислим адреса, которые имеют прямое отношение к нашему сайту, хотя и не соответствуют URL главной страницы. Например, к "внутренним" страницам отнесем все те, адреса которых начинаются с http://forum.oursite.ru. Кроме того, перечислим начала адресов, которые совсем не нужно проверять, например, адреса счетчиков (http://top100.rambler.ru) или баннерных сетей (http://www.linkexchange.ru).

Все готово, можно начинать анализ гиперссылок. Скорость выполнения этой операции сильно зависит от заданных условий: по Сети исследование проводится гораздо медленнее, чем на локальном диске, и так далее. Но рано или поздно мы получим в главном окне программы список всех встреченных в указанной области поиска гиперссылок, подробную информацию о каждой из них и результирующий отчет в виде отдельного HTML-документа.

В главном окне программы по каждой гиперссылке будет представлена следующая информация:

• Адрес ссылки (URL). Кстати, можно настроить программу таким образом, что она будет показывать только неработающие ссылки из числа проверенных.
• Статус, то есть, результат проверки. Статусов несколько:
• ok – обозначает, что все в порядке, такие строчки окрашены в зеленый цвет.
• no such host – по указанному адресу больше ничего нет, ссылка не работает, строчка окрашена в красный цвет.
• skip type – так отмечаются ссылки, не подлежащие проверке, например, адреса электронной почты. Такие строчки окрашены в коричневый цвет.
• user skip – Xenu обнаружил данную ссылку, но она исключена пользователем из области поиска. Цвет – коричневый.
• Тип страницы, ее размер (в байтах), заголовок (содержимое тега <TITLE> или отметка о переадресации, redir) и некоторую другую служебную информацию.

На иллюстрации к этой программе приведен результат анализа одной из страниц авторского сайта Алекса Экслера (www.exler.ru). Выделенная строчка как раз содержит адрес, не ответивший на запрос Xenu. Вообще говоря, это не означает, что адрес "умер" навсегда. Вполне вероятно, что во время анализа произошел какой-то технический сбой в Сети. Однако звоночек прозвенел – адрес нужно проверить более тщательно, уже вручную. Может быть, имеет смысл связаться с владельцами данного сайта и узнать у них подробности происходящего.

Кстати, Xenu предоставляет еще одну полезную возможность: отправки отчета об обнаруженных неработающих ссылках по электронной почте. Так что можно исследовать сайт своего друга и сообщить ему результаты исследования.

Кроме того, есть функция обнаружения файлов-сирот (orphan). Прежде чем запускать ее, Xenu спросит разрешения, затем зайдет на сервер и проверит, нет ли на нем файлов, на которые не ссылается ни одна страница вашего сайта. Такое часто бывает: владелец сайта удалил веб-страницу, а относящиеся к ней файлы – нет. Беда не слишком большая, но лишний мусор на сервере еще никому на пользу не пошел.

Отдельно отмечу, что с помощью программы можно проверять даже страницы, доступ к которым осуществляется по безопасному протоколу SSL (адреса таких страниц начинаются с префикса https://).

В заключение скажем об HTML-отчете, который выдает Xenu по результатам исследования. Он очень подробный и состоит из нескольких разделов:

• Неработающие ссылки, отсортированные по адресам (URL).
• Неработающие ссылки, отсортированные по страницам, на которых они встречаются.
• Ссылки, которые работают, но с помощью функции редиректа перенаправляют посетителей на другие страницы. Редирект замедляет загрузку страниц, поэтому в некоторых случаях имеет смысл поставить ссылку сразу на прямой адрес.
• Ссылки протоколов FTP и Gopher. Xenu, к сожалению, не проверяет такие ссылки на работоспособность. Однако, имея их полный список под рукой, пользователь может проверить их самостоятельно, вручную.
• Список страниц, которые можно сообщить поисковым интернет-системам для индексации.
• Карта (оглавление) сайта, в которой указаны не URL страниц, а их заголовки, то есть, содержимое тега <TITLE>.
• Неработающие внутренние ссылки, то есть ссылки, которые должны вести на какие-то страницы нашего же сайта, а ведут "в никуда".
• Список файлы-сирот (orphan).
• Обобщенная статистика исследования: сколько ссылок получили тот или иной статус в результате проверки.

В настройках программы пользователь указывает, какие данные должны быть включены в результирующий отчет. Кроме того, есть возможность указать, сколько ссылок одновременно Xenu будет испытывать "на прочность" (от одной до ста) и на какую "глубину" он будет заглядывать (вплоть до уровня 999).

Таким образом, после того как Xenu прошерстит указанную область поиска, в руках пользователя окажется вся информация, с помощью которой неработающие ссылки можно исправить или удалить с сайта. Эту операцию, конечно, придется выполнять вручную. Но так даже лучше, не правда ли?