Xenu — поиск битых ссылок

Как битые ссылки вредят SEO?

Большое количество неработающих ссылок — бомба замедленного действия для поискового продвижения. И вот почему.

Ухудшение поведенческих факторов. Попав на страницу 404, пользователь сразу же покинет ее. Таким образом несуществующие страницы накручивают показатели отказов и снижают среднее время взаимодействия с сайтом.Подрыв поисковой репутации. Постоянно попадая на несуществующие страницы, поисковые роботы сделают вывод, что имеют дело с запущенным и некачественным сайтом, которому не место в топе выдачи.Пустой расход краулингового бюджета. Поисковые роботы имеют лимит на количество документов, которые способны просканировать за один обход. Тратя бюджет на переходы по битым ссылкам, краулеры могут долго не отправлять в индекс действительно важные страницы.Неэффективное перераспределение ссылочного веса. Все внутренние ссылки на сайте обмениваются статическим весом. Чем эффективней отлажен данный процесс, тем лучше ранжируется сайт. Битые линки в этом случае становятся брешью, через которую ссылочный вес просто уходит в никуда.

Проверка битых ссылок в программе Xenu Link Sleuth

Я мог бы еще упомянуть в этой статье про ряд сервисов, позволяющих проверить битые линки онлайн, но, к сожалению, я так и не нашел достойного бесплатного решения (хотя все же один вариант рассмотрю чуть ниже, ибо он позволяет быстро пробежаться по наиболее «выпирающим» битым ссылкам), а пробовать платные у меня как-то рука не поднялась. На бесплатных же проверить можно очень ограниченное число страниц, а следовательно, актуальность такого способа весьма сомнительна.

Но можно ведь использовать не только онлайн-сервисы, но и программы, которые будут установлены на ваш компьютер

Одной из самых популярных и, что очень важно, бесплатных программ для проверки битых ссылок является Xenu Link Sleuth, о которой я и хочу вам рассказать

После ее запуска выберите из меню «File» — «Check URL» и в открывшемся окне введите URL вашего ресурса, поставьте галочку «Check external links» (для проверки на битость не только внутренних линков вашего ресурса, но и ссылок, ведущих с него на другие ресурсы) и нажмите «ОК».

В результате программа Xenu Link Sleuth начнет искать и анализировать все внутренние и внешние (проставленные с вашего ресурса, например, на сайты авторов комментариев) ссылки. Все найденные неработающие гиперссылки в результирующем отчете будут помечены соответствующим образом (не найдено, не удалось связаться и т.д.).

Сам по себе отчет представляет неоценимый интерес не только с точки зрения ошибок 404, но нас в первую очередь интересует именно это. В окне Xenu Link Sleuth имеется возможность отсортировать весь список по ряду табуляторов, которые находятся в самом верху.

Для проверки именно битых ссылок нужно будет воспользоваться табулятором «Status», в результате чего все помеченные красным строки будут собраны в одном месте списка.

Для того, чтобы узнать, а на какой именно странице вашего сайта проставлена неработающая гиперссылка, вам нужно щелкнуть по ней правой кнопкой и выбрать из контекстного меню вариант «URL Properties»:

В самом низу открывшегося окна вы увидите список адресов страниц вашего сайта, на которых была найдена данная битая ссылка. Вам останется только зайти в админку своего ресурса и провести необходимую правку. Да, муторно. Да, неудобно, ибо приходится копипастить ссылки и искать в админке нужные страницы. Но потратив время и силы вы на 100% избавите свой сайт от битых ссылок (во всяком случае, имеющих место быть на данный момент).

Но, как я уже упоминал чуть выше, программа Xenu Link Sleuth, при должном подходе и сообразительности, способна предоставить намного больше информации. Если вы поэкспериментируете с другими табуляторами программы, то сможете получить следующую информацию о вашем сайте из этого отчета:

  1. если вы попробуете отсортировать данные в окне программы по табулятору «Title», то таким способом можете найти страницы своего сайта, имеющие дублированные заголовки Title или не имеющие их вовсе
  2. с помощью табулятора «Size» можно найти слишком тяжелые страницы своего проекта, которые будут долго загружаться
  3. с помощью табулятора «In Links» можно узнать количество входящих ссылок на любой документ своего ресурса, а из контекстного меню (щелчок правой кнопкой и выбор самого нижнего пункта в открывшемся меню) можно будет узнать и адреса страниц, ссылающихся на этот документ
  4. с помощью сортировки табулятором «Out Links» в окне отчета программы Xenu Link Sleuth сможете узнать количество исходящих ссылок с той или иной страницы своего ресурса, а из контекстного меню — посмотреть, на какие именно страницы проставлены ссылки
  5. отсортировав по табулятору «Type», можно найти изображения не имеющие тега Alt
  6. табулятор «Level» позволит просмотреть вложенность тех или иных страниц вашего сайта

В общем, Xenu Link Sleuth имеет просто неоценимую значимость. Кроме этого, для статического сайта эта программа может построить карту сайта, которую потом можно будет подсунуть поисковым системам для ускорения индексации.

Также Xenu Link Sleuth по результатам проверки может сформировать очень удобный отчет в виде Html странички, где можно будет в удобоваримом виде просмотреть все веб-страницы своего проекта, имеющие битые ссылки и увидеть упомянутую выше карту.

Для создания отчета вам нужно выбрать в меню программы пункты «File» — «Report» или просто нажать R на клавиатуре. В верху страницы с отчетом будет расположено меню с разделами.

Présentation de Xenu

Xenu est un logiciel gratuit qui scanne un site Internet en long, large et en travers. Il va ainsi récupérer des informations concernant l’intégralité des pages, fichiers et liens qu’il trouvera. Tout est passé au crible : poids de la page, URL, intitulé des liens, balise title, erreurs de redirection, nombre de liens, …

Exemple de scan avec Xenu

Une fois le rapport terminé, il est facile de mettre en avant les défauts de conception, de structure interne, de liens et de gestion du contenu. Le but est simple : optimiser son site à la fois pour les visiteurs et pour les moteurs de recherche.

Xenu fonctionne avec un robot qui va indexer la page que vous lui indiquerez. Il va ensuite indexer chaque lien qu’il aura trouvé, et ainsi de suite. Il indexe ainsi l’intégralité du contenu d’un site, ainsi que chaque page externe trouvée. L’avantage est qu’il scanne tous les types de fichiers, ce qui inclut :

  • toutes les pages du site
  • les liens externes
  • les images
  • les fichiers de mise en page (CSS)
  • les fichiers javascripts
  • Les favicons
  • et plein d’autres éléments (fichiers xml, …)

Pour chaque élément, il donne accès à de nombreuses informations :

  • URL
  • Statut
  • Type (html, image, …)
  • Poids
  • Title (titre de la page, ou ancre permettant d’y accéder)
  • Date de création du fichier
  • Profondeur de la page (0 équivaut à la page d’accueil, 1 à une page trouvé en 1 clic, etc…)
  • Nombre de liens sortants, et de liens pointant vers la page
  • Informations serveur
  • Informations complémentaires sur le statut de la page
  • Temps de chargement
  • Charset (encodage de la page)
  • Description de la page

Libre à vous ensuite de corriger ce qui ne va pas.

Xenu et référencement naturel

L’analyse des pages

Le premier avantage de Xenu est de mettre en avant le statut d’une page ou d’un fichier, surtout lorsque le robot rencontre des problèmes d’indexation :

Exemple d’erreurs

Voici les principaux messages d’erreurs que vous rencontrerez :

  • Redirection 301 (object permanently moved)
  • Redirection 302 (object temporarily moved)
  • Temps de chargement trop long (TimeOut)
  • Serveur indisponible temporairement (temporarily overloaded)
  • Erreur 404 (Not Found)
  • Nom de domaine inexistant (No Such Host)
  • Connexion inexistante ou annulée (No Connection, Connection aborted)
  • Url protégée (Forbiden Request)

Attention, cela ne veut pas dire que chacun de ces statuts pose problème, comme nous allons le voir juste après.

Pour les messages d’erreur Timeout et temporarily overloaded, demandez à Xenu de rescanner l’élément avec un simple clic droit sur la ligne, puisque l’erreur indique juste que le logiciel a mis tropde temps lors de son scan et qu’il a donc abandonné la ligne.

Faites Reset Entry pour re-scanner une URL dans XENU

Détecter les erreurs 404

1er avantage de Xenu pour le référencement, c’est de détecter toutes les pages d’erreurs 404.

Vous allez donc pouvoir corriger les liens qui mènent vers celles-ci, puis mettre en place un redirection 301 pour les moteurs de recherche.

Redirections 301 et 302

L’outil permet également de détecter les redirections 301 (permanentes) et les redirections 302 (temporaires). Pour rappel, voilà l’impact qu’elles ont sur le transfert de popularité d’une page :

Petit rappel sur l’impact des redirections (source Seomoz)

Libre à vous de corriger ou non ces redirections. Pour vos liens internes, je vous conseille cependant de le faire car elles vous font perdre inutilement une partie de votre PageRank.

Attention cependant, ces redirections ne sont pas forcément mauvaises, surtout pour les liens externes (avec l’affiliation par exemple).

Cerise sur le gâteau, il permet de détecter les redirections mises en place par les spammeurs. Par exemple, une personne va sur votre site et poste un commentaire avec un lien. 2 mois après, il met en place une redirection de sa page vers une autre, comme par exemple vers un site de pornographie… Sans cet outil, il vous sera difficile de détecter ce genre de manipulation.

Duplicate content

Là aussi, Xenu permet de détecter tout le contenu dupliqué de votre site. Vous pouvez regarder plusieurs éléments :

  • Des titres de page identiques
  • Des descriptions de page identiques
  • Un poids identique

C’est alors à vous de corriger les liens qui pointent vers les versions dupliquées de votre site.

Le maillage interne

La structure de votre site Internet peut être améliorée de différente manières avec Xenu.

  • Vous allez pouvoir contrôler l’intégralité de vos liens externe
  • Vous allez être capable de vérifier la profondeur de votre page vis-à-vis de votre home.

Plus une adresse est « profonde », moins elle sera indexée et plus vos visiteurs auront du mal à la trouver. En ce qui me concerne, je conseille d’avoir ses pages en niveau 4 maximum. Au delà, il faut revoir la structure de votre site.

Il est également possible d’obtenir la liste intégrale des liens pointant vers n’importe quelle page ou fichier de votre site. Avec un clic droit sur une URL et sur « Properties« , voici les informations que vous obtiendrez:

  • URL de la page
  • Le titre de la page
  • Les liens contenus dans cette page
  • Les autres adresses de votre site faisant un lien vers cette URL

Propriétés d’un lien avec Xenu

Poids des pages et encodage

Diminuer le temps de chargement est crucial. Plus le site sera rapide, mieux ce sera pour les utilisateurs (et dans une moindre mesure pour les moteurs de recherche). Là aussi, Xenu permet d’avoir du premier coup d’oeil les éléments trop lourds, que ce soit vos pages, vos javascripts ou vos images.

Il arrive parfois que le développeur fasse erreur lorsqu’il encode ces fichiers (un fichier en ANSI alors que les autres sont en UTF-8). Cela peut n’avoir aucun impact, tout comme cela peut provoquer l’affichage de caractères bizarres… Là aussi, l’outil permettra de détecter et corriger rapidement le problème.

Установка и работа с Xenu Link Sleuth

Установка программы проста и не вызовет сложностей у любого пользователя.

Для начала работы нажмите кнопку New и введите в верхнее поле адрес своего сайта. Не забудьте отметить галочку Check external links необходимую для анализа не только внутренней оптимизации, но и имеющихся на сайте внешних ссылок. После нажатия кнопки OK программа начнет свою работу. Если ваш сайт включает десятки тысяч страниц, будьте готовы к тому, что его проверка займет у Xenu Link Sleuth немало времени.

Нажав сочетание клавиш Ctrl+B, вы сможете переключать в окне отображение всех ссылок и различных ошибок, включая not found, no object data, no such host и ряд других. К минусам программы можно отнести невозможность отображения и экспорта в отчет исключительно внешних ссылок, URL-адресов или TITLE страниц. Xenu Link Sleuth выводит всю информацию в одном окне, позволяя разделить ее лишь на ошибочные и правильные адреса. В этом Xenu заметно уступает платному Screaming Frog SEO Spider.

Xenu Link Sleuth предоставляет следующую информацию по каждой странице сайта:

  • URL,
  • статус (доступен, 404 ошибка, хост не отвечает и т.д.),
  • размер страницы,
  • TITLE (могут возникнуть проблемы с кодировкой),
  • уровень вложенности,
  • количество внутренних ссылок,
  • число входящих ссылок.

Данная информация поможет вам выявить проблемные страницы, которые имеют большой уровень вложенности, значительное количество исходящих, а также выявить битые ссылки, ведущие в никуда.

Кроме того, Xenu Link Sleuth — это отличный инструмент, чтобы найти и удалить вечные ссылки, ведущие на несуществующие сайты, не нарушив правила GGL.

Оптимизация внутренней перелиновки при помощи Xenu Link Sleuth

Дождавшись, когда программа закончит свою работу, отфильтруйте страницы, имеющие наибольшее количество входящих внутренних ссылок (пункт In Links). Проанализируйте, действительно, ли эти страницы являются самыми важными. Нередко на сайтах имеются сквозные ссылки на малозначащие для продвижения категории или тэги, измените внутреннюю перелинковку таким образом, чтобы максимальное число внутренних ссылок шло на самые важные страницы сайта.

Найдите страницы, имеющие наибольшее количество исходящих ссылок. Возможно, вы и не заметили как спамеры или хакеры разместили на вашем ресурсе огромное количество линков на дорвеи или сателлиты. Все эти ссылки необходимо тщательно вычистить и не допустить их появления в дальнейшем.

Выявите неуникальные TITLE страниц и измените их. Поисковые роботы очень низко ранжируют страницы сайта с одинаковыми заголовками, но даже незначительные отличия в них позволят улучшить их позицию в выдаче.

Xenu Link Sleuth – это оптимальный инструмент для создания карты сайта, в случае если он состоит из большого количества HTML-файлов. Программа поддерживает работу с сайтами, состоящими из любого количества страниц, поэтому может быть использована и для работы с многостраничными статейниками, и для крупных порталов.

Напоследок маленькое замечание. Xenu Link Sleuth не совсем корректно работает с кириллическими адресами. Поэтому, если на вашем сайте имеются исходящие ссылки на домены в зоне .рф, то программа, попытавшись перейти по ним, выдаст ошибку no such host.

Future feature List

  • ROBOTS.TXT
    support
  • Detect remote
    loading of images (geocities
    sabotages this)
  • Solution for leftover TGH*.* files in temp directory
  • Command-line parameters (actually, this has already been done, for a client
    who agreed to pay my development time to two people I support. If you need
    something similar, e-mail me, the price is a $300 donation to be sent to
    a person I support)
  • Names of last checked URLs in also file menu
  • Automatic saving every minute
  • A correctly working «Update» feature that rechecks changed sites (tricky,
    so I will never do it)
  • Ideas from Chris:

    What about identifying how many steps it takes to reach a particular page
    from the home page and how much kb had to be downloaded before one could
    reach there.

  • Read RFCs
  • Your
    suggestions: e-mail me also if there is something of the above you’d
    like to have, and persuade me to do it. If you want to report a bug,
    .

Какую информацию может выдать Xenu Link Sleuth?

  • При сортировке данных по табулятору «Title», можно найти найти страницы с повторяющимися заголовками или с его отсутствием.
  • Табулятор «Size» покажет тяжелые страницы сайта, которые медленно грузятся.
  • Количество входящих ссылок на каждую отдельную страницу можно узнать, используя табулятор «In Links». А из контекстного меню (выбираем нижний пункт) – документы, которые ссылаются на эти страницы.
  • При сортировке табулятором «Out Links» можно определить количество исходящих ссылок с конкретной страницы, а с помощью контекстного меню подсмотреть, на какие страницы они ведут.
  • Табулятор «Type» найдет изображения без тега Alt.
  • О вложенности страниц можно узнать, применив табулятор «Level».

Как видите, программа Xenu Link Sleuth может оказать неоценимую услугу.

  1. Помимо тех функций, которые мы рассмотрели выше, она может быть использована для построения карты для статического сайта. Эту карту потом можно подсунуть поисковикам для лучшей индексации.
  2. Кроме того, по результатам проверки, программа может сформировать html отчет, где можно досконально проанализировать все страницы своего ресурса с битыми ссылками, а также увидеть карту, о которой шла речь выше.

Чтобы программа создала отчет, нажимаем «R» или выбираем в меню «File» — > «Report». В верхней части HTML страницы будет располагаться меню с разделами:

И еще, хотелось бы сказать несколько слов о быстром поиске битых ссылок в WordPress при помощи плагина Broken Link Checker.

Questions récurrentes sur Xenu

Je ne connais pas le serveur

Si vous ne savez pas sur quel type de serveur est le site que vous allez analyser, vous vous dites peut-être que Xenu risque de le mettre à mal. Et vous n’aurez pas tord. Même si c’est rarissime, il peut arriver qu’un crawl brutal de Xenu Link Sleuth provoque une mise hors service du site Internet visé.

Si vous ne connaissez pas bien le serveur, il est alors conseillé de réduire le nombre de connexions simultanées à 5 afin de ne pas pénaliser le site que l’on veut scanner. Sur des sites robustes, on peut cependant monter facilement à 30 ou 40 connexions en même temps.

Xenu a t-il tout analysé ?

Si une page ne répond pas lors d’un test, ou si certains contenus sont générés aléatoirement, il peut arriver que Xenu Link Sleuth n’ait pas scanné l’intégralité du site Internet.

Il est donc recommandé de toujours faire deux scans de votre site Internet, et de comparer pour chacun le nombre d’URLs total qui s’affiche en bas à droite.

De même, il est conseillé à la fin de chaque scan d’analyser une seconde fois les liens erronés, notamment pour le cas de figure où une page aurait été indisponible temporairement. Pour cela, rendez-vous dans File -> Retry Broken Links.

Xenu affiche l’ancre ou le title ?

Le logiciel Xenu affichera toujours l’ancre d’un lien dans les données qui s’affichent, jamais la balise title. Si le contenu est bizarre ou incorrect, c’est donc que votre ancre est mal renseignée.

Les images et Xenu

Pour toutes les images trouvées par Xenu, la colonne Title sera utilisée pour vous afficher en réalité le texte alternatif de ces dernières (s’il y en  a).

Sachez aussi que Link Sleuth va aussi scanner vos fichiers CSS à la recherche d’images. Vous aurez donc dans chaque crawl la liste des images de votre contenu HTML, et toutes celles appelées par vos fichiers CSS (et pour lesquelles il est normal de ne pas avoir de texte alternatif).

Xenu Link Sleuth – как проверить сайт на битые ссылки

В первую очередь нужно скачать саму программу по адресу http://home.snafu.de/tilman/XENU.ZIP, она будет находиться в архиве, размер которого чуть меньше 0,5 МБ. Далее следует распаковать содержимое архива в удобном месте. Далее все по откатанной схеме – запускаем установщик setup.exe, и следуя инструкции, указывая, куда нужно установить Xenu Link Sleuth.

При первом запуске программы появится небольшое окошко с подсказками, которое можно деактивировать при следующих запусках. После закрытия окна с подсказками мы будет находиться в основном окно программы, в котором будут активными только три кнопки:

  • Check URL – запускает новый проект для проверки ссылок на вшивость.
  • Open – позволяет открыть сохраненный ранее файл с анализом.
  • About – информация о программе Xenu Link Sleuth.

Что бы проверить заданный сайт на битые ссылки, нужно нажать на кнопку Check URL, тем самым мы создадим новый проект. Перед нами появится окно, в котором можно указать адрес ресурса, который надо проверить. Вы также можете нажать на кнопку «Local File», чтобы проверить локальный HTML-файл.

Давайте посмотрим, какие параметры проверки битых ссылок мы можем задать:

Check external links – если поставить галочку возле заданного пункта, то мы сможем проверить не только внутренние, но и внешние битые ссылки на сайте (линки, которые ведут на другие ресурса).

Include / Exclude – в данном блоке можно указать дополнительные адреса, которые программа Xenu Link Sleuth должна дополнительно проверить или пропустить. В качестве игнорируемых адресов можно указать те, которые относятся к статистике LiveInternet, формам подписки и так далее, можно также прописывать подстановочный символ «*».

More Options…  – кнопка находится в самом низу слева и позволяет настроить дополнительные параметры проверки битых ссылок.

Перед нами появится диалоговое окно с двумя вкладками:

Basic – тут мы можем указать число потоков и данные, которые будут предоставлены после завершения проверки:

  • Parallel Threads – с помощью ползунка указываем количество параллельных потоков. Значение от 1 до 100, чем больше потоков, тем быстрее Xenu Link Sleuth сможет проверить ваш сайт на наличие битых ссылок.
  • Maximum Depth – глубина проверки, максимальное значение 999.
  • Ask for password or certificate when needed — Запрашивать пароль или сертификат, ставим галочку при необходимости. Просто во время анализа, могут быть внешние ресурсы, доступ к которым возможен лишь при вводе пароля. Как правило, галочку можно убрать.
  • Treat redirections as errors – если поставить галочку возле заданного пункта, то Xenu Link Sleuth будет воспринимать все перенаправления как ошибки.
  • Apply to all jobs – собственно, применить указанные настройки ко всем заданиям.
  • Report – в данном блоке можно указать, какая информация будет отображаться в отчете после завершения проверки сайта на битые ссылки:
  • Broken links, ordered by links и Broken links, ordered by page – Вшивые линки, которые будут отсортированы по адресам и страницам.
  • Broken local links – указывать некорректные внутренние адреса.
  • Redirected URL’s – URL адреса с перенаправлением (коды 301 и 302).
  • FTP and gopher URL’s — отметив данный пункт, мы сможем получить список FTP и других не HTTP адресов, которые потом проанализируем сами, так как Xenu Link Sleuth этого не делает.
  • Valid text URL’s — рабочие текстовые ссылки.
  • Site map – отметив данный пункт, Xenu Link Sleuth сможет создать HTML карту вашего сайта, которая появится в отчете.
  • Statistics – собственно, статистические данные.
  • Orphan files – файлы-сироты. Тут, имеется в виду ситуация, когда некая страница уже не существует, но остались документы, которые имеют к ней отношение. Отметив данный пункт галочкой, мы сможем узнать, есть ли на сайте такие файлы.

Advanced – тут мы можем задать дополнительные параметры проверки:

  • Allow cookies – разрешить кукисы, относительно данного пункта нужно почитать справку.
  • Fail all URLs with same failed host – Автоматически считать неудачными все HTTP и FTP ссылки с заданного узла. Если данный пункт отмечен галочкой, то если попытка подключения к некоему узлу не удалась, то программа будет автоматически считать неудавшимися и все остальные адреса, относящиеся к этому узлу.
  • Exclude MSO files – собственно, исключить MSO файлы из проверки.
  • Allow local files in remote check – разрешить локальные файлы в удаленной проверке.
  • List local directories – список локальных каталогов.
  • Convert all URLs to lower case – преобразовать все адреса в нижний регистр.
  • Retries – количество повторов.

При желании, можно указать адрес электронной почты, на который будет отправлен отчет при нахождении битых ссылок.

The Story of Xenu’s Link Sleuth(TM)

(for fellow software developers)

WebAnalyzer

My philosophy on software development has always been «smaller,
simpler, cheaper», long before the NASA realized this (in May 2002 I was
told that the actual NASA philosophy was Faster, Better, Cheaper
— oops!) Because of that, I need no fancy (but totally useless) graphics
like in WebAnalyzer. Just results. And they’d better be 100% correct or
I’d have to kill myself 🙂

The
application is written in Visual C++, and uses the MFC classes as much
as possible: CDocument, CView, CListView, CObArray, CMapStringToOb, CArchive,
CInternetSession, CHttpFile, etc, etc. That saved me a lot of time! 

Что делать с битыми ссылками?

Имея список страниц с неработающими URL, устранить имеющиеся ошибки можно несколькими способами.

Исправление внешних ссылок

1. Если страница, на которую вы ссылаетесь, продолжает существовать, но по каким-то причинам ссылка перестала работать — достаточно просто заменить линк.

2. Когда речь идет о купленной ссылке, которую нельзя деактивировать или заменить, нужно связаться с администратором сайта и совместно прояснить ситуацию.

Исправление внутренних ссылок

1. Если страница была удалена непреднамеренно — ее восстанавливают, и ссылка начинает работать заново.

2. В большинстве случаев неработающие ссылки просто заменяют на новые, если страницы на которые вы ссылались до этого продолжают существовать на сайте или у них имеются аналоги.

3. Если ссылки не работают из-за опечаток, допущенных в написании URL, их можно отредактировать вручную.

4. Еще один вариант решения проблемы — настройка 301-х редиректов с удаленных документов на другие релевантные страницы.

5. Самый радикальный подход к решению проблемы — простое удаление неработающих ссылок.

Поиск ссылок в WordPress с помощью Broken Link Checker

Если у вас блог на движке WordPress, то возможно вам будет удобнее воспользоваться плагином Broken Link Checker для проверки неработающих гиперссылок

Он может осуществлять повторную проверку через указанный вами промежуток времени, прекращать свою работу в моменты, когда сервер вашего хостинга сильно нагружен, и, что самое важное, позволяет исправлять или удалять битые ссылки прямо из своего окна, не требуя захода в окно редактирования статей

Сразу после установки он начнет работать и сканировать ваш блог на наличие битых ссылок. Зайдя на страницу настройки этого плагина («Настройки» — «Проверка ссылок») в админке Вордпресса, вы сможете увидеть, сколько гиперссылок уже нашел Broken Link Checker на вашем блоге, а также сделать необходимые настройки.

Но у Broken Link Checker есть еще несколько вкладок с настройками. На вкладке «Look For Links In» вы можете задать, в каких именно материалах вашего блога он будет осуществлять поиск, а на вкладке «Which Links To Check» указать, ссылки с каких объектов будут проверяться. На вкладке «Дополнительно» вы можете максимально минимизировать нагрузку этого плагина на сервер хостинга, ограничив время поиска и задав порог загруженности сервера, при превышении которого он прервет свою работу.

По мере проверки будет предоставляться отчет о проделанной работе и найденных битых ссылках, который вы сможете посмотреть, перейдя в меню админки WordPress в «Инструменты» — «Неправильные ссылки»:

Здесь у вас будут богатые возможности по работе с ними, причем все, что вам может потребоваться (отредактировать, удалить ее, перейти к материалу, в котором проставлена данная битая ссылка), будет возможно сделать прямо отсюда, никуда не переходя и ничего не ища. В этом и состоит, на мой взгляд, основное преимущество плагина Broken Link Checker. К тому же, по окончании проверки его со спокойной душой можно снести до следующей проверки, чтобы глаза не мозолил. Думаю, что для Joomla тоже должны существовать аналогичные расширения, но я, к сожалению, с ними пока не знаком.

Отчет Xenu Link Sleuth – проверяем битые ссылки на сайте

В самом низу будет находиться информация о проверенных URL – сколько проанализировано и сколько еще надо проанализировать. Скорость проверки битых ссылок на заданном сайте зависит от количества потоков и скорости вашего интернета.

Давайте рассмотрим, какую информацию содержит таблица:

  • Adress – собственно, проверяемый URL адрес.
  • Status – статус проверки ссылки, будет прописан в зависимости от кода ответа (200 – ОК, 404 – не найдено, 403 – доступ запрещен и так далее).
  • Type – тип документа.
  • Size – размер в байтах.
  • Title – как я сказал выше, если проверяется на битые ссылки простая веб страница сайта, то программа покажет ее заголовок.
  • Date – дата создания.
  • Level – уровень вложенности.
  • Out Links и In Links – количество исходящих и входящих линков (внутренних).
  • Error – название ошибки, возникшей при попытки доступа к адресу.
  • Charset — кодировка.
  • Description – описание (если есть) веб страницы.

Нажав правой кнопкой мыши, перед нами появится контекстное меню, которое позволит просмотреть дополнительную информацию о заданном URL адресе. После того, как Xenu Link Sleuth закончит проверять ваш сайт на битые ссылки, произойдет звуковой сигнал и диалоговое окно проинформирует о составлении отчета. Если мы в настройках ставили галочку возле пункта Site Map, то мы сможем просмотреть в браузере составленную HTML карту проверяемого ресурса.

Ладно, полагаю, на этом можно заканчивать обзор программы Xenu Link Sleuth, которая позволяет проверить сайт на битые ссылки. Остальные параметры вы и сами сможете изучить. Я вначале думал сделать статью символов на 30000, что бы конкурентов обогнать, но… махнул рукой, хватит и этого.

Онлайн-сервис Broken Link Checker

Ну, и напоследок, как и обещал, опишу один из множества онлайн-сервисов предназначенных для поиска битых ссылок на любом сайте. Не сказать, чтобы сервис этот чем-то особым выделялся или как-то по особому хорошо работал. Нет. Но зато поиск битых линков в нем довольно прост и находит он их, как правило, не много, чтобы, наверное, нас не слишком расстраивать. Я обычно использую сначала его (проверяю несколько раз подряд), а уже потом использую плагин и программу (для лакировки, так сказать).

Сервис Broken Link Checker будет вам сообщать о количестве проверенных страниц и потихоньку начнет выводить список найденных битых ссылок. Править их можно начинать прямо сейчас не дожидаясь окончания процесса проверки. Для этого достаточно будет кликнуть по кнопке «src» в нужной строке списка:

В результате вы увидите исходный код страницы (на нее саму можно попасть кликнув по соседней кнопке «url»), где найдена битая ссылка. Причем место размещения в коде будет подсвечено:

Все. Останется только найти в тексте статьи или в теле комментария проблемную ссылку, еще раз проверить ее неработоспособность и пофиксить Broken Link как будто бы его и не было. Усё.

Удачи вам! До скорых встреч на страницах блога KtoNaNovenkogo.ru

Использую для заработка

Télécharger Xenu Link Sleuth

Comme indiqué, Xenu est gratuit. Il fonctionne sur tous les Windows (de Windows 95 à Windows 7). Vous pourrez trouver le logiciel ici : Télécharger Xenu.

Amusez-vous bien avec.

Installer Xenu sur Linux ou MacOS

En ce qui concerne la famille Unix (GnuLinux & MacOS), il est tout à fait possible de lancer Xenu à travers Wine. Pour expliquer les choses simplement pour ceux qui ne le savent pas, Wine c’est une petite boite contenant le strict nécessaire (librairies) pour faire tourner de petites applications Windows dans cette boite. Les utilisateurs Linux connaissent très bien Wine car avant l’arrivée de la virtualisation (VirtualBox, VMWare, Qemu, etc…) – accueilli à l’époque comme étant le futur – les linuxiens étaient obligés de passer par Wine pour installer des outils proposés uniquement sur Windows. Prenons un cas concret pour que vous compreniez pourquoi Wine peut-être nécessaire (parfois).

Dans notre cas, au travail, les postes sont installés sur Windows. Pour développer, certains utilisent une machine virtuelle hébergeant un Linux. Le problème est qu’il est difficile et fastidieux de coupler la pile TCP/IP (127.0.0.1, donc localhost) d’un Linux virtualisé à celui du Windows hôte. Donc si l’on veux utiliser Xenu pour crawler un site en cours de développement sur une machine virtuelle, on peut facilement opter pour Wine, tout simplement. Je ne vais pas vous expliquer comment installer Wine, une pléthore de tutoriels existent sur la toile. Toutefois, pensez à bien rendre exécutable le fichier « Setup.exe » de Xenu, sinon Wine ne pourra jamais le lancer.

Rendre exécutable le fichier Setup.exe de Xenu

Au revoir les linuxiens, et bon crawl à tous !

Найти картинки с отсутствующим атрибутом alt

Атрибут alt является важным при оптимизации сайта или отдельных страниц под определенные запросы. Проверьте, возможно, вы упустили описание для важных на вашем сайте изображений, добавив которое, вы улучшите позиции в поиске, либо вас будут находить по поиску по изображениям.

Результаты решения этих задач, как видно, могут быть использованы для оптимизации, поэтому, сделаем небольшой обзор программы Xenu Link Sleuth, чтобы её пользователей не пугал английский интерфейс.

Xenu является свободным продуктом и эту программу можно скачать по этой ссылке. При запуске перед вами откроется очень простое окно, важная часть которого изображена на скриншоте.

Интерфейс программы Xenu

Чтобы начать аудит какого-либо сайта, выберите пункт меню “File » Check URL”. В появившемся окне необходимо ввести адрес сайта и выделить чекбокс “Check external links” (проверять внешние ссылки).

В программе предусмотрено множество настроек, доступных в пункте меню “Options » Preferences”.

Настройка программы Xenu

Parallel threads устанавливает количество синхронных (параллельных) запросов.
Apply to all jobs позволяет сохранять настройки для всех проектов.

Далее, отчет позволяет включать в себя:Broken links, ordered by link — Битые ссылки, отсортированные по адресу;Broken links, ordered by page — Список битых ссылок, отсортированных по страницам;Broken local links — Битые внутренние ссылки;Redirected URLs — Адреса с 301/302 редиректом;Ftp and gopher URLs — ФТП и другие не HTTP адреса;Valid text URLs — Список рабочих текстовых ссылок;Site Map — Карта сайта;Statistics — Статистика.

Файл отчета работы Xenu очень большой и содержит в себе всю необходимую информацию. К примеру, статистика мониторинга моего блога показала следующие результаты:

Вывод статистики по ссылкам сайта — Xenu

В результате аудита, на сайте найдены ряд моментов, на которые стоит обратить внимание для оптимизации. Единственный недостаток программы — отображение русских заголовков страниц в неправильной кодировке.

Оцените статью
Рейтинг автора
5
Материал подготовил
Андрей Измаилов
Наш эксперт
Написано статей
116
Добавить комментарий