Проверка ссылок на веб-сайты для Linux

Периодически мне нужно проверять свои веб-сайты на предмет «гниения ссылок». Множественное число уже указывает на то, что это работа, которую нельзя выполнить вручную (на многие сайты и еще больше ссылок для проверки), поэтому мне нужен инструмент, который мне поможет.

Обязательные к приобретению:

• Должен работать в Linux
• Должен позволять определять фильтры (для URL-адресов/имен серверов/доменов не проверять; RegEx было бы здорово, простая «подстрока» все еще в порядке)
• Должен разрешить фильтрацию вывода (по крайней мере, чтобы «показывать только ошибки и предупреждения»; чем более детализирован, тем лучше)

Настоятельно предпочтительны:

• Интерфейсы GUI и CLI (так что я могу запускать его вручную с приятным интерфейсом, а также автоматически из Cron — в этом случае, если возможно, GUI должен иметь возможность загружать «результаты»)
• Немного статистики
• Эффективный:
  • Не следует проверять один и тот же URL несколько раз (но, конечно, если он поврежден, сообщите об этом для каждой страницы, на которой он найден)
  • не следует анализировать одну и ту же страницу несколько раз ¹
• Точный (как можно меньше «ложноотрицательных результатов»)

Хорошо бы иметь:

• возможность указать, какие параметры URL игнорировать ²
• отправка (форматированных) отчетов по почте (при запуске из Cron) ³
• Возможность сканирования сайтов с требованием аутентификации ⁴
• Возможность исключить типы файлов из проверки ⁵

Я уже пробовал:

• gUrlChecker : Судя по графическому интерфейсу, он соответствует всем требованиям. Но он игнорировал все настройки фильтра (для пропуска хостов/URL-адресов; если включен пример, как это сделать, этот ответ приветствуется - возможно, я сделал что-то не так, или версия gUrlChecker , которую я использовал, имеет ошибку)
• LinkChecker : очень много «ложных срабатываний» (например, сообщает, что A перенаправляет на A, т. е. на себя; проверяет одну и ту же страницу несколько раз и также несколько раз сообщает о своих ошибках, сообщает о «недоступных страницах» (301, 401), которые были явно доступны (без «авторизации»), без фильтрации вывода (хотя отображение «только ошибок и предупреждений» приемлемо, я бы хотел, чтобы он показывал, например, «только ошибки»). Опять же, это может быть ошибка, которая тем временем решена: как gUrlChecker , я установил его из репозиториев Ubuntu, которые не всегда имеют самые последние версии (да, действительно: 7.x в репозитории, 9.3 на сайте проекта - снова протестирую с последней версией)

^{1: Если, например, на отсканированном сайте страницы A, B и C ссылаются на Z (все еще на самом отсканированном сервере, т.е. без внешних ссылок), Z следует сканировать только один раз, а не 3 раза, как я испытал, например, с LinkChecker}

^{2: Если сайт, например, предоставляет один и тот же контент на нескольких языках, нет смысла сканировать все языковые варианты (при условии, что ссылки на них идентичны). Поэтому я могу, например, захотеть проигнорировать lang=XXпараметр и заставить средство проверки ссылок учитывать a.php, a.php?lang=enи a.php?lang=deту же страницу. Это, конечно , может быть покрыто обязательным фильтром с RegEx, если langпараметр является необязательным;)}

^{3: Конечно, с помощью Cron STDERRзахвачено, поэтому основное внимание в этой почте уделяется «отформатированному». Это могут быть, например, расчетные листы ODF (которые затем можно «отфильтровать» с помощью OpenOffice/LibreOffice).}

^{4: т.е. те сайты, которые запрашивают имя пользователя/пароль для доступа (код ответа HTTP 401); Я только что заметил , что LinkChecker добавил, что с v7.9 gUrlChecker также способен на это. Это в основном относится к сканируемому сайту , не обязательно к внешним ссылкам (если поддерживаются оба, это должно быть настроено отдельно)}

^{5: если средство проверки ссылок, например, способно сканировать содержимое PDF, MSWord и любых других документов, должна быть возможность отключить это: на веб-сайте могут храниться «старые версии документов» для справки, где «устаревшие ссылки» считаются «нормальными». ". Исключение может происходить по MIME-типу или расширению файла.}