Загрузка инструмента безопасности веб-краулера для Linux

Это приложение для Linux под названием Web Crawler Security Tool, последний выпуск которого можно загрузить как crawler_v1.0.1.tar.gz. Его можно запустить онлайн в бесплатном хостинг-провайдере OnWorks для рабочих станций.

СКРИНШОТЫ

Инструмент безопасности веб-сканера

ОПИСАНИЕ

Последнее обновление вт 26 мар 16:25 UTC 2012

Web Crawler Security - это инструмент на основе Python для автоматического сканирования веб-сайтов. Это веб-сканер, ориентированный на решение задач тестирования на проникновение. Основная задача этого инструмента - найти и составить список всех ссылок (страниц и файлов) на веб-сайте.

Сканер был полностью переписан в версии 1.0 с множеством улучшений: улучшена визуализация данных, интерактивная возможность загрузки файлов, увеличена скорость сканирования, экспорт списка найденных файлов в отдельный файл (полезно для однократного сканирования сайта, затем загружать файлы и анализировать их с помощью FOCA), создавать выходной журнал в общем формате журнала (CLF), управлять базовой аутентификацией и многое другое!

Были переопределены многие старые функции, и наиболее интересной из них является возможность поискового робота выполнять поиск по каталогам.

Особенности

• Сканируйте веб-сайты http и https (даже веб-сайты, не использующие общие порты). Сканируйте веб-сайты http и https (даже веб-сайты, не использующие общие порты). Сканируйте веб-сайты http и https (даже веб-сайты, не использующие общие порты).
• (новинка!) Позволяет определять глубину сканирования (-C вариант)
• (новинка!) Создает сводку в конце сканирования со статистикой о результатах сканирования
• (новое!) Реализован метод HEAD для анализа типов файлов перед сканированием. Эта функция значительно увеличивает скорость сканирования.
• Использует регулярные выражения для поиска ссылок href, src и content.
• Определяет относительные ссылки.
• Определяет файлы, отличные от HTML, и показывает их.
• Не сканировать файлы, отличные от HTML.
• Определяет индексацию каталога.
• Сканирование каталогов с индексацией (еще не реализовано в версии 1.0)
• Использует CTRL-C, чтобы остановить текущие этапы поискового робота и продолжить работу. Очень полезная штука ...
• Определяет все типы файлов, читая поле заголовка типа содержимого ответа.
• Экспортирует (параметр -e) в отдельный файл список всех URL-адресов файлов, найденных во время сканирования.
• Выберите тип файлов для загрузки (опция -d). Пример: png, pdf, jpeg, gif или png, jpeg.
• В интерактивном режиме выберите тип файлов для загрузки (параметр -i).
• Сохраните загруженные файлы в каталог. Он создает выходной каталог только в том случае, если есть хотя бы один файл для загрузки.
• Создает выходной журнал в CLF (общий формат журнала) всех запросов, выполненных во время сканирования.
• (бета) Войдите в систему с базовой аутентификацией. Обратная связь приветствуется!
• Пытается определить, использует ли веб-сайт CMS (например, wordpress, joomla и т. Д.) (Еще не реализовано в версии 1.0)
• Он ищет файлы .bk или .bak на страницах php, asp, aspx, jps. (еще не реализовано в версии 1.0)
• Он определяет и подсчитывает количество просканированных уникальных веб-страниц. (еще не реализовано в версии 1.0)
• Он определяет и вычисляет количество просканированных уникальных веб-страниц, содержащих параметры в URL. (еще не реализовано в версии 1.0)
• Работает в Windows, но пока не сохраняет результаты

Аудитория

Информационные технологии

Интерфейс пользователя

Консоль / Терминал

Язык программирования

Питон

Это приложение также можно загрузить с https://sourceforge.net/projects/webcrawler-py/. Он размещен в OnWorks, чтобы его можно было легко запускать в Интернете с помощью одной из наших бесплатных операционных систем.