Это приложение для Linux под названием go_spider, последнюю версию которого можно загрузить как Version1.2.zip. Его можно запустить онлайн на бесплатном хостинг-провайдере OnWorks для рабочих станций.
Загрузите и запустите онлайн это приложение под названием go_spider с OnWorks бесплатно.
Следуйте этим инструкциям, чтобы запустить это приложение:
- 1. Загрузил это приложение на свой компьютер.
- 2. Введите в нашем файловом менеджере https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 3. Загрузите это приложение в такой файловый менеджер.
- 4. Запустите онлайн-эмулятор OnWorks Linux или Windows или онлайн-эмулятор MACOS с этого веб-сайта.
- 5. В только что запущенной ОС OnWorks Linux перейдите в наш файловый менеджер https://www.onworks.net/myfiles.php?username=XXXXX с желаемым именем пользователя.
- 6. Скачайте приложение, установите его и запустите.
СКРИНШОТЫ
Ad
go_spider
ОПИСАНИЕ
Потрясающий фреймворк Go для параллельного сканирования (паука). Гусеничный робот является гибким и модульным. Его можно легко расширить до индивидуального обходчика или можно использовать только компоненты обхода по умолчанию. Паук получает запрос в планировщике с URL-адресом для сканирования. Затем Downloader загружает результат (html, json, jsonp, текст) запроса. Результат сохраняется в Page для анализа в PageProcesser. Парсинг html основан на пакете goquery. Парсинг Json основан на простом пакете JSON. Jsonp будет конвертироваться в json. Текстовая форма представляет собой простое текстовое содержимое без парсера. Модуль PageProcesser анализирует только результаты. Модуль получает результаты (пары ключ-значение) и URL-адреса для сканирования на следующем шаге. Эти пары ключ-значение будут сохранены в PageItems, а URL-адреса будут отправлены в Планировщик.
Особенности
- Требуется Go 1.2 или выше
- параллельный
- Подходит для вертикальных сообществ
- Гибкий, модульный
- Нативная реализация Go
- Может быть легко расширен до индивидуального сканера
Язык программирования
Go
Категории
Это приложение также можно загрузить с https://sourceforge.net/projects/go-spider.mirror/. Он был размещен в OnWorks, чтобы его можно было легко запускать в Интернете с помощью одной из наших бесплатных операционных систем.
