Dies ist die Linux-App namens Crawlab, deren neueste Version als v0.6.3.zip heruntergeladen werden kann. Es kann online beim kostenlosen Hosting-Anbieter OnWorks für Workstations ausgeführt werden.
Laden Sie diese App namens Crawlab with OnWorks kostenlos herunter und führen Sie sie online aus.
Befolgen Sie diese Anweisungen, um diese App auszuführen:
- 1. Diese Anwendung auf Ihren PC heruntergeladen.
- 2. Geben Sie in unserem Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX den gewünschten Benutzernamen ein.
- 3. Laden Sie diese Anwendung in einem solchen Dateimanager hoch.
- 4. Starten Sie den OnWorks Linux-Online- oder Windows-Online-Emulator oder den MACOS-Online-Emulator von dieser Website.
- 5. Rufen Sie vom gerade gestarteten OnWorks Linux-Betriebssystem aus unseren Dateimanager https://www.onworks.net/myfiles.php?username=XXXXX mit dem gewünschten Benutzernamen auf.
- 6. Laden Sie die Anwendung herunter, installieren Sie sie und führen Sie sie aus.
SCREENSHOTS
Ad
Crawlab
BESCHREIBUNG
Golang-basierte Verwaltungsplattform für verteilte Webcrawler, die verschiedene Sprachen unterstützt, darunter Python, NodeJS, Go, Java, PHP und verschiedene Webcrawler-Frameworks, darunter Scrapy, Puppeteer, Selenium. Bitte verwenden Sie Docker-Compose, um mit einem Klick zu starten. Auf diese Weise müssen Sie nicht einmal die MongoDB-Datenbank konfigurieren. Die Frontend-App interagiert mit dem Master-Knoten, der mit anderen Komponenten wie MongoDB, SeaweedFS und Worker-Knoten kommuniziert. Master-Knoten und Worker-Knoten kommunizieren miteinander über gRPC (ein RPC-Framework). Tasks werden vom Task-Scheduler-Modul im Master-Knoten geplant und vom Task-Handler-Modul in Worker-Knoten empfangen, das diese Tasks in Task-Runnern ausführt. Task-Runner sind eigentlich Prozesse, die Spider- oder Crawler-Programme ausführen, und können auch Daten über gRPC (im SDK integriert) an andere Datenquellen senden, z. B. MongoDB.
Eigenschaften
- Aufgabenplanung
- Verwaltung und Kommunikation von Worker-Knoten
- Spider-Bereitstellung
- Frontend- und API-Dienste
- Aufgabenausführung (Sie können den Master-Knoten als Worker-Knoten betrachten)
- Integration mit anderen Frameworks
Programmiersprache
Python, PHP, Java, Go
Kategorien
Dies ist eine Anwendung, die auch von https://sourceforge.net/projects/crawlab.mirror/ abgerufen werden kann. Es wurde in OnWorks gehostet, damit es auf einfachste Weise online von einem unserer kostenlosen Betriebssysteme ausgeführt werden kann.
