これは Crawlab という名前の Linux アプリで、最新リリースは v0.6.3.zip としてダウンロードできます。 ワークステーション用の無料ホスティング プロバイダー OnWorks でオンラインで実行できます。
Crawlab with OnWorks という名前のこのアプリをオンラインで無料でダウンロードして実行します。
このアプリを実行するには、次の手順に従ってください。
-1。このアプリケーションをPCにダウンロードしました。
--2。ファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXに必要なユーザー名を入力します。
-3。このアプリケーションをそのようなファイルマネージャにアップロードします。
-4。このWebサイトからOnWorksLinuxオンラインまたはWindowsオンラインエミュレーターまたはMACOSオンラインエミュレーターを起動します。
-5。起動したばかりのOnWorksLinux OSから、必要なユーザー名でファイルマネージャーhttps://www.onworks.net/myfiles.php?username=XXXXXにアクセスします。
-6。アプリケーションをダウンロードし、インストールして実行します。
スクリーンショットは
Ad
クロールラボ
DESCRIPTION
Python、NodeJS、Go、Java、PHP などのさまざまな言語と、Scrapy、Puppeteer、Selenium などのさまざまな Web クローラー フレームワークをサポートする、Golang ベースの分散 Web クローラー管理プラットフォーム。 docker-compose を使ってワンクリックで起動してください。 そうすることで、MongoDB データベースを構成する必要さえありません。 フロントエンド アプリは、MongoDB、SeaweedFS、ワーカー ノードなどの他のコンポーネントと通信するマスター ノードと対話します。 マスター ノードとワーカー ノードは、gRPC (RPC フレームワーク) を介して相互に通信します。 タスクは、マスター ノードのタスク スケジューラ モジュールによってスケジュールされ、ワーカー ノードのタスク ハンドラ モジュールによって受信され、タスク ランナーでこれらのタスクが実行されます。 タスク ランナーは、実際にはスパイダーまたはクローラー プログラムを実行するプロセスであり、gRPC (SDK に統合) を介して他のデータ ソース (MongoDB など) にデータを送信することもできます。
特徴
- タスクのスケジューリング
- ワーカー ノードの管理と通信
- スパイダーの展開
- フロントエンドと API サービス
- タスクの実行 (マスター ノードをワーカー ノードと見なすことができます)
- 他のフレームワークとの統合
プログラミング言語
Python、PHP、Java、Go
カテゴリー
これは https://sourceforge.net/projects/crawlab.mirror/ からも取得できるアプリケーションです。 これは、OnWorks でホストされており、無料のオペレーティング システムの XNUMX つからオンラインで簡単に実行できます。
