यह Crawlab नाम का Linux ऐप है जिसकी नवीनतम रिलीज़ को v0.6.3.zip के रूप में डाउनलोड किया जा सकता है। इसे वर्कस्टेशन के लिए मुफ्त होस्टिंग प्रदाता ऑनवर्क्स में ऑनलाइन चलाया जा सकता है।
क्रॉलैब नाम के इस ऐप को ऑनवर्क्स के साथ मुफ्त में डाउनलोड करें और चलाएं।
इस ऐप को चलाने के लिए इन निर्देशों का पालन करें:
- 1. इस एप्लिकेशन को अपने पीसी में डाउनलोड करें।
- 2. हमारे फ़ाइल प्रबंधक में https://www.onworks.net/myfiles.php?username=XXXXX उस उपयोगकर्ता नाम के साथ दर्ज करें जो आप चाहते हैं।
- 3. इस एप्लिकेशन को ऐसे फाइल मैनेजर में अपलोड करें।
- 4. इस वेबसाइट से ऑनवर्क्स लिनक्स ऑनलाइन या विंडोज ऑनलाइन एमुलेटर या मैकोज़ ऑनलाइन एमुलेटर शुरू करें।
- 5. ऑनवर्क्स लिनक्स ओएस से आपने अभी शुरुआत की है, हमारे फाइल मैनेजर को https://www.onworks.net/myfiles.php?username=XXXXX उस यूजरनेम के साथ जाएं जो आप चाहते हैं।
- 6. एप्लिकेशन डाउनलोड करें, इसे इंस्टॉल करें और इसे चलाएं।
स्क्रीनशॉट:
क्रॉलैब
विवरण:
गोलंग-आधारित वितरित वेब क्रॉलर प्रबंधन प्लेटफ़ॉर्म, पायथन, नोडजेएस, गो, जावा, पीएचपी और स्क्रेपी, कठपुतली, सेलेनियम सहित विभिन्न वेब क्रॉलर फ्रेमवर्क सहित विभिन्न भाषाओं का समर्थन करता है। प्रारंभ करने के लिए कृपया docker-compose to one-click का उपयोग करें। ऐसा करने से, आपको MongoDB डेटाबेस को कॉन्फ़िगर करने की भी आवश्यकता नहीं है। फ्रंटएंड ऐप मास्टर नोड के साथ इंटरैक्ट करता है, जो अन्य घटकों जैसे MongoDB, SeaweedFS और वर्कर नोड्स के साथ संचार करता है। मास्टर नोड और वर्कर नोड एक दूसरे के साथ gRPC (एक RPC फ्रेमवर्क) के माध्यम से संवाद करते हैं। कार्य मास्टर नोड में कार्य अनुसूचक मॉड्यूल द्वारा निर्धारित किए जाते हैं, और कार्य नोड में कार्य हैंडलर मॉड्यूल द्वारा प्राप्त किए जाते हैं, जो कार्य धावकों में इन कार्यों को निष्पादित करता है। टास्क रनर वास्तव में स्पाइडर या क्रॉलर प्रोग्राम चलाने वाली प्रक्रियाएँ हैं, और अन्य डेटा स्रोतों, जैसे MongoDB, को gRPC (SDK में एकीकृत) के माध्यम से डेटा भी भेज सकते हैं।
विशेषताएं
- कार्य निर्धारण
- कार्यकर्ता नोड प्रबंधन और संचार
- मकड़ी की तैनाती
- दृश्यपटल और एपीआई सेवाएं
- कार्य निष्पादन (आप मास्टर नोड को वर्कर नोड के रूप में मान सकते हैं)
- अन्य ढांचे के साथ एकीकरण
प्रोग्रामिंग भाषा
पायथन, पीएचपी, जावा, गो
श्रेणियाँ
यह एक ऐसा एप्लिकेशन है जिसे https://sourceforge.net/projects/crawlab.mirror/ से भी प्राप्त किया जा सकता है। इसे हमारे निःशुल्क ऑपरेटिव सिस्टम में से किसी एक से आसान तरीके से ऑनलाइन चलाने के लिए ऑनवर्क्स में होस्ट किया गया है।