এটি হল Crawlab নামের লিনাক্স অ্যাপ যার সর্বশেষ রিলিজটি v0.6.3.zip হিসাবে ডাউনলোড করা যেতে পারে। এটি ওয়ার্কস্টেশনের জন্য বিনামূল্যের হোস্টিং প্রদানকারী OnWorks-এ অনলাইনে চালানো যেতে পারে।
ডাউনলোড করুন এবং অনলাইনে চালান এই অ্যাপটি Crawlab নামের OnWorks সহ বিনামূল্যে।
এই অ্যাপটি চালানোর জন্য এই নির্দেশাবলী অনুসরণ করুন:
- 1. আপনার পিসিতে এই অ্যাপ্লিকেশনটি ডাউনলোড করুন৷
- 2. আমাদের ফাইল ম্যানেজারে প্রবেশ করুন https://www.onworks.net/myfiles.php?username=XXXXX আপনি যে ইউজারনেম চান।
- 3. এই ধরনের ফাইল ম্যানেজারে এই অ্যাপ্লিকেশনটি আপলোড করুন।
- 4. এই ওয়েবসাইট থেকে OnWorks Linux অনলাইন বা Windows অনলাইন এমুলেটর বা MACOS অনলাইন এমুলেটর শুরু করুন।
- 5. OnWorks Linux OS থেকে আপনি এইমাত্র শুরু করেছেন, আমাদের ফাইল ম্যানেজারে যান https://www.onworks.net/myfiles.php?username=XXXXX আপনার পছন্দের ব্যবহারকারীর নাম সহ।
- 6. অ্যাপ্লিকেশনটি ডাউনলোড করুন, এটি ইনস্টল করুন এবং এটি চালান।
স্ক্রিনশট:
ক্রল্যাব
বর্ণনাঃ
গোলং-ভিত্তিক বিতরণ করা ওয়েব ক্রলার ম্যানেজমেন্ট প্ল্যাটফর্ম, পাইথন, নোডজেএস, গো, জাভা, পিএইচপি এবং স্ক্র্যাপি, পাপেটিয়ার, সেলেনিয়াম সহ বিভিন্ন ওয়েব ক্রলার ফ্রেমওয়ার্ক সহ বিভিন্ন ভাষা সমর্থন করে। অনুগ্রহ করে শুরু করতে এক-ক্লিক করতে ডকার-কম্পোজ ব্যবহার করুন। এটি করার মাধ্যমে, আপনাকে MongoDB ডাটাবেস কনফিগার করতে হবে না। ফ্রন্টএন্ড অ্যাপটি মাস্টার নোডের সাথে ইন্টারঅ্যাক্ট করে, যা অন্যান্য উপাদান যেমন MongoDB, SeaweedFS এবং ওয়ার্কার নোডের সাথে যোগাযোগ করে। মাস্টার নোড এবং কর্মী নোড gRPC (একটি RPC কাঠামো) এর মাধ্যমে একে অপরের সাথে যোগাযোগ করে। কার্যগুলি মাস্টার নোডে টাস্ক শিডিউলার মডিউল দ্বারা নির্ধারিত হয় এবং কর্মী নোডগুলিতে টাস্ক হ্যান্ডলার মডিউল দ্বারা গৃহীত হয়, যা টাস্ক রানারগুলিতে এই কাজগুলি সম্পাদন করে। টাস্ক রানাররা আসলে স্পাইডার বা ক্রলার প্রোগ্রাম চালানোর প্রক্রিয়া, এবং এছাড়াও তারা অন্যান্য ডেটা উত্স, যেমন মঙ্গোডিবিতে জিআরপিসি (এসডিকে একীভূত) এর মাধ্যমে ডেটা পাঠাতে পারে।
বৈশিষ্ট্য
- কার্য শিডিউলিং
- কর্মী নোড ব্যবস্থাপনা এবং যোগাযোগ
- মাকড়সা স্থাপনা
- ফ্রন্টএন্ড এবং API পরিষেবা
- টাস্ক এক্সিকিউশন (আপনি মাস্টার নোডকে ওয়ার্কার নোড হিসাবে বিবেচনা করতে পারেন)
- অন্যান্য ফ্রেমওয়ার্কের সাথে ইন্টিগ্রেশন
প্রোগ্রামিং ভাষা
পাইথন, পিএইচপি, জাভা, গো
বিভাগ
এটি একটি অ্যাপ্লিকেশন যা https://sourceforge.net/projects/crawlab.mirror/ থেকেও আনা যেতে পারে। আমাদের বিনামূল্যের অপারেটিভ সিস্টেমগুলির মধ্যে একটি থেকে সবচেয়ে সহজ উপায়ে অনলাইনে চালানোর জন্য এটি OnWorks-এ হোস্ট করা হয়েছে।