این برنامه لینوکس به نام Crawlab است که آخرین نسخه آن را می توانید با عنوان v0.6.3.zip دانلود کنید. می توان آن را به صورت آنلاین در ارائه دهنده میزبانی رایگان OnWorks برای ایستگاه های کاری اجرا کرد.
این برنامه با نام Crawlab با OnWorks را به صورت آنلاین دانلود و اجرا کنید.
برای اجرای این برنامه این دستورالعمل ها را دنبال کنید:
- 1. این برنامه را در رایانه شخصی خود دانلود کنید.
- 2. در فایل منیجر ما https://www.onworks.net/myfiles.php?username=XXXXX نام کاربری مورد نظر خود را وارد کنید.
- 3. این برنامه را در چنین فایل منیجر آپلود کنید.
- 4. OnWorks Linux آنلاین یا شبیه ساز آنلاین ویندوز یا شبیه ساز آنلاین MACOS را از این وب سایت راه اندازی کنید.
- 5. از سیستم عامل لینوکس OnWorks که به تازگی راه اندازی کرده اید، به مدیر فایل ما https://www.onworks.net/myfiles.php?username=XXXXX با نام کاربری که می خواهید بروید.
- 6. اپلیکیشن را دانلود کرده، نصب و اجرا کنید.
اسکرین شات ها:
کرالاب
DESCRIPTION:
پلت فرم مدیریت خزنده وب توزیع شده مبتنی بر Golang، از زبان های مختلف از جمله Python، NodeJS، Go، Java، PHP و فریم ورک های مختلف خزنده وب از جمله Scrapy، Puppeteer، Selenium پشتیبانی می کند. لطفاً از docker-compose برای راه اندازی با یک کلیک استفاده کنید. با انجام این کار، شما حتی نیازی به پیکربندی پایگاه داده MongoDB ندارید. برنامه frontend با گره اصلی تعامل دارد، که با اجزای دیگر مانند MongoDB، SeaweedFS و گره های کارگر ارتباط برقرار می کند. گره اصلی و گره کارگر از طریق gRPC (یک چارچوب RPC) با یکدیگر ارتباط برقرار می کنند. وظایف توسط ماژول زمان‌بندی وظیفه در گره اصلی برنامه‌ریزی می‌شوند و توسط ماژول کنترل‌کننده وظیفه در گره‌های کارگر دریافت می‌شوند، که این وظایف را در اجراکننده‌های وظیفه اجرا می‌کند. Task runner ها در واقع فرآیندهایی هستند که برنامه های عنکبوتی یا خزنده را اجرا می کنند و همچنین می توانند داده ها را از طریق gRPC (ادغام شده در SDK) به منابع داده دیگر، به عنوان مثال MongoDB ارسال کنند.
امکانات
- برنامه ریزی وظیفه
- مدیریت گره کارگری و ارتباطات
- استقرار عنکبوت
- خدمات Frontend و API
- اجرای وظیفه (شما می توانید گره اصلی را به عنوان یک گره کارگر در نظر بگیرید)
- ادغام با سایر چارچوب ها
زبان برنامه نویسی
Python، PHP، Java، Go
دسته بندی ها
این برنامه ای است که می تواند از https://sourceforge.net/projects/crawlab.mirror/ نیز دریافت شود. در OnWorks میزبانی شده است تا به آسانی از یکی از سیستم عامل های رایگان ما به صورت آنلاین اجرا شود.