این برنامه لینوکس به نام Scrapy-Redis است که آخرین نسخه آن را می توان با عنوان Version0.7.1Released.zip دانلود کرد. می توان آن را به صورت آنلاین در ارائه دهنده میزبانی رایگان OnWorks برای ایستگاه های کاری اجرا کرد.
این برنامه با نام Scrapy-Redis را با OnWorks به صورت آنلاین دانلود و اجرا کنید.
برای اجرای این برنامه این دستورالعمل ها را دنبال کنید:
- 1. این برنامه را در رایانه شخصی خود دانلود کنید.
- 2. در فایل منیجر ما https://www.onworks.net/myfiles.php?username=XXXXX نام کاربری مورد نظر خود را وارد کنید.
- 3. این برنامه را در چنین فایل منیجر آپلود کنید.
- 4. OnWorks Linux آنلاین یا شبیه ساز آنلاین ویندوز یا شبیه ساز آنلاین MACOS را از این وب سایت راه اندازی کنید.
- 5. از سیستم عامل لینوکس OnWorks که به تازگی راه اندازی کرده اید، به مدیر فایل ما https://www.onworks.net/myfiles.php?username=XXXXX با نام کاربری که می خواهید بروید.
- 6. اپلیکیشن را دانلود کرده، نصب و اجرا کنید.
عکس ها
Ad
اسکراپی-ردیس
شرح
می‌توانید چندین نمونه عنکبوت را راه‌اندازی کنید که یک صف ردیس را به اشتراک می‌گذارند. بهترین مناسب برای خزیدن گسترده چند دامنه. اقلام خراشیده شده به یک صف بندی مجدد هدایت می شوند به این معنی که می توانید به تعداد مورد نیاز فرآیندهای پس از پردازش را با اشتراک گذاری صف اقلام شروع کنید. Scheduler + Duplication Filter، Item Pipeline، Base Spiders. سریال‌ساز پیش‌فرض درخواست‌ها ترشی است، اما می‌توان آن را به هر ماژولی با عملکردهای بارگذاری و تخلیه تغییر داد. توجه داشته باشید که ترشی بین نسخه های پایتون سازگار نیست. نسخه 0.3 سریال سازی درخواست ها را از marshal به cPickle تغییر داد، بنابراین درخواست های ادامه دار با استفاده از نسخه 0.2 نمی توانند روی 0.3 کار کنند. کلاس scrapy_redis.spiders.RedisSpider یک عنکبوت را قادر می سازد تا URL ها را از redis بخواند. آدرس‌های اینترنتی در صف redis یکی پس از دیگری پردازش می‌شوند، اگر اولین درخواست درخواست‌های بیشتری داشته باشد، spider آن درخواست‌ها را قبل از واکشی url دیگری از redis پردازش می‌کند.
امکانات
- خزیدن/خراش توزیع شده
- توزیع پس از پردازش
- اجزای plug-and-play را خراب کنید
- پایتون 2.7، 3.4 یا 3.5 مورد نیاز است
- Redis >= 2.8 مورد نیاز است
- Scheduler + Duplication Filter، Item Pipeline، Base Spiders
زبان برنامه نویسی
پــایتــون
این برنامه ای است که می توان آن را از https://sourceforge.net/projects/scrapy-redis.mirror/ نیز دریافت کرد. در OnWorks میزبانی شده است تا به آسانی از یکی از سیستم عامل های رایگان ما به صورت آنلاین اجرا شود.
