Đây là ứng dụng Linux có tên Scrapy-Redis có bản phát hành mới nhất có thể được tải xuống dưới dạng Phiên bản0.7.1Released.zip. Nó có thể được chạy trực tuyến trong nhà cung cấp dịch vụ lưu trữ miễn phí OnWorks cho máy trạm.
Tải xuống và chạy trực tuyến ứng dụng có tên Scrapy-Redis này với OnWorks miễn phí.
Làm theo các hướng dẫn sau để chạy ứng dụng này:
- 1. Đã tải ứng dụng này xuống PC của bạn.
- 2. Nhập vào trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 3. Tải lên ứng dụng này trong trình quản lý tệp như vậy.
- 4. Khởi động trình giả lập trực tuyến OnWorks Linux hoặc trình giả lập trực tuyến Windows hoặc trình mô phỏng trực tuyến MACOS từ trang web này.
- 5. Từ Hệ điều hành OnWorks Linux mà bạn vừa khởi động, hãy truy cập trình quản lý tệp của chúng tôi https://www.onworks.net/myfiles.php?username=XXXXX với tên người dùng mà bạn muốn.
- 6. Tải xuống ứng dụng, cài đặt và chạy nó.
MÀN HÌNH
Ad
phế liệu-Redis
MÔ TẢ
Bạn có thể bắt đầu nhiều phiên bản nhện chia sẻ một hàng đợi redis duy nhất. Thích hợp nhất cho thu thập thông tin đa miền rộng. Các mục phế liệu được đẩy vào hàng đợi xếp lại có nghĩa là bạn có thể bắt đầu nhiều quá trình xử lý hậu cần thiết khi chia sẻ hàng đợi mục. Bộ lập lịch + Bộ lọc trùng lặp, Đường ống mục, Nhện cơ sở. Bộ tuần tự các yêu cầu mặc định là pickle, nhưng nó có thể được thay đổi thành bất kỳ mô-đun nào có chức năng tải và kết xuất. Lưu ý rằng dưa chua không tương thích giữa các phiên bản python. Phiên bản 0.3 đã thay đổi tuần tự hóa các yêu cầu từ marshal thành cPickle, do đó, các yêu cầu liên tục sử dụng phiên bản 0.2 sẽ không thể hoạt động trên 0.3. Lớp scrapy_redis.spiders.RedisSpider cho phép một con nhện đọc các url từ redis. Các url trong hàng đợi redis sẽ được xử lý lần lượt, nếu yêu cầu đầu tiên mang lại nhiều yêu cầu hơn, spider sẽ xử lý các yêu cầu đó trước khi tìm nạp một url khác từ redis.
Tính năng
- Thu thập thông tin / cạo được phân tán
- Xử lý sau phân tán
- Các thành phần plug-and-play trị liệu
- Python 2.7, 3.4 hoặc 3.5 bắt buộc
- Redis> = 2.8 bắt buộc
- Bộ lập lịch + Bộ lọc trùng lặp, Đường ống mục, Nhện cơ sở
Ngôn ngữ lập trình
Python
Đây là một ứng dụng cũng có thể được tìm nạp từ https://sourceforge.net/projects/scrapy-redis.mirror/. Nó đã được lưu trữ trên OnWorks để có thể chạy trực tuyến một cách dễ dàng nhất từ một trong những Hệ thống hoạt động miễn phí của chúng tôi.