Bu, en son sürümü v0.3.10.zip olarak indirilebilen pyspider adlı Linux uygulamasıdır. İş istasyonları için ücretsiz barındırma sağlayıcısı OnWorks'te çevrimiçi olarak çalıştırılabilir.
OnWorks ile pyspider adlı bu uygulamayı çevrimiçi olarak ücretsiz indirin ve çalıştırın.
Bu uygulamayı çalıştırmak için şu talimatları izleyin:
- 1. Bu uygulamayı PC'nize indirdiniz.
- 2. Dosya yöneticimize https://www.onworks.net/myfiles.php?username=XXXXX istediğiniz kullanıcı adını girin.
- 3. Bu uygulamayı böyle bir dosya yöneticisine yükleyin.
- 4. Bu web sitesinden OnWorks Linux çevrimiçi veya Windows çevrimiçi öykünücüsünü veya MACOS çevrimiçi öykünücüsünü başlatın.
- 5. Yeni başladığınız OnWorks Linux işletim sisteminden, istediğiniz kullanıcı adıyla https://www.onworks.net/myfiles.php?username=XXXXX dosya yöneticimize gidin.
- 6. Uygulamayı indirin, kurun ve çalıştırın.
EKRAN
Ad
pispider
TANIM
pyspider, Python'da güçlü bir Spider(Web Crawler) sistemidir. Bileşenler, mesaj kuyruğu ile bağlanır. Mesaj kuyruğu da dahil olmak üzere her bileşen kendi işleminde/iş parçacığında çalışır ve değiştirilebilir. Bu, işlem yavaş olduğunda, birçok işlemci örneğine sahip olabileceğiniz ve birden çok CPU'dan tam olarak yararlanabileceğiniz veya birden çok makineye dağıtabileceğiniz anlamına gelir. Bu mimari, pyspider'ı gerçekten hızlı hale getirir. kıyaslama. pyspider çeşitli bileşenlere sahip olduğundan, bağımsız ve üçüncü hizmet ücretsiz bir eşgörünüm başlatmak için pyspider'ı çalıştırmanız yeterlidir. Veya dağıtılmış bir gezinme kümesini dağıtmak için MySQL veya MongoDB ve RabbitMQ kullanma. Pyspider'ı ürün ortamında dağıtmak için, her işlemde bileşen çalıştırmak ve veri tabanı hizmetinde veri depolamak daha güvenilir ve esnektir. Pyspider bileşenlerini her bir işleme dağıtmak için en az bir veritabanı hizmetine ihtiyacınız vardır. pyspider artık MySQL, MongoDB ve PostgreSQL'i destekliyor. Bunlardan birini seçebilirsiniz.
Özellikler
- Python'da komut dosyası yaz
- Komut dosyası düzenleyicisi, görev monitörü, proje yöneticisi ve sonuç görüntüleyicisi ile güçlü WebUI
- MySQL, MongoDB, Redis, SQLite, Elasticsearch; Veritabanı arka ucu olarak SQLAlchemy ile PostgreSQL
- Mesaj kuyruğu olarak RabbitMQ, Beanstalk, Redis ve Kombu
- Görev önceliği, yeniden deneme, periyodik, yaşa göre yeniden tarama vb.
- Dağıtılmış mimari, Crawl Javascript sayfaları, Python 2&3, vb.
Programlama dili
Python
Kategoriler
Bu, https://sourceforge.net/projects/pyspider.mirror/ adresinden de getirilebilen bir uygulamadır. Ücretsiz İşletim Sistemlerimizden birinden en kolay şekilde çevrimiçi çalıştırılabilmesi için OnWorks'te barındırılmıştır.
