EngelsFransSpaans

OnWorks-favicon

crawler4j downloaden voor Linux

Gratis download crawler4j Linux-app om online te draaien in Ubuntu online, Fedora online of Debian online

Dit is de Linux-app genaamd crawler4j waarvan de nieuwste release kan worden gedownload als 4.4.0.zip. Het kan online worden uitgevoerd in de gratis hostingprovider OnWorks voor werkstations.

Download en gebruik deze app met de naam crawler4j gratis online met OnWorks.

Volg deze instructies om deze app uit te voeren:

- 1. Download deze applicatie op uw pc.

- 2. Voer in onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX in met de gebruikersnaam die u wilt.

- 3. Upload deze applicatie in zo'n bestandsbeheerder.

- 4. Start de OnWorks Linux online of Windows online emulator of MACOS online emulator vanaf deze website.

- 5. Ga vanuit het OnWorks Linux-besturingssysteem dat u zojuist hebt gestart naar onze bestandsbeheerder https://www.onworks.net/myfiles.php?username=XXXXX met de gewenste gebruikersnaam.

- 6. Download de applicatie, installeer hem en voer hem uit.

SCREENSHOTS

Ad


crawler4j


PRODUCTBESCHRIJVING

crawler4j is een open source webcrawler voor Java die een eenvoudige interface biedt voor het crawlen van het web. Hiermee kunt u binnen enkele minuten een multi-threaded webcrawler opzetten. U moet een crawlerklasse maken die WebCrawler uitbreidt. Deze klasse beslist welke URL's moeten worden gecrawld en handelt de gedownloade pagina af. ShouldVisit-functie beslist of de opgegeven URL moet worden gecrawld of niet. In het bovenstaande voorbeeld staat dit voorbeeld geen .css-, .js- en mediabestanden toe en alleen pagina's binnen het ics-domein. bezoekfunctie wordt aangeroepen nadat de inhoud van een URL met succes is gedownload. U kunt eenvoudig de url, tekst, links, html en unieke id van de gedownloade pagina krijgen. U moet ook een controllerklasse implementeren die de zaden van de crawl specificeert, de map waarin tussentijdse crawlgegevens moeten worden opgeslagen en het aantal gelijktijdige threads.



Kenmerken

  • U moet ook een controllerklasse implementeren die de zaden van de crawl specificeert, de map waarin tussentijdse crawlgegevens moeten worden opgeslagen en het aantal gelijktijdige threads:
  • Standaard is er geen limiet voor de crawldiepte
  • U kunt SSL inschakelen
  • Het crawlen van binaire inhoud inschakelen
  • crawler4j is zeer efficiënt ontworpen en heeft de mogelijkheid om zeer snel domeinen te crawlen
  • User-agent string wordt gebruikt om uw crawler voor webservers weer te geven


Programmeertaal

Java


Categorieën

Web Services

Dit is een applicatie die ook kan worden opgehaald van https://sourceforge.net/projects/crawler4j.mirror/. Het is gehost in OnWorks om op een gemakkelijkste manier online te kunnen worden uitgevoerd vanuit een van onze gratis besturingssystemen.


Gratis servers en werkstations

Windows- en Linux-apps downloaden

  • 1
    Gratis Pascal-compiler
    Gratis Pascal-compiler
    Een 32/64/16-bit Pascal-compiler voor
    Win32/64/CE, Linux, Mac OS X/iOS,
    Android, FreeBSD, OS/2, Gameboy
    Advance, Nintendo NDS en DOS;
    semantisch compatibel met...
    Download de gratis Pascal-compiler
  • 2
    Canon EOS DIGITAL-info
    Canon EOS DIGITAL-info
    Canon heeft geen sluitertijd
    opgenomen in de EXIF-informatie van een
    afbeeldingsbestand, in tegenstelling tot Nikon en
    Pentax. Er is geen officiële Canon-basis
    sollicitatie ...
    Canon EOS DIGITAL-info downloaden
  • 3
    REFInd
    REFInd
    rEFInd is een vork van de rEFIt-laars
    manager. Net als rEFIt kan rEFInd dat ook
    detecteert automatisch uw geïnstalleerde EFI-opstart
    laders en het presenteert een mooie GUI
    menu van opstartoptie...
    rEFInd downloaden
  • 4
    ExpressLuke GSI
    ExpressLuke GSI
    Deze SourceForge-downloadpagina was om
    sta gebruikers toe om mijn gebouwde bron te downloaden
    GSI's, gebaseerd op Phhusson's Great
    werk. Ik bouw zowel Android Pie als
    Androïde 1...
    ExpressLuke GSI downloaden
  • 5
    Muziek Caster
    Muziek Caster
    Music Caster is een dienbladmuziekspeler
    waarmee je je lokale muziek kunt casten naar een
    Google Cast-apparaat. Op de eerste vlucht,
    u moet op de pijl in uw klikken
    tas...
    Musiccaster downloaden
  • 6
    PyQt
    PyQt
    PyQt is de Python-binding voor
    Digia's Qt cross-platform
    raamwerk voor applicatie-ontwikkeling. Het
    ondersteunt Python v2 en v3 en Qt v4 en
    Qt v5. PyQt is beschikbaar...
    PyQt downloaden
  • Meer "

Linux-commando's

Ad