estwaver - Online in de cloud

PROGRAMMA:

NAAM

estwaver - opdrachtregelinterface van webcrawler

KORTE INHOUD

estwaver init [-apn|-acc] [-xs|-xl|-xh] [-sv|-si|-sa] hoofdmap

estwaver kruipen [-herstart|-herbezoek|-revcont] hoofdmap

estwaver hoofdstuk toets hoofdmap

estwaver halen [-volmacht gastheer haven] [-tout aantal] [-il lang] url

PRODUCTBESCHRIJVING

estwaver is een samenvoeging van subopdrachten. De naam van een subcommando wordt gespecificeerd door de
eerste argument. Andere argumenten worden geparseerd volgens elk subcommando. Het argument
hoofdmap specificeert de hoofdmap van de crawler die het configuratiebestand bevat, enzovoort.

estwaver init [-apn|-acc] [-xs|-xl|-xh] [-sv|-si|-sa] hoofdmap
Maak de hoofdmap van de crawler.
If -apn is gespecificeerd, wordt ook N-gram-analyse uitgevoerd op basis van Europese tekst.
If -volg is opgegeven, wordt karaktercategorieanalyse uitgevoerd in plaats van N-gram
analyse.
If -xs is opgegeven, wordt de index afgestemd op het registreren van minder dan 50000 documenten.
If -xl is gespecificeerd, is de index afgestemd om meer dan 300000 documenten te registreren.
If -xh is gespecificeerd, is de index afgestemd om meer dan 1000000 documenten te registreren.
If -sv is opgegeven, worden scores als ongeldig opgeslagen.
If -Ja is opgegeven, worden scores opgeslagen als een 32-bits geheel getal.
If -za is gespecificeerd, worden de scores opgeslagen zoals ze zijn en gemarkeerd om niet te worden afgestemd wanneer
zoeken.

estwaver kruipen [-herstart|-herbezoek|-revcont] hoofdmap
Begin met kruipen.
If -herstarten is opgegeven, wordt het crawlen opnieuw gestart vanaf de startdocumenten.
If -herzien is gespecificeerd, worden verzamelde documenten opnieuw bekeken.
If -revcont is gespecificeerd, verzamelde documenten worden opnieuw bekeken en vervolgens wordt er gecrawld
voortgezet.

estwaver hoofdstuk toets hoofdmap
Uitvoeren van unittesten.

estwaver halen [-volmacht gastheer haven] [-tout aantal] [-il lang] url
Haal een document op.
url specificeert de URL van een document.
-volmacht specificeert de hostnaam en het poortnummer van de proxyserver.
- tout specificeert de time-out in seconden.
-hij specificeert de voorkeurstaal. Standaard is dit Engels.

Alle subopdrachten retourneren 0 als de bewerking succesvol is, anders retourneren ze 1. Een actieve crawler
eindigt met het sluiten van de database wanneer deze het signaal 1 (SIGHUP), 2 (SIGINT), 3 opvangt
(SIGQUIT) of 15 (SIGTERM).

Wanneer het crawlen is voltooid, is er een map _inhoudsopgave in de hoofdmap van de crawler. Het is
een index beschikbaar door geschatte enzovoort.

Gebruik estwaver online met behulp van onworks.net-services