pegasus-monitord - Online in de cloud

PROGRAMMA:

NAAM

pegasus-monitord - volgt de voortgang van een workflow, mining-informatie

KORTE INHOUD

pegasus-gemonitord [--help|-Help] [--uitgebreid|-v]
[--aanpassen|-a i] [--voorgrond|-N]
[--geen-daemon|-n] [--functie|-j jobstate.log filet]
[--log|-l logfile] [--conf vastgoed filet]
[--niet-recursief] [--geen-database | --geen evenementen]
[--herhaling|-r] [--geen notificaties]
[--meldingen-max max_meldingen]
[--meldingen-time-out time-out]
[--sim|-s millislaap] [--db-statistieken]
[--overslaan-stdout] [--kracht|-f]
[--stopcontact] [--uitvoer-dir | -o dir]
[--bestemming|-d PATH or URL] [--codering|-e bp | bzoon]
DAGman uitvoer filet

PRODUCTBESCHRIJVING

Dit programma volgt een workflow en analyseert de uitvoer van DAGMAN's dagman.out-bestand. In
naast het genereren van het bestand jobstate.log, pegasus-gemonitord mag ook van mij
informatie uit het werkstroomdagbestand en de verzend- en uitvoerbestanden van jobs, en ofwel
vul een database of schrijf een NetLogger-gebeurtenissenbestand met die informatie.
pegasus-gemonitord kan ook meldingen uitvoeren bij het volgen van de voortgang van een workflow in
echte tijd.

OPTIES

-h, --help
Drukt een gebruiksoverzicht af met alle beschikbare opdrachtregelopties.

-v, --uitgebreid
Stelt het logboekniveau in voor pegasus-gemonitord. Indien weggelaten, de standaard niveau wordt ingesteld op
WAARSCHUWING. Wanneer deze optie wordt gegeven, wordt het logniveau gewijzigd in INFO. Als deze optie
wordt herhaald, wordt het logniveau gewijzigd in DEBUG.

Het inlogniveau pegasus-gemonitord kan ook interactief aangepast worden, door de
USR1 en USR2 signalen naar het proces, respectievelijk voor verhogen en verlagen
het logniveau.

-a i, --aanpassen i
Voor het aanpassen van tijdzoneverschillen door i seconden, standaard is 0.

-N, --voorgrond
Niet demoniseren pegasus-gemonitord, ga door de bewegingen alsof (Condor).

-n, --geen-daemon
Niet demoniseren pegasus-gemonitord, houd het op de voorgrond (voor foutopsporing).

-j jobstate.log filet, --functie jobstate.log filet
Alternatieve locatie voor de jobstate.log bestand. De standaard is om een ​​te schrijven jobstate.log
in de werkstroommap. Een absolute bestandsnaam mag alleen worden gebruikt als de workflow
heeft geen subworkflows, aangezien elke subworkflow zijn eigen workflow genereert
jobstate.log bestand. Indien hierbij een alternatieve, niet-absolute, bestandsnaam wordt gegeven
keuze, pegasus-gemonitord maakt één bestand in elke workflow (en subworkflow)
directory met de bestandsnaam opgegeven door de gebruiker met deze optie. Als een absoluut
bestandsnaam wordt opgegeven en subworkflows worden gevonden, wordt een waarschuwingsbericht afgedrukt
en pegasus-gemonitord zal geen subworkflows volgen.

--log logfile, --log-bestand logfile
Specificeert een alternatief logfile gebruiken in plaats van de gecontroleerd.log bestand in de hoofdzaak
werkstroommap. Anders dan de jobstate.log bestand hierboven, pegasus-gemonitord
genereert er maar één logfile per uitvoering (en niet één per workflow en subworkflow it
sporen).

--conf eigenschappen_bestand
is een alternatief bestand met eigenschappen in het sleutel=waarde formaat, en staat gebruikers toe
om waarden te overschrijven die zijn gelezen van de hersendump.txt bestand. Deze optie heeft voorrang op
het eigenschappenbestand dat is opgegeven in de hersendump.txt bestand. Houd er rekening mee dat deze
eigenschappen zijn niet alleen van toepassing op de hoofdworkflow, maar ook op alle subworkflows
gevonden.

--niet-recursief
Deze optie wordt uitgeschakeld pegasus-gemonitord om automatisch alle subworkflows te volgen die
zijn gevonden.

--geendatabase, --geen-database, --geen evenementen
Schakelt het genereren van gebeurtenissen uit (wanneer deze optie wordt gegeven, pegasus-gemonitord zal alleen
het bestand jobstate.log genereren). De standaard is om automatisch informatie te loggen naar een
SQLite-database (zie de --bestemming optie hieronder voor meer details). Deze optie overschrijft
elke parameter gegeven door de --bestemming optie.

-r, --herhaling
Deze optie wordt gebruikt om de uitvoer van een reeds voltooide workflow opnieuw af te spelen. Het zou moeten
alleen worden gebruikt nadat de workflow is voltooid (niet noodzakelijkerwijs succesvol). Als een
jobstate.log bestand wordt gevonden, wordt het geroteerd. Bij gebruik van een database zijn echter alle
eerdere verwijzingen naar die workflow (en al zijn subworkflows) worden gewist
Het. Bij uitvoer naar een bp-bestand wordt het bestand verwijderd. Bij het uitvoeren van replay
mode, pegasus-gemonitord zal altijd lopen met de --geen-daemon optie en eventuele fouten
wordt rechtstreeks naar de terminal gestuurd. Ook, pegasus-gemonitord zal er geen verwerken
meldingen in de herhalingsmodus.

--geen notificaties
Deze optie schakelt meldingen volledig uit, waardoor pegasus-gemonitord negeer alle
.notify-bestanden voor alle workflows die worden bijgehouden.

--meldingen-max max_meldingen
Deze optie stelt het maximum aantal gelijktijdige meldingen in dat pegasus-gemonitord
zal beginnen. Wanneer de max_meldingen grens is bereikt, pegasus-gemonitord zal in de rij staan
meldingen en wacht tot een in behandeling zijnd meldingsscript is voltooid voordat u een
nieuwe. Als max_meldingen is ingesteld op 0, worden meldingen uitgeschakeld.

--meldingen-time-out time-out
Normaal pegasus-gemonitord start een meldingsscript en wacht voor onbepaalde tijd op
het afmaken. Met deze optie kunnen gebruikers een maximum instellen time-out dat
pegasus-gemonitord zal wachten tot een meldingsscript is voltooid voordat het wordt beëindigd.
Als meldingsscripts niet binnen een redelijke tijd worden voltooid, kan dit leiden tot
andere meldingsscripts moeten in de wachtrij worden geplaatst vanwege het maximale aantal gelijktijdige
scripts toegestaan ​​door pegasus-gemonitord. Bovendien, tot alle meldingsscripts
af hebben, pegasus-gemonitord zal niet eindigen.

-s millislaap, --sim millislaap
Deze optie simuleert vertragingen tussen leesbewerkingen door te slapen millislaap milliseconden. Dit
optie wordt voornamelijk gebruikt door ontwikkelaars.

--db-statistieken
Deze optie zorgt ervoor dat de databasemodule databasestatistieken verzamelt en afdrukt op het
einde van de executie. Het heeft geen effect als de --geen-database optie wordt gegeven.

--overslaan-stdout
Deze optie veroorzaakt pegasus-gemonitord om de stdout en stderr van jobs niet in het
BP-bestand of de Stampede-database. Het moet worden gebruikt om te voorkomen dat de database groter wordt
omvang aanzienlijk in gevallen waarin taken zeer uitgebreid zijn in hun output.

-f, --kracht
Deze optie veroorzaakt pegasus-gemonitord om het controleren op een andere instantie van zichzelf over te slaan
al draait op dezelfde workflow-directory. Het standaardgedrag voorkomt twee of
meer pegasus-gemonitord instanties van gelijktijdig starten en uitvoeren (wat zou
ervoor zorgen dat het bp-bestand en de database in een onstabiele staat blijven). Deze optie moet
kan niet worden gebruikt als de gebruiker de vorige instantie van kent pegasus-gemonitord is NIET
meer rennen.

--stopcontact
Deze optie veroorzaakt pegasus-gemonitord om een ​​socket-interface te starten die kan worden gebruikt voor
geavanceerde foutopsporing. Het poortnummer om verbinding mee te maken pegasus-gemonitord is te vinden in
de monitord.sok bestand in de workflow-directory (het bestand wordt verwijderd wanneer
pegasus-gemonitord afwerkingen). Als het nog niet is gestart, is de socket-interface dat ook
gemaakt wanneer pegasus-gemonitord ontvangt een USR1 signaal.

-o dir, --output-dir dir
Wanneer deze optie wordt gegeven, pegasus-gemonitord maakt al zijn uitvoerbestanden in het
map gespecificeerd door d. Deze optie is handig om een ​​gebruiker toe te staan ​​een
workflow in een map de gebruiker heeft geen schrijfrechten. In dit geval allemaal
bestanden gegenereerd door pegasus-gemonitord zal de workflow hebben wf_uuid als voorvoegsel zodat
bestanden uit meerdere subworkflows kunnen in dezelfde map worden geplaatst. Deze optie is
voornamelijk gebruikt door pegasus-analysator. Het is belangrijk op te merken dat de locatie voor de
output BP-bestand of database wordt niet gewijzigd door deze optie en moet worden ingesteld via de
--bestemming optie.

-d URL params, --bestemming URL params
Met deze optie kunnen gebruikers de bestemming opgeven voor de logboekgebeurtenissen die worden gegenereerd door
pegasus-gemonitord. Als deze optie wordt weggelaten, pegasus-gemonitord zal een SQLite maken
database in de uitvoeringsmap van de werkstroom met dezelfde naam als de werkstroom, maar met
a .stormloop.db voorvoegsel. Voor een leeg schema, params zijn een bestandspad met - betekenis
standaard uitvoer. Voor een x-tcp schema, params zijn TCP_host[:poort=14380]. Voor een databank
schema, params een SQLAlchemy machine URL met een databaseverbindingsreeks die dat wel kan
worden gebruikt om verschillende database-engines te specificeren. Zie de voorbeelden hieronder
voor meer informatie over het gebruik van deze optie. Merk op dat bij gebruik van een database-engine
dan sqlite, moeten de benodigde Python-databasestuurprogramma's worden geïnstalleerd.

-e codering, --codering codering
Deze optie geeft aan hoe logboekgebeurtenissen moeten worden gecodeerd. De twee beschikbare mogelijkheden zijn bp
en bzoon. Als deze optie niet is opgegeven, worden gebeurtenissen gegenereerd in de bp formaat.

DAGMan_output_bestand
Dé DAGMan_output_bestand is het enige vereiste opdrachtregelargument in pegasus-gemonitord
en moet de .dag.dagman.uit verlenging.

RETURN WAARDE

Als het plan kon worden gebouwd, pegasus-gemonitord retourneert met een exit-code van 0.
In geval van een fout duidt een afsluitcode die niet gelijk is aan nul echter op problemen. In dat geval is de
logfile moet aanvullende informatie bevatten over de foutconditie.

MILIEU VARIABELEN

pegasus-gemonitord vereist niet dat er omgevingsvariabelen worden ingesteld. Het lokaliseert zijn
vereist Python-modules op basis van zijn eigen locatie en mag daarom niet worden verplaatst
buiten de bin-directory van Pegasus.

Voorbeelden

meestal pegasus-gemonitord wordt automatisch aangeroepen door pegasus-run en volgt de workflow
vooruitgang in real-time, het produceren van de jobstate.log bestand en een overeenkomstig SQLite
databank. Wanneer een werkstroom mislukt en opnieuw wordt ingediend met een reddings-DAG, pegasus-gemonitord
gaat automatisch verder waar het eerder was gebleven en gaat verder met het jobstate.log
bestand en de database.

Als gebruikers het jobstate.log bestand nadat een workflow al is voltooid, de
--herhaling | -r optie moet worden gebruikt tijdens het uitvoeren pegasus-gemonitord handmatig. Bijvoorbeeld:

$ pegasus_monitord -r diamant-0.dag.dagman.out

zal starten pegasus-gemonitord in de herhalingsmodus. In dit geval, als a jobstate.log bestand al
bestaat, wordt het geroteerd en wordt er een nieuw bestand gemaakt. Als een diamant-0.stampede.db
SQLite-database bestaat al, pegasus-gemonitord verwijdert alle verwijzingen naar de werkstroom
id opgegeven in de hersendump.txt bestand, inclusief alle bijbehorende subworkflows
werkstroom-id.

$ pegasus_monitord -r --geen-database diamant-0.dag.dagman.out

zal hetzelfde doen, maar zonder logboekgebeurtenissen te genereren.

$ pegasus_monitord -r --dest `pwd`/diamond-0.bp diamant-0.dag.dagman.out

zal het bestand aanmaken diamant-0.bp in de huidige map, met NetLogger-gebeurtenissen
met alle werkstroomgegevens. Dit is naast de jobstate.log bestand.

Voor het gebruik van een database moeten gebruikers een databaseverbindingsreeks opgeven in de volgende indeling:

dialect://gebruikersnaam:wachtwoord@host:poort/database

Waar tongval is de naam van de onderliggende bestuurder (mysql, sqlite, orakel, postgres) en
databank is de naam van de database die draait op de server bij de gastheer computer.

Als gebruikers een ander willen gebruiken SQLite databank, pegasus-gemonitord vereist dat ze dat doen
specificeer het absolute pad van het alternatieve bestand. Bijvoorbeeld:

$ pegasus_monitord -r --dest sqlite:////home/user/diamond_database.db diamant-0.dag.dagman.out

Hier zijn documenten met details voor alle ondersteunde stuurprogramma's:
http://www.sqlalchemy.org/docs/05/reference/dialects/index.html

Aanvullende opties per database die in de verbindingsreeksen werken, worden daar beschreven.

Het is belangrijk op te merken dat men over de juiste db-interfacebibliotheek moet beschikken
geïnstalleerd. Dat wil zeggen, SQLAlchemy is een wrapper rond de mysql-interfacebibliotheek
(bijvoorbeeld), het biedt geen MySQL bestuurder zelf. De Pegasus distributie
omvat beide SQLAlchemy en SQLite Python-stuurprogramma.

Als laatste opmerking is het belangrijk om te vermelden dat dit anders is dan bij gebruik SQLite databanken, gebruiken
SQLAlchemy met andere databaseservers, bijv MySQL or postgres, de doeldatabase nodig heeft
bestaan. Dus als een gebruiker verbinding wil maken met:

mysql://pegasus-gebruiker:supersecret@localhost:localport/diamond

het zou eerst verbinding moeten maken met de server op localhost en geef de juiste create uit
database-opdracht voordat deze wordt uitgevoerd pegasus-gemonitord as SQLAlchemy zal zorgen voor het creëren
de tabellen en indexen als deze nog niet bestaan.

Gebruik pegasus-monitord online met behulp van onworks.net-services