pegasus-analyzer - Online in de cloud

PROGRAMMA:

NAAM

pegasus-analyzer - debugt een workflow.

KORTE INHOUD

pegasus-analysator [--help|-h] [--stil|-q] [--streng|-s]
[--gemonitord|-m|-t] [--uitgebreid|-v]
[--uitvoer-dir|-o uitvoer_dir]
[--dag dag_bestandsnaam] [-- richt|-d|-i invoer_dir]
[--afdrukken|-p afdrukopties] [--type werkstroom_type]
[--debug-taak baan][--debug-dir debug_dir]
[--lokaal uitvoerbaar lokaal gebruiker uitvoerbaar]
[--conf|-c eigenschap_bestand] [--bestanden]
[--top-dir dir_naam] [--recursie|-r]
[werkstroommap]

PRODUCTBESCHRIJVING

pegasus-analysator is een opdrachtregelhulpprogramma voor het parseren van de jobstate.log dossier en rapportage
succesvolle en mislukte banen. Wanneer het wordt uitgevoerd zonder enige opties, zal het de SQLite or
MySQL database en haal mislukte taakinformatie op voor de specifieke workflow. Wanneer
aangeroepen met de --bestanden optie haalt het informatie op uit verschillende logbestanden,
het isoleren van taken die niet succesvol zijn voltooid, en het afdrukken ervan stdout en stderr so
dat gebruikers gedetailleerde informatie kunnen krijgen over hun workflowruns.

OPTIES

-h, --help
Drukt een gebruiksoverzicht af met alle beschikbare opdrachtregelopties.

-q, --stil
Druk alleen de uitvoer- en foutbestandsnamen af ​​in plaats van hun inhoud.

-s, --streng
Haal de uitvoer- en foutbestandsnamen van taken op uit het verzendbestand van de taak.

-m, -t, --gemonitord
inroepen pegasus-gemonitord alvorens het te analyseren jobstate.log bestand. Hoewel
pegasus-analysator kan worden uitgevoerd tijdens de uitvoering van de werkstroom, maar ook na de uitvoering ervan
workflow is al voltooid, pegasus-gemonitord" wordt altijd aangeroepen met de
--herhaling keuze. Sinds meerdere exemplaren van pegasus-gemonitord" mag niet worden uitgevoerd
tegelijkertijd in dezelfde workflowdirectory moet de gebruiker ervoor zorgen dat geen ander
Instanties van pegasus-gemonitord zijn aan het rennen. Als de run_directory is beschrijfbaar,
pegasus-analysator zal een jobstate.log bestand daar, eventueel een ouder logbestand roteren
is gevonden. Als de run_directory is niet beschrijfbaar (bijvoorbeeld wanneer de gebruiker debugt in het
workflow is niet dezelfde gebruiker die de workflow heeft uitgevoerd), pegasus-analysator zal verlaten en
vraag de gebruiker om de --uitvoer-dir optie, om een ​​alternatief te bieden
locatie voor pegasus-gemonitord logboek bestanden.

-v, --uitgebreid
Stelt het logboekniveau in voor pegasus-analysator. Indien weggelaten, de standaard niveau wordt ingesteld op
WAARSCHUWING. Wanneer deze optie wordt gegeven, wordt het logniveau gewijzigd in INFO. Als deze optie
wordt herhaald, wordt het logniveau gewijzigd in DEBUG.

-o uitvoer_dir, --uitvoer-dir uitvoer_dir
Deze optie biedt een alternatieve locatie voor alle monitoringlogbestanden voor a
bepaalde werkstroom. Het wordt voornamelijk gebruikt als een gebruiker geen schrijfrechten heeft
een workflowmap en moet de benodigde logbestanden genereren pegasus-analysator.
Als deze optie wordt gebruikt in combinatie met de --gemonitord optie, zal het worden aangeroepen
pegasus-gemonitord gebruik uitvoer_dir om alle uitvoerbestanden op te slaan. Omdat werkstromen dat kunnen
subworkflows hebben, pegasus-gemonitord zal zijn bestanden voorafgaand aan de workflow maken
wf_uuid voor elke bestandsnaam. Op deze manier kunnen meerdere workflowbestanden in dezelfde worden opgeslagen
directory. pegasus-analysator heeft ingebouwde logica om het specifieke te vinden jobstate.log filet
door naar de werkstroom te kijken hersendump.txt eerst bestand en het bijbehorende uitzoeken
wf_uuid. If uitvoer_dir bestaat niet, zal worden gemaakt.

--dag 'dag_bestandsnaam
Bij deze optie dag_bestandsnaam specificeert het pad naar de DAG bestand te gebruiken.
pegasus-analysator haalt de directory-informatie op van de dag_bestandsnaam. Deze optie
overschrijft de -- richt optie hieronder.

-d invoer_dir, -i invoer_dir, -- richt invoer_dir
Maakt pegasus-analysator zoek naar de jobstate.log bestand in de invoer_dir map. Indien
deze optie is weggelaten, pegasus-analysator zal in de huidige map zoeken.

-p afdrukopties, --afdrukken afdrukopties
vertelt pegasus-analysator welke extra informatie het moet afdrukken voor mislukte opdrachten.
afdrukopties is een door komma's gescheiden lijst met opties, waaronder pre, aanroeping,
en / of allen, waarmee alle afdrukopties worden geactiveerd. Met de pre keuze,
pegasus-analysator zal de afdrukken voorschrift informatie voor mislukte taken. Voor de
aanroeping keuze, pegasus-analysator zal de afdrukken aanroeping opdracht, zodat gebruikers dat kunnen
voer de mislukte taak handmatig uit.

--debug-taak baan
Wanneer u deze optie krijgt, pegasus-analysator zet zijn aan debug_modus, wanneer het kan worden gebruikt
om een ​​bepaalde Pegasus Lite-taak te debuggen. In deze modus pegasus-analysator zal een
shell-script in de debug_dir (zie hieronder voor het specificeren ervan) en kopieer al het benodigde
bestanden naar deze lokale map en voer de taak vervolgens lokaal uit.

--debug-dir debug_dir
Wanneer binnen debug_modus, pegasus-analysator zal een tijdelijke debug-map aanmaken. Gebruikers
kunt u deze optie geven om een ​​bepaald item te specificeren debug_dir te gebruiken map
gebruiken.

--lokaal uitvoerbaar lokaal gebruiker uitvoerbaar
In de debug-taakmodus voor Pegasus Lite-taken maakt pegasus-analyzer een shellscript
om de Pegasus Lite-taak lokaal uit te voeren in een debug-directory. Het Pegasus Lite-script
verwijst naar het door de gebruiker op afstand uitvoerbare pad. Deze optie kan worden gebruikt om het lokale pad door te geven
naar het door de gebruiker uitvoerbare bestand op de verzendhost. Als het pad naar het uitvoerbare bestand van de gebruiker in de
Pegasus Lite-taak is hetzelfde als de lokale installatie.

--type werkstroom_type
Bij deze opties geven gebruikers aan wat werkstroom_type ze willen debuggen. Op dit moment,
de enige werkstroom_type beschikbaar is condor en het is de standaardwaarde als deze optie wordt gebruikt
is niet gespecificeerd.

-c eigenschap_bestand, --conf eigenschap_bestand
Deze optie wordt gebruikt om een ​​alternatief eigenschappenbestand op te geven, dat de extensie
pad naar de database die moet worden gebruikt pegasus-analysator. Als deze optie niet is opgegeven,
het configuratiebestand dat is opgegeven in het hersendump.txt bestand heeft voorrang.

--bestanden
Met deze optie kunnen gebruikers rennen pegasus-analysator met behulp van de bestanden in de workflow
directory in plaats van de database als informatiebron. pegasus-analysator wil
dezelfde informatie uitvoeren, deze optie verandert alleen waar de gegevens vandaan komen.

--top-dir dir_naam
Deze optie maakt het mogelijk pegasus-analysator om informatie over subworkflows weer te geven wanneer
met behulp van de databasemodus. Bij het debuggen van een workflow op het hoogste niveau met fouten in
subworkflows, zal de analysator automatisch de opdracht afdrukken die gebruikers moeten gebruiken
debuggen van een mislukte subworkflow. Hierdoor kan de analysator de database vinden die hij nodig heeft
toegang.

-r, --recursie
Deze optie stelt pegasus-analysator om automatisch terug te keren naar subworkflows voor het geval dat
van mislukking. Standaard, als een werkstroom een ​​subwerkstroom bevat, en die subwerkstroom
mislukt, pegasus-analysator rapporteert dat het subworkflowknooppunt is mislukt en vermeldt een
opdrachtaanroep die de gebruiker moet uitvoeren om te bepalen welke taken in de sub
werkstroom is mislukt. Als deze optie is ingesteld, geeft de analysator automatisch de
opdrachtaanroep en geeft bovendien de mislukte opdrachten weer in de subworkflow.

MILIEU VARIABELEN

pegasus-analysator vereist niet dat er omgevingsvariabelen worden ingesteld. Het lokaliseert zijn
vereist Python-modules op basis van zijn eigen locatie en mag daarom niet worden verplaatst
buiten de bin-directory van Pegasus.

VOORBEELD

De eenvoudigste manier om te gebruiken pegasus-analysator is om naar de run_directory en roep de op
analysator:

$ pegasus-analyzer .

wat zal veroorzaken pegasus-analysator om informatie af te drukken over de workflow in de huidige
directory.

pegasus-analysator De uitvoer bevat een samenvatting, gevolgd door gedetailleerde informatie over elk
taak die is mislukt of zich in een onbekende staat bevindt. Hier vindt u het samenvattingsgedeelte van de
output:

**************************Samenvatting*********************** ****

Totaal banen: 75 (100.00%)
# banen geslaagd: 41 (54.67%)
# mislukte taken: 0 (0.00%)
# vacatures niet ingediend: 33 (44.00%)
# banen onbekend: 1 (1.33%)

jobs_geslaagd zijn banen die met succes zijn voltooid. banen_mislukt zijn banen die dat wel hebben
voltooid, maar dat is niet met succes afgerond. vacatures_niet ingediend zijn banen die dat wel zijn
vermeld in de dag_bestand, maar er is geen informatie over hen gevonden in de jobstate.log bestand.
Tenslotte banen_onbekend zijn taken die zijn begonnen, maar nog niet zijn voltooid.

Na het samenvattingsgedeelte, pegasus-analysator toont informatie over elke taak in de
job_mislukt en baan_onbekend categorieën.

********************Details van mislukte taken**********************

======================findrange_j3=========================

laatste status: POST_SCRIPT_FAILURE
plaats: lokaal
bestand indienen: /home/user/diamond-submit/findrange_j3.sub
uitvoerbestand: /home/user/diamond-submit/findrange_j3.out.000
foutbestand: /home/user/diamond-submit/findrange_j3.err.000
-------------------Taak #1 - Samenvatting----------------------
plaats: lokaal
hostnaam: server-machine.domein.com
uitvoerbaar: (null)
argumenten : -a vindbereik -T 60 -i f.b2 -o f.c2
fout: 2
werkende map:

In het bovenstaande voorbeeld is de zoekbereik_j3 taak is mislukt en de analysator wordt weergegeven
informatie over de taak, waaruit blijkt dat de taak is voltooid met een POST_SCRIPT_FAILURE en
een lijst van de voorleggen, uitvoer en fout bestanden voor deze taak. Wanneer dan ook pegasus-analysator detecteert
dat het uitvoerbestand een kickstart-record bevat, zal het de uitsplitsing daarin weergeven
elke taak in de taak (in dit geval hebben we maar één taak). Omdat pegasus-analysator was
niet aangeroepen met de --stil vlag, zal het ook de inhoud van de uitvoer en
fout bestanden (of de stdout en stderr secties van de kickstart record), die hierin
zaak zijn beide leeg.

Bij SUBDAG en subdax banen, pegasus-analysator zal dit aangeven en de
opdracht die de gebruiker nodig heeft om fouten in die subworkflow op te sporen. Bijvoorbeeld:

=================subdax_black_ID000009====================

laatste status: JOB_FAILURE
plaats: lokaal
bestand indienen: /home/user/run1/subdax_black_ID000009.sub
uitvoerbestand: /home/user/run1/subdax_black_ID000009.out
foutbestand: /home/user/run1/subdax_black_ID000009.err
Deze taak bevat subworkflows!
Voer de onderstaande opdracht uit voor meer informatie:
pegasus-analyzer -d /home/user/run1/blackdiamond_ID000009.000
--subdax_black_ID000009.out-----------------
Condor Dagman executeren ...
------------------subdax_black_ID000009.err-----------------
vertelt de gebruiker de subdax_black_ID000009 sub-workflow is mislukt en dat fouten kunnen worden opgespoord
door gebruik te maken van de aangegeven pegasus-analysator opdracht.

Gebruik pegasus-analyzer online met behulp van onworks.net-services