これは、Ubuntu Online、Fedora Online、Windows オンライン エミュレーター、MAC OS オンライン エミュレーターなど、複数の無料オンライン ワークステーションのいずれかを使用して、OnWorks 無料ホスティング プロバイダーで実行できるコマンド pegasus-monitord です。
プログラム：
NAME
pegasus-monitord - ワークフローの進行状況、マイニング情報を追跡します
SYNOPSIS
ペガサス-監視 [ - 助けて|-助けて] [-詳細|-v]
[- 調整|-a i] [- 前景|-N]
[-デーモンなし|-n] [- 仕事|-j jobstate.log file]
[- ログ|-l ログファイル] [--conf プロパティ file]
[--再帰なし] [-データベースなし | --イベントなし]
[-リプレイ|-r] [--通知なし]
[--通知最大 max_notifications]
[--通知タイムアウト タイムアウト]
[--sim|-s ミリスリープ] [--db-統計]
[--skip-stdout] [- 力|-f]
[- ソケット] [-- 出力ディレクトリ | -o DIR]
[-宛先|-d パス or URL] [- エンコーディング|-e bp | ブソン]
DAGマン 出力 file
DESCRIPTION
このプログラムはワークフローに従い、DAGMAN の dagman.out ファイルの出力を解析します。 の
jobstate.log ファイルの生成に加えて、 ペガサス-監視 私のも使える
ワークフロー DAG ファイルとジョブのサブミットおよび出力ファイルからの情報、およびいずれか
データベースに入力するか、NetLogger イベント ファイルにその情報を書き込みます。
ペガサス-監視 ワークフローの進行状況を追跡するときに通知を実行することもできます
リアルタイム。
OPTIONS
-h, - 助けて
使用可能なすべてのコマンドラインオプションを含む使用法の概要を出力します。
-v, -詳細
のログレベルを設定します ペガサス-監視。 省略した場合、デフォルト レベル に設定されます
警告。 このオプションを指定すると、ログレベルが次のように変更されます。 ご利用ガイド。 このオプションの場合
が繰り返されると、ログレベルは次のように変更されます。 DEBUG.
のログレベル ペガサス-監視 を送信することにより、インタラクティブに調整することもできます。
USR1 • USR2 それぞれインクリメントとデクリメントのプロセスへのシグナル
ログレベル。
-a i, - 調整 i
時差を調整するには i 秒、デフォルトは 0 です。
-N, - 前景
デーモン化しないでください ペガサス-監視、（コンドル）のように動きます。
-n, -デーモンなし
デーモン化しないでください ペガサス-監視、フォアグラウンドに保持します（デバッグ用）。
-j jobstate.log file, - 仕事 jobstate.log file
の別の場所 jobstate.log ファイル。 デフォルトでは、 jobstate.log
ワークフロー ディレクトリにあります。 絶対ファイル名は、ワークフローが
各サブワークフローは独自のサブワークフローを生成するため、サブワークフローはありません
jobstate.log ファイル。 代替の非絶対ファイル名がこれで指定されている場合
オプション、 ペガサス-監視 各ワークフロー (およびサブワークフロー) に XNUMX つのファイルを作成します。
このオプションでユーザーが指定したファイル名を持つディレクトリ。 絶対的な場合
ファイル名が指定され、サブワークフローが見つかった場合、警告メッセージが出力されます
• ペガサス-監視 サブワークフローを追跡しません。
- ログ ログファイル, -ログファイル ログファイル
代替を指定します ログファイル 代わりに使用する 監視対象ログ メインのファイル
ワークフロー ディレクトリ。 とは異なり、 jobstate.log 上記のファイル、 ペガサス-監視
XNUMXつだけ生成します ログファイル 実行ごとに (ワークフローとサブワークフローごとに XNUMX つではありません)
トラック）。
--conf プロパティファイル
プロパティを含む代替ファイルです。 key = value フォーマットし、ユーザーを許可します
から読み取った値をオーバーライドします。 ブレインダンプ.txt ファイル。 このオプションは
で指定されたプロパティ ファイル ブレインダンプ.txt ファイル。 これらのことに注意してください
プロパティはメイン ワークフローだけでなく、すべてのサブワークフローにも適用されます
発見した。
--再帰なし
このオプションは無効にします ペガサス-監視 サブワークフローを自動的にフォローする
が見つかりました。
--データベースなし, -データベースなし, --イベントなし
イベントの生成をオフにします (このオプションが指定されている場合、 ペガサス-監視 のみ
jobstate.log ファイルを生成します)。 デフォルトでは、自動的に情報を
SQLite データベース ( -宛先 詳細については、以下のオプションを参照してください)。 このオプションはオーバーライドします
によって与えられる任意のパラメータ -宛先 オプションを選択します。
-r, -リプレイ
このオプションは、すでに終了したワークフローの出力を再生するために使用されます。 そうすべき
ワークフローが終了した後にのみ使用できます (必ずしも成功するとは限りません)。 もし
jobstate.log ファイルが見つかった場合、ローテーションされます。 ただし、データベースを使用する場合は、すべて
そのワークフロー (およびそのすべてのサブワークフロー) への以前の参照は、から消去されます。
それ。 bpファイルに出力する場合、ファイルは削除されます。 リプレイ実行時
モード、 ペガサス-監視 常に実行されます -デーモンなし オプション、およびエラー
ターミナルに直接出力されます。 また、 ペガサス-監視 何も処理しません
リプレイモード中の通知。
--通知なし
このオプションは通知を完全に無効にします。 ペガサス-監視 すべて無視
追跡するすべてのワークフローの .notify ファイル。
--通知最大 max_notifications
このオプションは、同時通知の最大数を設定します。 ペガサス-監視
始まります。 とき max_notifications 限界に達し、 ペガサス-監視 待ちます
通知を受け取り、保留中の通知スクリプトが終了するのを待ってから、
新しいもの。 もしも max_notifications 0 に設定すると、通知が無効になります。
--通知タイムアウト タイムアウト
通常は、 ペガサス-監視 通知スクリプトを開始し、無期限に待機します
それを終了します。 このオプションにより、ユーザーは最大 タイムアウト それ
ペガサス-監視 通知スクリプトが完了するのを待ってから終了します。
通知スクリプトが妥当な時間内に終了しない場合、
同時実行の最大数のためにキューに入れられる他の通知スクリプト
によって許可されたスクリプト ペガサス-監視. さらに、すべての通知スクリプトまで
仕上げ、 ペガサス-監視 終了しません。
-s ミリスリープ, --sim ミリスリープ
このオプションは、スリープによって読み取り間の遅延をシミュレートします ミリスリープ ミリ秒。 これ
オプションは主に開発者が使用します。
--db-統計
このオプションにより、データベース モジュールはデータベース統計を収集して出力します。
実行の終わり。 次の場合は効果がありません。 -データベースなし オプションが与えられます。
--skip-stdout
このオプションにより、 ペガサス-監視 ジョブの stdout と stderr を
BP ファイルまたは Stampede データベース。 データベースの増加を避けるために使用する必要があります
ジョブの出力が非常に冗長な場合は、大幅にサイズを変更してください。
-f, - 力
このオプションにより、 ペガサス-監視 それ自体の別のインスタンスのチェックをスキップする
すでに同じワークフロー ディレクトリで実行されています。 デフォルトの動作では、XNUMX つまたは
他には？ ペガサス-監視 インスタンスが同時に開始および実行されないようにします (これにより、
bp ファイルとデータベースが不安定な状態のままになります)。 このオプションは
ユーザーが以前のインスタンスを知っている場合は使用しないでください ペガサス-監視 is NOT
もう走っています。
- ソケット
このオプションにより、 ペガサス-監視 に使用できるソケット インターフェイスを開始します。
高度なデバッグ。 接続するポート番号 ペガサス-監視 で見つけることができます
監視靴下 ワークフロー ディレクトリ内のファイル (ファイルは削除時に削除されます)
ペガサス-監視 終了します）。 まだ開始されていない場合は、ソケット インターフェイスも
いつ作成された ペガサス-監視 受け取ります USR1 信号。
-o DIR, --output-dir DIR
このオプションを指定すると、 ペガサス-監視 すべての出力ファイルを
によって指定されたディレクトリ D。 このオプションは、ユーザーがデバッグできるようにする場合に便利です。
ユーザーが書き込み権限を持っていないディレクトリ内のワークフロー。 この場合、すべて
によって生成されたファイル ペガサス-監視 ワークフローがあります wf_uuid 接頭辞として
複数のサブワークフローのファイルを同じディレクトリに配置できます。 このオプションは
主に ペガサスアナライザー. の場所に注意することが重要です。
出力 BP ファイルまたはデータベースはこのオプションによって変更されず、
-宛先 オプションを選択します。
-d URL paramsは, -宛先 URL paramsは
このオプションにより、ユーザーは、によって生成されたログ イベントの宛先を指定できます。
ペガサス-監視. このオプションを省略した場合、 ペガサス-監視 SQLiteを作成します
ワークフローの実行ディレクトリにあるワークフローと同じ名前のデータベース。
a .stampede.db プレフィックス。 のために 空の スキーム、 paramsは はファイルパスです - 意味
標準出力。 のために x-tcp スキーム、 paramsは TCP_ホスト[:ポート=14380]. データベースの場合
スキーム、 paramsは アール SQLAlchemy エンジン URL 可能なデータベース接続文字列を使用して
異なるデータベース エンジンを指定するために使用されます。 以下の例のセクションを参照してください
このオプションの使用方法の詳細については、 データベースエンジンを使用する場合の注意事項
以外の sqlite、必要な Python データベース ドライバーをインストールする必要があります。
-e エンコーディング, - エンコーディング エンコーディング
このオプションは、ログ イベントのエンコード方法を指定します。 利用可能な XNUMX つの可能性は次のとおりです。 bp
• ブソン. このオプションが指定されていない場合、イベントは bp 形式でダウンロードすることができます。
DAGMan_output_file
この DAGMan_output_file コマンドライン引数のみが必要です ペガサス-監視
そして持っている必要があります .dag.dagman.out 拡大。
リターン VALUE
計画を立てることができれば、 ペガサス-監視 終了コード0で戻ります。
ただし、エラーの場合、ゼロ以外の終了コードは問題を示します。 その場合、
ログファイル エラー状態に関する追加情報が含まれている必要があります。
ENVIRONMENT 変数
ペガサス-監視 環境変数を設定する必要はありません。 それは
独自の場所に基づいてPythonモジュールが必要なため、移動しないでください
ペガサスのbinディレクトリの外。
例
通常、 ペガサス-監視 によって自動的に呼び出されます ペガサスラン ワークフローを追跡します
リアルタイムで進行し、 jobstate.log ファイルと対応する SQLite
データベース。 ワークフローが失敗し、レスキュー DAG で再送信されると、 ペガサス-監視
前に離れた場所から自動的に拾い上げ、続行します jobstate.log
ファイルとデータベース。
ユーザーが jobstate.log ワークフローがすでに終了した後のファイル、
-リプレイ | -r 実行時にオプションを使用する必要があります ペガサス-監視 手動で。 例えば：
$ pegasus_monitord -r ダイヤモンド-0.dag.dagman.out
起動する ペガサス-監視 リプレイモードで。 この場合、 jobstate.log ファイルはすでに
存在する場合は、ローテーションされて新しいファイルが作成されます。 もし ダイヤモンド-0.stampede.db
SQLite データベースは既に存在しますが、 ペガサス-監視 ワークフローへのすべての参照を消去します
で指定された id ブレインダンプ.txt ファイルに関連付けられたすべてのサブワークフローを含む
ワークフロー ID。
$ pegasus_monitord -r --no-database ダイヤモンド-0.dag.dagman.out
同じことを行いますが、ログ イベントを生成しません。
$ pegasus_monitord -r --dest `pwd`/diamond-0.bp ダイヤモンド-0.dag.dagman.out
ファイルを作成します ダイヤモンド-0.bp NetLogger イベントを含む現在のディレクトリ
すべてのワークフロー データとともに。 これは、 jobstate.log ファイルにソフトウェアを指定する必要があります。
データベースを使用する場合、ユーザーはデータベース接続文字列を次の形式で指定する必要があります。
方言://ユーザー名:パスワード@ホスト:ポート/データベース
場所 方言 は、基礎となるドライバーの名前です (mysqlの, sqlite, オラクル, ポストグレス）と
データベース サーバー上で実行されているデータベースの名前です。 host コンピューター。
ユーザーが別の SQLiteの データベース、 ペガサス-監視 彼らに要求する
代替ファイルの絶対パスを指定します。 例えば：
$ pegasus_monitord -r --dest sqlite:////home/user/diamond_database.db ダイヤモンド-0.dag.dagman.out
サポートされているすべてのドライバーの詳細が記載されたドキュメントを次に示します。
http://www.sqlalchemy.org/docs/05/reference/dialects/index.html
接続文字列に作用する追加のデータベースごとのオプションがそこに概説されています。
適切な db インターフェイス ライブラリが必要になることに注意することが重要です。
インストールされています。 つまり、 SQLAlchemy mysql インターフェイス ライブラリのラッパーです。
（たとえば）、それは提供しません MySQL ドライバーそのもの。 の Pegasus ディストリビューション
両方が含まれています SQLAlchemy と SQLiteの パイソンドライバー。
最後の注意点として、使用する場合とは異なることに言及することが重要です SQLiteの データベース、使用
SQLAlchemy 他のデータベースサーバーと、例えば MySQL or Postgres、ターゲット データベースが必要
存在する。 したがって、ユーザーが接続したい場合:
mysql://pegasus-user:supersecret@localhost:localport/diamond
最初にサーバーに接続する必要があります ローカルホスト 適切な作成を発行します
実行前のデータベース コマンド ペガサス-監視 as SQLAlchemy 作成を担当します
テーブルとインデックスがまだ存在しない場合。
onworks.net サービスを使用してオンラインで pegasus-monitord を使用する
