pegasus-plan - クラウドでオンライン

プログラム：

NAME

pegasus-plan - Pegasus を実行して実行可能なワークフローを生成します

SYNOPSIS

ペガサスプラン [-v] [-q] [-V] [-h]
[-Dプロパティ=値...]] [-b プレフィックス]
[--conf 小道具ファイル]
[-c キャッシュファイル[,キャッシュファイル...]] [- 掃除 クリーンアップ 戦略 ]
[-C [, ...]]
[--ディレクトリ DIR]
[- 力] [--強制的に再計画する]
[--継承された rc ファイル] [-j 接頭辞]
[-n][-I 入力ディレクトリ][-O 出力ディレクトリ] [-o ウェブサイト]
[-s site1[,site2...]]
[--ステージングサイト s1=ss1[,s2=ss2[..]]
[--ランダムディレクトリ[=ディレクトリ名]]
[--相対ディレクトリ DIR]
[--相対送信ディレクトリ DIR]
-d ダックスファイル

DESCRIPTION

この ペガサスプラン コマンドはDAXを入力として受け取り、実行可能なワークフローを生成します。
通常は コンドル ファイルを提出し、 実行 のサイト
実行。

実行可能なワークフローを生成する一環として、プランナーは次のことを発見する必要があります。

データ
Pegasusワークフロープランナーは、ワークフローの実行に必要なすべてのデータを確実に提供します。
実行可能なワークフローは転送ノードを追加することで実行サイトに転送されます。
DAGの適切なポイントで、適切な レプリカ
カタログ さまざまなジョブの入力ファイルの場所を決定します。
デフォルトでは、ファイルベースのレプリカ カタログが使用されます。

Pegasusワークフロープランナーは、指定がない限り、ワークフローを削減しようとします。
それ以外の場合は、出力ファイルが見つかったジョブを削除することで実行されます。
レプリカカタログ内のどこかの場所。現在、コストメトリックは使用されていません。ただし、
処刑場に該当する場所が優先される

プランナーは、すべてのマテリアライズドファイルを出力に転送するためのノードを追加することもできます。
サイト。出力サイト上の場所は、サイトカタログを参照して決定されます。
ファイルへのパスは pegasus.catalog.site.file 財産
の値です。

実行可能ファイル
プランナーは変換カタログを参照して実行可能ファイルの場所を検出します。
実行可能なワークフローで参照されます。ユーザーはINSTALLEDまたはSTAGEABLEを指定できます。
カタログ内の実行可能ファイル。ステージング可能な実行可能ファイルは、Pegasusがステージングするために使用できます。
実行可能ファイルを、事前にインストールされていないリソースに配布します。

リソース
Pegasusがワークフローのジョブをスケジュールできるサイトのレイアウトについて説明します。
サイトカタログで。プランナーはサイトカタログを参照して、サイトが
ジョブを実行できるディレクトリ、ステージングに使用するサーバー
データと、ジョブの送信に使用できるジョブマネージャー (該当する場合)。

データと実行ファイルの場所は、DAXスキーマに準拠したDAXで指定できるようになりました。
バージョン3.2以上。

OPTIONS

すべてのオプションは、その長いオプションの同義語とともに表示されます。

-Dproperty = value
この -D オプションを使用すると、経験豊富なユーザーが特定のプロパティをオーバーライドできます。
プログラムの実行に影響を与えます。その中には、ユーザーのデフォルトの場所も含まれます。
プロパティ ファイルと PEGASUS ホームの場所。 次のようにして、いくつかの CLI プロパティを設定できます。
このオプションを複数回指定します。 の -D オプションは、
コマンドライン。 CLI プロパティは、プロパティ ファイル プロパティよりも優先されます。
同じキー。

-d file, --ダックス file
DAXは抽象的なワークフローを記述するXML入力ファイルです。これは必須です
必ず使用する必要があるオプションです。

-b 接頭辞, --ベース名 接頭辞
dagmanのようなワークフローファイルを構築するときに使用するベース名プレフィックス
ファイル（.dagファイル）とCondorによって作成されるその他のワークフロー固有のファイル。通常
このプレフィックスは、daxのルート要素で指定されたname属性から取得されます。
ファイル。

-c file[,file、...]、 - キャッシュ file[,file、...]
結果を上書きするレプリカキャッシュファイルへのパスのカンマ区切りリスト。
特定の LFN のレプリカ カタログ。

キャッシュファイルの各エントリは、LFN、対応するPFN、および
関連属性。プール属性はエントリごとに指定する必要があります。

LFN_1 PFN_1 プール=[サイトハンドル1]
LFN_2 PFN_2 プール=[サイトハンドル2]
...
LFN_N PFN_N [サイトハンドルN]

キャッシュファイルを補助レプリカカタログとして扱うには、プロパティを設定します。
pegasus.catalog.replica.cache.asrc をtrueにします。これにより、キャッシュ内のマッピングが
レプリカカタログ内のマッピングとマージするファイル。したがって、特定の
LFNキャッシュファイルとレプリカカタログの両方のエントリがレプリカに使用可能です
選択。

-C [, 、...]、 - 集まる [, 、...]
ワークフローに適用するクラスタリングスタイルのコンマ区切りリスト。このモードは
この操作により、n個の計算ジョブがより大きなジョブにクラスタ化され、リモート
スケジューリングのオーバーヘッド。クラスタリング手法のリストを指定して、再帰的に
ワークフローに適用します。たとえば、これにより、いくつかのジョブを
水平クラスタリングを使用したワークフローと、ラベルベースのクラスタリングを使用して
垂直クラスタリングを実行するための中間ワークフロー。

クラスター化されたジョブは、リモート サイトで順番に、または MPI を使用して実行できます。
これはプロパティを設定することで指定できます ペガサスジョブアグリゲータ. このプロパティは
PEGASUSプロファイルキーを関連付けることで上書きされる 崩壊者 どちらか
変換カタログ内の変換またはサイト内の実行サイト
カタログ。指定された値（プロパティまたはプロファイル）は、
クラスタリングジョブに使用される変換。クラスタリングは
対応する変換が変換にカタログ化されている場合にのみ発生する
カタログ。

PEGASUSにはクラスタリング実行ファイルが付属しています ペガサスクラスター それはで見つけることができます
$PEGASUS_HOME/bin ディレクトリ。クラスタ化されたジョブを順番に実行します。
リモート サイトの同じノード。

さらに、MPIベースのクラスタリングツール「pegasus-mpi-cluster」も
配布されており、binディレクトリにあります。pegasus-mpi-clusterも
sharedfs セットアップで使用され、リモートサイトの MPI に対してコンパイルされる必要がある
インストールディレクトリ。ラッパーはすべてのMPIノードで実行され、最初のノードは
主人と残りの者を労働者として扱います。

デフォルトでは、 ペガサスクラスター で上書きされない限り、クラスタリングジョブに使用されます。
プロパティまたはペガサスプロファイルキー 崩壊者.

現在、次のタイプのクラスタリング スタイルがサポートされています。

· 水平な 同じレベルのジョブをクラスタリングするスタイルです
より大きなジョブに集約されます。ワークフローのレベルは、最大の
ワークフローのルートからのノードの距離。クラスタリングはジョブでのみ発生します。
同じタイプの、つまり同じ論理変換を参照する
変換カタログ。

水平クラスタリングは、2 つのモードのいずれかで動作できます。a. ジョブ数ベース。

クラスタリングの粒度は、PEGASUSを関連付けることで指定できます。
プロフィールキー クラスターのサイズ またはPEGASUSプロファイルキー クラスター数
変換。

この クラスターのサイズ キーは、より大きなクラスタにクラスタリングする必要があるジョブの数を示します。
クラスター化されたジョブ。clusters.numキーは、クラスター化されるジョブの数を示します。
特定の実行サイトで特定のレベル用に作成されたキー。両方のキーが
特定の変換に指定されている場合は、clusters.numキー値が使用されます
クラスタリング粒度を決定します。

1. ランタイムベース。

実行時間に応じてジョブをクラスタ化するには、ユーザーは1つのプロパティと2つの
プロファイルキー。プロパティpegasus.clusterer.preferenceは、
値 ランタイムさらに、ユーザーは 2 つの Pegasus プロファイルを指定する必要があります。a.
clusters.maxruntimeは、
クラスタ化されたジョブは、実行時間を指定します。b. job.runtimeは、
プロファイルキーが関連付けられているジョブが実行される。理想的には、
clusters.maxruntimeは変換カタログとjob.runtimeに設定する必要があります
各ジョブごとに個別に設定する必要があります。

· ラベル ワークフロー内のジョブにラベルを付けることができるクラスタリング スタイルです。
同じレベルのジョブは同じクラスタージョブに配置されます。これにより、
レベル間でジョブを集約したり、あなたのニーズに最適な方法で
アプリケーション。

ワークフローにラベルを付けるには、PEGASUSプロファイルをジョブに関連付ける必要があります。
DAX。ワークフローのラベル付けに使用するプロファイルキーは、プロパティで設定できます。
pegasus.clusterer.ラベルキーデフォルトではラベルに設定されており、PEGASUSを持っている場合は
ジョブのプロファイルキーラベル、ペガサスプロファイルと同じ値を持つジョブ
キー ラベルは同じクラスター化されたジョブに入ります。

- 掃除 クリーンアップ 戦略
ワークフローに使用するクリーンアップ戦略。Pegasusは、
ワークフロー中にファイルやディレクトリを削除できる実行可能なワークフロー
実行。

現在、次のタイプのクリーンアップ戦略がサポートされています。

· なし クリーンアップを完全に無効にします。プランナーはクリーンアップジョブを
実行可能なワークフローは一切ありません。

· 葉っぱ プランナーはステージングサイトごとにリーフクリーンアップノードを追加し、
ワークフロー内の create dir ジョブによって作成されたディレクトリ。

· 所定の位置に プランナーは、リーフクリーンアップノードに加えて、クリーンアップノードを
ワークフローのレベルで、実行中に不要になったファイルを削除します。
たとえば、追加されたクリーンアップノードは特定の計算の入力ファイルを削除します。
ジョブが正常に終了した後のジョブ。

--conf プロファイル
プランナーが使用する必要があるプロパティを含むプロパティファイルへのパス
ワークフローを計画します。

--ディレクトリ DIR
Pegasusワークフロープランナーの出力を保存するベースディレクトリは通常
condor submitファイルを生成する。Pegasusはここにディレクトリ構造を作成する。
ユーザー名、VOグループ、ワークフローのラベルに基づいてベースディレクトリを作成します。
ダックス。

デフォルトでは、ベースディレクトリは、 ペガサスプラン


-f, - 力
これは、抽象DAGを縮小する縮小フェーズをバイパスし、
レプリカカタログによって返される出力ファイルの場所。これは
類似の make 実行可能なワークフローのスタイル生成。

--強制的に再計画する
デフォルトでは、階層型ワークフローの場合、DAXジョブが失敗した場合、ジョブでレスキューを再試行します。
関連するワークフローのDAGが送信される。このオプションにより、Pegasusは
代わりに失敗した場合は DAX ジョブを実行します。

-g, - グループ
ユーザーが所属する VO グループ。

-h, - 助けて
すべてのオプションを表示します。 ペガサスプラン

--継承された rc ファイル file[,file、...]
レプリカファイルへのパスのコンマ区切りリスト。これらのパスで指定される場所には、
DAXファイル内の場所よりも優先度が低くなります。このオプションは通常
階層型ワークフローでは、
親（包含）ワークフローDAXは、サブワークフロー（対応する）に渡されます。
DAX ジョブ。

-I, --入力ディレクトリ
入力ファイルが存在する入力ディレクトリへのパス。これは内部的に
ディレクトリベースのレプリカカタログバックエンドは、ディレクトリリストを構築します
入力ディレクトリ内のファイルのLFN→PFNマッピングを作成します。指定できます。
コマンドラインまたはプロパティファイルで追加のプロパティを指定して、
マッピングに関連付けられたサイト属性と URL プレフィックス。

pegasus.catalog.replica.directory.siteは関連付けるプール属性を指定します
マッピング。デフォルトはローカル

pegasus.catalog.replica.directory.url.prefixは、使用するURLプレフィックスを指定します。
PFN を構築します。デフォルトは file:// です。

-j 接頭辞, --ジョブプレフィックス 接頭辞
ジョブ送信ファイルのファイル名を作成するために適用されるジョブ プレフィックス。

-n, --nocleanup
このオプションは非推奨です。代わりに --cleanup none を使用してください。

-o ウェブサイト, --出力サイト ウェブサイト
DAX の出力ファイルが転送される出力サイト。

デフォルトでは、 マテリアライズド データ 作業ディレクトリに残ります 実行
作成されたサイト。出力ファイルのみが出力サイトに転送されます。
DAX で転送属性が true に設定されているもの。

-O 出力 ディレクトリにジョブを開始します。, -- 出力ディレクトリ 出力 ディレクトリにジョブを開始します。
DAX の出力ファイルが転送される出力ディレクトリ。

-oが指定された場合、出力サイトとして指定されたサイトのストレージディレクトリは
渡されたディレクトリに更新されます。出力サイトが指定されていない場合、このオプションは
内部的に出力サイトをローカルに設定し、ストレージディレクトリを
ディレクトリが渡されました。

-q, - 静かな
ログレベルを下げます。

-r[ディレクトリ名], --ランダムディレクトリ[=ディレクトリ名]
Pegasus Worfklow Plannerは、実行可能なワークフローにディレクトリ作成ジョブを追加します。
特定のサイトでそのワークフローのすべてのジョブが実行されるディレクトリを作成します。
作成されたディレクトリは作業ディレクトリ（サイトカタログで指定）にあります。
各サイト）。

デフォルトでは、Pegasusは送信ホスト上の相対ディレクトリ構造を複製します。
リモートサイト。ユーザーはこのオプションを引数なしで指定してランダムな
create dir によって作成される実行ディレクトリのタイムスタンプベースの名前
ユーザーはこのオプションにオプションの引数を指定して、
作成するディレクトリのベース名。

ディレクトリ作成ジョブは、 ディレクターマネージャー の一部として出荷される実行可能ファイル
PEGASUSワーカーパッケージ。変換カタログから変換が検索されます。
命名 ペガサス::ディルマネジャー ワークフローが行われたすべてのリモートサイトで
スケジュール。Pegasusは、dirmanager実行ファイルのデフォルトパスを作成できます。
ペガサス_ホーム 環境変数はサイトカタログ内のサイトと関連付けられています。
環境プロファイル。

--相対ディレクトリ DIR
実行可能なワークフローが配置されるベースディレクトリからの相対ディレクトリ
生成され、実行されます。これは、Pegasusが定義するデフォルトのディレクトリ構造を上書きします。
ユーザー名、VO グループ、DAX ラベルに基づいて作成されます。

--相対送信ディレクトリ DIR
実行可能なワークフローが配置されるベースディレクトリからの相対ディレクトリ
生成された。これは、Pegasusが作成するデフォルトのディレクトリ構造を上書きします。
ユーザー名、VOグループ、DAXラベルを指定します。 --相対ディレクトリ と
--相対送信ディレクトリ 異なる相対実行ディレクトリを持つことができます
リモート サイトと、送信ホスト上の異なる相対送信ディレクトリ。

-s ウェブサイト[,ウェブサイト、...]、 --サイト ウェブサイト[,ウェブサイト、...]
ワークフローが実行される実行サイトのコンマ区切りリスト。
各サイトには、使用されているサイトカタログのエントリが必要です。
送信ホストで、実行サイトを次のように指定します。 ローカル.

このオプションが指定されていない場合は、サイトカタログ内のすべてのサイトが選択されます。
ワークフローを実行する候補として。

--ステージングサイト s1 = ss1[,s2=ss2[..]]
キー=値のペアのコンマ区切りリスト。キーは実行サイト、
値は、その実行サイトのステージング サイトです。

共有ファイルシステム上で実行する場合、ステージングサイトは自動的に
プランナーによって実行場所として関連付けられます。値のみが指定されている場合は、
すべての実行サイトのステージングサイトとして扱われます。例: --ステージングサイト
ローカルは、プランナーがすべてのジョブのステージングサイトとしてローカルサイトを使用することを意味します。
ワークフロー内。

-s, - 送信
生成された 実行ファイル ワークフロー ペガサスラン スクリプトイン
$PEGASUS_HOME/binディレクトリ。デフォルトでは、Pegasusワークフロープランナーは
Condor はファイルを送信しますが、送信しません。

-v, -詳細
何が起こっているかに関するメッセージの冗長性を高めます。デフォルトでは、すべてのFATAL、
ERROR、CONSOLE、WARN メッセージがログに記録されます。ログ記録の階層は次のとおりです。

1. 致命的

2. エラー

3. コンソール

4. 警告する

5.情報

6.設定

7. デバッグ

8. トレース

たとえば、INFO、CONFIG、DEBUGメッセージも表示するには、次のように設定します。 -vvv.

-V, - バージョン
Pegasus ワークフロー管理システムの現在のバージョン番号を表示します。

リターン VALUE

Pegasusワークフロープランナーが実行可能なワークフローを正常に生成できる場合、
終了コードは0になります。すべてのランタイムエラーは終了コード1になります。これは通常、
カタログの設定を間違えた場合など、エラーが発生した場合
実行時に特定のモジュール実装をロードする場合、終了コードは2になります。
これは通常、モジュールのロード中にファクトリーメソッドが失敗したために発生します。その他の場合は
コマンドの実行中にエラーが発生した場合、終了コードは1になります。ほとんどの場合、
記録されたエラー メッセージには、どこで問題が発生したかが明確に示されるはずです。

制御 ペガサスプラン MEMORY 消費

pegasus-planは、合計メモリなどの要素を使用してメモリ制限を自動的に決定しようとします。
システムメモリと潜在的なメモリ制限（ulimits）。自動制限は
JAVA_HEAPMINとJAVA_HEAPMAX環境変数を設定することで上書きされます。
pegasus-planを呼び出す。値はメガバイト単位です。経験則として、JAVA_HEAPMINは
JAVA_HEAPMAX の値の半分に設定します。

PEGASUS PROPERTIES

これは使用されるプロパティの完全なリストではありません。完全な説明とリストについては
プロパティの参照 $PEGASUS_HOME/doc/advanced-properties.pdf

ペガサスセレクターサイト
使用するサイトセレクターの種類を指定します。指定しない場合は、デフォルト
の値 ランダム が使用されます。サポートされている他のモードは ラウンドロビン と 非Javaコールアウト それ
外部サイトセレクターを呼び出します。

ペガサスカタログレプリカ
使用するレプリカ カタログのタイプを指定します。

指定されていない場合は、デフォルト値は RLS.

ペガサスカタログレプリカURL
レプリカ カタログにアクセスするための連絡先文字列。RLS の場合は RLI URL です。

ペガサス.dir.exec
現在の作業ディレクトリを決定するためのサイトカタログのworkdirの接尾辞
ディレクトリ。相対パスの場合、値は作業ディレクトリの先頭から追加されます。
site.config ファイル。絶対パスの場合は作業ディレクトリとなります。

ペガサス.カタログ.変換
使用する変換カタログの種類を指定します。ファイルまたは
ベースまたはデータベースベースの変換カタログ。現在のデフォルトは テキスト.

pegasus.catalog.transformation.ファイル
変換カタログとして使用するファイルの場所。

指定されていない場合は、デフォルトの場所である $PEGASUS_HOME/var/tc.data が使用されます。

ペガサスカタログサイト
使用するサイトカタログの種類を指定します。テキストベースまたは
xmlベースのサイトカタログ。現在のデフォルトは XML3.

pegasus.catalog.site.file
サイトカタログとして使用するファイルの場所。指定しない場合は、デフォルト値
$PEGASUS_HOME/etc/sites.xmlはxmlベースのサイトカタログの場合に使用され、
テキストベースのサイトカタログの場合は $PEGASUS_HOME/etc/sites.txt 。

ペガサスデータ構成
このプロパティは、Pegasusをさまざまな環境で実行するように設定します。これは次のように設定できます。

共有ファイル これを設定すると、Pegasusは共有ネットワーク上でジョブを実行するように設定されます。
実行サイトのファイルシステム。これは、クラスタのヘッドノードと
ワーカーノードはファイルシステムを共有します。この場合のステージングサイトは
処刑場。

非共有ファイル これを設定すると、Pegasusは実行サイトでジョブを実行するように設定されます。
ヘッドノードとワーカーノード間の共有ファイルシステムに依存することなく。

コンドリオ これが設定されている場合、Pegasusは純粋なコンドルプールでジョブを実行するように設定され、
ファイルシステムを共有していないノード。データは、
Condor File IO を使用してホストを送信します。

ペガサスコードジェネレータ
使用するコードジェネレータ。デフォルトでは、Condor送信ファイルは
実行可能なワークフロー。設定する シェル（Shell） Pegasusはシェルスクリプトを生成する
送信ホスト上で実行できます。

onworks.net サービスを使用して pegasus-plan をオンラインで使用する