pegasus-monitord - Online di Awan

PROGRAM:

NAMA

pegasus-monitord - melacak kemajuan alur kerja, informasi penambangan

RINGKASAN

pegasus-monitord [--membantu|-bantu] [--bertele-tele|-v]
[--menyesuaikan|-a i] [--latar depan|-N]
[--tidak ada daemon|-n] [--pekerjaan|-j status pekerjaan.log fillet]
[--catatan|-l file log] [--konf properties fillet]
[--tidak-rekursif] [--tanpa database | --tidak ada acara]
[--memutar ulang|-r] [--tidak ada pemberitahuan]
[--notifikasi-maks max_notifications]
[--notifikasi-batas waktu batas waktu]
[--sim|-s tidur nyenyak] [--db-stat]
[--lewati-stdout] [--memaksa|-f]
[--stopkontak] [--keluaran-dir | -o dir]
[--tujuan|-d PATH or URL] [--pengkodean|-e bp | baiklah]
DAGMan keluaran fillet

DESKRIPSI

Program ini mengikuti alur kerja, mem-parsing output dari file dagman.out DAGMAN. Di dalam
selain menghasilkan file jobstate.log, pegasus-monitord bisa juga pakai punyaku
informasi dari file dag alur kerja dan file pengiriman dan keluaran pekerjaan, dan juga
mengisi database atau menulis file event NetLogger dengan informasi tersebut.
pegasus-monitord juga dapat melakukan pemberitahuan saat melacak kemajuan alur kerja di
waktu sebenarnya.

PILIHAN

-h, --membantu
Mencetak ringkasan penggunaan dengan semua opsi baris perintah yang tersedia.

-v, --bertele-tele
Setel level log untuk pegasus-monitord. Jika dihilangkan, defaultnya tingkat akan disetel ke
PERINGATAN. Ketika opsi ini diberikan, level log diubah menjadi INFO. Jika opsi ini
diulang, level log akan diubah menjadi DEBUG.

Level log masuk pegasus-monitord juga dapat disesuaikan secara interaktif, dengan mengirimkan
Rp1 dan Rp2 sinyal ke proses, masing-masing untuk penambahan dan pengurangan
tingkat log.

-a i, --menyesuaikan i
Untuk menyesuaikan perbedaan zona waktu dengan i detik, defaultnya adalah 0.

-N, --latar depan
Jangan melakukan daemonisasi pegasus-monitord, lakukan gerakan seolah-olah (Condor).

-n, --tidak ada daemon
Jangan melakukan daemonisasi pegasus-monitord, simpan di latar depan (untuk debugging).

-j status pekerjaan.log fillet, --pekerjaan status pekerjaan.log fillet
Lokasi alternatif untuk status pekerjaan.log mengajukan. Standarnya adalah menulis a status pekerjaan.log
dalam direktori alur kerja. Nama file absolut hanya boleh digunakan jika alur kerja
tidak memiliki sub-alur kerja, karena setiap sub-alur kerja akan menghasilkan sendiri
status pekerjaan.log mengajukan. Jika nama file alternatif, non-mutlak, diberikan dengan ini
pilihan, pegasus-monitord akan membuat satu file di setiap alur kerja (dan sub-alur kerja)
direktori dengan nama file yang disediakan oleh pengguna dengan opsi ini. Jika mutlak
nama file disediakan dan sub-alur kerja ditemukan, pesan peringatan akan dicetak
dan pegasus-monitord tidak akan melacak sub-alur kerja apa pun.

--catatan file log, --file-log file log
Menentukan alternatif file log untuk menggunakan alih-alih pantau.log file di utama
direktori alur kerja. Berbeda dari status pekerjaan.log berkas di atas, pegasus-monitord
hanya menghasilkan satu file log per eksekusi (dan bukan satu per alur kerja dan sub-alur kerja itu
trek).

--konf properti_file
adalah file alternatif yang berisi properti di kunci = nilai format, dan memungkinkan pengguna
untuk menimpa nilai yang dibaca dari braindump.txt mengajukan. Opsi ini lebih diutamakan daripada
file properti yang ditentukan dalam braindump.txt mengajukan. Harap dicatat bahwa ini
properti akan berlaku tidak hanya untuk alur kerja utama, tetapi juga untuk semua sub-alur kerja
ditemukan.

--tidak-rekursif
Opsi ini menonaktifkan pegasus-monitord untuk secara otomatis mengikuti setiap sub-alur kerja yang
Ditemukan.

--nodatabase, --tanpa database, --tidak ada acara
Menonaktifkan pembuatan acara (bila opsi ini diberikan, pegasus-monitord hanya akan
menghasilkan file jobstate.log). Standarnya adalah secara otomatis mencatat informasi ke a
Basis data SQLite (lihat --tujuan pilihan di bawah ini untuk lebih jelasnya). Opsi ini menimpa
parameter apa pun yang diberikan oleh --tujuan .

-r, --memutar ulang
Opsi ini digunakan untuk memutar ulang output dari alur kerja yang sudah selesai. Itu seharusnya
hanya digunakan setelah alur kerja selesai (belum tentu berhasil). Jika sebuah
status pekerjaan.log file ditemukan, itu akan diputar. Namun, saat menggunakan database, semua
referensi sebelumnya ke alur kerja itu (dan semua sub-alur kerjanya) akan dihapus dari
dia. Saat mengeluarkan ke file bp, file tersebut akan dihapus. Saat berjalan di replay
mode, pegasus-monitord akan selalu berjalan dengan --tidak ada daemon opsi, dan kesalahan apa pun
akan dikeluarkan langsung ke terminal. Juga, pegasus-monitord tidak akan memproses apapun
pemberitahuan saat dalam mode replay.

--tidak ada pemberitahuan
Opsi ini menonaktifkan notifikasi sepenuhnya, membuat pegasus-monitord abaikan semua
.notify file untuk semua alur kerja yang dilacaknya.

--notifikasi-maks max_notifications
Opsi ini menetapkan jumlah maksimum notifikasi bersamaan yang pegasus-monitord
akan dimulai. Ketika max_notifications batas tercapai, pegasus-monitord akan mengantri
notifikasi dan tunggu hingga skrip notifikasi yang tertunda selesai sebelum memulai a
baru. Jika max_notifications diatur ke 0, notifikasi akan dinonaktifkan.

--notifikasi-batas waktu batas waktu
Biasanya, pegasus-monitord akan memulai skrip notifikasi dan menunggu tanpa batas waktu
itu untuk menyelesaikan. Opsi ini memungkinkan pengguna untuk mengatur maksimum batas waktu bahwa
pegasus-monitord akan menunggu skrip notifikasi selesai sebelum menghentikannya.
Jika skrip notifikasi tidak selesai dalam waktu yang wajar, itu dapat menyebabkan
skrip notifikasi lain untuk diantrekan karena jumlah maksimum bersamaan
skrip diizinkan oleh pegasus-monitord. Selain itu, hingga semua skrip notifikasi
selesai, pegasus-monitord tidak akan berakhir.

-s tidur nyenyak, --sim tidur nyenyak
Opsi ini mensimulasikan penundaan antara pembacaan, dengan tidur tidur nyenyak milidetik. Ini
opsi ini terutama digunakan oleh pengembang.

--db-stat
Opsi ini menyebabkan modul database mengumpulkan dan mencetak statistik database di
akhir eksekusi. Tidak ada pengaruhnya jika --tanpa database pilihan diberikan.

--lewati-stdout
Pilihan ini menyebabkan pegasus-monitord untuk tidak mengisi stdout dan stderr pekerjaan ke dalam
file BP atau database Stampede. Itu harus digunakan untuk menghindari peningkatan basis data
ukuran secara substansial dalam kasus di mana pekerjaan sangat verbose dalam output mereka.

-f, --memaksa
Pilihan ini menyebabkan pegasus-monitord untuk melewati pemeriksaan untuk contoh lain dari dirinya sendiri
sudah berjalan di direktori alur kerja yang sama. Perilaku default mencegah dua atau
lebih pegasus-monitord instance dari memulai dan berjalan secara bersamaan (yang akan
menyebabkan file bp dan database dibiarkan dalam keadaan tidak stabil). Opsi ini harus
hanya digunakan ketika pengguna mengetahui contoh sebelumnya dari pegasus-monitord is JANGAN
berjalan lagi.

--stopkontak
Pilihan ini menyebabkan pegasus-monitord untuk memulai antarmuka soket yang dapat digunakan untuk
debug lanjutan. Nomor port untuk menghubungkan ke pegasus-monitord dapat ditemukan di
itu pantau.sock file di direktori alur kerja (file dihapus ketika
pegasus-monitord selesai). Jika belum dimulai, antarmuka soket juga
dibuat ketika pegasus-monitord menerima Rp1 sinyal.

-o dir, --keluaran-dir dir
Ketika opsi ini diberikan, pegasus-monitord akan membuat semua file outputnya di
direktori yang ditentukan oleh d. Opsi ini berguna untuk memungkinkan pengguna men-debug a
alur kerja di direktori pengguna tidak memiliki izin menulis. Dalam hal ini, semua
file yang dihasilkan oleh pegasus-monitord akan memiliki alur kerja wf_uuid sebagai awalan sehingga
file dari beberapa sub-alur kerja dapat ditempatkan di direktori yang sama. Pilihan ini adalah
terutama digunakan oleh pegasus-analyzer. Penting untuk dicatat bahwa lokasi untuk
output file BP atau database tidak diubah oleh opsi ini dan harus disetel melalui
--tujuan .

-d URL params, --tujuan URL params
Opsi ini memungkinkan pengguna untuk menentukan tujuan untuk peristiwa log yang dihasilkan oleh
pegasus-monitord. Jika opsi ini dihilangkan, pegasus-monitord akan membuat SQLite
database di direktori run alur kerja dengan nama yang sama dengan alur kerja, tetapi dengan
a .stampede.db awalan. Untuk sebuah kosong skema, params adalah jalur file dengan - makna
keluaran standar. Untuk sebuah x-tcp skema, params adalah TCP_host[:port=14380]. Untuk database
skema, params adalah a SQLAlchemy mesin URL dengan string koneksi database yang dapat
digunakan untuk menentukan mesin database yang berbeda. Silakan lihat bagian contoh di bawah ini
untuk informasi lebih lanjut tentang cara menggunakan opsi ini. Perhatikan bahwa saat menggunakan mesin basis data
selain sqlite, driver database Python yang diperlukan perlu diinstal.

-e encoding, --pengkodean encoding
Opsi ini menentukan cara menyandikan peristiwa log. Dua kemungkinan yang tersedia adalah bp
dan baiklah. Jika opsi ini tidak ditentukan, acara akan dibuat di bp Format.

DAGMan_output_file
DAGMan_output_file adalah satu-satunya argumen baris perintah yang diperlukan di pegasus-monitord
dan harus memiliki .dag.dagman.keluar perpanjangan.

KEMBALI NILAI

Jika rencana itu bisa dibangun, pegasus-monitord kembali dengan kode keluar 0.
Namun, jika terjadi kesalahan, kode keluar bukan nol menunjukkan masalah. Dalam hal ini,
file log harus berisi informasi tambahan tentang kondisi kesalahan.

LINGKUNGAN VARIABEL

pegasus-monitord tidak mengharuskan variabel lingkungan apa pun ditetapkan. Ini menempatkannya
membutuhkan modul Python berdasarkan lokasinya sendiri, dan karenanya tidak boleh dipindahkan
di luar direktori bin Pegasus.

CONTOH

Biasanya, pegasus-monitord dipanggil secara otomatis oleh pegasus-lari dan melacak alur kerja
kemajuan secara real-time, menghasilkan status pekerjaan.log file dan SQLite yang sesuai
basis data. Saat alur kerja gagal, dan dikirim ulang dengan DAG penyelamat, pegasus-monitord
akan secara otomatis mengambil dari tempat ia pergi sebelumnya dan melanjutkan status pekerjaan.log
file dan databasenya.

Jika pengguna perlu membuat status pekerjaan.log file setelah alur kerja selesai,
--memutar ulang | -r opsi harus digunakan saat menjalankan pegasus-monitord secara manual. Sebagai contoh:

$ pegasus_monitord -r berlian-0.dag.dagman.out

akan diluncurkan pegasus-monitord dalam mode pemutaran ulang. Dalam hal ini, jika status pekerjaan.log sudah mengajukan
ada, itu akan diputar dan file baru akan dibuat. Jika sebuah berlian-0.stampede.db
Database SQLite sudah ada, pegasus-monitord akan menghapus semua referensi ke alur kerja
id yang ditentukan dalam braindump.txt file, termasuk semua sub-alur kerja yang terkait dengan itu
identitas alur kerja.

$ pegasus_monitord -r --no-database diamond-0.dag.dagman.out

akan melakukan hal yang sama, tetapi tanpa menghasilkan peristiwa log apa pun.

$ pegasus_monitord -r --dest `pwd`/diamond-0.bp diamond-0.dag.dagman.out

akan membuat file berlian-0.bp di direktori saat ini, yang berisi acara NetLogger
dengan semua data alur kerja. Ini selain status pekerjaan.log file.

Untuk menggunakan database, pengguna harus menyediakan string koneksi database dalam format:

dialek://namapengguna:katasandi@host:port/basis data

Where dialek adalah nama driver yang mendasarinya (mysql, sqlite, peramal, postgres) Dan
Database adalah nama database yang berjalan di server di tuan rumah komputer.

Jika pengguna ingin menggunakan yang berbeda SQLite basis data, pegasus-monitord mengharuskan mereka untuk
tentukan jalur absolut dari file alternatif. Sebagai contoh:

$ pegasus_monitord -r --dest sqlite:////home/user/diamond_database.db diamond-0.dag.dagman.out

Berikut adalah dokumen dengan detail untuk semua driver yang didukung:
http://www.sqlalchemy.org/docs/05/reference/dialects/index.html

Opsi per database tambahan yang berfungsi ke dalam string koneksi diuraikan di sana.

Penting untuk dicatat bahwa seseorang harus memiliki pustaka antarmuka db yang sesuai
diinstal. Artinya, SQLAlchemy adalah pembungkus di sekitar perpustakaan antarmuka mysql
(misalnya), itu tidak menyediakan MySQL pengemudi itu sendiri. NS Pegasus distribusi
termasuk keduanya SQLAlchemy dan SQLite Sopir piton.

Sebagai catatan terakhir, penting untuk disebutkan bahwa tidak seperti saat menggunakan SQLite database, menggunakan
SQLAlchemy dengan server database lain, mis MySQL or postgres, kebutuhan basis data target
untuk eksis. Jadi, jika pengguna ingin terhubung ke:

mysql://pegasus-user:supersecret@localhost:localport/diamond

itu harus terlebih dahulu terhubung ke server di localhost dan keluarkan kreasi yang sesuai
perintah database sebelum dijalankan pegasus-monitord as SQLAlchemy akan mengurus pembuatan
tabel dan indeks jika belum ada.

Gunakan pegasus-monitor online menggunakan layanan onworks.net