pegasus-mpi-cluster - ക്ലൗഡിൽ ഓൺലൈനിൽ

പട്ടിക:

NAME

pegasus-mpi-cluster - DAG ആയി പ്രകടിപ്പിക്കുന്ന കമ്പ്യൂട്ടേഷണൽ വർക്ക്ഫ്ലോകൾ പ്രവർത്തിപ്പിക്കുന്നതിനുള്ള ഒരു ഉപകരണം
എംപിഐ ഉപയോഗിക്കുന്ന കമ്പ്യൂട്ടേഷണൽ ക്ലസ്റ്ററുകളിൽ (ഡയറക്ടഡ് അസൈക്ലിക് ഗ്രാഫുകൾ).

സിനോപ്സിസ്

പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ [ഓപ്ഷനുകൾ] വർക്ക്ഫ്ലോ.ഡാഗ്

വിവരണം

പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ എച്ച്ടിസി (ഹൈ ത്രൂപുട്ട് കമ്പ്യൂട്ടിംഗ്) ശാസ്ത്രീയമായി പ്രവർത്തിപ്പിക്കാൻ ഉപയോഗിക്കുന്ന ഒരു ഉപകരണമാണ്
HPC (ഹൈ പെർഫോമൻസ് കംപ്യൂട്ടിംഗ്)ക്കായി രൂപകൽപ്പന ചെയ്ത സിസ്റ്റങ്ങളിലെ വർക്ക്ഫ്ലോകൾ. നിരവധി HPC സിസ്റ്റങ്ങൾ ഉണ്ട്
ഇറുകിയ-കപ്പിൾഡ്, സമാന്തര ആപ്ലിക്കേഷനുകൾക്കായി ഒപ്റ്റിമൈസ് ചെയ്ത ഇഷ്‌ടാനുസൃത ആർക്കിടെക്ചറുകൾ. ഇവ
സിസ്റ്റങ്ങൾക്ക് സാധാരണയായി എക്സോട്ടിക്, ലോ-ലേറ്റൻസി നെറ്റ്‌വർക്കുകൾ ഉണ്ട്, അവ ഷോർട്ട് പാസിംഗിനായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു
കമ്പ്യൂട്ട് നോഡുകൾക്കിടയിൽ വളരെ വേഗത്തിൽ സന്ദേശങ്ങൾ. ഈ നെറ്റ്‌വർക്കുകളിൽ പലതും വളരെ ഉയർന്നതാണ്
കമ്പ്യൂട്ട് നോഡുകൾ ഒരു TCP/IP സ്റ്റാക്ക് പോലും പിന്തുണയ്ക്കുന്നില്ലെന്ന് ഒപ്റ്റിമൈസ് ചെയ്തു. ഇത് ഉണ്ടാക്കുന്നു
ചരക്കുകൾക്കായി രൂപകൽപ്പന ചെയ്ത സോഫ്റ്റ്‌വെയർ ഉപയോഗിച്ച് HTC ആപ്ലിക്കേഷനുകൾ പ്രവർത്തിപ്പിക്കുന്നത് അസാധ്യമാണ്
കോണ്ടർ പോലുള്ള ക്ലസ്റ്ററുകൾ.

പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ പോലുള്ള അയഞ്ഞ-കപ്പിൾഡ് എച്ച്ടിസി ആപ്ലിക്കേഷനുകൾ പ്രവർത്തനക്ഷമമാക്കുന്നതിനാണ് വികസിപ്പിച്ചത്
HPC സിസ്റ്റങ്ങൾ പ്രയോജനപ്പെടുത്തുന്നതിന് ശാസ്ത്രീയമായ വർക്ക്ഫ്ലോകൾ. നെറ്റ്‌വർക്കിൽ ചുറ്റിക്കറങ്ങാൻ വേണ്ടി
മുകളിൽ വിവരിച്ച പ്രശ്നങ്ങൾ, പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ MPI (മെസേജ് പാസിംഗ് ഇന്റർഫേസ്) ഉപയോഗിക്കുന്നു, a
SPMD (സിംഗിൾ പ്രോസസ്, മൾട്ടിപ്പിൾ ഡാറ്റ) സമാന്തര ആപ്ലിക്കേഷനുകൾ എഴുതാൻ സാധാരണയായി ഉപയോഗിക്കുന്ന API.
മിക്ക HPC സിസ്റ്റങ്ങൾക്കും ഒരു MPI നടപ്പിലാക്കൽ ഉണ്ട്, അത് ഏത് വിദേശ നെറ്റ്‌വർക്കിലും പ്രവർത്തിക്കുന്നു
സിസ്റ്റം ഉപയോഗിക്കുന്ന ആർക്കിടെക്ചർ.

An പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ജോലി ഒരൊറ്റ മാസ്റ്റർ പ്രോസസ്സ് ഉൾക്കൊള്ളുന്നു (ഈ പ്രക്രിയ റാങ്ക് 0 ഇഞ്ച് ആണ്
MPI ഭാഷ) കൂടാതെ നിരവധി തൊഴിലാളി പ്രക്രിയകളും. മാസ്റ്റർ പ്രോസസ്സ് വർക്ക്ഫ്ലോ നിയന്ത്രിക്കുന്നു
നിർവ്വഹണത്തിനായി തൊഴിലാളികൾക്ക് വർക്ക്ഫ്ലോ ചുമതലകൾ നൽകുന്നു. ജോലിക്കാർ ജോലികൾ പൂർത്തിയാക്കി മടങ്ങുന്നു
ഫലങ്ങൾ മാസ്റ്ററിന്. ടാസ്‌ക്കുകൾ മുഖേന stdout അല്ലെങ്കിൽ stderr-ലേക്ക് എഴുതിയ ഏത് ഔട്ട്‌പുട്ടും ക്യാപ്‌ചർ ചെയ്യപ്പെടും
(കാണുക TASK സ്റ്റേഡിയം).

പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ അപേക്ഷകൾ DAG-കൾ (ഡയറക്ടഡ് അസൈക്ലിക് ഗ്രാഫുകൾ) ആയി പ്രകടിപ്പിക്കുന്നു (കാണുക DAG
ഫയലുകൾ). ഗ്രാഫിലെ ഓരോ നോഡും ഒരു ടാസ്‌ക്കിനെ പ്രതിനിധീകരിക്കുന്നു, അരികുകൾ ഡിപൻഡൻസികളെ പ്രതിനിധീകരിക്കുന്നു
ചുമതലകൾ നിർവ്വഹിക്കുന്ന ക്രമം നിയന്ത്രിക്കുന്ന ജോലികൾക്കിടയിൽ. ഓരോ ജോലിയും എ
പ്രോഗ്രാമും പ്രവർത്തിപ്പിക്കേണ്ട ഒരു കൂട്ടം പാരാമീറ്ററുകളും (അതായത് ഒരു കമാൻഡും ചില ഓപ്ഷണലും
വാദങ്ങൾ). ഡിപൻഡൻസികൾ സാധാരണയായി ഡാറ്റാ ഫ്ലോ ഡിപൻഡൻസികളെ പ്രതിനിധീകരിക്കുന്നു
ആപ്ലിക്കേഷൻ, ഒരു ടാസ്‌ക് നിർമ്മിക്കുന്ന ഔട്ട്‌പുട്ട് ഫയലുകൾ മറ്റൊന്നിന്റെ ഇൻപുട്ടുകളായി ആവശ്യമാണ്.

ഒരു DAG എക്സിക്യൂട്ട് ചെയ്യുമ്പോൾ ഒരു പിശക് സംഭവിച്ചാൽ, അത് വർക്ക്ഫ്ലോ നിർത്താൻ ഇടയാക്കും
ഒരു റെസ്ക്യൂ ഫയൽ ഉപയോഗിച്ച് പുനരാരംഭിച്ചു, അത് വർക്ക്ഫ്ലോയുടെ പുരോഗതി രേഖപ്പെടുത്തുന്നു (കാണുക RESCUE
ഫയലുകൾ). ഇത് പ്രാപ്തമാക്കുന്നു പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ വർക്ക്ഫ്ലോ നിർത്തുന്നിടത്ത് പ്രവർത്തിപ്പിക്കാൻ.

പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ഒരു ഒറ്റപ്പെട്ട ഉപകരണമായി അല്ലെങ്കിൽ ഒരു പൂരകമായി പ്രവർത്തിക്കാൻ രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു
പെഗാസസ് വർക്ക്ഫ്ലോ മാനേജ്മെന്റ് സിസ്റ്റം (WMS). കൂടെ PMC ഉപയോഗിക്കുന്നതിനെക്കുറിച്ചുള്ള കൂടുതൽ വിവരങ്ങൾക്ക്
പെഗാസസ് എന്ന വിഭാഗം കാണുക പി.എം.സി. ഒപ്പം പെഗാസസ്.

പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ഒരു DAG ആയി പ്രകടിപ്പിക്കുന്ന ആപ്ലിക്കേഷനുകൾ a-ൽ സമാന്തരമായി നടപ്പിലാക്കാൻ അനുവദിക്കുന്നു
ഒരു വലിയ എണ്ണം കമ്പ്യൂട്ട് നോഡുകൾ. ലളിതവും ഭാരം കുറഞ്ഞതും കരുത്തുറ്റതുമാണ് ഇത് രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്.

ഓപ്ഷനുകൾ

-h, --സഹായിക്കൂ
സഹായ സന്ദേശം അച്ചടിക്കുക

-V, --പതിപ്പ്
പ്രിന്റ് പതിപ്പ് വിവരങ്ങൾ

-v, --വാക്കുകൾ
ലോഗിംഗ് വെർബോസിറ്റി വർദ്ധിപ്പിക്കുക. ഒന്നിലധികം ചേർക്കുന്നു -v ലെവൽ കൂടുതൽ വർദ്ധിപ്പിക്കുന്നു. സ്ഥിരസ്ഥിതി
ലോഗ് ലെവൽ ആണ് INFO. (കാണുക ലോഗിംഗ്)

-q, --നിശബ്ദമായി
ലോഗിംഗ് വെർബോസിറ്റി കുറയ്ക്കുക. ഒന്നിലധികം ചേർക്കുന്നു -q ലെവൽ കൂടുതൽ കുറയ്ക്കുന്നു. സ്ഥിരസ്ഥിതി
ലോഗ് ലെവൽ ആണ് INFO. (കാണുക ലോഗിംഗ്)

-s, --skip-rescue
എന്നതിനായുള്ള റെസ്ക്യൂ ഫയൽ അവഗണിക്കുക വർക്ക്ഫ്ലോ.ഡാഗ് അത് നിലവിലുണ്ടെങ്കിൽ. അതല്ല പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ
നിലവിലെ റണ്ണിനായി ഇപ്പോഴും ഒരു പുതിയ റെസ്ക്യൂ ഫയൽ സൃഷ്ടിക്കും. എന്നതാണ് സ്ഥിര സ്വഭാവം
ഒരു റെസ്ക്യൂ ഫയൽ കണ്ടെത്തിയാൽ അത് ഉപയോഗിക്കുക. (കാണുക RESCUE ഫയലുകൾ)

-o പാത, --stdout പാത
ടാസ്‌ക് stdout-നുള്ള ഫയലിലേക്കുള്ള പാത. (കാണുക TASK സ്റ്റേഡിയം ഒപ്പം --per-task-stdio)

-e പാത, --stderr പാത
ടാസ്ക് stderr-നുള്ള ഫയലിലേക്കുള്ള പാത. (കാണുക TASK സ്റ്റേഡിയം ഒപ്പം --per-task-stdio)

-m M, --പരമാവധി-പരാജയങ്ങൾ M
അതിനുശേഷം പുതിയ ടാസ്‌ക്കുകൾ സമർപ്പിക്കുന്നത് നിർത്തുക M ചുമതലകൾ പരാജയപ്പെട്ടു. ഒരിക്കല് M എത്തിയിരിക്കുന്നു,
പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ആരംഭിച്ച എല്ലാ ജോലികളും പൂർത്തിയാക്കും, പക്ഷേ ചെയ്യില്ല
കൂടുതൽ ജോലികൾ ആരംഭിക്കുക. തടയാൻ ഈ ഓപ്ഷൻ ഉപയോഗിക്കുന്നു പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ നിന്ന്
ഒരു വ്യവസ്ഥാപിത പിശക് നേരിടുന്ന ഒരു വർക്ക്ഫ്ലോ റൺ ചെയ്യുന്നത് തുടരുന്നു, എ
നഷ്‌ടമായ ബൈനറി അല്ലെങ്കിൽ അസാധുവായ പാത. എന്നതിനായുള്ള സ്ഥിരസ്ഥിതി M 0 ആണ്, അതായത് പരിധിയില്ലാത്തത്
പരാജയങ്ങൾ അനുവദനീയമാണ്.

-t T, --ശ്രമിക്കുന്നു T
ഓരോ ജോലിയും പ്രവർത്തിപ്പിക്കാൻ ശ്രമിക്കുക T ടാസ്‌ക് പരാജയപ്പെട്ടതായി അടയാളപ്പെടുത്തുന്നതിന് മുമ്പുള്ള തവണ. എന്നത് ശ്രദ്ധിക്കുക T
ലക്ഷ്യങ്ങൾക്കായുള്ള ശ്രമങ്ങൾ പരാജയങ്ങളായി കണക്കാക്കില്ല -m ഓപ്ഷൻ. ഒരു ടാസ്ക് മാത്രം
ശ്രമിച്ചാൽ പരാജയപ്പെട്ടതായി കണക്കാക്കുന്നു T സമയങ്ങളും എല്ലാം T ശ്രമങ്ങൾ പൂജ്യമല്ല
എക്സിറ്റ്കോഡ്. മൂല്യം T കുറഞ്ഞത് 1 ആയിരിക്കണം. ഡിഫോൾട്ട് 1 ആണ്.

-n, --നോലോക്ക്
DAGFILE ലോക്ക് ചെയ്യരുത്. സ്വതവേ, പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ഒരു സ്വന്തമാക്കാൻ ശ്രമിക്കും
ഒന്നിലധികം MPI ജോലികൾ ഒരേ DAG-ൽ പ്രവർത്തിക്കുന്നത് തടയാൻ DAGFILE-ൽ പ്രത്യേക ലോക്ക്
അ േത സമയം. ഈ ഓപ്ഷൻ വ്യക്തമാക്കിയിട്ടുണ്ടെങ്കിൽ, ലോക്ക് ഏറ്റെടുക്കില്ല.

-r, --രക്ഷ പാത
റെസ്ക്യൂ ലോഗിലേക്കുള്ള പാത. ഫയൽ നിലവിലുണ്ടെങ്കിൽ, ഒപ്പം -s എന്ന് വ്യക്തമാക്കിയിട്ടില്ല, അപ്പോൾ ലോഗ് ആയിരിക്കും
വർക്ക്ഫ്ലോയുടെ അവസ്ഥ വീണ്ടെടുക്കാൻ ഉപയോഗിക്കുന്നു. ഫയൽ വായിച്ചതിനുശേഷം അത് വെട്ടിച്ചുരുക്കി
അതിന്റെ സ്ഥാനത്ത് ഒരു പുതിയ റെസ്ക്യൂ ലോഗ് സൃഷ്ടിച്ചു. കൂട്ടിച്ചേർക്കുക എന്നതാണ് സ്ഥിരസ്ഥിതി .രക്ഷ ഡിഎജിക്ക്
ഫയലിന്റെ പേര്. (കാണുക RESCUE ഫയലുകൾ)

--ഹോസ്റ്റ്-സ്ക്രിപ്റ്റ് പാത
ഓരോ അദ്വിതീയ ഹോസ്റ്റിലും സമാരംഭിക്കുന്നതിന് ഒരു സ്ക്രിപ്റ്റിലേക്കുള്ള പാത അല്ലെങ്കിൽ എക്സിക്യൂട്ടബിൾ പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ
പ്രവർത്തിക്കുന്നു. PMC_HOST_SCRIPT എൻവയോൺമെന്റ് ഉപയോഗിച്ചും ഈ പാത സജ്ജമാക്കാൻ കഴിയും
വേരിയബിൾ. (കാണുക HOST, സ്ക്രിപ്റ്റുകൾ)

--ഹോസ്റ്റ്-മെമ്മറി വലുപ്പം
MB-യിൽ ഓരോ ഹോസ്റ്റിലും ലഭ്യമായ മെമ്മറിയുടെ അളവ്. തുക നിശ്ചയിക്കുക എന്നതാണ് സ്ഥിരസ്ഥിതി
ഫിസിക്കൽ റാം സ്വയമേവ. PMC_HOST_MEMORY ഉപയോഗിച്ചും ഈ മൂല്യം സജ്ജമാക്കാവുന്നതാണ്
പരിസ്ഥിതി വേരിയബിൾ. (കാണുക വിഭവ-അധിഷ്ഠിത ഷെഡ്യൂളിംഗ്)

--host-cpus cpus
ഓരോ ഹോസ്റ്റിലും ലഭ്യമായ CPU-കളുടെ എണ്ണം. CPU-യുടെ എണ്ണം നിർണ്ണയിക്കുക എന്നതാണ് സ്ഥിരസ്ഥിതി
കോറുകൾ സ്വയമേവ. PMC_HOST_CPUS എൻവയോൺമെന്റ് ഉപയോഗിച്ചും ഈ മൂല്യം സജ്ജമാക്കാവുന്നതാണ്
വേരിയബിൾ. (കാണുക വിഭവ-അധിഷ്ഠിത ഷെഡ്യൂളിംഗ്)

--കണിശമായ-പരിധികൾ
ഇത് ടാസ്‌ക്കുകൾക്കായി കർശനമായ മെമ്മറി ഉപയോഗ പരിധികൾ പ്രാപ്തമാക്കുന്നു. ഈ ഓപ്ഷൻ വ്യക്തമാക്കുമ്പോൾ, കൂടാതെ
DAG, മെമ്മറിയിൽ ആവശ്യപ്പെട്ടതിനേക്കാൾ കൂടുതൽ മെമ്മറി അനുവദിക്കാൻ ഒരു ടാസ്ക് ശ്രമിക്കുന്നു
അലോക്കേഷൻ പ്രവർത്തനം പരാജയപ്പെടും.

--max-wall-time മിനിറ്റ്
ഇതാണ് പരമാവധി മിനിറ്റുകളുടെ എണ്ണം പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ വർക്ക്ഫ്ലോ അനുവദിക്കും
ഓടാൻ. ഈ സമയം അവസാനിക്കുമ്പോൾ പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ വർക്ക്ഫ്ലോ നിർത്തലാക്കുകയും ലയിപ്പിക്കുകയും ചെയ്യും
തൊഴിലാളികളുടെ എല്ലാ stdout/stderr ഫയലുകളും. മൂല്യം മിനിറ്റുകളിലാണ്, കൂടാതെ
ഡിഫോൾട്ട് അൺലിമിറ്റഡ് വാൾ ടൈം ആണ്. ഈ ഓപ്‌ഷൻ ചേർത്തതിനാൽ ഒരു വർക്ക്ഫ്ലോയുടെ ഔട്ട്പുട്ട്
വർക്ക്ഫ്ലോ അതിന്റെ ബാച്ച് ജോലിയുടെ പരമാവധി മതിൽ സമയം കവിഞ്ഞാലും രേഖപ്പെടുത്തപ്പെടും. ഈ
PMC_MAX_WALL_TIME എൻവയോൺമെന്റ് വേരിയബിൾ ഉപയോഗിച്ചും മൂല്യം സജ്ജമാക്കാൻ കഴിയും.

--per-task-stdio
ഓരോ ടാസ്‌ക്കിനും പകരം ഒരു .out.XXX, ഒരു .err.XXX ഫയലുകൾ സൃഷ്‌ടിക്കാൻ ഇത് PMC കാരണമാകുന്നു
റൈറ്റിംഗ് ടാസ്‌ക് stdout/stderr-ലേക്ക് --stdout ഒപ്പം --stderr. ഫയലുകളുടെ പേര്
"TASKNAME.out.XXX", "TASKNAME.err.XXX", ഇവിടെ "TASKNAME" എന്നത് ടാസ്‌ക്കിന്റെ പേരാണ്
DAG-ൽ നിന്നും "XXX" എന്നത് ഓരോ ടാസ്‌ക് ചെയ്യുമ്പോഴും വർദ്ധിക്കുന്ന ഒരു ശ്രേണി സംഖ്യയാണ്
ശ്രമിച്ചു. ഈ ഓപ്ഷൻ മൂല്യങ്ങളെ അസാധുവാക്കുന്നു --stdout ഒപ്പം --stderr. ഈ വാദം
ഡീബഗ്ഗിംഗ് സുഗമമാക്കുന്നതിന് PMC-മാത്രം മോഡിൽ വർക്ക്ഫ്ലോകൾ ആസൂത്രണം ചെയ്യുമ്പോൾ പെഗാസസ് ഉപയോഗിക്കുന്നു
നിരീക്ഷണവും.

--ജോബ്സ്റ്റേറ്റ്-ലോഗ്
ഈ ഓപ്‌ഷൻ വർക്ക്ഫ്ലോയ്‌ക്കായി ഒരു jobstate.log ഫയൽ സൃഷ്‌ടിക്കാൻ PMC-യെ പ്രേരിപ്പിക്കുന്നു. ഫയൽ ആണ്
"jobstate.log" എന്ന് നാമകരണം ചെയ്‌ത് DAG ഫയൽ ഉള്ള അതേ ഡയറക്‌ടറിയിൽ സ്ഥാപിച്ചിരിക്കുന്നു
സ്ഥിതി ചെയ്യുന്നത്. ഫയൽ നിലവിലുണ്ടെങ്കിൽ, PMC നിലവിലുള്ള ഫയലിലേക്ക് പുതിയ വരികൾ കൂട്ടിച്ചേർക്കുന്നു.
പിഎംസി-മാത്രം മോഡിൽ വർക്ക്ഫ്ലോകൾ പ്ലാൻ ചെയ്യുമ്പോൾ പെഗാസസ് ഈ ഓപ്ഷൻ ഉപയോഗിക്കുന്നു
നിരീക്ഷണം സുഗമമാക്കുക.

--monitord-hack
ഈ ഓപ്‌ഷൻ വർക്ക്ഫ്ലോയ്‌ക്കായി PMC ഒരു .dagman.out ഫയൽ സൃഷ്‌ടിക്കുന്നതിന് കാരണമാകുന്നു. ഈ ഫയൽ
Condor DAGMan സൃഷ്ടിച്ച .dagman.out ഫയലിന്റെ ഉള്ളടക്കം അനുകരിക്കുന്നു. പോയിന്റ്
ഇത് DAGMan-മായി ഇടപെടുന്നു എന്ന് കരുതി മോണിറ്ററെ കബളിപ്പിക്കുക എന്നതാണ് ഈ ഓപ്ഷൻ
ഇത് STAMPEDE ഡാറ്റാബേസ് പോപ്പുലേറ്റ് ചെയ്യുന്നതിന് ഉചിതമായ ഇവന്റുകൾ സൃഷ്ടിക്കും
നിരീക്ഷണ ഉദ്ദേശ്യങ്ങൾ. ഫയലിന് "DAG.dagman.out" എന്ന് പേരിട്ടു, ഇവിടെ "DAG" ആണ് പാതയിലേക്കുള്ള പാത
PMC DAG ഫയൽ.

--no-resource-log
എ സൃഷ്ടിക്കരുത് workflow.dag.resource വർക്ക്ഫ്ലോയ്ക്കുള്ള ഫയൽ.

--no-sleep-on-recv
സന്ദേശം സ്വീകരിക്കുന്നതിന് നിദ്ര() ഉപയോഗിച്ച് പോളിംഗ് ഉപയോഗിക്കരുത്. (കാണുക അറിയാവുന്ന പ്രശ്നങ്ങൾ: സിപിയു
ഉപയോഗം)

--maxfds
I/O-യ്‌ക്കായി മാസ്റ്ററിന് തുറന്നിടാൻ കഴിയുന്ന പരമാവധി ഫയൽ ഡിസ്ക്രിപ്റ്ററുകൾ സജ്ജമാക്കുക
കൈമാറുന്നു. ഡിഫോൾട്ടായി ഈ മൂല്യം മൂല്യത്തെ അടിസ്ഥാനമാക്കി യാന്ത്രികമായി സജ്ജീകരിച്ചിരിക്കുന്നു
getrlimit(RLIMIT_NOFILE). മൂല്യം കുറഞ്ഞത് 1 ആയിരിക്കണം, അതിൽ കൂടുതലാകരുത്
RLIMIT_NOFILE.

--ബന്ധം നിലനിർത്തുക
ഡിഫോൾട്ടായി പിഎംസി സിപിയുവും മെമ്മറി അഫിനിറ്റിയും പുനഃസജ്ജമാക്കാൻ ശ്രമിക്കുന്നു. അത് ഉറപ്പാക്കാനാണിത്
ലഭ്യമായ എല്ലാ CPU-കളും മെമ്മറിയും ഇല്ലാത്ത സിസ്റ്റങ്ങളിൽ PMC ടാസ്‌ക്കുകൾക്ക് ഉപയോഗിക്കാനാകും
ശരിയായി ക്രമീകരിച്ചു. ഈ ഫ്ലാഗ് പിഎംസിയോട് അഫിനിറ്റി ക്രമീകരണങ്ങൾ പാരമ്പര്യമായി നിലനിർത്താൻ പറയുന്നു
അതിന്റെ രക്ഷിതാവ്. പിഎംസി കംപൈൽ ചെയ്താൽ മാത്രമേ മെമ്മറി പോളിസി ക്ലിയർ ചെയ്യാനാകൂ എന്നത് ശ്രദ്ധിക്കുക
ലിബ്നുമ. CPU അഫിനിറ്റി ഉപയോഗിച്ച് മായ്‌ച്ചു sched_setaffinity(), മെമ്മറി പോളിസി ആണ്
ഉപയോഗിച്ച് മായ്ച്ചു set_mempolicy().

DAG ഫയലുകൾ

പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ വർക്ക്ഫ്ലോകൾ പ്രകടിപ്പിക്കുന്നത് സമാനമായ ഒരു ലളിതമായ ടെക്സ്റ്റ് അധിഷ്ഠിത ഫോർമാറ്റ് ഉപയോഗിച്ചാണ്
Condor DAGMan ഉപയോഗിച്ചത്. ഒരു DAG ഫയലിൽ രണ്ട് റെക്കോർഡ് തരങ്ങൾ മാത്രമേ അനുവദിച്ചിട്ടുള്ളൂ: TASK
ഒപ്പം എഡ്ജ്. DAG-യിലെ ഏതെങ്കിലും ശൂന്യമായ വരികൾ (എല്ലാ വൈറ്റ്‌സ്‌പെയ്‌സ് പ്രതീകങ്ങളുള്ള വരികളും) അവഗണിക്കപ്പെടും,
# ൽ ആരംഭിക്കുന്ന ഏതൊരു വരിയും പോലെ (ഒരു വരിയുടെ തുടക്കത്തിൽ മാത്രമേ # ദൃശ്യമാകൂ എന്നത് ശ്രദ്ധിക്കുക,
മധ്യത്തിലല്ല).

എ യുടെ ഫോർമാറ്റ് TASK റെക്കോർഡ് ഇതാണ്:

"ടാസ്ക്" ഐഡി [ഓപ്ഷനുകൾ...] എക്സിക്യൂട്ടബിൾ [ആർഗ്യുമെന്റുകൾ...]

എവിടെ id ടാസ്ക്കിന്റെ ഐഡി ആണ്, ഓപ്ഷനുകൾ ടാസ്‌ക് ഓപ്ഷനുകളുടെ ഒരു ലിസ്റ്റ് ആണ്, എക്സിക്യൂട്ടബിൾ പാതയാണ്
പ്രവർത്തിപ്പിക്കാനുള്ള എക്സിക്യൂട്ടബിൾ അല്ലെങ്കിൽ സ്ക്രിപ്റ്റിലേക്ക്, ഒപ്പം വാദങ്ങൾ... എന്നതിന്റെ സ്‌പേസ്-വേർതിരിക്കപ്പെട്ട പട്ടികയാണ്
ടാസ്ക്കിലേക്ക് കൈമാറാനുള്ള വാദങ്ങൾ. ഒരു ഉദാഹരണം ഇതാണ്:

ടാസ്‌ക് t01 -m 10 -c 2 /bin/program -a -b

ഈ ഉദാഹരണം ഒരു ടാസ്ക് വ്യക്തമാക്കുന്നു t01 പ്രവർത്തിക്കാൻ 10 MB മെമ്മറിയും 2 CPU-കളും ആവശ്യമാണ്
/ബിൻ/പ്രോഗ്രാം വാദങ്ങൾക്കൊപ്പം -a ഒപ്പം -b. ലഭ്യമായ ടാസ്ക് ഓപ്ഷനുകൾ ഇവയാണ്:

-m M, --അഭ്യർത്ഥന-ഓർമ്മ M
ടാസ്‌ക്കിന് ആവശ്യമായ മെമ്മറിയുടെ അളവ് MB-യിൽ. ഡിഫോൾട്ട് 0 ആണ്, അതായത് മെമ്മറി
ഈ ടാസ്ക്കിലേക്ക് പരിഗണിക്കപ്പെടുന്നില്ല. ഈ ഓപ്‌ഷൻ DAX-ൽ ജോലിക്കായി സജ്ജീകരിക്കാം
പെഗാസസ്::pmc_request_memory പ്രൊഫൈൽ വ്യക്തമാക്കുന്നു. (കാണുക വിഭവ-അധിഷ്ഠിത ഷെഡ്യൂളിംഗ്)

-c N, --request-cpus N
ടാസ്‌ക്കിന് ആവശ്യമായ CPU-കളുടെ എണ്ണം. ഡിഫോൾട്ട് 1 ആണ്, അത് സൂചിപ്പിക്കുന്നു
ഒരു ഹോസ്റ്റിലെ സ്ലോട്ടുകളുടെ എണ്ണം ഫിസിക്കൽ CPU-കളുടെ എണ്ണത്തേക്കാൾ കുറവോ തുല്യമോ ആയിരിക്കണം
എല്ലാ സ്ലോട്ടുകളും ഉപയോഗിക്കുന്നതിന് വേണ്ടി. ഈ ഓപ്‌ഷൻ DAX-ൽ ജോലിക്കായി സജ്ജീകരിക്കാം
പെഗാസസ്::pmc_request_cpus പ്രൊഫൈൽ വ്യക്തമാക്കുന്നു. (കാണുക വിഭവ-അധിഷ്ഠിത ഷെഡ്യൂളിംഗ്)

-t T, --ശ്രമിക്കുന്നു T
ശാശ്വതമായി പരാജയപ്പെടുന്നതിന് മുമ്പ് ടാസ്‌ക് എക്‌സിക്യൂട്ട് ചെയ്യാൻ എത്ര തവണ ശ്രമിക്കണം. ഇതാണ്
എന്നതിന് തുല്യമായ ടാസ്ക്-ലെവൽ --ശ്രമിക്കുന്നു കമാൻഡ്-ലൈൻ ഓപ്ഷൻ.

-p P, --മുൻഗണന P
ചുമതലയുടെ മുൻഗണന. P ഒരു പൂർണ്ണസംഖ്യയായിരിക്കണം. വലിയ മൂല്യങ്ങൾക്ക് ഉയർന്ന മുൻഗണനയുണ്ട്.
ഡിഫോൾട്ട് 0 ആണ്. മുൻ‌ഗണനകൾ കേവലം സൂചനകൾ മാത്രമാണ്, അവ കർശനമല്ല-ഒരു ടാസ്‌ക് സാധ്യമല്ലെങ്കിൽ
ലഭ്യമായ സ്ലോട്ടുമായി പൊരുത്തപ്പെട്ടു (ഉദാ: വിഭവ ലഭ്യത കാരണം), എന്നാൽ കുറഞ്ഞ മുൻഗണന
ടാസ്ക് ചെയ്യാൻ കഴിയും, തുടർന്ന് ടാസ്ക്ക് മാറ്റിവയ്ക്കുകയും കുറഞ്ഞ മുൻഗണനയുള്ള ടാസ്ക്ക് നിർവ്വഹിക്കുകയും ചെയ്യും.
പെഗാസസ്::pmc_priority വ്യക്തമാക്കിക്കൊണ്ട് DAX-ലെ ജോലിക്കായി ഈ ഓപ്ഷൻ സജ്ജമാക്കാവുന്നതാണ്.
പ്രൊഫൈൽ.

-f VAR=FILE, --പൈപ്പ്-മുന്നോട്ട് VAR=FILE
ഫയലിലേക്ക് I/O കൈമാറുക FILE ടാസ്ക്കുമായി ആശയവിനിമയം നടത്താൻ പൈപ്പുകൾ ഉപയോഗിക്കുന്നു. പരിസ്ഥിതി
വേരിയബിൾ VAR ൽ ഒരു പൈപ്പിന്റെ ഒരു ഫയൽ ഡിസ്ക്രിപ്റ്ററിന്റെ മൂല്യത്തിലേക്ക് സജ്ജീകരിക്കും
ഡാറ്റ ലഭിക്കുന്നതിന് ടാസ്‌ക്ക് എഴുതാം FILE. ഉദാഹരണത്തിന്, ഒരു ടാസ്ക് വ്യക്തമാക്കുകയാണെങ്കിൽ: -f
FOO=/tmp/foo അപ്പോൾ ടാസ്‌ക്കിനുള്ള എൻവയോൺമെന്റ് വേരിയബിൾ FOO ഒരു നമ്പറായി സജ്ജീകരിക്കും
(ഉദാ 3) അത് /tmp/foo എന്ന ഫയലിനെ പ്രതിനിധീകരിക്കുന്നു. ഈ വാദം വ്യക്തമാക്കുന്നതിന് a
Pegasus DAX നിങ്ങൾ പെഗാസസ്::pmc_arguments പ്രൊഫൈൽ സജ്ജീകരിക്കേണ്ടതുണ്ട് (ഇതിന്റെ മൂല്യം ശ്രദ്ധിക്കുക
pmc_arguments ആർഗ്യുമെന്റിന്റെ "-f" ഭാഗം അടങ്ങിയിരിക്കണം, അതിനാൽ ഒരു സാധുവായ മൂല്യം ഇതായിരിക്കും:
-f A=/tmp/a ). (കാണുക ഐ / ഒ
ഫോർവേഡിംഗ്)

-F SRC=DEST, --ഫയൽ ഫോർവേഡ് SRC=DEST
ഫയലിലേക്ക് I/O ഫോർവേഡ് ചെയ്യുക DEST ഫയലിൽ നിന്ന് SRC,. ചുമതല പൂർത്തിയാകുമ്പോൾ, തൊഴിലാളി
എന്നതിൽ നിന്നുള്ള ഡാറ്റ വായിക്കും SRC, അത് യജമാനന് അയക്കുക, അവിടെ അത് എഴുതപ്പെടും
ഫയല് DEST. ശേഷം SRC, വായിച്ചു അത് ഇല്ലാതാക്കി. ഈ വാദം വ്യക്തമാക്കുന്നതിന് a
പെഗാസസ് DAX നിങ്ങൾ പെഗാസസ്::pmc_arguments പ്രൊഫൈൽ സജ്ജീകരിക്കേണ്ടതുണ്ട്. (കാണുക ഐ / ഒ ഫോർവേഡിംഗ്)

ഒരു ഫോർമാറ്റ് എഡ്ജ് റെക്കോർഡ് ഇതാണ്:

"EDGE" മാതാപിതാക്കളുടെ കുട്ടി

എവിടെ പാരന്റ് പാരന്റ് ടാസ്ക്കിന്റെ ഐഡിയാണ്, കൂടാതെ കുട്ടി കുട്ടിയുടെ ടാസ്ക്കിന്റെ ഐഡി ആണ്. എ
ഉദാഹരണം എഡ്ജ് റെക്കോർഡ് ഇതാണ്:

എഡ്ജ് t01 t02

ഒരു ലളിതമായ ഡയമണ്ട് ആകൃതിയിലുള്ള വർക്ക്ഫ്ലോ ഇതുപോലെ കാണപ്പെടും:

# ഡയമണ്ട്.ഡാഗ്
ടാസ്ക് എ /ബിൻ/എക്കോ "ഞാൻ ഒരു"
ടാസ്ക് ബി /ബിൻ/എക്കോ "ഞാൻ ബി"
ടാസ്ക് സി /ബിൻ/എക്കോ "ഞാൻ സി"
ടാസ്ക് ഡി /ബിൻ/എക്കോ "ഞാൻ ഡി"

എഡ്ജ് എബി
എഡ്ജ് എസി
എഡ്ജ് ബിഡി
എഡ്ജ് സിഡി

RESCUE ഫയലുകൾ

ഒരു DAG പ്രവർത്തിപ്പിക്കുമ്പോൾ പല തരത്തിലുള്ള പിശകുകൾ സംഭവിക്കാം. ഒന്നോ അതിലധികമോ ജോലികൾ ചെയ്യാം
പരാജയപ്പെടുക, MPI ജോലിയുടെ വാൾ ടൈം തീർന്നേക്കാം, പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ segfault (ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു
അല്ല), സിസ്റ്റം തകരാറിലായേക്കാം, മുതലായവ. DAG ആവശ്യമില്ലെന്ന് ഉറപ്പാക്കാൻ
ഒരു പിശകിന് ശേഷം ആദ്യം മുതൽ പുനരാരംഭിച്ചു, പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ഒരു റെസ്ക്യൂ ഫയൽ സൃഷ്ടിക്കുന്നു
ഓരോ വർക്ക്ഫ്ലോയ്ക്കും.

വർക്ക്ഫ്ലോയിലെ എല്ലാ ടാസ്ക്കുകളും ലിസ്റ്റ് ചെയ്യുന്ന ഒരു ലളിതമായ ടെക്സ്റ്റ് ഫയലാണ് റെസ്ക്യൂ ഫയൽ
വിജയകരമായി പൂർത്തിയാക്കി. ഓരോ ടാസ്‌ക് പൂർത്തിയാകുമ്പോഴും ഈ ഫയൽ അപ്‌ഡേറ്റ് ചെയ്യുകയും ഫ്ലഷ് ചെയ്യുകയും ചെയ്യുന്നു
ആനുകാലികമായി വർക്ക് ഫ്ലോ പരാജയപ്പെടുകയും ഉപയോക്താവ് അത് പുനരാരംഭിക്കുകയും ചെയ്താൽ, പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ
ഏതൊക്കെ ജോലികൾ ഇനിയും നിർവ്വഹിക്കണമെന്ന് നിർണ്ണയിക്കാനാകും. അതുപോലെ, റെസ്ക്യൂ ഫയൽ ഒരു തരത്തിലുള്ളതാണ്
വർക്ക്ഫ്ലോയ്ക്കുള്ള ഇടപാട് ലോഗ്.

റെസ്ക്യൂ ഫയലിൽ പൂജ്യമോ അതിലധികമോ പൂർത്തിയായ റെക്കോർഡുകൾ അടങ്ങിയിരിക്കുന്നു. ഈ റെക്കോർഡുകളുടെ ഫോർമാറ്റ് ഇതാണ്:

"പൂർത്തിയായി" *ടാസ്‌കിഡ്*

എവിടെ ചുമതലയുള്ള വിജയകരമായി പൂർത്തിയാക്കിയ ടാസ്ക്കിന്റെ ഐഡി ആണ്.

ഡിഫോൾട്ടായി, റെസ്ക്യൂ ഫയലുകൾക്ക് പേര് നൽകിയിരിക്കുന്നു DAGNAME.rescue എവിടെ DAGNAME ഇൻപുട്ടിലേക്കുള്ള പാതയാണ്
DAG ഫയൽ. എന്ന് വ്യക്തമാക്കി ഫയലിന്റെ പേര് മാറ്റാവുന്നതാണ് -r വാദം.

പി.എം.സി. ഒപ്പം പെഗാസസ്

ഉപയോഗിക്കുന്നു പി.എം.സി. വേണ്ടി പെഗാസസ് ടാസ്ക് ക്ലസ്റ്ററിങ്
പെഗാസസിലെ ക്ലസ്റ്റേർഡ് ജോലികൾ നിർവഹിക്കുന്നതിനുള്ള റാപ്പറായി PMC ഉപയോഗിക്കാം. ഈ മോഡിൽ
പെഗാസസ് നിരവധി ടാസ്‌ക്കുകൾ ഒരുമിച്ച് ഗ്രൂപ്പുചെയ്യുകയും അവ ഒരു ക്ലസ്റ്റേർഡ് ജോലിയായി സമർപ്പിക്കുകയും ചെയ്യുന്നു
റിമോട്ട് സിസ്റ്റം. PMC പിന്നീട് ക്ലസ്റ്ററിലെ വ്യക്തിഗത ടാസ്‌ക്കുകൾ നിർവ്വഹിക്കുകയും തിരികെ നൽകുകയും ചെയ്യുന്നു
ഫലങ്ങൾ.

പെഗാസസിലെ ക്ലസ്റ്റേർഡ് ജോലികൾക്കുള്ള ടാസ്‌ക് മാനേജരായി പിഎംസിയെ മൂന്ന് തരത്തിൽ വ്യക്തമാക്കാം:

1. പ്രോപ്പർട്ടി ഫയലിൽ ആഗോളതലത്തിൽ

ഉപയോക്താക്കൾക്ക് പ്രോപ്പർട്ടി ഫയലിൽ ഒരു പ്രോപ്പർട്ടി സജ്ജീകരിക്കാൻ കഴിയും, അത് എല്ലാ ക്ലസ്റ്റേർഡിലും കലാശിക്കുന്നു
പിഎംസി നടപ്പിലാക്കുന്ന വർക്ക്ഫ്ലോയുടെ ജോലികൾ. പെഗാസസ് പ്രോപ്പർട്ടികൾ ഫയലിൽ വ്യക്തമാക്കുക:

#PEGASUS പ്രോപ്പർട്ടീസ് ഫയൽ
pegasus.clusterer.job.aggregator=mpiexec

മുകളിലുള്ള ഉദാഹരണത്തിൽ, എല്ലാ വിദൂര സൈറ്റുകളിലെയും എല്ലാ ക്ലസ്റ്റേർഡ് ജോലികളും ഇതിലൂടെ സമാരംഭിക്കും
സൈറ്റ് കാറ്റലോഗിൽ പ്രോപ്പർട്ടി മൂല്യം അസാധുവാക്കാത്തിടത്തോളം PMC.

2. സൈറ്റ് കാറ്റലോഗിൽ പ്രൊഫൈൽ കീ "job.aggregator" സജ്ജീകരിക്കുന്നതിലൂടെ:


...
mpiexec


മുകളിലെ ഉദാഹരണത്തിൽ, ഒരു siteX-ലെ എല്ലാ ക്ലസ്റ്റേർഡ് ജോലികളും നടപ്പിലാക്കാൻ പോകുന്നത് വഴിയാണ്
പരിവർത്തന കാറ്റലോഗിൽ മൂല്യം അസാധുവാക്കാത്തിടത്തോളം PMC.

3. ട്രാൻസ്ഫോർമേഷൻ കാറ്റലോഗിൽ പ്രൊഫൈൽ കീ "job.aggregator" സജ്ജീകരിക്കുന്നതിലൂടെ:

tr B {
സൈറ്റ് സൈറ്റ്X {
pfn "/path/to/mytask"
കമാനം "x86"
OS "ലിനക്സ്"
"ഇൻസ്റ്റാൾ ചെയ്തു" എന്ന് ടൈപ്പ് ചെയ്യുക
പ്രൊഫൈൽ പെഗാസസ് "clusters.size" "3"
പ്രൊഫൈൽ പെഗാസസ് "job.aggregator" "mpiexec"
}
}

മുകളിലെ ഉദാഹരണത്തിൽ, സൈറ്റ്എക്‌സിൽ പരിവർത്തനം ചെയ്യാനുള്ള എല്ലാ ക്ലസ്റ്റേർഡ് ജോലികളും ആയിരിക്കും
പിഎംസി വഴി നടപ്പിലാക്കി.

നിങ്ങളുടെ ട്രാൻസ്ഫോർമേഷൻ കാറ്റലോഗിൽ ഒരു പെഗാസസ്::mpiexec എൻട്രി ഉണ്ടായിരിക്കേണ്ടത് സാധാരണയായി ആവശ്യമാണ്
അത് വ്യക്തമാക്കുന്നു a) റിമോട്ട് സൈറ്റിലെ PMC യിലേക്കുള്ള പാതയും b) പ്രസക്തമായ ഗ്ലോബസ് പ്രൊഫൈലുകളും
MPI ജോലിയുടെ വലുപ്പം നിയന്ത്രിക്കാൻ xcount, host_xcount, maxwalltime എന്നിവ പോലെ. ആ എൻട്രി
ഇതുപോലെ കാണപ്പെടും:

tr പെഗാസസ്::mpiexec {
സൈറ്റ് സൈറ്റ്X {
pfn "/path/to/pegasus-mpi-cluster"
കമാനം "x86"
OS "ലിനക്സ്"
"ഇൻസ്റ്റാൾ ചെയ്തു" എന്ന് ടൈപ്പ് ചെയ്യുക
പ്രൊഫൈൽ ഗ്ലോബസ് "maxwalltime" "240"
പ്രൊഫൈൽ ഗ്ലോബസ് "host_xcount" "1"
പ്രൊഫൈൽ ഗ്ലോബസ് "xcount" "32"
}
}

ഈ പരിവർത്തന കാറ്റലോഗ് എൻട്രി വ്യക്തമാക്കിയിട്ടില്ലെങ്കിൽ, പെഗാസസ് ഒരു സൃഷ്ടിക്കാൻ ശ്രമിക്കും
സൈറ്റിൽ വ്യക്തമാക്കിയിട്ടുള്ള PEGASUS_HOME എന്ന പരിസ്ഥിതി പ്രൊഫൈലിന്റെ അടിസ്ഥാനത്തിൽ സ്ഥിരസ്ഥിതി പാത
വിദൂര സൈറ്റിനായുള്ള കാറ്റലോഗ്.

പെഗാസസിൽ തിരശ്ചീനവും ലേബൽ അധിഷ്‌ഠിതവുമായ ക്ലസ്റ്ററിംഗിനൊപ്പം PMC ഉപയോഗിക്കാനാകും, പക്ഷേ ഞങ്ങൾ
ഒരു പെഗാസസ് DAX-ന്റെ മുഴുവൻ ഉപഗ്രാഫുകളും ആകുന്നതിന് ലേബൽ അടിസ്ഥാനമാക്കിയുള്ള ക്ലസ്റ്ററിംഗ് ഉപയോഗിക്കാൻ ശുപാർശ ചെയ്യുന്നു
വർക്ക്ഫ്ലോയുടെ ഒരൊറ്റ ലെവലിനുപകരം, ഒരൊറ്റ പിഎംസി ജോലിയായി ക്ലസ്റ്റർ ചെയ്‌തു.

പെഗാസസ് പ്രൊഫൈലുകൾ വേണ്ടി പി.എം.സി.
PMC ടാസ്‌ക് ഓപ്ഷനുകളിലേക്ക് മാപ്പ് ചെയ്യുന്ന നിരവധി പെഗാസസ് പ്രൊഫൈലുകൾ ഉണ്ട്:

pmc_request_memory
ഈ പ്രൊഫൈൽ --request-memory ടാസ്‌ക് ഓപ്‌ഷൻ സജ്ജീകരിക്കാൻ ഉപയോഗിക്കുന്നു, സാധാരണയായി ഇത് വ്യക്തമാക്കും
DAX അല്ലെങ്കിൽ ട്രാൻസ്ഫോർമേഷൻ കാറ്റലോഗിൽ.

pmc_request_cpus
--request-cpus ടാസ്‌ക് ഓപ്‌ഷൻ സജ്ജീകരിക്കാൻ ഈ കീ ഉപയോഗിക്കുന്നു, ഇത് സാധാരണയായി ഇതിൽ വ്യക്തമാക്കിയിരിക്കുന്നു
DAX അല്ലെങ്കിൽ പരിവർത്തന കാറ്റലോഗ്.

pmc_priority
--priority task എന്ന ഓപ്‌ഷൻ സജ്ജീകരിക്കാൻ ഈ കീ ഉപയോഗിക്കുന്നു, ഇത് സാധാരണയായി ഇതിൽ വ്യക്തമാക്കിയിരിക്കുന്നു
DAX.

PMC ഉപയോഗിക്കുമ്പോൾ PMC യുടെ ഇൻപുട്ട് DAG സൃഷ്ടിക്കുമ്പോൾ ഈ പ്രൊഫൈലുകൾ പെഗാസസ് ഉപയോഗിക്കുന്നു
പെഗാസസിലെ ക്ലസ്റ്റേർഡ് ജോലികൾക്കായുള്ള ടാസ്‌ക് മാനേജർ.

പ്രൊഫൈലുകൾ ഇതുപോലെ DAX-ൽ വ്യക്തമാക്കാം:


-a 1 -b 2 -c 3
...
1024
4
10


ഈ ഉദാഹരണം 1GB മെമ്മറിയും 4 കോറുകളും ആവശ്യമുള്ള ഒരു PMC ടാസ്‌ക് വ്യക്തമാക്കുന്നു.
മുൻഗണന 10. ഇത് PMC DAG-ൽ ഇതുപോലെ കാണപ്പെടുന്ന ഒരു ടാസ്‌ക് നിർമ്മിക്കുന്നു:

ടാസ്‌ക് mytask_ID00000001 -m 1024 -c 4 -p 10 /path/to/mytask -a 1 -b 2 -c 3

ഉപയോഗിക്കുന്നു പി.എം.സി. വേണ്ടി The മുഴുവൻ പെഗാസസ് ഡാക്സ്
മുഴുവൻ വർക്ക്ഫ്ലോയും ഒരൊറ്റ പിഎംസി ജോലിയായി പ്രവർത്തിപ്പിക്കുന്നതിന് പെഗാസസ് കോൺഫിഗർ ചെയ്യാനും കഴിയും. ഇതിൽ
മോഡ് പെഗാസസ് മുഴുവൻ വർക്ക്ഫ്ലോയ്‌ക്കും ഒരു പി‌ബി‌എസിനുമായി ഒരൊറ്റ പി‌എം‌സി ഡി‌എജി സൃഷ്ടിക്കും
വർക്ക്ഫ്ലോ സമർപ്പിക്കാൻ ഉപയോഗിക്കാവുന്ന സ്ക്രിപ്റ്റ്.

ഒരു ടാസ്‌ക് ക്ലസ്റ്ററിംഗ് ടൂളായി പിഎംസി ഉപയോഗിക്കുന്നതിന് വിപരീതമായി, ഈ മോഡിൽ ജോലികളൊന്നുമില്ല
പിഎംസി ഇല്ലാതെ വർക്ക്ഫ്ലോ നടപ്പിലാക്കി. പോലുള്ള സഹായ ജോലികൾ ഉൾപ്പെടെ മുഴുവൻ വർക്ക്ഫ്ലോയും
ഡയറക്‌ടറി സൃഷ്‌ടിക്കലും ഫയൽ കൈമാറ്റങ്ങളും നിയന്ത്രിക്കുന്നത് PMC ആണ്. പെഗാസസ് ഇതിൽ ക്രമീകരിച്ചിട്ടുണ്ടെങ്കിൽ
മോഡ്, അപ്പോൾ DAGMan, Condor എന്നിവ ആവശ്യമില്ല.

PMC-മാത്രം മോഡിൽ പ്രവർത്തിക്കാൻ, "pegasus.code.generator" എന്ന പ്രോപ്പർട്ടി പെഗാസസിലെ "PMC" ആയി സജ്ജീകരിക്കുക.
പ്രോപ്പർട്ടികൾ ഫയൽ:

pegasus.code.generator=PMC

തത്ഫലമായുണ്ടാകുന്ന PBS ജോലി സമർപ്പിക്കുന്നതിന് നിങ്ങൾ .pbs ഫയലിൽ മാറ്റങ്ങൾ വരുത്തേണ്ടതായി വന്നേക്കാം
നിങ്ങളുടെ ക്ലസ്റ്ററിനൊപ്പം പ്രവർത്തിക്കാൻ പെഗാസസ് സൃഷ്ടിച്ചത്. ഈ മോഡ് പരീക്ഷണാത്മകമാണ്
വ്യാപകമായി ഉപയോഗിച്ചിട്ടില്ല.

ലോഗിംഗ്

സ്ഥിരസ്ഥിതിയായി, എല്ലാ ലോഗിംഗ് സന്ദേശങ്ങളും stderr-ലേക്ക് പ്രിന്റ് ചെയ്യുന്നു. ഉപയോഗിച്ച് ലോഗിംഗ് ഉയർത്തുകയാണെങ്കിൽ
-v അപ്പോൾ നിങ്ങൾക്ക് തൊഴിലാളികളിൽ നിന്ന് ഒരുപാട് stderr ലേക്ക് ഫോർവേഡ് ചെയ്യപ്പെടാം
മാസ്റ്റർ.

തീവ്രതയുടെ ക്രമത്തിലുള്ള ലോഗ് ലെവലുകൾ ഇവയാണ്: മാരകമായ, പിശക്, മുന്നറിയിപ്പ്, വിവരം, ഡീബഗ്, ട്രേസ്.

ഡിഫോൾട്ട് ലോഗിംഗ് ലെവൽ INFO ആണ്. ലോഗിംഗ് ലെവലുകൾ വർദ്ധിപ്പിക്കാൻ കഴിയും -v ഒപ്പം
കൂടെ കുറഞ്ഞു -q.

TASK സ്റ്റേഡിയം

സ്ഥിരസ്ഥിതിയായി ടാസ്‌ക്കുകളുടെ stdout ഉം stderr ഉം മാസ്റ്ററുടെ stdout-ലേക്ക് റീഡയറക്‌ട് ചെയ്യപ്പെടും.
stderr. ഉപയോഗിച്ച് നിങ്ങൾക്ക് ഈ ഫയലുകളുടെ പാത മാറ്റാം -o ഒപ്പം -e വാദങ്ങൾ. നിങ്ങൾക്കും കഴിയും
ഉപയോഗിച്ച് ഓരോ ടാസ്‌ക്കും stdio ഫയലുകൾ പ്രവർത്തനക്ഷമമാക്കുക --per-task-stdio വാദം. ഓരോ ജോലിയും ആണെങ്കിൽ ശ്രദ്ധിക്കുക
stdio ഫയലുകൾ ഉപയോഗിക്കുന്നില്ല, തുടർന്ന് എല്ലാ തൊഴിലാളികളുടെയും stdio ഒന്നായി ഒന്നായി ലയിപ്പിക്കും
അവസാനം മാസ്റ്ററുടെ പിശക് ഫയൽ, അതിനാൽ വ്യത്യസ്ത തൊഴിലാളികളിൽ നിന്നുള്ള I/O ഇടപെടില്ല,
എന്നാൽ ഓരോ തൊഴിലാളിയിൽ നിന്നുമുള്ള I/O അത് സൃഷ്ടിച്ച ക്രമത്തിൽ ദൃശ്യമാകും. എന്നതും ശ്രദ്ധിക്കുക,
എന്തെങ്കിലും കാരണത്താൽ ജോലി പരാജയപ്പെടുകയാണെങ്കിൽ, ഔട്ട്പുട്ടുകൾ ലയിപ്പിക്കില്ല, പകരം ഉണ്ടാകും
DAGFILE.out.X, DAGFILE.err.X എന്നിങ്ങനെ പേരുള്ള ഓരോ തൊഴിലാളിക്കും ഒരു ഫയൽ, ഇവിടെ DAGFILE ആണ് പാത
ഇൻപുട്ടിലേക്ക് DAG, ഒപ്പം X തൊഴിലാളിയുടെ റാങ്കാണ്.

HOST, സ്ക്രിപ്റ്റുകൾ

ഒരു ഹോസ്റ്റ് സ്ക്രിപ്റ്റ് ഒരു ഷെൽ സ്ക്രിപ്റ്റ് അല്ലെങ്കിൽ എക്സിക്യൂട്ടബിൾ ആണ് പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ഓരോന്നിലും ലോഞ്ച് ചെയ്യുന്നു
അത് പ്രവർത്തിക്കുന്ന അദ്വിതീയ ഹോസ്റ്റ്. പോലുള്ള സഹായ സേവനങ്ങൾ ആരംഭിക്കാൻ അവ ഉപയോഗിക്കാം
memcached, ഒരു വർക്ക്ഫ്ലോയിലെ ജോലികൾ ആവശ്യപ്പെടുന്നു.

ഒന്നുകിൽ ഉപയോഗിച്ചാണ് ഹോസ്റ്റ് സ്ക്രിപ്റ്റുകൾ വ്യക്തമാക്കുന്നത് --ഹോസ്റ്റ്-സ്ക്രിപ്റ്റ് വാദം അല്ലെങ്കിൽ PMC_HOST_SCRIPT
എൻവയോൺമെന്റ് വേരിയബിൾ.

എപ്പോഴാണ് ഹോസ്റ്റ് സ്ക്രിപ്റ്റ് ആരംഭിക്കുന്നത് പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ആരംഭിക്കുന്നു, ഒരു എക്സിറ്റ്കോഡ് ഉപയോഗിച്ച് പുറത്തുകടക്കണം
ഏതെങ്കിലും ടാസ്‌ക്കുകൾ എക്‌സിക്യൂട്ട് ചെയ്യുന്നതിന് മുമ്പ് 0. ഹോസ്റ്റ് സ്‌ക്രിപ്റ്റ് പൂജ്യമല്ലാത്ത എക്‌സിറ്റ് കോഡ് നൽകുന്നുവെങ്കിൽ,
അപ്പോൾ വർക്ക്ഫ്ലോ നിർത്തലാക്കും. ഏത് സജ്ജീകരണവും ചെയ്യാൻ ഹോസ്റ്റ് സ്ക്രിപ്റ്റിന് 60 സെക്കൻഡ് നൽകിയിരിക്കുന്നു
ആവശ്യമാണ്. 60 സെക്കൻഡിനുള്ളിൽ അത് പുറത്തുകടന്നില്ലെങ്കിൽ, ഒരു SIGALRM സിഗ്നൽ ഡെലിവർ ചെയ്യപ്പെടും
പ്രോസസ്സ്, അത് കൈകാര്യം ചെയ്തില്ലെങ്കിൽ, പ്രക്രിയ അവസാനിപ്പിക്കാൻ ഇടയാക്കും.

വർക്ക്ഫ്ലോ പൂർത്തിയാകുമ്പോൾ, പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ഹോസ്റ്റിന് ഒരു SIGTERM സിഗ്നൽ നൽകും
സ്ക്രിപ്റ്റ് പ്രോസസ് ഗ്രൂപ്പ്. ഹോസ്റ്റ് സ്ക്രിപ്റ്റ് പ്രവർത്തിപ്പിക്കുന്ന ഏതൊരു ചൈൽഡ് പ്രോസസും സ്വീകരിക്കും
അവർ സ്വന്തം പ്രോസസ്സ് ഗ്രൂപ്പ് സൃഷ്ടിച്ചില്ലെങ്കിൽ ഈ സിഗ്നൽ. എന്തെങ്കിലും പ്രക്രിയകൾ അവശേഷിക്കുന്നുണ്ടെങ്കിൽ
ഈ സിഗ്നൽ ലഭിക്കുന്നതിന്, അവർക്ക് പുറത്തുകടക്കാൻ കുറച്ച് നിമിഷങ്ങൾ നൽകും, അപ്പോൾ അവർ ആയിരിക്കും
SIGKILL അയച്ചു. ഹോസ്റ്റ് സ്ക്രിപ്റ്റ് വഴി ആരംഭിക്കുന്ന പ്രക്രിയകൾ ഇതിലൂടെ സാധ്യമാണ്
വർക്ക്ഫ്ലോ അവസാനിപ്പിച്ച വിവരം അറിയിച്ചു.

വിഭവ-അധിഷ്ഠിത ഷെഡ്യൂളിംഗ്

ഉയർന്ന പ്രവർത്തനക്ഷമതയുള്ള കമ്പ്യൂട്ടിംഗ് റിസോഴ്‌സുകൾക്ക് സിപിയുകൾക്കും മെമ്മറിയുടെ അനുപാതം കുറവാണ്. ഒരേ സമയത്ത്
സമയം, വർക്ക്ഫ്ലോ ജോലികൾക്ക് പലപ്പോഴും ഉയർന്ന മെമ്മറി ആവശ്യകതകൾ ഉണ്ട്. പലപ്പോഴും, മെമ്മറി ആവശ്യകതകൾ
ഒരു വർക്ക്ഫ്ലോ ടാസ്‌ക്കിന്റെ, തന്നിരിക്കുന്ന ഹോസ്റ്റിൽ ഓരോ സിപിയുവിനും ലഭ്യമായ മെമ്മറിയുടെ അളവ് കവിയുന്നു. പോലെ
തൽഫലമായി, പ്രവർത്തിക്കാൻ ആവശ്യമായ മെമ്മറി ശൂന്യമാക്കുന്നതിന് ചില സിപിയുകൾ പ്രവർത്തനരഹിതമാക്കേണ്ടത് ആവശ്യമായി വന്നേക്കാം
ചുമതലകൾ. അതുപോലെ, പല കോഡുകൾക്കും മൾട്ടികോർ ഹോസ്റ്റുകൾക്കുള്ള പിന്തുണയുണ്ട്. ആ സാഹചര്യത്തിൽ അത്
പ്രവർത്തിക്കുന്ന ജോലികൾക്ക് ആവശ്യമായ കോറുകളുടെ എണ്ണം ഉറപ്പാക്കാൻ കാര്യക്ഷമതയ്ക്ക് ആവശ്യമാണ്
ഒരു ഹോസ്റ്റിൽ, ആ ഹോസ്റ്റിൽ ലഭ്യമായ കോറുകളുടെ എണ്ണത്തിൽ കവിയരുത്.

ഈ പ്രക്രിയ കൂടുതൽ കാര്യക്ഷമമാക്കുന്നതിന്, പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ റിസോഴ്സ്-ബേസ്ഡ് പിന്തുണയ്ക്കുന്നു
ഷെഡ്യൂളിംഗ്. റിസോഴ്സ് അടിസ്ഥാനമാക്കിയുള്ള ഷെഡ്യൂളിംഗിൽ, വർക്ക്ഫ്ലോയിലെ ടാസ്ക്കുകൾക്ക് എത്രയെന്ന് വ്യക്തമാക്കാൻ കഴിയും
മെമ്മറിയും അവയ്ക്ക് എത്ര CPU-കൾ ആവശ്യമാണ്, കൂടാതെ പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ അങ്ങനെ അവരെ ഷെഡ്യൂൾ ചെയ്യും
തന്നിരിക്കുന്ന ഹോസ്റ്റിൽ പ്രവർത്തിക്കുന്ന ടാസ്‌ക്കുകൾ ഫിസിക്കൽ മെമ്മറിയുടെയും സിപിയുകളുടെയും അളവ് കവിയരുത്
ലഭ്യമാണ്. ഇത് പ്രാപ്തമാക്കുന്നു പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ലഭ്യമായ എല്ലാ CPU-കളും പ്രയോജനപ്പെടുത്തുന്നതിന്
ടാസ്‌ക്കുകളുടെ മെമ്മറി ആവശ്യകത കുറവാണെങ്കിൽ, ടാസ്‌ക്കുകൾ ചെയ്യുമ്പോൾ ചില സിപിയുകൾ പ്രവർത്തനരഹിതമാക്കുകയും ചെയ്യുന്നു.
മെമ്മറി ആവശ്യകത കൂടുതലാണ്. ഇത് സിംഗിൾ കോർ മിശ്രിതം ഉപയോഗിച്ച് വർക്ക്ഫ്ലോകൾ പ്രാപ്തമാക്കുന്നു
ഒരു വൈവിധ്യമാർന്ന പൂളിൽ നടപ്പിലാക്കേണ്ട മൾട്ടി-കോർ ടാസ്‌ക്കുകൾ.

അവയിലൊന്ന് എക്സിക്യൂട്ട് ചെയ്യാൻ ആവശ്യമായ മെമ്മറിയും സിപിയുവും ഉള്ള ഹോസ്റ്റുകൾ ലഭ്യമല്ലെങ്കിൽ
ഒരു വർക്ക്ഫ്ലോയിലെ ടാസ്ക്കുകൾ, തുടർന്ന് വർക്ക്ഫ്ലോ നിർത്തലാക്കും.

മെമ്മറി
ഓരോ ടാസ്ക്കിനും ആവശ്യമായ മെമ്മറിയുടെ അളവും മെമ്മറിയുടെ അളവും ഉപയോക്താക്കൾക്ക് വ്യക്തമാക്കാൻ കഴിയും
ഓരോ ഹോസ്റ്റിനും ലഭ്യമാണ്. ഏതെങ്കിലും ജോലിക്ക് ആവശ്യമായ മെമ്മറിയുടെ അളവ് ലഭ്യമായതിനേക്കാൾ കൂടുതലാണെങ്കിൽ
എല്ലാ ഹോസ്റ്റുകളുടെയും മെമ്മറി, തുടർന്ന് വർക്ക്ഫ്ലോ നിർത്തലാക്കും. സ്ഥിരസ്ഥിതിയായി, ഹോസ്റ്റ് മെമ്മറി ആണ്
യാന്ത്രികമായി നിർണ്ണയിക്കപ്പെടുന്നു, എന്നിരുന്നാലും ഉപയോക്താവിന് വ്യക്തമാക്കാൻ കഴിയും --ഹോസ്റ്റ്-മെമ്മറി "നുണ" പറയുക
പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ. ഓരോ ജോലിക്കും ആവശ്യമായ മെമ്മറിയുടെ അളവ് ഡിഎജിയിൽ വ്യക്തമാക്കിയിട്ടുണ്ട്
ഉപയോഗിച്ച് -m/--അഭ്യർത്ഥന-ഓർമ്മ വാദം (കാണുക DAG ഫയലുകൾ).

CPU- കൾ
ഉപയോക്താക്കൾക്ക് ഒരു ടാസ്‌ക്കിന് ആവശ്യമായ സിപിയുകളുടെ എണ്ണവും മൊത്തം സിപിയുകളുടെ എണ്ണവും വ്യക്തമാക്കാൻ കഴിയും
ഓരോ ഹോസ്റ്റിലും ലഭ്യമാണ്. ഒരു ടാസ്‌ക്കിന് ആവശ്യമായ CPU-കളുടെ എണ്ണം ലഭ്യമായതിനേക്കാൾ കൂടുതലാണെങ്കിൽ
എല്ലാ ഹോസ്റ്റുകളിലെയും CPU-കൾ, തുടർന്ന് വർക്ക്ഫ്ലോ നിർത്തലാക്കും. സ്ഥിരസ്ഥിതിയായി, a-യിലെ CPU-കളുടെ എണ്ണം
ഹോസ്റ്റ് സ്വയമേവ നിർണ്ണയിക്കപ്പെടുന്നു, പക്ഷേ ഉപയോക്താവിന് വ്യക്തമാക്കാൻ കഴിയും --host-cpus ഓവർ- അല്ലെങ്കിൽ
ഹോസ്റ്റിനെ സബ്‌സ്‌ക്രൈബ് ചെയ്യുക. ഓരോ ടാസ്‌ക്കിനും ആവശ്യമായ CPU-കളുടെ എണ്ണം ഇതിൽ വ്യക്തമാക്കിയിട്ടുണ്ട്
DAG ഉപയോഗിക്കുന്നത് -c/--request-cpus വാദം (കാണുക DAG ഫയലുകൾ).

ഐ / ഒ ഫോർവേഡിംഗ്

ധാരാളം ചെറിയ ടാസ്ക്കുകളുള്ള വർക്ക്ഫ്ലോകളിൽ, ആ ടാസ്ക്കുകൾ എഴുതിയ I/O എന്നത് സാധാരണമാണ്
വളരെ ചെറുതായിരിക്കാൻ. ഉദാഹരണത്തിന്, ഒരു വർക്ക്ഫ്ലോയ്ക്ക് 10,000 ടാസ്ക്കുകൾ ഉണ്ടായിരിക്കാം, ഓരോന്നും കുറച്ച് കെബി എഴുതുന്നു
ഡാറ്റയുടെ. സാധാരണഗതിയിൽ, ഓരോ ടാസ്‌ക്കും അതിന്റേതായ ഫയലിലേക്ക് എഴുതുന്നു, അതിന്റെ ഫലമായി 10,000 ഫയലുകൾ ലഭിക്കും. ഈ ഐ/ഒ
പല സമാന്തര ഫയൽ സിസ്റ്റങ്ങളിലും പാറ്റേൺ വളരെ കാര്യക്ഷമമല്ല, കാരണം അതിന് ഫയൽ ആവശ്യമാണ്
നിരവധി മെറ്റാഡാറ്റ പ്രവർത്തനങ്ങൾ കൈകാര്യം ചെയ്യുന്നതിനുള്ള സിസ്റ്റം, പലതിലും തടസ്സം സൃഷ്ടിക്കുന്നു
സമാന്തര ഫയൽ സിസ്റ്റങ്ങൾ.

ഈ പ്രശ്നം കൈകാര്യം ചെയ്യാനുള്ള ഒരു മാർഗ്ഗം എല്ലാ 10,000 ടാസ്ക്കുകളും ഒരൊറ്റ ഫയലിലേക്ക് എഴുതുക എന്നതാണ്. ദി
ഈ സമീപനത്തിന്റെ പ്രശ്നം, ആ ടാസ്‌ക്കുകൾ അവയുടെ ആക്‌സസ് സമന്വയിപ്പിക്കേണ്ടതുണ്ട് എന്നതാണ്
POSIX ലോക്കുകളോ മറ്റേതെങ്കിലും മ്യൂച്വൽ ഒഴിവാക്കൽ സംവിധാനമോ ഉപയോഗിക്കുന്ന ഫയൽ. അല്ലെങ്കിൽ, എഴുതുന്നു
വ്യത്യസ്‌ത ടാസ്‌ക്കുകളിൽ നിന്ന് ഏകപക്ഷീയമായ ക്രമത്തിൽ ഇന്റർലീവ് ചെയ്‌തേക്കാം, ഇത് ഉപയോഗശൂന്യമായ ഡാറ്റയിലേക്ക് നയിച്ചേക്കാം.

ഈ ഉപയോഗ സാഹചര്യം പരിഹരിക്കുന്നതിനായി PMC ഞങ്ങൾ "I/O ഫോർവേഡിംഗ്" എന്ന് വിളിക്കുന്ന ഒരു സവിശേഷത നടപ്പിലാക്കുന്നു.
I/O ഫോർവേഡിംഗ് ഒരു പിഎംസി ജോലിയിലെ ഓരോ ടാസ്‌ക്കും ഒരു അനിയന്ത്രിതമായ നമ്പറിലേക്ക് ഡാറ്റ എഴുതാൻ പ്രാപ്തമാക്കുന്നു
സുരക്ഷിതമായ രീതിയിൽ ഫയലുകൾ പങ്കിട്ടു. PMC വർക്കർ പ്രോസസ്സുകൾ ഡാറ്റ ശേഖരിക്കുന്നതിലൂടെയാണ് ഇത് ചെയ്യുന്നത്
ടാസ്‌ക് എഴുതിയത്, MPI സന്ദേശമയയ്‌ക്കൽ ഉപയോഗിച്ച് അതിവേഗ നെറ്റ്‌വർക്കിലൂടെ അയയ്‌ക്കുക
PMC മാസ്റ്റർ പ്രോസസ്സ്, അവിടെ അത് ഔട്ട്പുട്ട് ഫയലിലേക്ക് എഴുതുന്നു. ഒരു പ്രക്രിയ നടത്തുന്നതിലൂടെ (ദി
പിഎംസി മാസ്റ്റർ പ്രോസസ്സ്) പല സമാന്തര ടാസ്ക്കുകളിൽ നിന്നും എല്ലാ ഐ/ഒയും ഫയലിലേക്ക് എഴുതാം
സമന്വയിപ്പിച്ച് ഫയലുകളിലേക്ക് സുരക്ഷിതമായി എഴുതുന്നു.

പിഎംസിയിൽ I/O ഫോർവേഡിംഗ് ഉപയോഗിക്കുന്നതിന് രണ്ട് വ്യത്യസ്ത വഴികളുണ്ട്: പൈപ്പുകളും ഫയലുകളും. പൈപ്പുകൾ കൂടുതലാണ്
കാര്യക്ഷമമാണ്, പക്ഷേ ഫയലുകൾ ഉപയോഗിക്കാൻ എളുപ്പമാണ്.

ഐ / ഒ കൈമാറുന്നു ഉപയോഗിച്ച് പൈപ്പുകൾ
പിഎംസി വർക്കർ പ്രോസസുകൾ ഓരോ ടാസ്ക്കിൽ നിന്നും ഡാറ്റ ശേഖരിക്കുന്നതിലൂടെ പൈപ്പുകൾ ഉപയോഗിച്ച് ഐ/ഒ ഫോർവേഡിംഗ് പ്രവർത്തിക്കുന്നു
UNIX പൈപ്പുകൾ ഉപയോഗിക്കുന്നു. ഈ സമീപനം ഫയൽ അടിസ്ഥാനമാക്കിയുള്ള സമീപനത്തേക്കാൾ കൂടുതൽ കാര്യക്ഷമമാണ്, പക്ഷേ അത്
ടാസ്‌ക്കിന്റെ കോഡ് മാറ്റേണ്ടതായതിനാൽ ടാസ്‌ക്ക് പകരം പൈപ്പിലേക്ക് എഴുതുന്നു
ഒരു സാധാരണ ഫയൽ.

ഒരു പിഎംസി ടാസ്‌ക് ഫോർവേഡിംഗ് I/O ഉപയോഗിക്കുന്നതിന്, ഇത് വ്യക്തമാക്കേണ്ടതുണ്ട് -f/--പൈപ്പ് മുന്നോട്ട്
ഡാറ്റ ഫോർവേഡ് ചെയ്യുന്നതിനുള്ള ഫയലിന്റെ പേരും ഒരു പേരിന്റെ പേരും വ്യക്തമാക്കുന്നതിനുള്ള വാദം
എൻവയോൺമെന്റ് വേരിയബിൾ, അതിലൂടെ പിഎംസി വർക്കർ പ്രോസസ്സിന് ഫയലിനെക്കുറിച്ച് അറിയിക്കാനാകും
പൈപ്പിനുള്ള ഡിസ്ക്രിപ്റ്റർ.

ഉദാഹരണത്തിന്, രണ്ട് ഫയലുകളിലേക്ക് ഡാറ്റ ഫോർവേഡ് ചെയ്യേണ്ട ഒരു ടാസ്ക് "mytask" ഉണ്ടെങ്കിൽ:
"myfile.a", "myfile.b" എന്നിവ ഇതുപോലെ കാണപ്പെടും:

ടാസ്‌ക് mytask -f A=/tmp/myfile.a -f B=/tmp/myfile.b /bin/mytask

/bin/mytask പ്രോസസ്സ് ആരംഭിക്കുമ്പോൾ അതിന്റെ പരിതസ്ഥിതിയിൽ രണ്ട് വേരിയബിളുകൾ ഉണ്ടാകും: "A=3"
കൂടാതെ "B=4", ഉദാഹരണത്തിന്. ഈ വേരിയബിളുകളുടെ മൂല്യം ഫയൽ ഡിസ്ക്രിപ്റ്റർ നമ്പറാണ്
അനുബന്ധ ഫയലുകൾ. ഈ സാഹചര്യത്തിൽ, ടാസ്ക് "/tmp/myfile.a" എന്നതിലേക്ക് എഴുതാൻ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, അത് ലഭിക്കുന്നു
എൻവയോൺമെന്റ് വേരിയബിളായ "A" യുടെ മൂല്യം, ആ ഡിസ്ക്രിപ്റ്റർ നമ്പറിൽ കോളുകൾ റൈറ്റ്(). സിയിൽ
അതിനുള്ള കോഡ് ഇതുപോലെ കാണപ്പെടുന്നു:

char *A = getenv("A");
int fd = atoi(A);
ചാർ *സന്ദേശം = "ഹലോ, വേൾഡ്\n";
എഴുതുക(fd, സന്ദേശം, strlen(സന്ദേശം));

ചില പ്രോഗ്രാമിംഗ് ഭാഷകളിൽ ഒരു ഫയൽ ഡിസ്ക്രിപ്റ്ററിലേക്ക് നേരിട്ട് എഴുതാൻ കഴിയില്ല.
ഉദാഹരണത്തിന്, ഫോർട്രാൻ, ഫയൽ ഡിസ്ക്രിപ്റ്ററുകൾ ഉപയോഗിക്കുന്നതിന് പകരം യൂണിറ്റ് നമ്പർ പ്രകാരമുള്ള ഫയലുകളെ സൂചിപ്പിക്കുന്നു. ഇൻ
ഈ ഭാഷകളിൽ നിങ്ങൾക്ക് CI/O ഫംഗ്‌ഷനുകൾ നിങ്ങളുടെ ബൈനറിയിലേക്ക് ലിങ്ക് ചെയ്‌ത് അവയിൽ നിന്ന് വിളിക്കാം
മറ്റ് ഭാഷയിൽ എഴുതിയ ദിനചര്യകൾ, അല്ലെങ്കിൽ നിങ്ങൾക്ക് Linux-ൽ ഒരു പ്രത്യേക ഫയൽ തുറക്കാൻ കഴിയും / proc
നിങ്ങൾ ആക്സസ് ചെയ്യാൻ ആഗ്രഹിക്കുന്ന പൈപ്പിലേക്ക് മറ്റൊരു ഹാൻഡിൽ ലഭിക്കുന്നതിന് ഫയൽ സിസ്റ്റം. രണ്ടാമത്തേതിന്, ഫയൽ
നിങ്ങൾ തുറക്കേണ്ടത് "/proc/self/fd/NUMBER" ആണ്, ഇവിടെ NUMBER ആണ് നിങ്ങളുടെ ഫയൽ വിവരണ നമ്പർ
പരിസ്ഥിതി വേരിയബിളിൽ നിന്ന് ലഭിച്ചു. മുകളിലുള്ള ഉദാഹരണത്തിന്, myfile.a എന്നതിനായുള്ള പൈപ്പ്
(പരിസ്ഥിതി വേരിയബിൾ A) "/proc/self/fd/3" ആണ്.

നിങ്ങൾ ഉപയോഗിക്കുകയാണെങ്കിൽ പെഗാസസ്-കിക്ക്സ്റ്റാർട്ട്, നിങ്ങൾ ഒരു പിഎംസി ഉപയോഗിക്കുകയാണെങ്കിൽ ഒരുപക്ഷേ ഇത് സംഭവിക്കാം
പെഗാസസ് വർക്ക്ഫ്ലോ, നിങ്ങളുടെ കോഡ് പരിഷ്‌ക്കരിക്കുന്നത് ഒഴിവാക്കാൻ നിങ്ങൾക്ക് ചെയ്യാവുന്ന ഒരു തന്ത്രമുണ്ട്. നിങ്ങൾ ഉപയോഗിക്കുക
The / proc ഫയൽ സിസ്റ്റം, മുകളിൽ വിവരിച്ചതുപോലെ, പക്ഷേ നിങ്ങൾ പെഗാസസ്-കിക്ക്സ്റ്റാർട്ടിനെ പാത്ത് കൈകാര്യം ചെയ്യാൻ അനുവദിക്കുന്നു
നിർമ്മാണം. ഉദാഹരണത്തിന്, നിങ്ങളുടെ അപ്ലിക്കേഷന് ഒരു വാദം ഉണ്ടെങ്കിൽ, -o, അത് നിങ്ങളെ അനുവദിക്കുന്നു
ഔട്ട്പുട്ട് ഫയൽ വ്യക്തമാക്കുക, തുടർന്ന് നിങ്ങളുടെ ടാസ്ക്ക് ഇതുപോലെ എഴുതാം:

ടാസ്‌ക് mytask -f A=/tmp/myfile.a /bin/pegasus-kickstart /bin/mytask -o /proc/self/fd/$A

ഈ സാഹചര്യത്തിൽ, നിങ്ങളുടെ ആപ്ലിക്കേഷൻ ആർഗ്യുമെന്റുകളിലെ $A-യെ പെഗാസസ്-കിക്ക്സ്റ്റാർട്ട് മാറ്റിസ്ഥാപിക്കും
നിങ്ങൾക്ക് ആവശ്യമുള്ള ഫയൽ ഡിസ്ക്രിപ്റ്റർ നമ്പർ. നിങ്ങളുടെ കോഡിന് ആ പാത സാധാരണയായി തുറക്കാനും അതിലേക്ക് എഴുതാനും കഴിയും
എന്നിട്ട് അതൊരു സാധാരണ ഫയൽ പോലെ ക്ലോസ് ചെയ്യുക.

ഐ / ഒ കൈമാറുന്നു ഉപയോഗിച്ച് ഫയലുകൾ
ലോക്കൽ ഡിസ്കിലെ ഫയലുകളിൽ ഡാറ്റ എഴുതുന്ന ടാസ്ക്കുകൾ ഉപയോഗിച്ച് ഫയലുകൾ ഉപയോഗിച്ച് ഐ/ഒ ഫോർവേഡിംഗ് പ്രവർത്തിക്കുന്നു.
PMC വർക്കർ പ്രോസസ്സ് ഈ ഫയലുകൾ വായിക്കുകയും മാസ്റ്ററിന് കഴിയുന്നിടത്ത് ഡാറ്റ കൈമാറുകയും ചെയ്യുന്നു
ആവശ്യമുള്ള ഔട്ട്പുട്ട് ഫയലിലേക്ക് എഴുതുക. ഈ സമീപനം ഉപയോഗിക്കുന്നതിനേക്കാൾ വളരെ കുറവായിരിക്കാം
പൈപ്പുകൾ കാരണം അതിൽ ഒരു പൈപ്പിനേക്കാൾ കൂടുതൽ ഓവർഹെഡ് ഉള്ള ഫയൽ സിസ്റ്റം ഉൾപ്പെടുന്നു.

നൽകിക്കൊണ്ട് ഫയൽ ഫോർവേഡിംഗ് പ്രവർത്തനക്ഷമമാക്കാം -F/--ഫയൽ ഫോർവേഡ് ഒരു ടാസ്ക്കിലേക്കുള്ള വാദം.

ഇതാ ഒരു ഉദാഹരണം:

ടാസ്‌ക് mytask -F /tmp/foo.0=/scratch/foo /bin/mytask -o /tmp/foo.0

ഈ സാഹചര്യത്തിൽ, mytask പുറത്തുകടക്കുമ്പോൾ വർക്കർ പ്രോസസ്സ് ഫയൽ /tmp/foo.0 കണ്ടെത്തുമെന്ന് പ്രതീക്ഷിക്കുന്നു.
വിജയകരമായി. ഇത് ആ ഫയലിൽ നിന്നുള്ള ഡാറ്റ വായിക്കുകയും അത് മാസ്റ്ററിന് എഴുതാൻ അയയ്ക്കുകയും ചെയ്യുന്നു
/സ്ക്രാച്ച്/ഫൂ എന്നതിന്റെ അവസാനം. /tmp/foo.0 വായിച്ചതിനുശേഷം അത് തൊഴിലാളി ഇല്ലാതാക്കും
പ്രക്രിയ.

ലോക്കൽ ഡിസ്ക് ക്രേ പോലുള്ള റാം ഫയൽ സിസ്റ്റമായ സിസ്റ്റങ്ങളിൽ ഈ സമീപനം നന്നായി പ്രവർത്തിക്കുന്നു
XT മെഷീനുകൾ. പകരമായി, ടാസ്ക് ഉപയോഗിക്കാം /dev/shm ഒരു സാധാരണ ലിനക്സ് ക്ലസ്റ്ററിൽ. അത് ആയിരിക്കാം
ഫയൽ സിസ്റ്റം കാഷെയ്ക്ക് കഴിയുമെങ്കിൽ ഒരു ലോക്കൽ ഡിസ്കിലും താരതമ്യേന കാര്യക്ഷമമായി പ്രവർത്തിക്കുന്നു
എല്ലാ വായനയും എഴുത്തും ഉൾക്കൊള്ളുന്നു.

ഐ / ഒ കൈമാറുന്നു മുന്നറിയിപ്പുകൾ
I/O ഫോർവേഡിംഗ് ഉപയോഗിക്കുമ്പോൾ ചില മുന്നറിയിപ്പുകൾ പരിഗണിക്കേണ്ടത് പ്രധാനമാണ്.

ആദ്യം, PMC ജോലി ഏതെങ്കിലും കാരണത്താൽ പരാജയപ്പെടുകയാണെങ്കിൽ (വർക്ക്ഫ്ലോ എപ്പോൾ നിർത്തലാക്കപ്പെടുന്നു എന്നത് ഉൾപ്പെടെ
ലംഘിക്കുന്നു --max-wall-time), തുടർന്ന് ഫോർവേഡ് ചെയ്ത I/O അടങ്ങിയ ഫയലുകൾ കേടായേക്കാം. അവർ
ഉൾപ്പെടുത്താം ഭാഗികം രേഖകള്, ഒന്നോ അതിലധികമോ ടാസ്ക്കുകളിൽ നിന്നുള്ള I/O യുടെ ഭാഗം മാത്രമായിരുന്നു എന്നാണ് അർത്ഥമാക്കുന്നത്
എഴുതിയത്, അവ ഉൾപ്പെടുത്താം പകര്പ്പ് രേഖകള്, I/O എഴുതിയത് എന്നാണ് അർത്ഥമാക്കുന്നത്, എന്നാൽ
ടാസ്‌ക് വിജയകരമാണെന്ന് അടയാളപ്പെടുത്തുന്നതിന് മുമ്പ് പിഎംസി ജോലി പരാജയപ്പെട്ടു, വർക്ക്ഫ്ലോ ആയിരുന്നു
പിന്നീട് പുനരാരംഭിച്ചു. ഈ സാഹചര്യത്തിൽ ഡാറ്റ ഫയലുകളുടെ ഉള്ളടക്കത്തെക്കുറിച്ച് ഞങ്ങൾ യാതൊരു ഉറപ്പും നൽകുന്നില്ല.
എ) കണ്ടെത്തുന്നതിനും ബി) അത്തരം പ്രശ്‌നങ്ങളിൽ നിന്ന് വീണ്ടെടുക്കുന്നതിനും ഫയലുകൾ റീഡ് ചെയ്യുന്ന കോഡാണ് ഇത്.
തനിപ്പകർപ്പുകൾ ഇല്ലാതാക്കാൻ റെക്കോർഡുകളിൽ ഒരു അദ്വിതീയ ഐഡന്റിഫയർ ഉൾപ്പെടുത്തുകയും ഇല്ലാതാക്കുകയും വേണം
ഭാഗിക രേഖകളിൽ ഒരു ചെക്ക്സം ഉൾപ്പെടുത്തണം.

രണ്ടാമതായി, നിങ്ങളുടെ ടാസ്‌ക് ധാരാളം ഡാറ്റ എഴുതാൻ പോകുകയാണെങ്കിൽ നിങ്ങൾ I/O ഫോർവേഡിംഗ് ഉപയോഗിക്കരുത്
ഫയല്. കാരണം പിഎംസി വർക്കർ പൈപ്പിൽ/ഫയലിൽ നിന്ന് ഡാറ്റ വായിച്ച് മെമ്മറിയിലേക്ക് അയയ്ക്കുന്നു
ഇത് ഒരു MPI സന്ദേശത്തിൽ, നിങ്ങൾ വളരെയധികം എഴുതുകയാണെങ്കിൽ, വർക്കർ പ്രോസസ്സ് സിസ്റ്റം പ്രവർത്തിപ്പിക്കും
ഓർമ്മയില്ല. കൂടാതെ, എല്ലാ ഡാറ്റയും ഒരൊറ്റ MPI സന്ദേശത്തിൽ ഉൾക്കൊള്ളിക്കേണ്ടതുണ്ട്. പൈപ്പ് ഫോർവേഡിംഗിൽ
വലുപ്പത്തിന് ഹാർഡ് ലിമിറ്റ് ഇല്ല, എന്നാൽ ഫയൽ ഫോർവേഡ് ചെയ്യുന്നതിൽ പരിധി 1MB ആണ്. ഞങ്ങൾക്കില്ല
വലിയ I/O-യിലെ പ്രകടനത്തെ ബെഞ്ച്മാർക്ക് ചെയ്‌തു, പക്ഷേ ഏകദേശം 1 MB-യിൽ കൂടുതലുള്ള എന്തും ഒരുപക്ഷേ ആയിരിക്കാം
വളരെയധികം. എന്തുതന്നെയായാലും, നിങ്ങളുടെ ഡാറ്റ 1MB-യേക്കാൾ വലുതാണെങ്കിൽ, I/O ഫോർവേഡ് ചെയ്യപ്പെടില്ല
എന്തായാലും ഒരു പെർഫോമൻസ് ബെനിഫിറ്റ് ഉണ്ട്.

മൂന്നാമതായി, ടാസ്‌ക് പൂജ്യമല്ലാത്ത എക്‌സിറ്റ്‌കോഡ് നൽകുകയാണെങ്കിൽ ഫയലിൽ I/O എഴുതപ്പെടില്ല. ഞങ്ങൾ
ടാസ്‌ക് പരാജയപ്പെട്ടാൽ അത് സൃഷ്‌ടിച്ച ഡാറ്റ നിങ്ങൾക്ക് ആവശ്യമില്ലെന്ന് കരുതുക.

നാലാമതായി, വ്യത്യസ്ത ടാസ്ക്കുകളിൽ നിന്നുള്ള ഡാറ്റ ഇന്റർലേവ് ചെയ്തിട്ടില്ല. എ എഴുതിയ എല്ലാ ഡാറ്റയും
നൽകിയിരിക്കുന്ന ചുമതല ഔട്ട്പുട്ട് ഫയലിൽ തുടർച്ചയായി ദൃശ്യമാകും. നിങ്ങൾക്ക് ഇപ്പോഴും ലഭിക്കുമെന്നത് ശ്രദ്ധിക്കുക
ഭാഗിക രേഖകൾ, എന്നിരുന്നാലും, ഒരു ടാസ്ക്കിൽ നിന്നുള്ള ഏതെങ്കിലും ഡാറ്റ ദൃശ്യമാകുകയാണെങ്കിൽ, അത് ഒരിക്കലും വിഭജിക്കപ്പെടില്ല
ഔട്ട്പുട്ട് ഫയലിൽ നോൺ-അടുത്തുള്ള ശ്രേണികൾ. നിങ്ങൾക്ക് 3 ടാസ്‌ക്കുകൾ ഉണ്ടെങ്കിൽ: "ഞാൻ ഒരു ടാസ്‌ക് ആണ്" എന്ന് നിങ്ങൾ
ലഭിക്കും:

ഞാൻ ഒരു ടാസ്‌ക്, ഞാൻ ഒരു ടാസ്‌ക്, ഞാൻ ഒരു ടാസ്‌ക് ആണ്

ഒപ്പം:

ഞാൻ ഒരു ടാസ്ക് ആണ്, ഞാൻ ഒരു ടാസ്ക് ആണ്

എന്നാൽ അല്ല:

I am a taskI am I am a task a task

അഞ്ചാമതായി, വ്യത്യസ്ത ടാസ്ക്കുകളിൽ നിന്നുള്ള ഡാറ്റ ഔട്ട്പുട്ട് ഫയലിൽ അനിയന്ത്രിതമായ ക്രമത്തിൽ ദൃശ്യമാകുന്നു. ഇതിനെ ആശ്രയിച്ചിരിക്കുന്നു
ഏത് ക്രമത്തിലാണ് പിഎംസി ടാസ്‌ക്കുകൾ നിർവ്വഹിച്ചത്, ഇല്ലെങ്കിൽ അത് ഏകപക്ഷീയമായിരിക്കും
ചുമതലകൾ തമ്മിലുള്ള ആശ്രിതത്വം. എഴുതിയ ഡാറ്റയിൽ മതിയായ വിവരങ്ങൾ അടങ്ങിയിരിക്കണം
നിങ്ങൾക്ക് അത് ആവശ്യമാണെങ്കിൽ അത് ഏത് ടാസ്‌ക് ആണ് നിർമ്മിച്ചതെന്ന് നിർണ്ണയിക്കാൻ നിങ്ങൾക്ക് കഴിയും. പിഎംസി ഇല്ല
ഡാറ്റയിലേക്ക് ഏതെങ്കിലും തലക്കെട്ടുകളോ ട്രെയിലറോ ചേർക്കുക.

ആറാമത്, ഒരു ടാസ്‌ക് അതിന്റെ എല്ലാ ഐ/ഒയും വിജയകരമായിരുന്നുവെങ്കിൽ മാത്രമേ അത് വിജയകരമാണെന്ന് അടയാളപ്പെടുത്തൂ
എഴുതിയത്. വർക്ക്ഫ്ലോ വിജയകരമായി പൂർത്തിയാക്കിയാൽ, I/O ഉണ്ടെന്ന് ഉറപ്പുനൽകുന്നു
എഴുതി.

ഏഴാമതായി, ഏതെങ്കിലും കാരണത്താൽ ഔട്ട്‌പുട്ട് ഫയലിലേക്ക് എഴുതാൻ മാസ്റ്ററിന് കഴിയുന്നില്ലെങ്കിൽ (ഉദാ
മാസ്റ്റർ ലക്ഷ്യസ്ഥാന ഫയലിലേക്ക് I/O എഴുതാൻ ശ്രമിക്കുന്നു, എന്നാൽ റൈറ്റ്() കോൾ ഒരു നൽകുന്നു
പിശക്) തുടർന്ന് ടാസ്‌ക് പൂജ്യമല്ലാത്ത എക്‌സിറ്റ്‌കോഡ് സൃഷ്‌ടിച്ചാലും ടാസ്‌ക് പരാജയപ്പെട്ടതായി അടയാളപ്പെടുത്തുന്നു. ഇൻ
മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, PMC ടാസ്‌ക് പരാജയപ്പെട്ടതായി അടയാളപ്പെടുത്തുമ്പോൾ പോലും നിങ്ങൾക്ക് പൂജ്യമല്ലാത്ത കിക്ക്‌സ്റ്റാർട്ട് റെക്കോർഡ് ലഭിച്ചേക്കാം.

എട്ടാമത്, പൈപ്പുകൾ എഴുതാൻ മാത്രം. നിങ്ങൾക്ക് ഫയലിൽ നിന്ന് ഡാറ്റ വായിക്കാനും എഴുതാനും ആവശ്യമുണ്ടെങ്കിൽ
ഫയൽ ഫോർവേഡിംഗ് ഉപയോഗിക്കണം, പൈപ്പ് ഫോർവേഡിംഗല്ല.

ഒമ്പതാമത്, എല്ലാ ഫയലുകളും മാസ്റ്റർ അനുബന്ധ മോഡിൽ തുറക്കുന്നു. വർക്ക്ഫ്ലോ ആണെങ്കിൽ ഇത് അങ്ങനെയാണ്
പരാജയപ്പെടുമ്പോൾ പുനരാരംഭിക്കേണ്ടതുണ്ട്, അല്ലെങ്കിൽ ഒരു ടാസ്‌ക് പരാജയപ്പെട്ടാൽ വീണ്ടും ശ്രമിച്ചാൽ, ആ ഡാറ്റ
മുമ്പ് എഴുതിയത് നഷ്ടപ്പെട്ടിട്ടില്ല. പിഎംസി ഒരിക്കലും ഫയലുകൾ വെട്ടിച്ചുരുക്കില്ല. ഇത് ഒരു കാരണമാണ്
എന്തുകൊണ്ടാണ് നിങ്ങൾക്ക് ഔട്ട്‌പുട്ട് ഫയലിൽ ഭാഗിക റെക്കോർഡുകളും ഡ്യൂപ്ലിക്കേറ്റ് റെക്കോർഡുകളും ഉണ്ടാകുന്നത്.

അവസാനമായി, ഫയൽ ഫോർവേഡിംഗിൽ, ടാസ്ക് എക്സിറ്റ് ചെയ്യുമ്പോൾ ഔട്ട്പുട്ട് ഫയൽ നീക്കം ചെയ്യപ്പെടും. നിങ്ങൾക്ക് കഴിയില്ല
നിങ്ങൾ ഒരു പങ്കിട്ട ഫയലിൽ എഴുതിയാലും അടുത്ത ടാസ്‌ക് പ്രവർത്തിക്കുമ്പോൾ അവിടെയുള്ള ഫയലിനെ ആശ്രയിക്കുക
സിസ്റ്റം.

മിസിസ്

വിഭവം വിനിയോഗം
വർക്ക്ഫ്ലോ റണ്ണിന്റെ അവസാനം, മാസ്റ്റർ റിസോഴ്സ് വിനിയോഗം റിപ്പോർട്ട് ചെയ്യും
ജോലി. എക്സിക്യൂട്ട് ചെയ്ത എല്ലാ ടാസ്ക്കുകളുടെയും മൊത്തം റൺടൈമുകൾ കൂട്ടിച്ചേർത്താണ് ഇത് ചെയ്യുന്നത് (ഉൾപ്പെടെ
പരാജയപ്പെട്ട ടാസ്‌ക്കുകൾ) കൂടാതെ ജോലി സമയത്തിന്റെ N ന്റെ മൊത്തം ഭിത്തി സമയം കൊണ്ട് ഹരിക്കുന്നു, ഇവിടെ N ആണ്
മാസ്റ്റർ ഉൾപ്പെടെയുള്ള പ്രക്രിയകളുടെ ആകെ എണ്ണം, തൊഴിലാളികളുടെ ആകെ എണ്ണം. ഇവ രണ്ടും
ഉപയോക്താക്കൾക്ക് എങ്ങനെ എന്നതിനെക്കുറിച്ച് ഒരു ആശയം ലഭിക്കുന്നതിന് വിഭവ വിനിയോഗ മൂല്യങ്ങൾ നൽകിയിരിക്കുന്നു
അവർ അനുവദിച്ച വിഭവങ്ങൾ കാര്യക്ഷമമായി ഉപയോഗിക്കുന്നു. കുറഞ്ഞ വിഭവ വിനിയോഗം
ഭാവിയിലെ റണ്ണുകളിൽ ഉപയോക്താവ് കുറച്ച് കോറുകളും ദൈർഘ്യമേറിയ വാൾ സമയവും ഉപയോഗിക്കണമെന്ന് മൂല്യങ്ങൾ നിർദ്ദേശിക്കുന്നു,
ഉയർന്ന വിഭവ വിനിയോഗ മൂല്യങ്ങൾ ഉപയോക്താവിന് കൂടുതൽ കോറുകൾ ഉപയോഗിക്കാമെന്ന് സൂചിപ്പിക്കുന്നു
ഭാവിയിൽ പ്രവർത്തിക്കുകയും ഒരു ചെറിയ മതിൽ സമയം നേടുകയും ചെയ്യുക.

അറിയപ്പെടുന്നത് ISSUES

ഫോർക്ക് () ഒപ്പം എക്സിക്()
ജോലിക്കാരന് കമ്പ്യൂട്ട് നോഡിലെ ജോലികൾ ആരംഭിക്കുന്നതിന്, കമ്പ്യൂട്ട് നോഡുകളിൽ
പിന്തുണയ്ക്കണം ഫോർക്ക് () ഒപ്പം എക്സിക്() സിസ്റ്റം കോളുകൾ. നിങ്ങളുടെ ടാർഗെറ്റ് മെഷീൻ പ്രവർത്തിക്കുകയാണെങ്കിൽ a
ഈ സിസ്റ്റം കോളുകളെ പിന്തുണയ്‌ക്കാത്ത കമ്പ്യൂട്ട് നോഡുകളിലെ സ്ട്രിപ്പ്-ഡൗൺ ഒഎസ്
പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ പ്രവർത്തിക്കില്ല.

സിപിയു ഉപയോഗം
പല MPI നടപ്പിലാക്കലുകളും ഒപ്റ്റിമൈസ് ചെയ്തതിനാൽ സന്ദേശങ്ങൾ അയയ്‌ക്കുന്നതും സ്വീകരിക്കുന്നതും തിരക്കുള്ള കാത്തിരിപ്പിന് കാരണമാകുന്നു
(അതായത്, ഉറങ്ങുന്നതിനുപകരം അയയ്‌ക്കുന്നതോ സ്വീകരിക്കുന്നതോ ആയ സന്ദേശത്തിൽ അവർ സ്പിൻ/പോൾ ചെയ്യുന്നു). എന്നാണ് ന്യായവാദം
സ്ലീപ്പിംഗ് ഓവർഹെഡ് ചേർക്കുന്നു, കൂടാതെ പല HPC സിസ്റ്റങ്ങളും ഡെഡിക്കേറ്റഡിൽ സ്പേസ് ഷെയറിംഗ് ഉപയോഗിക്കുന്നതിനാൽ
ഹാർഡ്‌വെയർ, മറ്റ് പ്രക്രിയകളൊന്നും മത്സരിക്കുന്നില്ല, അതിനാൽ ഉറങ്ങുന്നതിനുപകരം കറങ്ങാൻ കഴിയും
മെച്ചപ്പെട്ട പ്രകടനം ഉണ്ടാക്കുക. ആ നടപ്പാക്കലുകളിൽ MPI പ്രക്രിയകൾ 100% CPU-ൽ പ്രവർത്തിക്കും
അവർ ഒരു സന്ദേശത്തിനായി കാത്തിരിക്കുമ്പോൾ പോലും ഉപയോഗം. മൾട്ടികോറിന് ഇതൊരു വലിയ പ്രശ്നമാണ്
ചുമതലകൾ പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ കാരണം നിഷ്‌ക്രിയ സ്ലോട്ടുകൾ CPU ഉറവിടങ്ങൾ ഉപയോഗിക്കുന്നു. പരിഹരിക്കാൻ വേണ്ടി
ഈ പ്രശ്നം പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ പരിശോധനകൾക്കിടയിൽ ഒരു ചെറിയ കാലയളവിലേക്ക് ഉറക്കം പ്രോസസ്സ് ചെയ്യുന്നു
കാത്തിരിക്കുന്ന സന്ദേശങ്ങൾ. ഇത് ലോഡ് ഗണ്യമായി കുറയ്ക്കുന്നു, പക്ഷേ ഒരു ചെറിയ കാലതാമസത്തിന് കാരണമാകുന്നു
സന്ദേശങ്ങൾ സ്വീകരിക്കുന്നു. നിങ്ങൾ ഒരു MPI നടപ്പിലാക്കൽ ഉപയോഗിക്കുന്നുണ്ടെങ്കിൽ അത് മെസേജ് അയയ്‌ക്കുന്നതിലും
തിരക്കുള്ള കാത്തിരിപ്പിന് പകരം സ്വീകരിക്കുക, തുടർന്ന് നിങ്ങൾക്ക് ഉറക്കം പ്രവർത്തനരഹിതമാക്കാം
--no-sleep-on-recv ഓപ്ഷൻ. എങ്കിൽ യജമാനൻ എപ്പോഴും ഉറങ്ങും എന്നത് ശ്രദ്ധിക്കുക --max-wall-time is
MPI-ൽ ഒരു തടയൽ കോളിനെ തടസ്സപ്പെടുത്തുന്നതിനോ അല്ലെങ്കിൽ കാലഹരണപ്പെടുത്തുന്നതിനോ ഒരു മാർഗവുമില്ലാത്തതിനാൽ വ്യക്തമാക്കിയിരിക്കുന്നു
(ഉദാ. SIGALRM MPI_Recv EINTR തിരികെ നൽകുന്നതിന് കാരണമാകില്ല).

ENVIRONMENT വ്യത്യാസങ്ങൾ

താഴെയുള്ള എൻവയോൺമെന്റ് വേരിയബിളുകൾ കമാൻഡ്-ലൈൻ ഓപ്ഷനുകൾക്കുള്ള അപരനാമങ്ങളാണ്. പരിസ്ഥിതി ആണെങ്കിൽ
വേരിയബിൾ നിലവിലുണ്ട്, തുടർന്ന് അത് അനുബന്ധ ഓപ്ഷനായി ഡിഫോൾട്ടായി ഉപയോഗിക്കുന്നു. രണ്ടും ആണെങ്കിൽ
നിലവിൽ, കമാൻഡ്-ലൈൻ ഓപ്ഷൻ ഉപയോഗിക്കുന്നു.

PMC_HOST_SCRIPT
എന്നതിന്റെ അപരനാമം --ഹോസ്റ്റ്-സ്ക്രിപ്റ്റ് ഓപ്ഷൻ.

PMC_HOST_MEMORY
എന്നതിന്റെ അപരനാമം --ഹോസ്റ്റ്-മെമ്മറി ഓപ്ഷൻ.

PMC_HOST_CPUS
എന്നതിന്റെ അപരനാമം --host-cpus ഓപ്ഷൻ.

PMC_MAX_WALL_TIME
എന്നതിന്റെ അപരനാമം --max-wall-time ഓപ്ഷൻ.

onworks.net സേവനങ്ങൾ ഉപയോഗിച്ച് പെഗാസസ്-എംപിഐ-ക്ലസ്റ്റർ ഓൺലൈനായി ഉപയോഗിക്കുക