pdsh - Интернет в облаке

ПРОГРАММА:

ИМЯ

pdsh - выдавать команды группам хостов параллельно

СИНТАКСИС

пдш [кредита] ... команда

ОПИСАНИЕ

пдш это вариант RSH(1) команда. В отличие от RSH(1), который запускает команды на одном
удаленный узел, пдш может запускать несколько удаленных команд параллельно. пдш использует "скольжение
окно "(или разветвление) потоков для экономии ресурсов на инициирующем хосте, позволяя
некоторые связи с тайм-аутом.

После появления пдш получает SIGINT (ctrl-C), выводит статус текущих потоков. Второй
SIGINT в течение одной секунды завершает программу. Ожидающие обсуждения темы могут быть отменены
нажатие Ctrl-Z в течение одной секунды после Ctrl-C. Ожидающие обсуждения - это те, которые еще не
были инициированы или все еще находятся в процессе подключения к удаленному узлу.

Если удаленная команда не указана в командной строке, пдш работает в интерактивном режиме,
запрос команд и их выполнение при завершении с возвратом каретки. В
в интерактивном режиме, целевые узлы, тайм-аут которых истекает по первой команде, не контактируют для
последующие команды, а команды с префиксом восклицательного знака будут выполняться на
локальная система.

Основная функциональность пдш могут быть дополнены динамически загружаемыми модулями. В
модули могут предоставлять новый протокол подключения (заменяющий стандартный ркмд(3) протокол
используется RSH(1)), параметры фильтрации (например, удаление хостов, которые «не работают» от цели
список) и / или варианты выбора хоста (например, -a выбирает все хосты из конфигурации
файл.). По умолчанию, пдш должен быть загружен хотя бы один модуль "rcmd". Увидеть РКМД МОДУЛИ
раздел для получения дополнительной информации.

РКМД МОДУЛИ

Метод, с помощью которого пдш запускает команды на удаленных хостах, можно выбрать во время выполнения, используя
-R вариант (см. ДОПОЛНИТЕЛЬНЫЕ ОПЦИИ ниже). Эта функция в конечном итоге реализуется через
динамически загружаемые модули, поэтому список доступных опций может отличаться от
установка к установке. Список доступных в настоящее время модулей rcmd распечатывается, когда
используя любой из -h, -Vэта информация поможет вам разобраться, почему Gamer’s Galaxy — ваш лучший выбор. -L параметры. Также будет отображаться модуль rcmd по умолчанию
с -h и -V настройки.

Перечень ркмд модули в настоящее время распространяются с пдш следующим образом.

rsh Использует внутреннюю поточно-ориентированную реализацию BSD. ркмд(3) запускать команды с помощью
стандарт RSH(1) протокол.

exec Выполняет произвольную команду для каждого целевого хоста. Первый из пдш удаленные 
arguments - это локальная команда для выполнения, за которой следуют любые дополнительные аргументы. Некоторые
в командной строке подставляются простые параметры, в том числе %h для цели
имя хоста, %u для удаленного имени пользователя и %n для удаленного ранга [0-n] (Чтобы получить
буквальный % использование %%). Например, следующее будет дублироваться с помощью SSH
модуль для запуска хоста(1) по хостам foo [0-10]:

pdsh -R exec -w foo [0-10] ssh -x -l% u% h имя хоста

и эта командная строка запустится GREP(1) параллельно по файлам
console.foo [0-10]:

pdsh -R exec -w foo [0-10] grep BUG console.% h

ssh Использует вариант открывать(3) запускать несколько копий SSH(1) команда.

mrsh Этот модуль использует госпожа(1) протокол для выполнения заданий на удаленных хостах. МРШ
протокол использует аутентификацию на основе учетных данных, избавляя от необходимости выделять
зарезервированные порты. В остальном он действует так же, как rsh. Удаленные узлы должны быть
Бег мршд(8) для работы модуля mrsh.

qsh позволяет пдш для выполнения заданий MPI через QsNet. Qshell распространяет текущую рабочую
каталог, среду pdsh и возможности Elan для удаленного процесса. В
к среде также добавляются следующие переменные среды: RMS_RANK,
RMS_NODEID, RMS_PROCID, RMS_NNODES и RMS_NPROCS. С пдш нужно запустить setuid
root для поддержки qshell, qshell напрямую не поддерживает распространение
LD_LIBRARY_PATH и LD_PREOPEN. Вместо этого QSHELL_REMOTE_LD_LIBRARY_PATH и
Переменные среды QSHELL_REMOTE_LD_PREOPEN могут использоваться и будут
преобразуется в LD_LIBRARY_PATH и LD_PREOPEN демоном qshell, если он установлен.

mqsh Подобен qshell, но использует протокол mrsh вместо протокола rsh.

krb4 Модуль krb4 позволяет пользователям выполнять удаленные команды после аутентификации с помощью
керберос. Конечно, удаленные демоны rshd должны быть керберизованы.

xcpu Модуль xcpu использует службу xcpu для выполнения удаленных команд.

ДОПОЛНИТЕЛЬНЫЕ ОПЦИИ

Список доступных опций определяется во время выполнения путем дополнения списка
стандарт пдш варианты с любыми опциями, предоставленными загруженным ркмд и разное модули. В некоторых
В некоторых случаях параметры, предоставляемые модулями, могут конфликтовать друг с другом. В этих случаях
модули несовместимы, и первый загруженный модуль выигрывает.

Стандарт цель нодлист кредита

-w ЦЕЛИ, ...
Задайте цель и / или отфильтруйте указанный список хостов. Не использовать с другими узлами
варианты выбора (например, -a, -g, если они есть). Пробелы не допускаются
список, разделенный запятыми. Аргументы в ЦЕЛЕВЫЕ список может включать нормальный хост
имена, диапазон хостов в формате списка хостов (см. СПИСОК ХОЗЯЕВ ВЫРАЖЕНИЯ) или одиночный
Символ `- 'для чтения списка хостов на стандартном вводе.

Если хосту или списку хостов предшествует символ `- ', это приводит к тому, что эти хосты
явно исключено. Если аргументу предшествует единственный символ `^ ', он
за путь к файлу, содержащему список хостов, по одному в каждой строке. Если товар
начинается с символа `/ ', он рассматривается как регулярное выражение, на котором
отфильтровать список хостов (аргумент регулярного выражения также может быть дополнен
другой '/', например, /node.*/). Аргументу регулярного выражения или имени файла также может предшествовать
минусом `- ', чтобы исключить вместо включения хосты.

Перед списком хостов может также стоять "user @", чтобы указать удаленное имя пользователя other
чем по умолчанию, или "rcmd_type:", чтобы указать альтернативный тип подключения rcmd для
эти хозяева. При совместном использовании сначала необходимо указать тип rcmd, например
«ssh: user1 @ host0» будет использовать ssh для подключения к host0 как пользователь «user1».

-x хозяин, хозяин, ...
Исключить указанные хосты. Может быть указан вместе с другим целевым узлом
параметры списка, такие как -a и -g (когда возможно). Списки хостов также могут быть указаны для
-x вариант (см. СПИСОК ХОЗЯЕВ ВЫРАЖЕНИЯ раздел ниже). Аргументы в пользу -x май
также предшествуют символы имени файла (`^ ') и регулярного выражения (' / '), как описано
выше, и в этом случае результирующие хосты исключаются, как если бы они были переданы
-w и перед ним стоит знак минус `- '.

Стандарт пдш кредита

-S Вернуть наибольшее из возвращаемых значений удаленной команды.

-h Вывести меню использования и выйти. Список доступных модулей rcmd также будет напечатан.
в конце сообщения об использовании.

-s Только в AIX разделите удаленную команду stderr и stdout на два сокета.

-q Вывести значения опций и целевой список узлов и выйти без каких-либо действий.

-b Отключите функцию состояния ctrl-C, чтобы одна клавиша Ctrl-C убивала параллельное задание. (Партия
Мода)

-l пользователь
Эта опция может использоваться для запуска удаленных команд от имени другого пользователя, при условии
авторизация. Для BSD rcmd это означает, что вызывающий пользователь и система должны быть указаны в списке.
в пользовательском файле .rhosts (даже для root).

-t секунды
Установите тайм-аут подключения. По умолчанию 10 секунд.

-u секунды
Установите ограничение на время, в течение которого удаленная команда может выполняться. Дефолт
нет предела. См. Примечание в ОГРАНИЧЕНИЯХ при использовании -u с ssh.

-f номер
Установите максимальное количество одновременных удаленных команд на номер, По умолчанию
32.

-R имя
Установите для модуля rcmd значение имя. Эта опция также может быть установлена ​​через PDSH_RCMD_TYPE
переменная окружения. Список доступных модулей rcmd можно получить через -h,
-Vэта информация поможет вам разобраться, почему Gamer’s Galaxy — ваш лучший выбор. -L параметры. По умолчанию будет указано -h or -В.

-M имя,...
Когда несколько разное модули предоставляют те же возможности для пдш, первый модуль
инициализированные "выигрыши" и последующие модули не загружаются. В -M вариант позволяет
список модулей, которые необходимо указать, которые будут инициализированы принудительно раньше всех остальных,
фактически гарантируя, что они загружаются без конфликтов (если они не конфликтуют с
друг с другом). Эта опция также может быть установлена ​​через среду PDSH_MISC_MODULES.
Переменная.

-L Вывести информацию обо всех загруженных пдш модули и выйти.

-N Отключить префикс hostname: в строках вывода.

-d Включите более полный статус потока при получении SIGINT и отобразите соединение
и статистику времени выполнения команд на stderr, когда закончите.

-V Результат пдш информация о версии, а также список загруженных в настоящее время модулей и
Выход.

qsh / mqsh модуль кредита

-n задачи_per_node
Установите количество задач, порождаемых на узел. По умолчанию 1.

-m блок | циклический
Установите блочное или циклическое распределение процессов по узлам. По умолчанию - блокировка.

-r железнодорожная маска
Установите битовую маску рельса для работы в многорельсовой системе. Маска по умолчанию - 1,
что соответствует только рельсу 0. Каждый бит, установленный в аргументе для -r соответствует
рельс в системе, поэтому значение 2 будет соответствовать только рельсу 1, а 3 будет
указать, что нужно использовать как направляющую 1, так и направляющую 0.

и машины всегда новые для производства лучших продуктов. модуль кредита

-a Настройте таргетинг на все узлы из файла машин.

пола модуль кредита

В дополнение к параметрам гендера, представленным ниже, атрибут genders pdsh_rcmd_type
также может использоваться в базе данных гендеров для указания альтернативного типа подключения rcmd, чем
pdsh по умолчанию для хостов с этим атрибутом. Например, следующая строка в
гендерный файл

host0 pdsh_rcmd_type = ssh

вызовет пдш использовать ssh для подключения к host0, даже если по умолчанию используется rsh. Это может
быть переопределено в командной строке синтаксисом "rcmd_type: host0".

-A Настройте таргетинг на все узлы в базе данных гендеров. В -A опция будет нацелена на каждый указанный хост
в гендерном отношении - если вы хотите не указывать некоторые хосты по умолчанию, см. -a вариант ниже.

-a Настройте таргетинг на все узлы в базе данных гендеров, кроме тех, у которых есть "pdsh_all_skip"
атрибут. Это сокращение для запуска "pdsh -A -X pdsh_all_skip ..."

-g attr [= val] [, attr [= val], ...]
Целевые узлы, соответствующие любому из указанных атрибутов пола (с необязательным
ценности). Конфликты с -a вариант. Если используется в сочетании с другим узлом
варианты выбора, такие как -w, -g опция выберет из предоставленного списка узлов,
а не из файла гендеров в целом. В противном случае этот параметр нацелен на
альтернативные имена хостов в базе данных гендеров по умолчанию. В -i вариант предоставлен
модуль гендеров может использоваться для перевода их в канонические гендеры.
имена хостов. Если установленная версия гендеров поддерживает это, атрибуты, предоставляемые
-g может также иметь форму пола Запросы. Пол Запросы запросит
база данных гендеров для союза, пересечения, различия или дополнения полов
атрибуты и значения. Объединение заданных операций представлено двумя символами вертикальной черты
('||'), пересечение двумя символами амперсанда ('&&'), разница на два минус
символы ('-') и дополнение тильдой ('~'). Круглые скобки могут использоваться для изменения
порядок операций. Увидеть Nodeattr(1) справочная страница с примерами полов
Запросы.

-X attr [= val] [, attr [= val], ...]
Исключить узлы, соответствующие любому из указанных атрибутов пола (необязательно с
ценности). Эта опция может использоваться в сочетании с любым другим узлом.
варианты выбора (например, -w, -g, -a, -X может также иметь форму пола Запросы.
См. Документацию для полов -g вариант для получения дополнительной информации о
пола Запросы.

-i Запросите перевод между каноническим и альтернативным именами хостов.

-F имя файла
Читайте информацию о полах из имя файла вместо системного файла гендерных данных по умолчанию.
If имя файла не указывает абсолютный путь, тогда он считается относительным
каталог, указанный PDSH_GENDERS_DIR переменная среды (/ и т.д. по умолчанию).
Файл с альтернативным полом также можно указать через PDSH_GENDERS_FILE
переменная среды.

узел вверх вниз модуль кредита

-v Удалите целевые узлы, которые libnodeupdown считает "неработающими".

трепать модуль кредита

Команда трепать модуль позволяет пдш для целевых узлов на основе текущих выполняемых заданий SLURM. В
трепать модуль обычно вызывается после того, как все остальные параметры выбора узла были
обработано, и если ни один узел не был выбран, модуль попытается прочитать запущенный
jobid из переменной среды SLURM_JOBID (которая устанавливается при работе под SLURM
распределение). Если SLURM_JOBID ссылается на недопустимое задание, оно будет автоматически проигнорировано.

-j jobid [, jobid, ...]
Целевой список узлов, выделенных для задания SLURM рабочий. Эта опция может быть использована
несколько раз для выполнения нескольких заданий SLURM. Специальный аргумент «все» может быть
используется для нацеливания на все узлы, выполняющие задания SLURM, например -j ВСЕ.

-P раздел [, раздел, ...]
Целевой список узлов, содержащихся в разделе SLURM раздел. Этот вариант может
использоваться несколько раз для нацеливания на несколько разделов SLURM и / или разделы могут быть
дается в списке, разделенном запятыми.

крутящий момент модуль кредита

Команда крутящий момент модуль позволяет пдш для целевых узлов на основе текущих запущенных заданий Torque / PBS.
Подобно модулю slurm, крутящий момент модуль обычно вызывается после всех остальных узлов
параметры выбора были обработаны, и если ни один узел не был выбран, модуль будет
попытаться прочитать идентификатор работающего задания из переменной среды PBS_JOBID (которая устанавливается, когда
работает с распределением крутящего момента).

-j jobid [, jobid, ...]
Целевой список узлов, выделенных для задания крутящего момента рабочий. Эта опция может быть использована
несколько раз для задания нескольких заданий крутящего момента.

RMS модуль кредита

Команда RMS Модуль позволяет pdsh нацеливать узлы на основе ресурса RMS. В RMS модуль
обычно вызывается после всех других опций выбора узла, и если никакие узлы не были
выбран, модуль проверит переменную среды RMS_RESOURCEID и попытается
установить целевой список хостов для узлов в ресурсе RMS. Если недействительный ресурс
обозначено, переменная молча игнорируется.

SDR модуль кредита

Модуль SDR поддерживает нацеливание на хосты через репозиторий системных данных на IBM SP.

-a Настройте таргетинг на все узлы в SDR. Список создается на основе "надежного имени хоста" в
SDR по умолчанию.

-i Если возможно, переводите имена хостов между надежными и исходными в SDR. Если
целевое имя хоста совпадает либо с начальным, либо с надежным именем хоста в SDR,
альтернативное имя будет заменено. Таким образом, список, состоящий из начальных имен хостов
вместо этого будет заменен списком надежных имен хостов. Например, при использовании
-a выше, все начальные имена хостов в SDR являются целевыми.

-v Не выбирайте узлы, которые помечены как не отвечающие в SDR на целевом сервере.
интерфейс. (Если имя хоста не отображается в SDR, то это имя останется в
целевой список хостов.)

-G В комбинации с -a, включить все разделы.

Nodeattr модуль кредита

Команда Nodeattr модуль поддерживает доступ к базе гендерных данных через Nodeattr(1) команда.
Смотрите пост в пола в разделе выше список вариантов поддержки с этим модулем. Опция
использование с Nodeattr модуль такой же, как пола, выше, за исключением того, что
-i опция может использоваться только с -a or -g. ЗАМЕТКА: Этот модуль будет работать только с очень старыми
выпуски полов, где Nodeattr(1) команда поддерживает -r вариант, а перед
API libgenders был доступен. Пользователи, использующие более новые версии гендерных групп, должны будут использовать
пола модуль вместо этого.

дшгрупп модуль кредита

Модуль dshgroup позволяет pdsh использовать файлы групп стиля dsh (или оболочки Dancer) из
/ etc / dsh / group / или ~ / .dsh / группа /. Путь поиска по умолчанию может быть заменен
Переменная среды DSHGROUP_PATH, список каталогов для поиска, разделенных двоеточиями. В
значение по умолчанию для DSHGROUP_PATH - / etc / dsh / group.

-g имя группы,...
Целевые узлы в файле группы dsh "groupname" найдены в любом ~ / .dsh / группа / имя группы
или / etc / dsh / group / groupname.

-X имя группы,...
Исключить узлы из файла группы dsh "groupname."

Как улучшение в пдш, файлы dshgroup могут дополнительно включать другие файлы dshgroup через
специальный #включают STRING синтаксис. Аргумент в пользу #включают может быть либо путь к файлу, либо
имя группы, и в этом случае путь, используемый для поиска файла группы, такой же, как если бы
группа была указана -g.

сетевая группа модуль кредита

Модуль netgroup позволяет pdsh использовать стандартные записи сетевых групп для построения списков целевых
хосты. (/ etc / netgroup или NIS)

-g имя группы,...
Целевые узлы в сетевой группе "имя группы".

-X имя группы,...
Исключить узлы из сетевой группы "имя-группы".

ОКРУЖАЮЩАЯ СРЕДА ПЕРЕМЕННЫЕ

PDSH_RCMD_TYPE
Эквивалент -R параметр, значение этой переменной среды будет использоваться для
установить модуль rcmd по умолчанию для использования pdsh (например, ssh, rsh).

ПДШ_SSH_ARGS
Отменить стандартные аргументы, которые пдш проходит к SSH(1) команда ("-2 -a -x
-l% u% h "). Использование параметров %u, %hи %n (как указано в rcmd / exec
раздел выше) не является обязательным. Если эти параметры отсутствуют, пдш добавлю их
в командную строку ssh, поскольку предполагается, что они являются обязательными.

PDSH_SSH_ARGS_APPEND
Добавить дополнительные параметры в SSH(1) команда, вызываемая пдш, Например,
PDSH_SSH_ARGS_APPEND = "- q" запустит ssh в тихом режиме, или "-v" увеличит
многословие ssh. (Примечание: эти аргументы фактически добавляются к ssh
в командной строке, чтобы убедиться, что они появляются перед любым аргументом имени целевого хоста для ssh.)

WCOLL Если не используется другой вариант выбора узла, переменная среды WCOLL может быть
установить в имя файла, из которого будет читаться список целевых хостов. Файл должен
содержат список хостов, по одному в каждой строке (хотя каждая строка может содержать список хостов
выражение. Видеть СПИСОК ХОЗЯЕВ ВЫРАЖЕНИЯ раздел ниже).

ДШПУТЬ
Если установлено, путь в DSHPATH будет использоваться как ПУТЬ для удаленных процессов.

FANOUT Установите пдш fanout (см. описание -f выше).

СПИСОК ХОЗЯЕВ ВЫРАЖЕНИЯ

Как отмечено в разделах выше пдш принимает списки хостов в общем виде: префикс [nm, l-
k, ...], где n <m и l <k, и т. д. в качестве альтернативы явным спискам хостов. Этот
форму не следует путать с классами символов регулярных выражений (также обозначаемых
«[]»). Например, foo [19] не представляет выражение, соответствующее foo1 или foo9, но
скорее представляет собой вырожденный список хостов: foo19.

Синтаксис списка хостов предназначен только для удобства в кластерах с именем "prefixNNN".
соглашение и указание диапазонов не следует считать необходимыми - это
foo1, foo9 могут быть указаны как таковые или в списке хостов foo [1,9].

Ниже приведены некоторые примеры использования:

Запустить команду на foo01, foo02, ..., foo05
pdsh -w foo [01-05] команда

Запустить команду на foo7, foo9, foo10
pdsh -w foo [7,9-10] команда

Запустить команду на foo0, foo4, foo5
pdsh -w foo [0-5] -x foo [1-3] команда

Также поддерживается суффикс имени хоста:

Run command on foo0-eth0,foo1-eth0,foo2-eth0,foo3-eth0
pdsh -w foo [0-3] -eth0 команда

Напоминаем читателю, что некоторые оболочки интерпретируют скобки ('[' и ']') для шаблона
соответствие. В зависимости от вашей оболочки может потребоваться заключить ранжированные списки в
цитаты. Например, в tcsh первый пример выше должен быть выполнен как:

pdsh -w "foo [01-05]" команда

ПРОИСХОЖДЕНИЕ

Первоначально переписанный IBM DSH(1) Джим Гарлик[электронная почта защищена]> на ASCI Blue-
Система Pacific IBM SP. Сейчас он используется в кластерах Linux в LLNL.

ОГРАНИЧЕНИЯ

Когда используешь SSH для удаленного выполнения ожидайте, что stderr ssh будет свернут с stderr из
удаленная команда. При вызове пдш, это невозможно для SSH побуждать к
пароли, если ключи RSA / DSA настроены правильно и т. д. Для SSH реализации, которые
поддерживать параметр тайм-аута подключения, пдш пытается использовать эту опцию для принудительного тайм-аута
(например, -oConnectTimeout = T для OpenSSH), иначе время ожидания подключения не поддерживается, если
через SSH. Наконец, нет надежного способа пдш чтобы убедиться, что удаленные команды
фактически завершается при использовании тайм-аута команды. Таким образом, если -u используется с SSH команды могут
оставаться запущенным на удаленных хостах даже после того, как тайм-аут убил локальный SSH процессов.

При использовании qshell или mqshell выходные данные нескольких процессов на узел могут перемежаться.
rcmd модули.

Количество узлов, которые пдш может одновременно выполнять удаленные задания на ограничено
максимальное количество потоков, которые могут быть созданы одновременно, а также наличие
зарезервированные порты в модулях rcmd rsh и qshell. В системах, реализующих Posix
потоков, ограничение обычно определяется константой PTHREADS_THREADS_MAX.

Используйте pdsh онлайн с помощью сервисов onworks.net