Este es el comando sh5util que se puede ejecutar en el proveedor de alojamiento gratuito de OnWorks utilizando una de nuestras múltiples estaciones de trabajo en línea gratuitas, como Ubuntu Online, Fedora Online, emulador en línea de Windows o emulador en línea de MAC OS.
PROGRAMA:
NOMBRE
sh5util: herramienta para fusionar archivos HDF5 del complemento acct_gather_profile que reúne
datos detallados para trabajos que se ejecutan en Slurm
SINOPSIS
sh5util
DESCRIPCIÓN
sh5util fusiona archivos HDF5 producidos en cada nodo para cada paso de un trabajo en un archivo HDF5
para el trabajo. El archivo resultante se puede ver y manipular con herramientas comunes de HDF5, como
HDF5View, h5dump, h5edit o h5ls.
sh5util también tiene dos modos de extracción. El primero, escribe un conjunto limitado de datos para
nodos, pasos y series de datos en forma de "valores separados por comas" en un archivo que se puede
importado a otras herramientas de análisis como hojas de cálculo.
El segundo, (Item-Extract) extrae un dato de una serie de tiempo para todas las muestras
en todos los nodos de un perfil HDF5 de trabajos.
- Encuentra muestra con valor máximo del artículo.
- Escriba un archivo CSV con los totales mínimo, medio, máximo y de artículo para cada nodo para cada
muestra
OPCIONES
-E, --extraer
Extraiga series de datos de un archivo de trabajo combinado.
Opciones de modo de extracción
-i, --aporte=camino
archivo combinado para extraer (predeterminado ./job_$jobid.h5)
-N, --nodo=nombre del nodo
Nombre de nodo para extraer (el valor predeterminado es todo)
-l, --nivel=[Nodo: Totales | Nodo: TimeSeries]
Nivel al que se adjunta la serie. (nodo predeterminado: totales)
-s, --serie=[Energía | lustre | Nuestra red | tareas | Tarea_#]
tareas son todas las tareas, Tarea_# (# es una identificación de tarea) (el valor predeterminado es todo)
-I, - extracto de artículo
Extraiga un elemento de datos de todas las muestras de una serie de datos de todos los nodos en un
archivo de trabajo combinado.
Opciones del modo Item-Extract
-s, --serie= [Energía | Lustre | Red | Tarea]
-d, --datos
Nombre del elemento de datos en serie (consulte la nota a continuación).
-j, --trabajos=
El formato es . Fusionar este trabajo / paso (o una lista de trabajos separados por comas
pasos). Esta opción es obligatoria. No especificar un paso resultará en todos los pasos
encontrado para ser procesado.
-h, --ayuda
Imprima esta descripción de uso.
-o, --producción=camino
Ruta a un archivo en el que escribir.
El valor predeterminado para la combinación es ./job_$jobid.h5
El valor predeterminado para la extracción es ./extract_$jobid.csv
-p, --perfilir=dir
La ubicación del directorio donde existen los archivos de paso de nodo se establece de forma predeterminada en acct_gather.conf.
-S, --guardar archivos
En lugar de eliminar los archivos de paso de nodo después de fusionarlos en el archivo de trabajo, guárdelos
alrededor.
--usuario=usuario
Usuario que perfiló el trabajo. (Útil para el usuario root, por defecto es el usuario que ejecuta este
mando.)
--uso
Muestra un breve mensaje de uso.
Data Objetos per Series
Energía
Motor
CPU_Frecuencia
lustre
Lee
Megabytes_Leer
Escribe
Megabytes_Escritura
Nuestra red
Paquetes_en
Megabytes_In
Paquetes_fuera
Megabytes_fuera
Tarea
CPU_Frecuencia
CPU_Tiempo
CPU_Utilización
RSS
VM_Tamaño
Páginas
Leer_Megabytes
Escribir_Megabytes
Ejemplos
Fusionar archivos de paso de nodo (como parte de un script sbatch)
sbatch -n1 -d $ SLURM_JOB_ID --wrap = "sh5util --savefiles -j $ SLURM_JOB_ID"
Extrae todos los datos de la tarea de un nodo
sh5util -j 42 -N snowflake01 --level = Node: TimeSeries --series = Tareas
Extrae todos los datos energéticos
sh5util -j 42 --series = Energía --data = potencia
COPIA
Derechos de autor (C) Bol. 2013.
Copyright (C) 2013 SchedMD LLC. Slurm es un software gratuito; puedes redistribuirlo y / o
modificarlo bajo los términos de la Licencia Pública General GNU según lo publicado por Free
Fundación de software; ya sea la versión 2 de la licencia, o (a su elección) cualquier posterior
versión.
Slurm se distribuye con la esperanza de que sea útil, pero SIN NINGUNA GARANTÍA; sin
incluso la garantía implícita de COMERCIABILIDAD o APTITUD PARA UN PROPÓSITO PARTICULAR. Ver el
Licencia pública general de GNU para más detalles.
Use sh5util en línea usando los servicios de onworks.net
