sh5util

Section: Slurm Commands (1)
Updated: Slurm Commands
Index

NAME

sh5util - Tool for merging HDF5 files from the acct_gather_profile plugin that gathers detailed data for jobs running under Slurm
sh5util-Slurmで実行されているジョブの詳細データを収集するacct_gather_profileプラグインからHDF5ファイルをマージするためのツール

SYNOPSIS

sh5util

DESCRIPTION

sh5util merges HDF5 files produced on each node for each step of a job into one HDF5 file for the job.
sh5utilは、ジョブの各ステップで各ノードで生成されたHDF5ファイルをジョブの1つのHDF5ファイルにマージします。
The resulting file can be viewed and manipulated by common HDF5 tools such as HDF5View, h5dump, h5edit, or h5ls.
結果のファイルは、HDF5View、h5dump、h5edit、h5lsなどの一般的なHDF5ツールで表示および操作できます。

sh5util also has two extract modes.
sh5utilには2つの抽出モードもあります。
The first, writes a limited set of data for specific nodes, steps, and data series in "comma separated value" form to a file which can be imported into other analysis tools such as spreadsheets.
1つ目は、特定のノード、ステップ、およびデータ系列の限定されたデータセットを「カンマ区切り値」形式でファイルに書き込み、スプレッドシートなどの他の分析ツールにインポートできるようにします。

The second, (Item-Extract) extracts one data time from one time series for all the samples on all the nodes from a jobs HDF5 profile.
2番目の（Item-Extract）は、ジョブHDF5プロファイルのすべてのノード上のすべてのサンプルについて、1つの時系列から1つのデータ時間を抽出します。

- Finds sample with maximum value of the item. -アイテムの最大値を持つサンプルを検索します。

- Write CSV file with min, ave, max, and item totals for each node for each -各ノードの最小、平均、最大、およびアイテムの合計を含むCSVファイルを書き込みます。

sample
サンプル

OPTIONS

-E, --extract

Extract data series from a merged job file.
マージされたジョブファイルからデータ系列を抽出します。

Extract mode options 抽出モードオプション
-i, --input=path: merged file to extract from (default ./job_$jobid.h5)
抽出するマージされたファイル（デフォルト./job_＄jobid.h5）
-N, --node=nodename: Node name to extract (default is all)
抽出するノード名（デフォルトはすべて）
-l, --level=[Node:Totals|Node:TimeSeries]: Level to which series is attached.
シリーズが付属するレベル。
(default Node:Totals)
（デフォルトノード：合計）
-s, --series=[Energy | Lustre | Network | Tasks | Task_#]: Tasks is all tasks, Task_# (# is a task id) (default is everything)
Tasksはすべてのタスク、Task _＃（＃はタスクID）（デフォルトはすべて）

-I, --item-extract

Extract one data item from all samples of one data series from all nodes in a merged job file.
マージされたジョブファイル内のすべてのノードからの1つのデータ系列のすべてのサンプルから1つのデータ項目を抽出します。

Item-Extract mode options アイテム-抽出モードオプション
-s, --series=[Energy | Lustre | Network | Task]
-d, --data: Name of data item in series (See note below).
一連のデータ項目の名前（以下の注を参照）。

-j, --jobs=<job(.step)>

Format is <job(.step)>.
形式は＜job（.step）＞です。
Merge this job/step (or a comma-separated list of job steps).
このジョブ/ステップ（またはコンマで区切られたジョブステップのリスト）をマージします。
This option is required.
このオプションは必須です。
Not specifying a step will result in all steps found to be processed.
ステップを指定しないと、すべてのステップが処理されていることがわかります。

-h, --help

Print this description of use.
この使用法の説明を印刷してください。

-o, --output=path

Path to a file into which to write.
Default for merge is ./job_$jobid.h5
Default for extract is ./extract_$jobid.csv

-p, --profiledir=dir

Directory location where node-step files exist default is set in acct_gather.conf.
ノードステップファイルがデフォルトで存在するディレクトリの場所は、acct_gather.confで設定されます。

-S, --savefiles

Instead of removing node-step files after merging them into the job file, keep them around.
ノードステップファイルをジョブファイルにマージした後に削除するのではなく、そのままにしておきます。

--user=user

User who profiled job. (Handy for root user, defaults to user running this command.)
ジョブをプロファイリングしたユーザー。（rootユーザーに便利です。デフォルトでは、このコマンドを実行しているユーザーになります。）

--usage

Display brief usage message.
簡単な使用法メッセージを表示します。

Data Items per Series

Energy

Power
CPU_Frequency

Lustre

Reads
Megabytes_Read
Writes
Megabytes_Write

Network

Packets_In
Megabytes_In
Packets_Out
Megabytes_Out

Task

CPU_Frequency
CPU_Time
CPU_Utilization
RSS
VM_Size
Pages
Read_Megabytes
Write_Megabytes

PERFORMANCE

Executing sh5util sends a remote procedure call to slurmctld.
sh5utilを実行すると、リモートプロシージャコールがslurmctldに送信されます。
If enough calls from sh5util or other Slurm client commands that send remote procedure calls to the slurmctld daemon come in at once, it can result in a degradation of performance of the slurmctld daemon, possibly resulting in a denial of service.
リモートプロシージャコールをslurmctldデーモンに送信するsh5utilまたは他のSlurmクライアントコマンドからの十分な呼び出しが一度に着信すると、slurmctldデーモンのパフォーマンスが低下し、サービス拒否が発生する可能性があります。

Do not run sh5util or other Slurm client commands that send remote procedure calls to slurmctld from loops in shell scripts or other programs.
シェルスクリプトまたは他のプログラムのループからslurmctldにリモートプロシージャコールを送信するsh5utilまたは他のSlurmクライアントコマンドを実行しないでください。
Ensure that programs limit calls to sh5util to the minimum necessary for the information you are trying to gather.
プログラムがsh5utilへの呼び出しを、収集しようとしている情報に必要な最小限に制限していることを確認してください。

Examples

Merge node-step files (as part of a sbatch script) ノードステップファイルをマージします（スバッチスクリプトの一部として）

sbatch -n1 -d$SLURM_JOB_ID --wrap="sh5util --savefiles -j $SLURM_JOB_ID"

Extract all task data from a node

sh5util -j 42 -N snowflake01 --level=Node:TimeSeries --series=Tasks

Extract all energy data: sh5util -j 42 --series=Energy --data=power

COPYING

Copyright (C) 2013 Bull.
Copyright (C) 2013 SchedMD LLC. Slurm is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation; either version 2 of the License, or (at your option) any later version.

Slurm is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details.

This document was created by man2html using the manual pages.
Time: 22:00:05 GMT, April 09, 2020

sh5util

NAME

SYNOPSIS

DESCRIPTION

OPTIONS

Data Items per Series

PERFORMANCE

Examples

COPYING

SEE ALSO

Index