Intel Knights Landing (KNL) User and Administrator Guide

Overview

This document describes the unique features of Slurm on the computers with the Intel Knights Landing processor.
このドキュメントでは、Intel KnightsLandingプロセッサを搭載したコンピュータでのSlurmの独自の機能について説明します。
You should be familiar with the Slurm's mode of operation on Linux clusters before studying the relatively few differences in Intel KNL system operation described in this document.
このドキュメントで説明されているIntelKNLシステムの動作の比較的小さな違いを学習する前に、LinuxクラスターでのSlurmの動作モードに精通している必要があります。

User Tools

The desired NUMA and MCDRAM modes for a KNL processor should be specified using the -C or --constraints option of Slurm's job submission commands: salloc, sbatch, and srun.
KNLプロセッサに必要なNUMAおよびMCDRAMモードは、Slurmのジョブ送信コマンド(salloc、sbatch、およびsrun)の-Cまたは--constraintsオプションを使用して指定する必要があります。
Currently available NUMA and MCDRAM modes are shown in the table below.
現在利用可能なNUMAモードとMCDRAMモードを次の表に示します。
Each node's available and current NUMA and MCDRAM modes are visible in the "available features" and "active features" fields respectively, which may be seen using the scontrol, sinfo, or sview commands.
各ノードの使用可能なモードと現在のNUMAモードおよびMCDRAMモードは、それぞれ[使用可能な機能]フィールドと[アクティブな機能]フィールドに表示されます。これらは、scontrol、sinfo、またはsviewコマンドを使用して表示できます。
Note that a node may need to be rebooted to get the desired NUMA and MCDRAM modes and nodes may only be rebooted when they contain no running jobs (i.e. sufficient resources may be available to run a pending job, but until the node is idle and can be rebooted, the pending job may not be allocated resources).
目的のNUMAおよびMCDRAMモードを取得するには、ノードを再起動する必要がある場合があります。ノードは、実行中のジョブが含まれていない場合にのみ再起動できます(つまり、保留中のジョブを実行するのに十分なリソースが利用できる場合がありますが、ノードがアイドル状態になり、再起動すると、保留中のジョブにリソースが割り当てられない場合があります)。
Also note that the job will be charged for resources from the time of resource allocation, which may include time to reboot a node into the desired NUMA and MCDRAM configuration.
また、ジョブはリソース割り当ての時点からリソースに対して課金されることに注意してください。これには、ノードを目的のNUMAおよびMCDRAM構成で再起動する時間が含まれる場合があります。

Slurm supports a very rich set of options for the node constraint options (exclusive OR, node counts for each constraint, etc.).
Slurmは、ノード制約オプションの非常に豊富なオプションのセット(排他的論理和、各制約のノード数など)をサポートします。
See the man pages for the salloc, sbatch and srun commands for more information about the constraint syntax.
制約構文の詳細については、salloc、sbatch、およびsrunコマンドのマニュアルページを参照してください。
Jobs may specify their desired NUMA and/or MCDRAM configuration.
ジョブは、必要なNUMAおよび/またはMCDRAM構成を指定できます。
If no NUMA and/or MCDRAM configuration is specified, then a node with any possible value for that configuration will be used.
NUMAおよび/またはMCDRAM構成が指定されていない場合、その構成に可能な値を持つノードが使用されます。

Type Name Description
MCDRAMcacheAll of MCDRAM to be used as cache
キャッシュとして使用されるすべてのMCDRAM
MCDRAMequalMCDRAM to be used partly as cache and partly combined with primary memory
一部をキャッシュとして使用し、一部をプライマリメモリと組み合わせて使用​​するMCDRAM
MCDRAMflatMCDRAM to be combined with primary memory into a "flat" memory space
プライマリメモリと組み合わせて「フラット」メモリ空間にするMCDRAM
NUMAa2aAll to all
NUMAhemiHemisphere
NUMAsnc2Sub-NUMA cluster 2
NUMAsnc4Sub-NUMA cluster 4 (NOTE)
NUMAquadQuadrant (NOTE)

Jobs requiring some or all of the KNL high bandwidth memory (HBM) should explicitly request that memory using Slurm's Generic RESource (GRES) options.
KNL高帯域幅メモリ(HBM)の一部またはすべてを必要とするジョブは、SlurmのGeneric RESource(GRES)オプションを使用してそのメモリを明示的に要求する必要があります。
The HBM will always be known by Slurm GRES name of "hbm".
HBMは、常に「hbm」というSlurmGRES名で知られています。
Examples below demonstrate use of HBM.
以下の例は、HBMの使用法を示しています。

Sorting of the free cache pages at step startup using Intel's zonesort module can be configred as the default for all steps using the "LaunchParameters=mem_sort" option in the slurm.conf file.
Intelのzonesortモジュールを使用したステップ起動時の空きキャッシュページのソートは、slurm.confファイルの「LaunchParameters = mem_sort」オプションを使用してすべてのステップのデフォルトとして構成できます。
Individual job steps can enable or disable sorting using the "--mem-bind=sort" or "--mem-bind=nosort" command line options for srun.
個々のジョブステップでは、srunの「--mem-bind = sort」または「--mem-bind = nosort」コマンドラインオプションを使用して並べ替えを有効または無効にできます。
Sorting will be performed only for the NUMA nodes allocated to the job step.
並べ替えは、ジョブステップに割り当てられたNUMAノードに対してのみ実行されます。

NOTE: Slurm provides limited support for restricting use of HBM.
注:Slurmは、HBMの使用を制限するための限定的なサポートを提供します。
At some point in the future, the amount of HBM requested by the job will be compared with the total amount of HBM and number of memory-containing NUMA nodes available on the KNL processor.
将来のある時点で、ジョブによって要求されたHBMの量が、KNLプロセッサで使用可能なHBMの合計量およびメモリを含むNUMAノードの数と比較されます。
The job will then be bound to specific NUMA nodes in order to limit the total amount of HBM available to the job, and thus reserve the remaining HBM for other jobs running on that KNL processor.
次に、ジョブで使用可能なHBMの合計量を制限するために、ジョブは特定のNUMAノードにバインドされ、残りのHBMをそのKNLプロセッサーで実行されている他のジョブ用に予約します。

NOTE: Slurm can only support homogeneous nodes (e.g. the same number of cores per NUMA node).
注:Slurmは同種のノードのみをサポートできます(たとえば、NUMAノードごとに同じ数のコア)。
KNL processors with 68 cores (a subset of KNL models) will not have homogeneous NUMA nodes in snc4 mode, but each each NUMA node will have either 16 or 18 cores.
68コアのKNLプロセッサ(KNLモデルのサブセット)には、snc4モードの同種のNUMAノードはありませんが、各NUMAノードには16コアまたは18コアがあります。
This will result in Slurm using the lower core count, finding a total of 256 threads rather than 272 threads and setting the node to a DOWN state.
これにより、Slurmはより少ないコア数を使用し、272スレッドではなく合計256スレッドを検出し、ノードをDOWN状態に設定します。

Accounting

If a node requires rebooting for a job's required configuration, the job will be charged for the resource allocation from the time of allocation through the lifetime of the job, including the time consumed for booting the nodes.
ジョブに必要な構成のためにノードを再起動する必要がある場合、ジョブは、ノードの起動に費やされた時間を含め、割り当て時からジョブの存続期間までのリソース割り当てに対して課金されます。
The job's time limit will be calculated from the time that all nodes are ready for use.
ジョブの制限時間は、すべてのノードを使用する準備ができた時間から計算されます。
For example, a job with a 10 minute time limit may be allocated resources at 10:00:00.
たとえば、制限時間が10分のジョブには、10:00:00にリソースが割り当てられる場合があります。
If the nodes require rebooting, they might not be available for use until 10:20:00, 20 minutes after allocation, and the job will begin execution at that time.
ノードの再起動が必要な場合は、割り当てから20分後の10:20:00までノードを使用できない可能性があり、その時点でジョブの実行が開始されます。
The job must complete no later than 10:30:00 in order to satisfy its time limit (10 minutes after execution actually begins).
制限時間(実際に実行が開始されてから10分後)を満たすには、ジョブが10:30:00までに完了する必要があります。
However, the job will be charged for 30 minutes of resource use, which includes the boot time.
ただし、ジョブには、起動時間を含む30分のリソース使用量が課金されます。

Sample Use Cases

$ sbatch -C flat,a2a -N2 --gres=hbm:8g --exclusive my.script
$ srun --constraint=hemi,cache -n36 a.out
$ srun --constraint=flat --gres=hbm:2g -n36 a.out

$ sinfo -o "%30N %20b %f"
NODELIST       ACTIVE_FEATURES  AVAIL_FEATURES
nid000[10-11]
nid000[12-35]  flat,a2a         flat,a2a,snc2,hemi
nid000[36-43]  cache,a2a        flat,equal,cache,a2a,hemi

Network Topology

Slurm will optimize performance using those resources available without rebooting.
Slurmは、再起動せずに利用可能なリソースを使用してパフォーマンスを最適化します。
If node rebooting is required, then it will optimize layout with respect to network bandwidth using both nodes currently in the desired configuration and those which can be made available after rebooting.
ノードの再起動が必要な場合は、現在目的の構成にあるノードと再起動後に使用可能になるノードの両方を使用して、ネットワーク帯域幅に関してレイアウトを最適化します。
This can result in more nodes being rebooted than strictly needed, but will improve application performance.
これにより、厳密に必要な数よりも多くのノードが再起動される可能性がありますが、アプリケーションのパフォーマンスは向上します。

Users can specify they want all resources allocated on a specific count of leaf switches (Dragonfly group) using Slurm's --switches option.
ユーザーは、Slurmの--switchesオプションを使用して、特定の数のリーフスイッチ(Dragonflyグループ)にすべてのリソースを割り当てるように指定できます。
They can also specify how much additional time they are willing to wait for such a configuration.
また、そのような構成を待機する追加の時間を指定することもできます。
If the desired configuration can not be made available within the specified time interval, the job will be allocated nodes optimized with respect to network bandwidth to the extent possible.
指定された時間間隔内に目的の構成を使用できない場合、ジョブには、ネットワーク帯域幅に関して可能な限り最適化されたノードが割り当てられます。
On a Dragonfly network, this means allocating resources over either single group or distributed evenly over as many groups as possible.
Dragonflyネットワークでは、これは、単一のグループにリソースを割り当てるか、できるだけ多くのグループに均等に分散することを意味します。
For example:
例えば:

srun --switches=1@10:00 N16 a.out

Note that system administrators can disable use of the --switches option or limit the amount of time the job can be deferred using the SchedulerParameters max-switch-wait option.
システム管理者は、SchedulerParameters max-switch-waitオプションを使用して、-switchesオプションの使用を無効にしたり、ジョブを延期できる時間を制限したりできることに注意してください。

Booting Problems

If node boots fail, those nodes are drained and the job is requeued so that it can be allocated a different set of nodes.
ノードの起動が失敗した場合、それらのノードは排出され、ジョブは再キューイングされて、別のノードのセットを割り当てることができます。
The nodes originally allocated to the job will remain available to the job, so likely a small number of additional nodes will be required.
最初にジョブに割り当てられたノードは引き続きジョブで使用できるため、少数の追加ノードが必要になる可能性があります。

System Administration

Four important components are required to use Slurm on an Intel KNL system.
Intel KNLシステムでSlurmを使用するには、4つの重要なコンポーネントが必要です。

  1. Slurm needs a mechanism to determine the node's current topology (e.g. how many NUMA exist and which cores are associated with each NUMA).
    Slurmには、ノードの現在のトポロジを決定するメカニズムが必要です(たとえば、存在するNUMAの数や、各NUMAに関連付けられているコア)。
    Slurm relies upon Portable Hardware Locality (HWLOC) for this functionality.
    Slurmは、この機能をPortable Hardware Locality(HWLOC)に依存しています。
    Please install HWLOC before building Slurm.
    Slurmをビルドする前にHWLOCをインストールしてください。
  2. The node features plugin manages the available and active features information available for each KNL node.
    ノード機能プラグインは、各KNLノードで利用可能なアクティブな機能情報を管理します。
  3. A configuration file is used to define various timeouts, default configuration, etc.
    構成ファイルは、さまざまなタイムアウト、デフォルト構成などを定義するために使用されます。
    The configuration file name and contents will depend upon the node features plugins used.
    構成ファイルの名前と内容は、使用するノード機能プラグインによって異なります。
    See the knl.conf man page for more information.
    詳細については、knl.confのmanページを参照してください。
  4. A mechanism is required to boot nodes in the desired configuration.
    目的の構成でノードを起動するには、メカニズムが必要です。
    This mechanism must be integrated with existing Slurm infrastructure for rebooting nodes on user request (--reboot) plus (for Cray systems only) power saving (powering down idle nodes and restarting them on demand).
    このメカニズムは、既存のSlurmインフラストラクチャと統合して、ユーザーの要求に応じてノードを再起動(--reboot)し、さらに(Crayシステムの場合のみ)省電力(アイドル状態のノードの電源を切り、オンデマンドで再起動する)する必要があります。

In addition, there is a DebugFlags option of "NodeFeatures" which will generate detailed information about KNL operations.
さらに、「NodeFeatures」のDebugFlagsオプションがあり、KNL操作に関する詳細情報を生成します。

The KNL-specific available and active features are configured differently based upon the plugin configured.
KNL固有の使用可能なアクティブな機能は、構成されたプラグインに基づいて異なる方法で構成されます。

For the knl_cray plugin, KNL-specific available and active features are not included in the "slurm.conf" configuration file, but are set and the managed by the NodeFeatures plugin when the slurmctld daemon starts.
knl_crayプラグインの場合、KNL固有の使用可能でアクティブな機能は、「slurm.conf」構成ファイルには含まれませんが、slurmctldデーモンの起動時にNodeFeaturesプラグインによって設定および管理されます。

For the knl_generic plugin, KNL-specific features should be defined in the "slurm.conf" configuration file.
knl_genericプラグインの場合、KNL固有の機能を「slurm.conf」構成ファイルで定義する必要があります。
When the slurmd daemon starts on each compute node, it will update the available and active features as needed.
slurmdデーモンが各計算ノードで起動すると、必要に応じて使用可能でアクティブな機能が更新されます。

Features which are not KNL-specific (e.g. rack number, "knl", etc.) will be copied from the node's "Features" configuration in "slurm.conf" to both the available and active feature fields and not modified by the NodeFeatures plugin.
KNL固有ではない機能(ラック番号、「knl」など)は、「slurm.conf」のノードの「機能」構成から使用可能な機能フィールドとアクティブな機能フィールドの両方にコピーされ、NodeFeaturesプラグインによって変更されません。 。

NOTE: For Dell KNL systems you must also include the SystemType=Dell option for successful operation and will likely need to increase the SyscfgTimeout to allow enough time for the command to successfully complete.
注:Dell KNLシステムの場合、正常に動作させるにはSystemType = Dellオプションも含める必要があり、コマンドが正常に完了するのに十分な時間を確保するためにSyscfgTimeoutを増やす必要があります。
Experience at one site has shown that a 10 second timeout may be necessary, configured as SyscfgTimeout=10000.
あるサイトでの経験から、SyscfgTimeout = 10000として構成された10秒のタイムアウトが必要になる場合があることが示されています。

Slurm does not support the concept of multiple NUMA nodes within a single socket.
Slurmは、単一のソケット内の複数のNUMAノードの概念をサポートしていません。
If a KNL node is booted with multiple NUMA, then each NUMA node will appear in Slurm as a separate socket.
KNLノードが複数のNUMAで起動されている場合、各NUMAノードはSlurmに個別のソケットとして表示されます。
In the slurm.conf configuration file, set node socket and core counts to values which are appropriate for some NUMA mode to be used on the node.
slurm.conf構成ファイルで、ノードのソケットとコアの数を、ノードで使用されるいくつかのNUMAモードに適した値に設定します。
When the node boots and the slurmd daemon on the node starts, it will report to the slurmctld daemon the node's actual socket (NUMA) and core counts, which will update Slurm data structures for the node to the values which are currently configured.
ノードが起動し、ノード上のslurmdデーモンが起動すると、ノードの実際のソケット(NUMA)とコアカウントがslurmctldデーモンに報告され、ノードのSlurmデータ構造が現在構成されている値に更新されます。
Note that Slurm currently does not support the concept of differing numbers of cores in each socket (or NUMA node).
Slurmは現在、各ソケット(またはNUMAノード)のコア数が異なるという概念をサポートしていないことに注意してください。
We are currently working to address these issues.
現在、これらの問題に対処するために取り組んでいます。

Mode of Operation

  1. The node's configured "Features" are copied to the available and active feature fields.
    ノードの構成済みの「機能」は、使用可能でアクティブな機能フィールドにコピーされます。
  2. The node features plugin determines the node's current MCDRAM and NUMA values as well as those which are available and adds those values to the node's active and available feature fields respectively.
    ノード機能プラグインは、ノードの現在のMCDRAM値とNUMA値、および使用可能な値を決定し、それらの値をノードのアクティブな機能フィールドと使用可能な機能フィールドにそれぞれ追加します。
    Note that these values may not be available until the node has booted and the slurmd daemon on the compute node sends that information to the slurmctld daemon.
    これらの値は、ノードが起動し、計算ノードのslurmdデーモンがその情報をslurmctldデーモンに送信するまで使用できない場合があることに注意してください。
  3. Jobs will be allocated nodes already in the requested MCDRAM and NUMA mode if possible.
    可能であれば、ジョブには、要求されたMCDRAMおよびNUMAモードですでにノードが割り当てられます。
    If insufficient resources are available with the requested configuration then other nodes will be selected and booted into the desired configuration once no other jobs are active on the node.
    要求された構成で使用できるリソースが不十分な場合、ノードで他のジョブがアクティブでなくなると、他のノードが選択され、目的の構成で起動されます。
    Until a node is idle, its configuration can not be changed.
    ノードがアイドル状態になるまで、その構成を変更することはできません。
    Note that node reboot time is roughly on the order of 20 minutes.
    ノードの再起動時間はおよそ20分程度であることに注意してください。

Cray Configuration

On Cray systems, NodeFeaturesPlugins should be configured as "knl_cray".
Crayシステムでは、NodeFeaturesPluginsを「knl_cray」として構成する必要があります。

The configuration file will be named "knl_cray.conf".
構成ファイルの名前は「knl_cray.conf」になります。
The file will include the path to the capmc program (CapmcPath), which is used to get a node's available MCDRAM and NUMA modes, change the modes, power the node down, reboot it, etc.
このファイルには、ノードで使用可能なMCDRAMモードとNUMAモードの取得、モードの変更、ノードの電源切断、再起動などに使用されるcapmcプログラム(CapmcPath)へのパスが含まれます。
Note the "CapmcTimeout" parameter is the time required for the capmc program to respond to a request and NOT the time for a boot operation to complete.
「CapmcTimeout」パラメータは、capmcプログラムが要求に応答するのに必要な時間であり、ブート操作が完了するのに必要な時間ではないことに注意してください。

Power saving mode is integrated with rebooting nodes in the desired mode.
省電力モードは、目的のモードでノードを再起動することと統合されています。
Programs named "capmc_resume" and "capmc_suspend" are provided to boot nodes in the desired mode.
「capmc_resume」および「capmc_suspend」という名前のプログラムは、目的のモードでノードを起動するために提供されています。
The programs are included in the main Slurm RPM and installed in the "sbin" directory and must be installed on the Cray "sdb" node.
プログラムはメインのSlurmRPMに含まれ、「sbin」ディレクトリにインストールされ、Crayの「sdb」ノードにインストールする必要があります。
If powering down of idle nodes is not desired, then configure "ResumeProgram" in "slurm.conf" to the path of the "capmc_resume" file and configure "SuspendTime" to a huge value (e.g. "SuspendTime=30000000" will only power down a node which has been idle for about one year).
アイドル状態のノードの電源を切る必要がない場合は、「slurm.conf」の「ResumeProgram」を「capmc_resume」ファイルのパスに設定し、「SuspendTime」を大きな値に設定します(たとえば、「SuspendTime = 30000000」は電源を切るだけです)。約1年間アイドル状態になっているノード)。

Note that getting a compute node's current MCDRAM and NUMA mode, modifying its MCDRAM and NUMA mode, and rebooting it are operations performed by the slurmctld daemon on the head node.
計算ノードの現在のMCDRAMおよびNUMAモードの取得、MCDRAMおよびNUMAモードの変更、および再起動は、ヘッドノードのslurmctldデーモンによって実行される操作であることに注意してください。

The GresTypes configuration parameter should include "hbm" to identify High Bandwidth Memory (HBM) as being a consumable resources on compute nodes.
GresTypes構成パラメーターには、高帯域幅メモリー(HBM)を計算ノード上の消費可能なリソースとして識別するための「hbm」を含める必要があります。
Additional GresTypes can be specified as needed in a comma separated list.
追加のGresTypeは、必要に応じてコンマ区切りのリストで指定できます。
The amount of HBM on each node should not be configured in a Slurm configuration file, but that information will be loaded by the knl_cray plugin using information provided by the capmc program.
各ノードのHBMの量は、Slurm構成ファイルで構成する必要はありませんが、その情報は、capmcプログラムによって提供される情報を使用してknl_crayプラグインによってロードされます。

Sample knl_cray.conf file

# Sample knl_cray.conf
CapmcPath=/opt/cray/capmc/default/bin/capmc
CapmcTimeout=2000	# msec
DefaultNUMA=a2a         # NUMA=all2all
AllowNUMA=a2a,snc2,hemi
DefaultMCDRAM=cache     # MCDRAM=cache

Sample slurm.conf File

# Sample slurm.conf
NodeFeaturesPlugins=knl_cray
DebugFlags=NodeFeatures
GresTypes=hbm
#
ResumeProgram=/opt/slurm/default/sbin/capmc_resume
SuspendProgram=/opt/slurm/default/sbin/capmc_suspend
SuspendTime=30000000
ResumeTimeout=1800
...
Nodename=default Sockets=1 CoresPerSocket=68 ThreadsPerCore=4 RealMemory=128000 Feature=knl
NodeName=nid[00000-00127] State=UNKNOWN

Generic Cluster Configuration

All other clusters should have NodeFeaturesPlugins configured to "knl_generic".
他のすべてのクラスターでは、NodeFeaturesPluginsを「knl_generic」に構成する必要があります。
This plugin performs all operations directly on the compute nodes using Intel's syscfg program to get and modify the node's MCDRAM and NUMA mode and uses the Linux reboot program to reboot the compute node in order for modifications in MCDRAM and/or NUMA mode to take effect.
このプラグインは、Intelのsyscfgプログラムを使用して計算ノードですべての操作を直接実行してノードのMCDRAMおよびNUMAモードを取得および変更し、Linux再起動プログラムを使用して計算ノードを再起動してMCDRAMおよび/またはNUMAモードでの変更を有効にします。
Make sure that RebootProgram is defined in the slurm.conf file.
RebootProgramがslurm.confファイルで定義されていることを確認してください。
This plugin currently does not permit the specification of ResumeProgram, SuspendProgram, SuspendTime, etc. in slurm.conf, however that limitation may be removed in the future (the ResumeProgram currently has no means of changing the node's MCDRAM and/or NUMA mode prior to reboot).
このプラグインは現在、slurm.confでのResumeProgram、SuspendProgram、SuspendTimeなどの指定を許可していませんが、その制限は将来削除される可能性があります(ResumeProgramには現在、ノードのMCDRAMやNUMAモードを変更する手段がありません。リブート)。

NOTE:The syscfg program reports the MCDRAM and NUMA mode to be used when the node is next booted.
注:syscfgプログラムは、ノードが次に起動されたときに使用されるMCDRAMおよびNUMAモードを報告します。
If the syscfg program is used to modify the MCDRAM or NUMA mode of a node, but it is not rebooted, then Slurm will be making scheduling decisions based upon incorrect state information.
syscfgプログラムを使用してノードのMCDRAMまたはNUMAモードを変更しても、再起動されない場合、Slurmは誤った状態情報に基づいてスケジューリングを決定します。
If you want to change node state information outside of Slurm then use the following procedure:
Slurmの外部でノード状態情報を変更する場合は、次の手順を使用します。

  1. Drain the nodes of interest
    対象のノードをドレインします
  2. Change their MCDRAM and/or NUMA mode
    MCDRAMおよび/またはNUMAモードを変更します
  3. Reboot the nodes, then
    ノードを再起動してから
  4. Restore them to service in Slurm
    それらをSlurmでサービスに復元します

Sample knl_generic.conf File

# Sample knl_generic.conf
SyscfgPath=/usr/bin/syscfg
DefaultNUMA=a2a         # NUMA=all2all
AllowNUMA=a2a,snc2,hemi
DefaultMCDRAM=cache     # MCDRAM=cache

Sample slurm.conf File

# Sample slurm.conf
NodeFeaturesPlugins=knl_generic
DebugFlags=NodeFeatures
GresTypes=hbm
RebootProgram=/sbin/reboot
...
Nodename=default Sockets=1 CoresPerSocket=68 ThreadsPerCore=4 RealMemory=128000 Feature=knl
NodeName=nid[00000-00127] State=UNKNOWN

Last modified 9 October 2019