通过 slurm 系统使用 GPU 资源

Slurm 系统

Slurm 任务调度工具 ，是一个用于 Linux 和 Unix 内核系统的免费、开源的任务调度工具，被世界范围内的超级计算机和计算集群广泛采用。它提供了三个关键功能：

Slurm 系统是一个任务调度系统，意味着 Slurm 系统安排程序运行的位置（服务器），协调程序占用的资源，但不会参与程序的具体运行过程。任何程序都可以在 Slurm 系统中运行！

尝试使用 Slurm 系统吧！连接 VPN ，登陆 10.0.0.251 ，执行以下命令：

Slurm 系统内包含多个服务器，但是所有服务器的 /home 目录都由存储节点提供，是一个共享的分区，不用考虑数据在服务器之间拷贝同步的问题。

尝试使用共享目录：

在 Slurm 系统中，节点指可以独立运行程序的服务器，所有服务器都可以执行用户提交的程序。目前 slurm 系统内共有 5 个节点：

登录节点 air-server ：连接 VPN 后 ssh 登陆 10.0.0.251

跳板节点上配备 2 张 A100 GPU 供调试，该 GPU 使用无需通过 slurm 系统。

运算节点：共有 4 个，分别是

air-node-02（配备 8 张 A100 GPU）

使用运算结点上的 GPU 资源，需要通过 slurm 系统提交任务

任务是对程序以及程序运行占用资源的封装，每一个任务有的单独的编号（JOBID）。

任务在 slurm 中的生命周期如下：

最后，Slurm干的事情就是把任务（信）分发到 Slurm 节点（工厂），Slurm 节点执行任务指定的程序（工厂拆开信封开始生产）。

下面介绍使用 Slurm 系统的具体使用方法。

先进入 conda 环境

要使用 conda 虚拟环境，需要在执行 slurm 相关命令前执行 conda activate xxx

我要跑 3 天 12 小时内跑完的程序，使用 2 张 GPU，任务名字叫 hard working

我要跑 3 天 12 小时内跑完的程序，使用 2 张 GPU，当任务开始执行、结束时发邮件通知我

我要跑 3 天 12 小时内跑完的程序，使用 2 张 GPU，还要使用 100GB 内存

我要跑 3 天 12 小时内跑完的程序，使用 2 张 GPU，还要使用 80 个核

我要使用 2 张 GPU，通过交互方式运行 python，3 小时（180分钟）就行

我还没想好要跑什么程序，但是我得需要 1 张 GPU，3 天内能跑完

我想用一张 GPU 同时跑两个程序

我想一次提交100个任务排着队，有空就慢慢跑；第 i 个任务就跑 python run.py i

创建文件 batch.sh （文件名可改）

执行以下命令

进入队列的任务按照以下公式计算优先级，优先级数值越高，任务在队列中排队越靠前：

其中， p_age ， p_fair ， p_qos 均为 0 到 1 范围内浮点数。各因子计算方法如下：

p_age ：时间因子，由任务提交开始从 0.0 随时间均匀增长，3 天后增长至 1.0 随后保持不变

p_fair ：公平因子，由 Slurm 计算得到，可通过 sshare 命令查看。Slurm 系统保证

集群资源使用量多的组，其组内用户的公平因子一定严格小于其它组的用户

组内用户具有相同的公平因子

p_qos ：优先级因子。现在，集群上提交的任务具有 qos 属性，可通过 --qos 参数手动指定，可选值为 high 与 normal ； high 级别任务的优先级因子为 1.0 ，normal 级别任务的优先级因子为 0.0

每个用户最多只能有 1 个高优先级任务正在运行；每个组最多只能有 4 个高优先级任务在队列中

从 2022 年 2 月 1 日起，集群启用新的使用限制：

对所有当前运行任务和历史运行任务，Slurm 系统统计申请资源量（CPU、内存、GPU）与已使用时间的乘积，该乘积的总和称为累计资源使用时。该统计量以 3 天为周期减半。当累计资源使用时超过下列限制时，当前所有正在运行的任务将被杀死并不能提交新任务：

历史使用量已清零

所有用户累计资源使用时已经在 2022 年 2 月 15 日清零。

例子

对于重度 GPU 用户，最大化使用集群的方法是连续使用 4 张 A100 GPU

对所有当前运行任务，Slurm 系统统计申请资源量（CPU、内存、GPU）与任务声明使用时间（srun ， salloc ， sbatch 中的 -t/--time 参数指定）的乘积。当新提交的任务使得该乘积之和超过下列限制时，该新任务将进入队列等待，直到正在占用资源的任务结束运行：

每一个用户最多有 1 个高优先级任务正在运行。

每一个组最多提交 4 个高优先级任务。

绕开限制

如果有特殊需求需要临时放宽以上限制，请联系管理员

如需后台运行任务请使用 tmux / screen 等工具或使用下方 sbatch 命令提交任务。

参数说明：

--qos: （可选）任务的优先级别

--nodelist: （可选）指定程序运行的节点机，未指定时将由系统自动分配。目前可选的节点机有：

参数位置

提供给 srun 命令的参数应当置于程序命令 CMD 之前，否则会被认为是提供给 CMD 的运行参数。

运行时间

为了合理使用GPU资源，请提交任务时指定一个合理的最长运行时间。请注意，过长的运行时间可能导致调度的优先级降低，详情请见下方调度策略说明。

容器应用支持

目前集群中所有节点已经支持容器应用。 提交运行容器的任务需要在使用 srun 命令使用额外的一些参数，具体使用方法请参考这里。 需要运行容器的任务只能通过 srun 提交（不能通过 sbatch）。

显示正在运行与正在排队的任务。样例输出：

输出表格字段含义：

该命令返回任务的详细状态。在该命令的输出中，能够找到关于任务的所有信息：提交时间、开始时间、运行时长、申请资源、排队时长、排队原因等。

该命令返回集群中运算节点的名称、节点资源总量、节点资源已使用量等信息。样例输出如下：

输出表格字段含义：

取消任务。只能取消自己提交的任务。

scancel 操作对象为任务组 ID 时，会取消任务组中所有任务。详情请见下方 sbatch 说明。

该操作不可逆，执行前请再三确认。

根据 run.sh 向 Slurm 中批量提交任务，执行后立即返回。如果任务在 conda 环境中执行，在运行 sbatch 前应当先进入该 conda 环境。

run.sh 第一行必须为 #!/bin/bash.

sbatch 的命令行参数可以通过两种方式指定：

参数说明：

样例 run.sh 脚本如下：