Slurm作业调度系统使用指南

ADV2003调度维护台使用手册广州智讯通信系统有限公司版本：00.01电子文件：调度维护台使用手册.doc更新日期：2005-06-27（文件编号）XXXXX目录1.前言 (1)2.运行环境 (2)2.1.硬件环境 (2)2.2.软件环境 (2)2.3.支持的调度台软件 (2)3.安装 (3)3.1.安装硬件 (3)3.1.1.地线的连接 (3)3.1.2.采用内置式ADIB板的维护台连线 (4)3.1.3.采用MCA的调度维护台的连线 (4)3.1.4.注意事项 (6)3.2.安装软件 (6)3.3.参数设置 (9)4.使用说明 (10)4.1.登录程序 (10)4.2.主界面 (10)4.3.数据编辑 (11)4.3.1.系统功能 (11)4.3.2.席位参数 (19)4.3.3.热线用户 (26)4.3.4.组参数 (32)4.3.5.保存数据 (35)4.3.6.退出数据编辑 (35)4.4.数据传送 (36)4.4.1.数据发送的说明 (36)4.4.2.发送数据 (36)4.4.3.接收数据 (37)4.4.4.席位重组 (37)4.4.5.通信数据 (38)4.5.席位监视 (39)4.6.密码管理 (39)4.7.网管设置 (40)4.8.关于软件 (41)5.与老版本调度维护的兼容 (42)5.1.获取热线用户数据 (42)5.2.获取附加显示数据 (42)5.3.获取标签名数据 (42)5.4.获取席位参数 (42)5.5.获取其他参数 (42)5.6.调度台软件升级 (43)5.6.1.使用ADV调度维护台2003进行维护的调度系统 (43)5.6.2.老版本调度维护台（P/N:800048）进行维护的调度系统 (43)图表图 1 调度系统接地图 (3)图 2 维护台接口示意图 (4)图 3 维护台连线图 (4)图 4 外置MCA系统接线图 (4)图 5 外置MCA系统接线图 (5)图6 资源管理器界面 (6)图7 调度维护台安装程序_欢迎界面 (7)图8 调度维护台安装程序_选择安装路径 (7)图9 调度维护台安装程序_选择程序组名称 (8)图10 调度维护台快捷方式图标1 (8)图11 调度维护台快捷方式图标2 (9)图12 登录界面 (10)图13 主界面 (10)图14 系统功能 (11)图15 创建调度台组_第一步 (12)图16 创建调度台组_第二步 (12)图17 创建调度台组_第三步 (13)图18 调度台组列表 (14)图20 备份/恢复数据 (15)图21 备份数据_路径选择 (15)图22 备份数据_确认 (16)图23 备份数据_成功 (16)图24 恢复数据_选择路径 (16)图25 恢复数据_确认 (17)图26 恢复数据_成功 (17)图27 数据拷贝 (17)图28 数据拷贝_确认 (18)图29 数据拷贝_成功 (18)图30 全局参数 (18)图31 选择调度台组 (19)图32 增加调度台席位 (20)图33 调度维护台主界面 (20)图 34 编辑调度台席位 (23)图35 删除调度台席位 (23)图36 添加调度台手柄 (24)图37 添加调度台手柄 (24)图38 编辑调度台手柄 (26)图39 删除调度台手柄 (26)图40 选择调度台组号、席位号 (27)图41 创建调度台热线用户 (27)图42 热线用户界面 (28)图43 热线用户编辑界面 (28)图44 用户数量重置 (29)图45 插入热线用户 (29)图46 移动热线用户1 (30)图47 移动热线用户2 (30)图48 删除热线用户 (30)图49 标签名编辑界面 (31)图50 附加显示编辑界面 (31)图51 选择调度台组参数 (33)图52 选择调度台组参数 (33)图53 紧急号码 (35)图54 退出保存数据 (35)图56 接收数据 (37)图57席位重组设置 (38)图58 通信数据 (38)图59 席位监视 (39)图60 密码管理 (40)图 61 网管设置 (40)图62 关于软件信息 (41)1. 前言ADV调度维护台2003（以下简称：调度维护台）是在DDS-200 ADV型系统调度台软件版本为800038-02A及其以上版本的基础上专门设计的新版本调度维护台软件。

slurm的原理Slurm是一种用于管理超级计算机集群的开源作业调度系统。

它的设计目标是在多用户、多任务的环境中高效地分配计算资源，以实现最佳的系统利用率和作业性能。

Slurm的核心原理是基于作业调度和资源管理。

它通过一个中央控制节点（controller）和多个计算节点（compute nodes）之间的协作，实现对作业的提交、调度和执行的管理。

在Slurm中，用户可以通过向控制节点提交作业描述文件来请求计算资源，包括指定需要的节点数量、运行时间、内存需求等。

控制节点根据预定义的调度策略和系统资源状况，将作业分配给计算节点进行执行。

Slurm的调度算法是其原理的核心部分。

它采用了先进的资源分配算法，如Backfilling和负载平衡算法，以最大程度地减少作业的等待时间和系统的负载不均衡。

Backfilling算法允许较短的作业在等待队列中插队执行，以便更好地利用系统资源。

负载平衡算法则根据节点的负载情况，动态地将作业分配给最适合的节点，以实现整个集群的负载均衡。

Slurm还具有高可用性和容错性的特性。

它支持多个控制节点的冗余配置，以防止单点故障导致的系统中断。

当一个控制节点失效时，其他节点会接管其功能，保证系统的持续运行。

此外，Slurm还提供了详细的日志记录和错误处理机制，以便管理员对系统进行监控和管理。

除了基本的作业调度和资源管理功能，Slurm还提供了丰富的扩展功能和插件机制。

用户可以通过自定义插件来扩展Slurm的功能，如添加新的调度策略、资源限制规则等。

这使得Slurm能够适应不同的应用场景和需求，满足各种复杂的计算任务的要求。

Slurm作为一种高效灵活的作业调度系统，通过合理的资源分配和调度算法，实现了对超级计算机集群的有效管理。

它的原理基于作业调度和资源管理，通过中央控制节点和计算节点的协作，实现作业的提交、调度和执行。

同时，Slurm还具有高可用性和容错性的特性，支持插件扩展，使其适用于各种复杂的计算任务。

slurm任务调度系统部署和测试（⼀）1.概述本博客通过VMware workstation创建了虚拟机console，然后在console内部创建了8台kvm虚拟机，使⽤这8台虚拟机作为集群，来部署配置和测试slurm任务调度系统。

console虚拟机配置为：4核⼼CPU，8G内存，20G系统盘安装OS，20G数据盘挂载到/opt，10G数据盘挂载到/home，⼀块NAT⽹卡模拟带外，⼀块Host only⽹卡模拟专⽤内⽹在使⽤console部署8台kvm虚拟机之后，需要做⼀下操作：部署console到node11-18的免密码登陆，通过sshpass+shell实现部署console为NTP服务器，同步node11-18的时间到console部署console为LDAP服务器，能够实现全局⽤户认证格式化数据盘，将/opt和/home通过NFS共享给node11-18注：上⾯这部分内容涉及较多，如VMware workstation部署虚拟机console，console虚拟机部署kvm虚拟机，创建并挂载NFS全局⽂件系统，console到多节点的免密码登陆，NTP和LDAP服务部署等，这⾥不做⼀⼀详述。

2.同步时间节点将console部署为NTP服务器之后，通过定时执⾏同步任务来保证所有节点时间⼀致：pdsh -w node[11-18] ntpdate 192.168.80.8将该命令写⼊定时任务：crontab -e*/5 * * * * pdsh -w node[11-18] "ntpdate 192.168.80.8; hwclock --systohc"3.下载软件包munged-0.5.12slurm-16.05.3（该软件包因为安全漏洞问题，已经⽆法下载，可下载其他版本）4.编译安装munge-0.5.121.创建安装⽬录：mkdir -p /opt/munge/munge-0.5.122.解压：unzip munge-munge-0.5.12.zip3.编译：cd munge-munge-0.5.12./configure --prefix=/opt/munge/munge-0.5.12 --sysconfdir=/opt/munge/munge-0.5.12/etc --localstatedir=/varmake && make install注：此时编译报错：checking which cryptographic library to use... failedconfigure: error: unable to locate cryptographic library解决如下：yum -y install openssl openssl-devel此时可以在/opt/munge/munge-0.5.12下，查看到munge的各类⽬录5.配置munge我希望munged在运⾏的时候，以root⽤户的⾝份运⾏（默认是munge⽤户），此时需要修改配置。

slurm 分区、节点、队列的概念理论说明以及概述1. 引言1.1 概述在科学计算和高性能计算领域，对于并行任务的调度和管理是至关重要的。

Slurm（Simple Linux Utility for Resource Management）作为一种流行且强大的集群管理系统，被广泛应用于各种规模的高性能计算环境中。

Slurm通过将资源分配与任务调度相结合，实现了高效地利用计算集群资源的目标。

而为了更好地组织和管理这些资源，Slurm引入了三个重要概念：分区、节点和队列。

1.2 文章结构本文将详细介绍Slurm分区、节点、队列的概念、理论说明以及配置与管理方法。

首先，将对Slurm分区进行阐述，包括其定义以及在集群中的作用。

接着，将对Slurm节点进行详细解释，包括其定义、属性与特性，以及相关的配置与管理方法。

然后，将探讨Slurm队列的概念理论说明，包括定义与类型、优先级与调度策略，以及队列配置与管理方法。

最后，在结论部分总结了Slurm分区、节点、队列在集群管理中的重要性和作用，并对未来发展趋势进行展望或提出建议。

1.3 目的本文的目的是全面介绍和解释Slurm分区、节点、队列的概念及其相关理论。

通过对这些概念的深入了解，读者可以更好地理解和应用Slurm集群管理系统，提高任务调度和资源利用效率。

同时，本文旨在为科学计算和高性能计算领域的从业人员提供一个全面而系统的参考资料，以便他们能够更好地使用和管理Slurm系统。

通过阅读本文，读者将对Slurm分区、节点和队列有一个清晰的理论基础，从而更好地应用于实际工作中。

2. Slurm 分区的概念理论说明2.1 Slurm 分区的定义Slurm 分区是指将计算集群中的计算节点按照一定的规则进行划分和分类，使得不同的任务可以在不同的分区中进行管理和调度。

每个分区都具有独立的资源配额和调度策略，这样可以更好地满足不同用户或应用程序对计算资源的需求。

2.2 Slurm 分区的作用Slurm 分区的主要作用是实现对计算资源的有效管理和分配。

调度系统操作手册 Document number：NOCG-YUNOO-BUYTT-UU986-1986UT重庆新亿云信息科技有限公司车辆调度系统平台操作手册创建时间：2016年1月19日星期二目录一、系统简介:本系统的研发，其主要目的是针对公交车辆进行设计的一个计划排班并进行实时调度的一款软件。

通过使用本系统，来实现车辆时刻表的自动化，车辆排班的自动化。

从而避免了繁琐的人工操作，既缩短了人员工作的操作时间，也提升了工作效率，更完善了人员在进行车辆调度期间所遇到的所有与时间排班所产生的一系列相关问题。

更能够通过本系统来查询每一天的车辆排班和车辆时刻的相关数据。

从而有效的记录数据，不会因为时间长远而导致数据遗失，无法查看。

也能够通过本系统的提示来查询每一辆公交的行程数据以及对做出提示的每一辆公交进行核实查看。

保证车辆运行的有效、即时、有序。

二、系统设计与硬件要求本系统的研发是基于微软的.NETFRAMEWORK框架进行的研发，其数据库是使用的SQLServer，编写工具为MicrosoftVisualStudio，系统为C/S机构。

本系统所需要的系统最低版本为XP(本系统需要有微软的.进行支持)及以上，硬盘容量120G及以上，内存2G及以上，处理器2核及以上，为了保证系统的正常有效使用，显示器的分辨率不得低于1024*768.三、系统的初次安装与打开1、系统的安装:本系统为了让用户使用方便，集中使用功能。

因此，将本系统共分为两个安装文件来进行使用，一个为计划排班软件、一个为实时调度软件。

接下来便是系统的安装。

⑴：找到安装文件。

首先，将下发的系统安装文件找出来。

如下图：⑵：系统正式安装。

由于本系统分为两个软件，所以进行先后安装介绍。

首先是计划排班的安装。

第一步：双击计划排班文件，双击后会弹出如下图的界面。

如上，当安装好计划排班之后，便是实时调度系统的安装。

同样我们双击实时调度系统会弹出如下图的对话框进行提示安装。

调度系统操作手册重庆新亿云信息科技有限公司车辆调度系统平台操作手册创建时间：2016年1月19日星期二目录一、系统简介: (4)二、系统设计与硬件要求 (5)三、系统的初次安装与打开 (6)1、系统的安装: (6)⑴：找到安装文件。

(6)⑵：系统正式安装。

(6)四、功能介绍及操作步骤 (10)一、计划排班功能介绍及操作： (10)界面登录： (10)功能界面： (13)功能详细介绍和操作： (14)一、系统简介:本系统的研发，其主要目的是针对公交车辆进行设计的一个计划排班并进行实时调度的一款软件。

通过使用本系统，来实现车辆时刻表的自动化，车辆排班的自动化。

从而避免了繁琐的人工操作，既缩短了人员工作的操作时间，也提升了工作效率，更完善了人员在进行车辆调度期间所遇到的所有与时间排班所产生的一系列相关问题。

更能够通过本系统来查询每一天的车辆排班和车辆时刻的相关数据。

从而有效的记录数据，不会因为时间长远而导致数据遗失，无法查看。

也能够通过本系统的提示来查询每一辆公交的行程数据以及对做出提示的每一辆公交进行核实查看。

保证车辆运行的有效、即时、有序。

二、系统设计与硬件要求本系统的研发是基于微软的.NET FRAMEWORK框架进行的研发，其数据库是使用的SQL Server ，编写工具为Microsoft Visual Studio ，系统为C/S机构。

本系统所需要的系统最低版本为XP(本系统需要有微软的.NET FRAMEWORK4.0进行支持)及以上，硬盘容量120G及以上，内存2G及以上，处理器2核及以上，为了保证系统的正常有效使用，显示器的分辨率不得低于1024*768.三、系统的初次安装与打开1、系统的安装:本系统为了让用户使用方便，集中使用功能。

因此，将本系统共分为两个安装文件来进行使用，一个为计划排班软件、一个为实时调度软件。

接下来便是系统的安装。

⑴：找到安装文件。

首先，将下发的系统安装文件找出来。

北京脑中心高性能集群使用手册2023年06月12日第一章现有集群2第二章集群登录1.1 VPN登录1.1.1vpn下载打开IE浏览器或者safari浏览器访问https://117.133.167.242:1443或者https://:1443打开网页后会提示安全警告信息，点击“详细信息”然后再点击“转到此网页”，最后会显示VPN登陆窗口，输入VPN账号密码后点击登录。

第一次登录会下载安装Easyconnect客户端，后续登录用该客户端登录即可，不需再从网页登录。

打开Easyconnect客户端输入访问地址登录集群的vpn账号，密码然后输入手机接收到的的验证码第一次是管理员设置好的手机号码，如果使用期间想更换手机号登录成功之后可自行修改1.1.2 vpn 支持的版本1.2 主机登录1.2.1 集群IP地址集群IP地址为：10.12.100.88，用户通过该地址可以登录到集群的登录节点。

登录节点主要用于文件上传下载、程序编写、软件安装以及作业提交等操作，登录节点不能运行程序（需要在登录节点用slurm去调度），否则将会影响到其他用户的登录及操作。

1.2.2 Windows用户主机登录Windows用户可以用MobaXterm，Xshell, SSH Secure Shell Client，PuTTY，SecureC RT等SSH客户端软件登录集群。

下面以xshell 为例介绍如何登录。

xshell是付费商业软件，但有免费的教育家庭版可以下载。

1)打开xshell，点击“文件”中的“新建会话”2)编辑会话，在红框内输入IP地址3)输入集群主机账号和密码点击“用户验证”，输入主机账号和密码，然后点击“确定”完成会话新建工作。

4)选择刚创建的会话，然后点击“连接”登录集群5)首次登陆时会弹出窗口，询问是否保存密钥，选择“接受保持”后即可登录集群。

1.2.3 Linux、Mac用户主机登录1.3.1 Windows 用户文件上传下载Windows用户可以用MobaXterm，Xftp, SSH Secure Shell Client，winscp等软件实现文件的上传下载。

先进计算集群用户手册-精简版（V1.0版）目录1前言 (1)2用户登录与文件传输 (1)3利用module设置自己的环境 (2)4作业调度系统slurm (3)4.1常用概念 (3)4.2作业运行的条件 (4)4.3常见命令 (4)4.4查看分区和节点信息：sinfo (4)4.5批处理方式提交作业sbatch和作业脚本范例 (5)4.6查询排队和运行状态的作业：squeue (9)4.7删除作业scancel (10)4.8控制作业命令scontrol (10)1 前言本手册包含环境变量设置、作业调度软件基本命令使用、作业脚本范例，使用集群前请务必阅读。

不同集群软件版本和安装路径会有差异，但软件使用方法一样，客户在使用集群过程中按实际情况调用软件即可。

禁止操作：禁止用户直接在登陆节点上运行计算程序。

客户也可以根据需要在自己的家目录下安装需要的数学库和应用软件等。

2 用户登录与文件传输请查看《云计算平台操作手册》3 利用module设置自己的环境本系统安装了多种编译环境及基础应用，为方便用户使用，配置有Environment Modules 工具，用户可以利用module命令设置、查看所需要的环境。

一般编译和运行程序时可用module load modulefile加载对应的模块，如不想每次都手动加载，可将其设置在~/.bashrc 文件中：~/.bashrc中：module load compiler/intel/intel-compiler-2017.5.239module基本语法：module [subcommand] [subcommand-args]module帮助命令：module --help或-Hmodule常用子命令subcommand：avail：显示MODULEPATH环境变量中设置的目录中的某个目录下可用的模块，如有参数指定，则显示MODULEPATH中符合这个参数的路径。

slurm核时计算
"核时"是高性能计算中一个常用的资源衡量单位，指的是一个CPU核运行一个小时。

在超算中心或高性能集群中，集群作业管理系统是必不可少的，它可以根据用户的需求，统一管理和调度集群的软硬件资源，保证用户作业公平合理地共享集群资源，提高系统利用率和吞吐率。

关于Slurm的核时计算，可以参考以下步骤：
1. 打开Slurm的Web界面。

2. 在左侧导航栏中，选择“Job”。

3. 在“Job”页面中，选择您想要查看核时信息的作业。

4. 在作业详情页面中，找到“Resource Usage”部分，您将看到作业的核时信息。

Slurm任务调度系统部署和测试（源码）（1）1. 概述slurm任务调度系统，主要应⽤在HPC集群资源管理和任务调度。

具体信息参见slurm官⽅⽹站：部署Slurm任务调度系统，需要部署NTP内⽹时间同步服务器，LDAP全局认证服务器，Mysql数据库服务器本篇博客主要记录如何部署和使⽤slurm任务调度系统。

1.1 节点信息节点主机名操作系统主机地址主机⾓⾊node11centos6.5_x86_64192.168.10.11主控制器node12centos6.5_x86_64192.168.10.12备控制器node13centos6.5_x86_64192.168.10.13数据存储主控制器node14centos6.5_x86_64192.168.10.14数据存储备控制器node15centos6.5_x86_64192.168.10.15MySQL数据库服务器2. 节点准备本篇博客的节点，均有已经部署好NTP和LDAP服务客户端的node11克隆，减少部署过程的繁琐。

KVM克隆虚拟机，参见博客《》博客园地址：根据博客内容指导，很容易克隆出其他⼏台虚拟机，提供slurm任务调度环境部署和测试。

3. 部署NTP服务器笔记内链：《》博客园地址：NTP时间服务器部署完成之后，需要同步各个节点的时间。

注：对于节点的NTP同步，可以采⽤pdsh并⾏⼯具完成pdsh并⾏⼯具安装和使⽤，参见笔记内链：《》博客园地址：4. 部署LDAP服务器笔记内链：《》博客园地址：5. 部署Munge认证服务笔记内链：《》博客园地址：6. 部署Mysql数据库服务本篇博客在node15上安装MySQL数据库笔记内链：《》博客园：7. 部署slurm7.1 创建slurm⽤户需要创建slurmadmin全局⽤户，⽤于运⾏slucrmctld和slurmdbd；slurmd因为负责节点的状态，因此需要root权限，不需要创建；同样在LDAP中创建slurmadmin⽤户参见博客：《》博客园地址：7.2 挂载全局⽂件系统在前⾯的博客中提到，把虚拟机console的/usr/local，作为全局共享⽬录，通过NFS⽂件系统实现共享。

slurm简明使用手册Slurm简明使用手册目录Slurm作业管理系统 (2)1 sinfo查看系统资源 (2)2 squeue查看作业状态 (3)3 srun交互式提交作业 (4)4 sbatch 后台提交作业 (5)5 salloc 分配模式作业提交 (6)6 scancel 取消已提交的作业 (6)7 scontrol 查看正在运行的作业信息 (7)8 sacct 查看历史作业信息 (7)Slurm作业管理系统使用Slurm作业管理系统，当前debug作业队列设置为节点可以共享，但作业独占CPU core/GPU资源。

多个用户可以提交作业到同一个节点上，但是节点上CPU core/GPU资源只能被单一作业占有使用。

作业管理系统常用命令如下：1 sinfo查看系统资源sinfo得到的结果是当前账号可使用的队列资源信息，如下图所示：其中，第一列PARTITION是队列名，默认能使用的队列名为debug。

第二列AVAIL是队列可用情况，如果显示up则是可用状态；如果是inact则是不可用状态。

第三列TIMELIMIT是作业运行时间限制，默认是infinite没有限制。

第四列NODES是节点数。

第五列STATE是节点状态，idle是空闲节点，alloc是已被占用节点，comp是正在释放资源的节点，其他状态的节点都不可用，mix是该节点有作业在运行或有程序占用cpu导致的。

第六列NODELIST是节点列表。

sinfo的常用命令选项：其他选项可以通过sinfo --help查询2 squeue查看作业状态squeue得到的结果是当前账号正在运行作业的状态，如果squeue没有作业信息，说明作业已退出。

其中，第一列JOBID是作业号，作业号是唯一的。

第二列PARTITION是作业运行使用的队列名。

第三列NAME是作业名。

第四列USER是超算账号名。

第五列ST是作业状态，R表示正常运行，PD表示在排队，CG表示正在退出，S是管理员暂时挂起，只有R状态会计费。