pbs常用命令和选项
- 格式:doc
- 大小:29.00 KB
- 文档页数:2
pbs提交作业如何如何使⽤使⽤pbs 提交作业1 串⾏任务提交⽤户通过qsub 命令来向系统提交任务,有两种⽅式提交:脚本⽅式和命令⾏⽅式。
(⼀般情况下,不允许root ⽤户使⽤qsub 命令提交作业)1.1 脚本⽅式提交⽤户将需要执⾏的程序或命令写⼊脚本中,再加⼊⼀些必要或者可选的语句,就可以通过脚本⽅式提交。
脚本提交⽐较⽅便,⽤户可以⽤最简单的⽂字编辑器(例如vi )编写⼀个脚本,然后使⽤qsub 命令提交该脚本,pbs 会按照脚本内容执⾏相应的任务。
脚本提交的不⾜之处就是需要⽤户执⾏任务前编写脚本。
脚本⽅式提交任务的⼀般格式为:qsub[script_name],script_name 是任务脚本的名称。
下⾯介绍pbs 任务脚本的编写⽅法。
pbs 任务脚本包括三部分:shell 说明语句:⽤来说明⽤户使⽤的是哪种shell ,例如 #!/bin/sh 说明⽤户需要使⽤Bourne shell ,如果⽤户没有指定,则默认为 Bourne shell pbs 指⽰语句:pbs 指⽰语句是⽤户⽤来请求任务运⾏时所需的资源或设置任务的⼀些属性的。
以#PBS 开头,如#PBS –N taskname 是⽤来设置任务名称的。
pbs 指⽰语句是可选的,⽤户可以不⽤关⼼它如何写,系统会⾃动设置。
pbs 指⽰句的⼀个主要作⽤是请求任务执⾏时所需要的系统资源,如cpu 数⽬,存储容量,运⾏时间,运⾏优先级等等。
以脚本⽅式提交的任务的资源请求是通过pbs 指⽰语句,⼀般格式为 #PBS –l [选项=] [选项对应的值],如#PBS –l ncpus=5表⽰请求5个cpu 为之服务。
系统资源如下表所⽰资源描述举例 arch 所需要的系统结构,只⽤在资源块中 -l arch=linux cput 任务的所有进程拥有的最⼤cpu 执⾏时间 -l cput=1:00:00 file 任务能够创建的⽂件的⼤⼩ -l file=45mb nodes 主机的个数-l nodes=2 ppn 每个主机的处理器个数 -l nodes=2:ppn=2 host指定执⾏主机的名称-l nodes=X:host 分配X 个主机名称中含有host 的执⾏节点mem 任务的所有进程能够分配到的最⼤物理内存数 -l mem=100mb ncpus 请求的cpu 数-l ncups=5 nice 任务运⾏时的nice 优先级值-l nice=3 pcput 任务的任何⼀个进程拥有的最⼤cpu 执⾏时间 -l pcput=1:00:00 pmem 任务的任何⼀个进程能够分配到的最⼤物理内存数 -l pmem=45mb pvmem 任务的任何⼀个进程能够使⽤的虚拟内存的最⼤数 -l pvmem=100mb vmem 任务的所有并发进程能够使⽤的最⼤虚存数 -l vmem=100mb walltime任务可以处于运⾏态的最⼤wall-clock 时间-l walltime=1:00:00注:表中最常⽤的⼏种资源是:nodes, ppn, walltime, ncpus, mem 。
pbs批量删除作业PBS是一种流行的作业调度系统,常用于管理大规模计算集群中的作业。
在使用PBS时,有时我们需要批量删除已经提交的作业,以释放资源或纠正错误。
下面将详细介绍如何使用PBS命令来实现批量删除作业。
我们需要登录到PBS集群的管理节点上。
在终端中输入以下命令:```ssh username@pbs_cluster```其中,username是你的用户名,pbs_cluster是PBS集群的地址。
登录成功后,我们可以使用qstat命令查看当前正在运行的作业列表。
为了批量删除作业,我们需要先确定要删除的作业的ID或名称。
假设我们要删除的作业ID分别为job1、job2和job3。
接下来,我们可以使用qdel命令来删除作业。
该命令的基本语法如下:```qdel job_id```其中,job_id是要删除的作业的ID或名称。
如果要批量删除多个作业,可以将多个job_id用空格分隔,放在qdel命令后面。
例如:```qdel job1 job2 job3```执行以上命令后,PBS系统会按照指定的顺序依次删除这些作业。
如果作业正在运行,系统会尝试终止作业并删除。
需要注意的是,只有作业的所有任务都处于“Running”或“Idle”状态时,才能被删除。
如果有些任务已经完成或处于其他状态,那么这些任务对应的作业无法被删除。
如果要删除所有作业,可以使用如下命令:```qdel -u username```其中,username是要删除作业的用户名。
执行以上命令后,系统会删除该用户提交的所有作业。
除了使用qdel命令,还可以使用qdel命令的其他选项来删除作业。
例如,我们可以使用“-a”选项来删除所有作业,无论其状态如何:```qdel -a```还可以使用“-p”选项来删除指定优先级范围内的作业:```qdel -p priority_start-priority_end```其中,priority_start和priority_end分别是优先级的起始值和结束值。
pbs使用手册PBS(Portable Batch System)是一种用于管理和调度作业的软件系统,广泛应用于高性能计算和云计算环境。
以下是PBS使用手册的简要介绍:1. 作业提交:用户可以使用PBS命令行工具或脚本提交作业。
提交作业时,需要指定作业的名称、脚本文件、执行所需的资源等信息。
作业提交后,PBS会将作业放入队列中等待调度。
2. 作业调度:PBS使用作业调度器来决定作业的执行顺序。
调度器会根据作业的优先级、资源需求和可用资源的情况来选择合适的作业执行。
3. 作业执行:一旦作业被调度器选中,PBS会将作业分配到指定的计算节点上执行。
在作业执行期间,PBS会监控作业的运行状态,确保资源的正确使用和管理。
4. 作业管理:用户可以通过PBS命令行工具或Web界面查看作业的状态、资源使用情况、执行日志等信息。
用户还可以对作业进行控制,如暂停、恢复、杀死等操作。
5. 资源管理:PBS提供了一套完整的资源管理机制,包括对计算节点、存储设备和网络资源的管理。
用户可以通过PBS来申请和释放资源,以满足作业的资源需求。
6. 用户认证和权限管理:PBS支持用户认证和权限管理功能,以确保只有授权用户才能提交和管理作业。
用户需要使用有效的用户名和密码登录系统,并具有相应的权限来执行特定的操作。
7. 日志和监控:PBS提供了详细的日志记录和监控功能,以便用户了解作业的执行情况和系统的运行状态。
用户可以通过查看日志文件来获取作业的执行日志、系统事件等信息。
以上是PBS使用手册的简要介绍,具体的操作细节和配置选项可能因版本和实际应用而有所不同。
建议查阅具体版本的PBS文档或向专业人员咨询以获得更详细的信息和使用指导。
PBS,QSUB常用命令1、后台提交作业qsub语法: qsub [-a date_time] [-A account_string] [-e path] [-h] [-I] [-j join] [-k keep] [-l resource_list] [-m mail_options] [-n Node_allocation_Method [-L v1,[v2,[v3,[v4]]]]] [-M user_list] [-N name] [-o path] [-p priority] [-q pool] [-r y|n] [-u user_list] [-v variable_list] [-V] [script]参数: script参数被省略时,该命令可以从标准输入获得脚本文件名。
-a 间。
格式为[[[[CC]YY]MM]DD]hhmm[.SS]。
CC表示世纪,YY 表示年(后两位数字),MM表示月(两位数字),DD表示天(两位数字),hh表示小时(两位数字),mm表示分(两位数字),SS 表示秒(两位数字)。
如果DD指定的是未来日子,而未指定MM,则MM缺省值为当前月,否则,MM的缺省值为下个月。
如果hhmm 指定的未来时间,而未指定DD,则DD的缺省值为当天,否则,DD的缺省值为明天。
如果提交作业时使用该选项,当指定时间还没到时,作业状态显示为”W”。
-e 指定错误输出文件名,格式为[hostname:]path_home。
Hostname是返回错误输出文件的主机名,path_home是错误输出文件的绝对路径,如果指定了相对路径,则相对用户的主目录。
不使用该选项时,缺省值是在用户主目录下,以“作业名.e作业ID”命名的文件-o 指定输出文件名,格式为[hostname:]path_home。
缺省值是在用户主目录下,以“作业名.e作业ID”命名的文件-h 指定在提交作业时,设置用户级’u’挂起。
pbs作业管理命令PBS 提供4 条命令⽤于作业管理。
(1) qsub 命令—⽤于提交作业脚本命令格式:qsub [-a date_time] [-c interval] [-C directive_prefix][-e path] [-I] [-j join] [-k keep] [-l resource_list] [-m mail_options][-M user_list][-N name] [-o path] [-p priority] [-q destination] [-r c][-S path_list] [-u user_list][-v variable_list] [-V][-W additional_attributes] [-z][script]参数说明:因为所采⽤的选项⼀般放在pbs 脚本中提交,所以具体见PBS 脚本选项。
例:# qsub aaa.pbs 提交某作业,系统将产⽣⼀个作业号(2) qstat 命令—⽤于查询作业状态信息命令格式:qatat [-f][-a][-i] [-n][-s] [-R] [-Q][-q][-B][-u]参数说明:-f jobid 列出指定作业的信息-a 列出系统所有作业-i 列出不在运⾏的作业-n 列出分配给此作业的结点-s 列出队列管理员与scheduler 所提供的建议-R 列出磁盘预留信息-Q 操作符是destination id,指明请求的是队列状态-q 列出队列状态,并以alternative 形式显⽰-au userid 列出指定⽤户的所有作业-B 列出PBS Server 信息-r 列出所有正在运⾏的作业-Qf queue 列出指定队列的信息-u 若操作符为作业号,则列出其状态。
若操作符为destination id,则列出运⾏在其上的属于user_list 中⽤户的作业状态。
例:# qstat -f 211 查询作业号为211 的作业的具体信息。
集群使用常用命令1.1命令行使用作业调度1.1.1PBS的基本命令提交作业:qsub XXX1.1.2查询作业运行状态:qstat1.1.3删除作业:qdel 作业号2Linux常用命令1.1浏览目录命令用户使用命令行所做的大部分工作是用来定位、列出、创建以及删除文件和目录,下面列举最为常用的这类命令及其解释,更为详细的用法请参见Linux有关书籍。
➢ls 列出文件常用的命令参数选项有-l,-a,-t等。
ls 代表list。
ls -la ——给出当前目录下所有文件的一个长列表,包括以句点开头的隐藏文件。
ls -l *.doc ——列出当前目录下以字母.doc 结尾的所有文件。
ls -a ——显示当前目录所有文件及目录。
ls -d ——将目录像文件一样显示,而不显示该目录下的文件。
ls -R ——列出所有子目录下的文件。
ls -t ——将文件依建立时间之先后次序列出。
ls -ltr s* ——列当前目录下任何名称是s 开头的文件,愈新的文件排愈后。
➢cd [directory] 切换目录cd 代表change directory。
cd ~——切换到用户家目录。
cd /tmp ——切换到目录/tmp。
cd .. ——切换到上一层目录cd / ——切换到系统根目录cd /usr/bin ——切换到/usr/bin 目录。
1.2浏览文件命令➢cat [textfile] 显示文本文件内容cat 代表catenate。
cat /etc/passwd ——显示文本文件passwd 中的内容。
cat test.txt | more ——逐页显示test.txt 文件中的内容。
cat test.txt >>test1.txt ——将test.txt 的内容附加到test1.txt 文件之后。
cat a.txt b.txt >readme.txt ——将文件a.txt 和b.txt 合并成readme.txt 文件。
pbs常用命令和选项
2009-05-01 22:24一、基本选项
pbs是Protable Batch System的缩写,是一个任务管理系统。
当多个用户使用同一个计算资源时,每个用户用PBS脚本提交自己的任务,由PBS对这些任务进行管理和资源的分配。
下面是一个简单的PBS脚本:
#PBS -l nodes=20
#PBS -N snaphu
#PBS -j oe
#PBS -l walltime=24:00:00
#PBS -l cput=1:00:00
#PBS -q dque
cd $PBS_O_WORKDIR
cat $PBS_NODEFILE $PBS_NODEFILE> NODEFILE
mpirun -hostfile NODEFILE -np `cat NODEFILE |wc -l` ./mpiTest
将这个脚本保存成submit
然后qsub submit就将这个mpiTest的任务提交给了系统。
脚本中#PBS为脚本选项,用于设置一些参数。
#PBS -l表示资源列表,用于设定特定任务所需的一些参数。
这里的NODES表示并行环境下可以使用的节点数,而walltime表示任务最大时限,而cput表示cpu时间的最大时限,运行时间和cpu使用时间超过对应的时限,任务就会以超时退出。
这三个参数不是PBS脚本参数,而是并行环境所需的参数。
#PBS -N表示任务名称
#PBS -j表示系统输出,如果是oe,则标准错误输出(stderr)和标准输出(stdout)合并为stdout,如果是eo,则合并为stderr,如果没有设定或设定为n,则stderr和stdout分开。
#PBS -q表示当前任务选用的队列。
在并行环境下,一个系统中往往有多个队列,任务提交后,将在所选的队列中排除等候。
系统中有哪些队列可以用qstat -q查看。
二、简单命令
任务提交后,需要查看任务信息和环境信息,有如下常用命令。
qstat 查看本用户提交的任务
qstat -n 同上,输出内容稍有不同
qstat -q 查看系统中所有的队列,以及每个队列中任务的运行和等候情况。
showq 查看系统中所有运行的任务。
qdel id 删除JOBNAME为id的任务。
该任务如果在等待,则可以有这个命令删除,如果已经开始运行,则无法删除。
三、参数传递
qsub submit -l nodes=4 -v x=1,y=2
其中,-l nodes=4本来就是一个#PBS选项,既可以放在submit文件中,又可以放到命令行上。
-v x=1,y=2为一个变量列表,和shell命令一样,在submit文件中可以用$x,$y来调用这两值。