曙光集群用户使用手册样本

云南大学高性能计算中心曙光集群系统使用指南1、使用SSH客户端软件用在高性能计算中心申请的用户名和密码登录到集群系统（Windows系统可使用SSHSecureShellClient-3.2.9软件包，下载地址/structure/download Linux系统可直接使用ssh命令登录）。

登录成功后你所在的节点是登录节点，系统会有一些通知信息显示，操作提示符是[username@node34 ~]$。

这个节点是作用户帐号管理，不要在上面运行程序。

2、编译与调试程序请用rsh转到相关作业区节点。

本集群系统共有32个计算节点（每个节点有4个CPU 8G 内存），分为4个作业区。

小作业区small包含4个节点（node1..node4），中型作业区medium包含8个节点（node5..node13），专用作业区long包含8个节点(node13..node20)，大作业区large包含12个节点(node21..node32)。

每一个作业区的第一个节点该作业区的服务节点，small为node1，medium为node5，long为node13，large为node21。

例如从登录节点转到一号节点：[hbli@node34 ~]$rsh node1Last login: Mon Aug 28 15:33:16 from node34[hbli@node1 ~]$3、编译链接、运行用户程序串行程序可使用GCC或PGI编译器，并行程序可使用mpicc, mpiCC, mpif77，mpif90进行编译。

以下是一个c使用mpi的例子：/* hello.c *//* MPI sample c program *//* compile "with mpicc -o hello hello" *//* run with "mpirun -np 8 hello" *//* or submit with pbs script "qsub hello.pbs" *//* you can use "qstat" to dislay your job statusa */#include <stdio.h>#include "mpi.h"int main( argc, argv )int argc;char **argv;{int rank, size;MPI_Init( &argc, &argv );MPI_Comm_size( MPI_COMM_WORLD, &size );MPI_Comm_rank( MPI_COMM_WORLD, &rank );printf( "Hello world from process %d of %d\n", rank, size );MPI_Finalize();return 0;}可以用如下命令对上面的程序进行编译：$ [hbli@node1 sample]mpicc –o hello hello.c生成可运行的文件hello，用ls –l 命令可以看到生成的可执行文件：$ [hbli@node1 sample]ls –l-rwxrwxr-x 1 hbli hbli 507375 Oct 10 10:39 hello-rw-r--r-- 1 hbli hbli 532 Jun 20 08:01 hello.c这样就可运行hello 这个程序了。

1. 登录和文件传输登录方式为ssh，与telnet功能类似，推荐的登录工具为putty或者Secure Shell （/html/download/ser/20070917/35112.html，绿色版无需安装）在地址栏输入本集群的登录地址(node1对应的局域网IP)，点击“打开”，就会出现登录窗口，输入用户名、密码即可。

文件传输为sftp，与传统ftp类似，但其协议更安全可靠，推荐工具为filezilla。

（https:///p/filezilla/download?filename=FileZilla_3.3.2_win32.zip，绿色版无需安装）输入登录地址222.222.21.29，输入用户名和密码，端口填22（本软件支持ftp，端口为21），点击快速连接，即可使用，操作办法与常用ftp工具类似。

2. 图形窗口支持Linux推荐使用vnc。

vnc可以将用户的操作状态保持在服务器端，即使断开连接也不会影响到正在进行的操作、计算等。

登录到linux服务器中，在命令行运行vncserver。

第一次运行时需要输入VNC登陆用的密码：根据提示输入新的vnc密码。

此密码与用户登录密码无关，将在登录vnc时需要。

此处提示的node1:2即为vnc成功打开的端口。

运行vncclient，输入登录服务器地址和端口号，点确定，输入前面设置的密码，即进入了图形窗口。

注意：1、在第一次启动了vncserver之后，vnc的连接一直可用，全部图形窗口保持在Linux 服务器上。

因此，只在每次服务器重新启动后运行一次vncserver即可，由于用户较多，请勿启动多个。

2、如果需要使用node2的图形界面，可执行ssh -X node2。

3. 作业提交3.1. Fluent3.1.1. 图形方式运行首先通过VNC登陆到图形界面，如果没有Terminal的话在桌面点击左键选择Xterm，输入以下命令即可运行：此处myhosts为用户指定的host文件，内容如下所示：node1node1node1node1node2node2node2node2-t8即指定8个核心参与计算，分别为node1上的4个核心和node2上的4个核心。

Clusconf-1.5.1用户手册曙光信息产业股份有限公司解决方案中心马少杰2013年3月目录第1章高性能集群三要素 (3)第2章clusconf功能介绍 (3)2.1 集群配置功能 (3)2.2 集群管理功能 (3)2.3 IPMI配置及管理功能 (4)第3章使用前要求 (4)第4章安装和配置 (4)4.1 安装clusconf (4)4.2 配置/etc/hosts文件 (4)4.3 配置nfs.cfg 文件 (6)4.4 配置ipmi.cfg文件 (7)第5章Clusconf使用帮助 (8)5.1 clusconf 使用选项 (8)5.2 配置操作(setting Operation) (10)5.3 管理操作(Managing Operation) (11)5.4 IPMI相关操作(IPMI Operation) (12)第6章环境变量说明： (14)第1章高性能集群三要素对于一个高性能集群，至少需要满足三个要求：1 全网全通，实现rsh或ssh的无密码访问2 统一的用户信息，可以通过同步用户信息来实现或配置NIS来实现。

3 统一的文件印象，可以通过nfs（或并行文件系统）来实现。

第2章clusconf功能介绍clusconf为一个设置集群并行环境的程序，能够完成Linux系统下的整个集群的配置、管理。

默认为根据/etc/hosts 表来认定集群中所有的节点，可以通过选项-p prefix和-n number 来自己定义集群中的节点包含功能：2.1 集群配置功能1.为某个用户设置ssh 无密码访问(--set-ssh|-ss)2.为所有用户设置rsh 无密码访问(--set-rsh|-sr)3.按照集群规范设置服务(--set-service|-sv)4.设置整个集群的nfs服务(--set-nfs|-sf)5.按照预定的流程一键配置集群(--set-all|-sa)2.2 集群管理功能1.测试全网是否完全通过(--test-net|-tn)2.显示集群信息(--sys-info|-si)3.显示整个集群的cpu负载(负载大于5％的进程) (--disp-cpu|-dc)4.同步整个集群的用户(--sync-user|-yu)5.添加一个用户到整个集群(--useradd|--adduser|-au|-ua username)6.删除一个用户到整个集群(--deluser|--uerdel|-du|-ud username)7.同步整个集群的时间(--sync-time|-yt)8.同步整个集群的某个文件(--sync-file|-yf file|files|path|paths)9.在整个集群上执行相同的命令(--sync-do|-yd command)2.3 IPMI配置及管理功能1.配置ipmi IP地址(--set-ipmi|-si)2.显示ipmi的IP地址及显示电源状态（--ipmi-info|-ii）3.IPMI远程开机(--ipmi-poweron|-in)4.IPMI 远程关机(--ipmi-poweroff|-if)5.IPMI 远程智能开机，可根据集群的角色自动规划开机顺序(--ipmi-ipoweron|-iin)6.IPMI 远程智能关机，可根据集群的角色自动规划开机顺序(--ipmi-ipoweroff|-iif)第3章使用前要求1 整个集群中所有节点操作系统安装好。

曙光MPI用户手册(TC1700 & TC4000L)曙光信息产业有限公司2003-9目录MPI的使用 (1)1.MPI简介 (1)2.MPI的程序设计 (1)2.1 MPI的基本功能 (1)2.2 MPI的几个重要元素 (2)2.3 消息 (2)2.4 point-to-point通信 (3)2.5 集群通信 (5)3. MPI应用程序的编译 (6)3.1 环境设置 (6)3.2 make (6)3.3 mpif77和mpicc (7)4. MPI应用程序的运行 (8)5. 常见问题分析 (8)附录MPI函数简表 (9)MPI的使用1.MPI简介MPI（M essage P assing I nterface）是消息传递接口的标准，当前通用的是MPI1.2规范。

不久前制定的MPI2.0规范除支持消息传递外，还支持MPI的I/O规范和进程管理规范。

MPI正成为并行程序设计事实上的工业标准。

MPICH含三层结构，最上层是MPI的API，基本是点到点通信和点到点通信基础上构造的集群通信（Collective Communication）；中间层是ADI层（Abstract Device Interface），其中device可以简单地理解为某一种底层通信库，ADI就是对各种不同的底层通信库的不同接口的统一标准；最下层是具体的底层通信库，例如工作站机群上的p4通信库。

MPICH在不同平台上的实现都是根据不同的device（即平台或底层通信）实现不同的ADI 接口，这种实现机制的好处有：将与device有关和无关的代码分开，减小实现难度；利于MPI的不断升级；提高MPI的性能。

2.MPI的程序设计2.1 MPI的基本功能MPI1.2标准中没有对如何产生多个MPI进程作标准性规定，而把这一工作交给了具体的实现。

但是它有如下众所周知的假设：静态加载，即所有进程在加载完以后就全部确定，直至整个程序结束才终止，在程序正常运行期间没有进程的创建和结束。

浙江大学大气污染控制实验室集群使用1系统概况计算系统共有6台曙光I620-G10。

每台计算节点配置Intel E5-2650处理管理登入存储节点为曙光I620-G10，节点配置Intel E5-2609处理器，16G工作站为曙光W580I，节点配置Intel E5-2609处理器，12G 1333MHz2集群配置3 节点配置及IP4. 账号管理该集群中有两个用户组，即apclab与visitor组，本实验组人员归apclab组管理，外来游客归visitor组管理。

（1）创建用户（apclab组）[root@node1 home]# clusconf -au test1REMOTE_SH using ssh/scpOperation is done in following hosts:node1 node2 node3 node4 node5 node6 node7node3: ssh: connect to host node3 port 22: No route to hostpdsh@node1: node3: ssh exited with exit code 255Now add user: test1 on the Whole cluster5.. 4.. 3.. 2.. 1..Input the Home directory for user:test1[/public/home/test1]: /public/home/apclab /test1Input the Group Name for user:test1[users]: apclabInput the uid for user:test1[504]:Changing password for user test1.New password:Retype new password:passwd: all authentication tokens updated successfully.Now Synchronize user and group on the Whole cluster5.. 4.. 3.. 2.. 1..========node1=================node2=================node3=================node4=================node5=================node6=================node7=========adduser test1 on the whole cluster successfully!初始密码：apclab;123（2）创建用户（visitor组）[root@node1 home]# clusconf -au guest1REMOTE_SH using ssh/scpOperation is done in following hosts:node1 node2 node3 node4 node5 node6 node7node3: ssh: connect to host node3 port 22: No route to hostpdsh@node1: node3: ssh exited with exit code 255Now add user: guest1 on the Whole cluster5.. 4.. 3.. 2.. 1..Input the Home directory for user:guest1[/public/home/guest1]: /public/home/visitor/guest1 Input the Group Name for user:guest1[users]: visitorInput the uid for user:guest1[505]:Changing password for user guest1.New password:BAD PASSWORD: it does not contain enough DIFFERENT charactersBAD PASSWORD: is a palindromeRetype new password:passwd: all authentication tokens updated successfully.Now Synchronize user and group on the Whole cluster5.. 4.. 3.. 2.. 1..========node1=================node2=================node3=================node4=================node5=================node6=================node7=========adduser guest1 on the whole cluster successfully!初始密码：111111（3）删除用户[root@node1 home]# clusconf -du test2REMOTE_SH using ssh/scpOperation is done in following hosts:node1 node2 node3 node4 node5 node6 node7node3: ssh: connect to host node3 port 22: No route to hostpdsh@node1: node3: ssh exited with exit code 255Now del user: test2 on the Whole cluster5.. 4.. 3.. 2.. 1../public/home/test2Do you want to delete Home path: /public/home/test2 for test2(n/y)[n]: y（删去家目录，节省空间）Now Synchronize user and group on the Whole cluster5.. 4.. 3.. 2.. 1..========node1=================node2=================node3=================node4=================node5=================node6=================node7=========deluser test2 on the whole cluster successfully!（4）apclab组的共享目录（/public/home/apclab/test1）/public/home/apclab/test1，目前所设置的权限为只读，设置方法：[root@node1 apclab]# chmod 750 /public/home/apclab/test1 -R如果设置的权限为可读可写，设置方法：[root@node1 apclab]# chmod 770 /public/home/apclab/test1 –R5.存储使用管理目前分别有两个存储资源，即/dev/sdb,/dev/sdc分别挂在/public,/data; /public目录通过NFS方式映射给node2~7节点使用；/data通过NFS方式映射给com-gpu节点使用。

1. 登录和文件传输登录方式为ssh, 与telnet功能类似, 推荐的登录工具为putty或者Secure Shell( , 绿色版无需安装)在地址栏输入本集群的登录地址(node1对应的局域网IP), 点击”打开”, 就会出现登录窗口, 输入用户名、密码即可。

文件传输为sftp, 与传统ftp类似, 但其协议更安全可靠, 推荐工具为filezilla。

( , 绿色版无需安装)输入登录地址222.222.21.29, 输入用户名和密码, 端口填22( 本软件支持ftp, 端口为21) , 点击快速连接, 即可使用, 操作办法与常见ftp工具类似。

2. 图形窗口支持Linux推荐使用vnc。

vnc能够将用户的操作状态保持在服务器端, 即使断开连接也不会影响到正在进行的操作、计算等。

登录到linux服务器中, 在命令行运行vncserver。

第一次运行时需要输入VNC登陆用的密码:根据提示输入新的vnc密码。

此密码与用户登录密码无关, 将在登录vnc时需要。

此处提示的node1:2即为vnc成功打开的端口。

运行vncclient, 输入登录服务器地址和端口号, 点确定, 输入前面设置的密码, 即进入了图形窗口。

注意:1、在第一次启动了vncserver之后, vnc的连接一直可用, 全部图形窗口保持在Linux服务器上。

因此, 只在每次服务器重新启动后运行一次vncserver即可, 由于用户较多, 请勿启动多个。

2、如果需要使用node2的图形界面, 可执行ssh -X node2。

3. 作业提交3.1. Fluent3.1.1. 图形方式运行首先经过VNC登陆到图形界面, 如果没有Terminal的话在桌面点击左键选择Xterm, 输入以下命令即可运行:此处myhosts为用户指定的host文件, 内容如下所示:node1node1node1node1node2node2node2node2-t8即指定8个核心参与计算, 分别为node1上的4个核心和node2上的4个核心。

I240-G20用户手册DAWNING INFORMATION INDUSTRY CO.,LTD.声明本手册的用途在于帮助您正确地使用曙光公司服务器产品(以下称“本产品”)，在安装和第一次使用本产品前，请您务必先仔细阅读随机配送的所有资料，特别是本手册中所提及的注意事项。

这会有助于您更好和安全地使用本产品。

请妥善保管本手册，以便日后参阅。

本手册的描述并不代表对本产品规格和软硬件配置的任何说明。

有关本产品的实际规格和配置，请查阅相关协议、装箱单、产品规格配置描述文件，或向产品的销售商咨询。

如您不正确地或未按本手册的指示和要求安装、使用或保管本产品，或让非曙光公司授权的技术人员修理、变更本产品，曙光公司将不对由此导致的损害承担任何责任。

本手册中所提供照片、图形、图表和插图，仅用于解释和说明目的，可能与实际产品有些差别，另外，产品实际规格和配置可能会根据需要不时变更，因此与本手册内容有所不同。

请以实际产品为准。

本手册中所提及的非曙光公司网站信息，是为了方便起见而提供，此类网站中的信息不是曙光公司产品资料的一部分，也不是曙光公司服务的一部分，曙光公司对这些网站及信息的准确性和可用性不做任何保证。

使用此类网站带来的风险将由您自行承担。

本手册不用于表明曙光公司对其产品和服务做了任何保证，无论是明示的还是默示的，包括（但不限于）本手册中推荐使用产品的适用性、安全性、适销性和适合某特定用途的保证。

对本产品及相关服务的保证和保修承诺，应按可适用的协议或产品标准保修服务条款和条件执行。

在法律法规的最大允许范围内，曙光公司对于您的使用或不能使用本产品而发生的任何损害(包括，但不限于直接或间接的个人损害、商业利润的损失、业务中断、商业信息的遗失或任何其他损失)，不负任何赔偿责任。

对于您在本产品之外使用本产品随机提供的软件，或在本产品上使用非随机软件或经曙光公司认证推荐使用的专用软件之外的其他软件，曙光公司对其可靠性不做任何保证。

曙光IPMI配置手册目录一、拓扑图 (2)二、服务器IPMI设置 (2)2.1、设置ＩＰ地址 (2)2.2、设置子网掩码 (6)2.3、设置网关 (8)三、IPMI远程配置 (9)3.1、连接IPMI方式 (9)3.2、IPMI配置configuration (10)3.2.1、鼠标模式配置（Mouse mode） (11)3.2.2、配置IPMI网络（Network） (13)3.2.3、配置IPMI管理用户（user） (14)3.2.4、配置IPMI管理端口（port） (16)四、IPMI远程控制 (17)4.1、远程控制台启动（Launch Console） (17)4.2、电源控制（Power Control） (19)五、常见问题 (20)5.1、无法访问IPMI (20)一、拓扑图此接口为曙光IPMI管理端口二、服务器IPMI设置说明：如果初次配置IPMI要进入BIOS进行设置地址；如果更改现有地址也可以通过ＩＰＭＩ管理配置界面进行修改如２.２.２。

2.1、设置ＩＰ地址步骤：第一步：开机启动按del键进入Bios设置界面，如下图，选择Advanced——>选择IPMI Configuration第二步：如上图选择IPMI Configuration后，按回车键，进入下图，选择Set LAN configuration第三步：选择Set LAN configuration后，同样按回车键，进入下图界面,选择IP Address第五步：选择IP Address后，同样按回车键，进入下图界面选择IP Address Source第五步：选择IP Address Source后，同样按回车键，进入下图界面选择Static,按回车即可第六步：如下图，选择IP Address ，按空格键输入ＩＰ地址，输入完地址后，按回车即可完成后按ESC键返回Advanced,可进入子网掩码的设置。

2.2、设置子网掩码步骤：第一步：如下图，选择Subnet Mask，按回车键进入Subnet Mask第二步：进入Subnet Mask后，按空格键后设置子网掩码第三步：输入子网掩码后，按回车键即可；完成后按ESC键返回Advanced,可进入网关的设置。

曙光集群系统（Pluto）简明用户手册（第2版）1.系统介绍曙光集群系统（命名为Pluto）共有172个计算节点（140个刀片节点，16个MIC节点，16个GPU节点），5个登录节点。

集群系统所有登录节点和计算节点的操作系统均为64位Redhat7.2。

系统采用Intel Omni-Path高速计算网络，曙光Parastor200全局并行存储系统。

全系统峰值性能为211.2Tflop/s。

计算节点的硬件配置如下：●所有刀片计算节点、MIC计算节点、GPU计算节点均配置2颗Intel E5-2680 v3处理器，每个处理器12核，每节点共24核；64 GB DDR4 ECC 2133MHz内存。

●每台MIC计算节点配置1块Intel Xeon Phi 5110P加速卡（1.011TFlops）。

●每台GPU计算节点配置1块NVIDIA TESLA K80 GPGPU加速卡（2.911TFlops）。

2.系统登录及文件传输2.1.系统登录首先使用Xshell、SecureCRT等软件登录到前端机（IP：218.249.35.43）。

登陆进前端机后，再用命令ssh 帐号@pluto登录到新曙光（pluto）系统。

2.2.文件拷贝用scp命令在前端机与新曙光（pluto）之间完成文件拷贝，新老曙光系统间的文件拷贝同样用scp命令。

3.程序编译运行环境集群系统部署的编译器既包含Linux操作系统自带的GNU c/c++/fortran（版本4.8.5）编译器，也提供了Intel/MPI多个版本的c/c++/fortran的编译器，以及支持NVIDIA GPU 程序编译的CUDA toolkit。

此外，集群系统还部署了Mvapich2/OpenMPI/IntelMPI等多个版本的MPI 库，可以支持OpenMP和MPI两种并行方式。

3.1.环境变量设置方法用户可以采用下面的方法来快速设置环境变量：方法一、运行脚本文件加载环境变量。