HPC高性能计算平台Linpack测试手册_infiniband网络

Linpack测试手册（1）

Voltaire Infiniband：

Step1：安装voltaire MPI(与HCA卡驱动集成在一起)

安装HCA卡驱动：

将驱动安装包VoltaireOFED-5.1.3.1_5-k2.6.18-92.el5-x86_64.tar.bz2放到/root 目录下，运行命令：

tar –zxvf VoltaireOFED-5.1.3.1_5-k2.6.18-92.el5-x86_64.tar.bz2

cd VoltaireOFED-5.1.3.1_5-k2.6.18-92.el5-x86_64

./install.sh

安装完毕后查看voltaire MPI是否正常

Which mpicc

提示/opt/vltmpi/OPENIB/mpi/bin/mpicc则返还正常,可进行下一步。

Step2：安装数学库（GotoBLAS）

将数学库安装包GotoBLAS-1.26.tar.gz放到/hpc目录下，运行：

tar –zxvf GotoBLAS-1.26.tar.gz

cd GotoBLAS

32 bit安裝：./quickbuild.32bit

64 bit安裝：./quickbuild.64bit

安裝完成后，在当前目录下会生成3个文件，系統根据你的CPU型式來取名，例如：

libgoto.a

libgoto_core2p-r1.14.a 系統根据你的CPU型式來取名

libgoto_core2p-r1.14.so

其中libgoto.a

即为使用的数学库函数，记下该路径

Step3：安装linpack测试包（hpl.tgz）

将linpack测试包hpl.tgz放到/hpc目录下，运行

tar –xvf hpl.tgz

cd hpl

cd setup

cp ./Make.Linux_PII_FBLAS /hpc/hpl/Make.test

cd ..

pwd

目录为/hpc/hpl/

vi Make.test编辑该文件如下地方需要更改：

TOPdir = /hpc/hpl

INCdir = $(TOPdir)/include

BINdir = $(TOPdir)/bin/$(ARCH)

LIBdir = $(TOPdir)/lib/$(ARCH)

MPdir = /opt/vltmpi/OPENIB/mpi

MPinc = -I$(MPdir)/include

MPlib = $(MPdir)/lib/libmpich.a

LAdir = /hpc/GotoBLAS

LAlib = $(LAdir)/libgoto.a

CC = /opt/vltmpi/OPENIB/mpi/bin/mpicc

LINKER = /opt/vltmpi/OPENIB/mpi/bin/mpif77

更改完毕保存后进行编译

make arch=test

完成后会在/hpc/hpl/bin下生成test目录，进入

cd bin/test

会看到2个文件HPL.dat 和xhpl

编辑HPL.dat，设置如下：P值，Q值，NB值，Ns值可根据情况调整，不能超过sqrt(（单个计算节点内存*计算节点个数)/8 )*0.8，否则可能导致测试中使用swap分区或者内存耗尽而导致的死机，P*Q=进程数=核数，16台计算节点，内存8G,每节点8核心数,共128核心例子如下：

HPLinpack benchmark input file

Innovative Computing Laboratory, University of Tennessee

HPL.out output file name (if any)

6 device out (6=stdout,7=stderr,file)

1 # of problems sizes (N)

100000 Ns

1 # of NBs

192 NBs

0 PMAP process mapping (0=Row-,1=Column-major)

1 # of process grids (P x Q)

8 Ps

16 Qs

16.0 threshold

1 # of panel fact

0 PFACTs (0=left, 1=Crout, 2=Right)

1 # of recursive stopping criterium

2 NBMINs (>= 1)

1 # of panels in recursion

1 # of recursive panel fact.

0 RFACTs (0=left, 1=Crout, 2=Right)

1 # of broadcast

0 BCASTs (0=1rg,1=1rM,2=2rg,3=2rM,4=Lng,5=LnM)

1 # of lookahead depth

0 DEPTHs (>=0)

2 SWAP (0=bin-exch,1=long,2=mix)

64 swapping threshold

0 L1 in (0=transposed,1=no-transposed) form

0 U in (0=transposed,1=no-transposed) form

1 Equilibration (0=no,1=yes)

8 memory alignment in double (> 0)

编辑完成后创建运行节点的列表hostlist文件，每个核心对应一行节点名。8核心示意如下：

Vi hostlist

cn01

cn01

cn01

cn01

cn01

cn01

cn01

cn01

cn02

cn02

cn02

cn02

cn02

cn02

cn02

cn02

.

.

.

cn16

cn16

cn16

cn16

cn16

cn16

cn16