当前位置：文档之家 › openmpi+lsf集群搭建教程

openmpi+lsf集群搭建教程

  • 格式：docx
  • 大小：20.86 KB
  • 文档页数：3

Openmpi+lsf 分布式计算集群搭建教程
有问题请联系：xiejq@
1.配置防火墙
正确配置防火墙的过滤规则，否则会阻挡NFS文件系统的正常使用和mpirun任务的远程投递。

在这里，考虑到局域网内只有登陆节点可能对外网开放，所以关闭了登陆节点外的所有其他节点的防火墙。

相关命令如下：
service iptables start|stop|status|restart 或
/etc/init.d/iptables start|stop|status|restart 这两种方法，即时生效但重启后复原
chkconfig iptables on | off 重启后永久生效
2.配置集群局域网ip和各主机名的映射
修改文件etc/hosts，最好保持用户名和主机名一致。

相关命令如下：
hostname显示主机名，hostname [name]修改主机名为name，即时生效但重启后还原。

3.配置NFS共享文件系统
配置共享文件系统后，尽量把所有软件以及用户家目录都放在里面，会给以后的工作带来极大的方便。

首先需要安装portmap和nfs两个套间。

可以使用rpm –qa | grep nfs(portmap)检查是否安装（用这个命令发现我的主机里好像没有没有安装portmap，但也能用nfs，以后再研究为什么）。

在nfs server上启动nfs和portmap服务，配置/etc/exports文件，然后运行exportfs命令。

然后在client上也要上启动nfs和portmap服务，然后mount共享目录。

提示：可以通过配置/etc/fstab文件来自动挂载共享目录。

相关命令如下：
/etc/rc.d/init.d/portmap start|stop|status|restart
/etc/rc.d/init.d/nfs start|stop|status|restart
exportfs –ar 每次修改/etc/exports文件后都要运行一下这个命令。

showmount -e 192.168.0.30 在客户端使用此命令检查NFS SERVER上export出来的目录showmount –a一般在NFS SERVER上用，显示已经mount上本机nfs目录的client机器mount -t nfs hostname(orIP):/directory /mount/point 在client上挂载共享目录。

4.配置NIS服务
添加用户时，若在每台主机上配置用户信息，工作量太大且重复。

这个问题可以通过配置一台NIS服务器来解决，所有主机都可以到NIS服务器上查找用户信息。

NIS （Network information service）又叫YP（Yellow Pages，电话簿的意思）。

server端配置：
yum install yp* 安装NIS相关套件
yum install xinetd 安装xinetd服务，其中包含有time服务。

修改disable=no，然后：
service xinetd restart
nisdomainname cluster
在/etc/sysconfig/network中加入一行NISDOMAIN=cluster
配置ypserv.conf 添加三行：
127.0.0.0/255.255.255.0 : * : * : none
172.31.13.0/255.255.255.0 : * : * : none
* : * : * : deny
service ypserv restart
service yppasswdd restart
/usr/lib64/yp/ypinit –m 创建数据库，之后要重启ypserv和yppasswdd
client端配置：
nisdomainname cluster
在/etc/sysconfig/network中加入一行NISDOMAIN=cluster
配置/etc/yp.conf 添加两行：
domain cluster
ypserver hostm
配置/etc/passwd 添加两行：
+::::::
配置/etc/nsswitch.conf
passwd: files nis nisplus
shadow: files nis nisplus
group: files nis nisplus
hosts: files nis dns
service ypbind restart
5.配置ssh无密码登陆
先确保所有主机的防火墙处于关闭状态，若要主机B无密码登陆主机A，则要配置主机A，在主机A用户家目录中建立.ssh目录，cd进去之后上执行如下：
$ssh-keygen -t rsa然后一直回车键，就会按照默认将生成的密钥保存在.ssh/id_rsa文件中。

$cp id_rsa.pub authorized_keys 这步完成后，正常情况下就可以无密码登录本机了。

$scp authorized_keys summer@B:/homename/.ssh 把刚刚产生的authorized_keys文件拷一份到主机B上.
$chmod 700 ~/.ssh
$chmod 600 ~/.ssh/authorized_keys
$chmod 600 authorized_keys 进入主机B的.ssh目录，改变authorized_keys文件的许可权限。

建立共享目录后：把用户家目录放在共享目录中，这样所有的主机都是在访问同一个目录，在其中建立.ssh后，就不用再把authorized_keys文件拷贝到所有的机器上就能配置成功ssh无密码登陆。

在/etc/ssh/ssh_config文件中添加StrictHostKeyChecking no，这样在第一次ssh登陆时，系统不会再提示是否将主机加入到known hosts中。

6.安装并配置openmpi
安装openmpi的一半配置如下：
./configure CC=icc CXX=icc FC=ifort --prefix=/opt/openmpi/ --enable-static --enable-mpi-cxx ps：一定要新建一个目录作为安装目录
make all install
7.安装并配置lsf platform
修改配置文件install.config,然后./lsfinstall –f install.config,即可安装。

合集下载

编译分布式并行版caffe（OpenMPI）教程

编译分布式并行版caffe（OpenMPI）教程

编译分布式并⾏版caffe（OpenMPI）教程使⽤环境：1 CentOS release 6.6 (Final)2 CUDA8.03 CuDNN6.04 Open MPI 3.1.35 OpenCV 3.1.0View CodeCUDA8.0、CuDNN6.0、OpenCV3.1.0以及其他caffe所需要的依赖已经装好，这⾥仅需要安装OpenMPI3.1.3，步骤如下：OpenMPI-3.1.3安装1. 解压openmpi-3.1.3，进⼊解压后的⽂件夹 — openmpi3.1.3，在终端输⼊如下命令：1 ./configure --prefix=/storage/student5/usr/local/openmpi --with-cuda --enable-mpi-thread-multiple2#--prefix后的路径未openmpi的安装路径；3 sudo make all install4# make all install 加sudo，否则安装过程中可能出问题View Code2. 测试安装是否成功1 cd openmpi-3.1.3/examples2 make3 mpirun -np4 hello_cView CodeCaffe安装1. 下载caffe，将Makefile.config.example另存为Makefile.config，将其修改成以下的样⼦：1## Refer to /installation.html2# Contributions simplifying and improving our build system are welcome!34# cuDNN acceleration switch (uncomment to build with cuDNN).5 USE_CUDNN := 167# CPU-only switch (uncomment to build without GPU support).8# CPU_ONLY := 1910# uncomment to disable IO dependencies and corresponding data layers11 USE_OPENCV := 112 USE_LEVELDB := 113 USE_LMDB := 11415# Uncomment if you're using OpenCV 316 OPENCV_VERSION := 31718# To customize your choice of compiler, uncomment and set the following.19# N.B. the default for Linux is g++ and the default for OSX is clang++20# CUSTOM_CXX := g++2122# CUDA directory contains bin/ and lib/ directories that we need.23 CUDA_DIR := /usr/local/cuda24# On Ubuntu 14.04, if cuda tools are installed via25# "sudo apt-get install nvidia-cuda-toolkit" then use this instead:26# CUDA_DIR := /usr2728# CUDA architecture setting: going with all of them.29# For CUDA < 6.0, comment the *_50 lines for compatibility.30 CUDA_ARCH := -gencode arch=compute_30,code=sm_30 \31 -gencode arch=compute_35,code=sm_35 \32 -gencode arch=compute_50,code=sm_50 \33 -gencode arch=compute_50,code=compute_503435# BLAS choice:36# atlas for ATLAS (default)37# mkl for MKL38# open for OpenBlas39 BLAS := atlas40# Custom (MKL/ATLAS/OpenBLAS) include and lib directories.41# Leave commented to accept the defaults for your choice of BLAS42# (which should work)!43 BLAS_INCLUDE := /usr/include44 BLAS_LIB := /usr/lib64/atlas4546# Homebrew puts openblas in a directory that is not on the standard search path47# BLAS_INCLUDE := $(shell brew --prefix openblas)/include48# BLAS_LIB := $(shell brew --prefix openblas)/lib4950# This is required only if you will compile the matlab interface.51# MATLAB directory should contain the mex binary in /bin.52 MATLAB_DIR := /usr/local/MATLAB/R2014a53# MATLAB_DIR := /Applications/MATLAB_R2012b.app5455# NOTE: this is required only if you will compile the python interface.56# We need to be able to find Python.h and numpy/arrayobject.h.57 PYTHON_INCLUDE := /usr/include/python2.7 \58 /usr/lib/python2.7/dist-packages/numpy/core/include59# Anaconda Python distribution is quite popular. Include path:60# Verify anaconda location, sometimes it's in root.61# ANACONDA_HOME := $(HOME)/anaconda62# PYTHON_INCLUDE := $(ANACONDA_HOME)/include \63# $(ANACONDA_HOME)/include/python2.7 \64# $(ANACONDA_HOME)/lib/python2.7/site-packages/numpy/core/include \6566# We need to be able to find libpythonX.X.so or .dylib.67 PYTHON_LIB := /usr/lib68# PYTHON_LIB := $(ANACONDA_HOME)/lib6970# Homebrew installs numpy in a non standard path (keg only)71# PYTHON_INCLUDE += $(dir $(shell python -c 'import numpy.core; print(numpy.core.__file__)'))/include72# PYTHON_LIB += $(shell brew --prefix numpy)/lib7374# Uncomment to support layers written in Python (will link against Python libs)75 WITH_PYTHON_LAYER := 17677# Whatever else you find you need goes here.78 INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include79 LIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib8081# If Homebrew is installed at a non standard location (for example your home directory) and you use it for general dependencies 82# INCLUDE_DIRS += $(shell brew --prefix)/include83# LIBRARY_DIRS += $(shell brew --prefix)/lib8485# Uncomment to use `pkg-config` to specify OpenCV library paths.86# (Usually not necessary -- OpenCV libraries are normally installed in one of the above $LIBRARY_DIRS.)87# USE_PKG_CONFIG := 18889 BUILD_DIR := build90 DISTRIBUTE_DIR := distribute9192# Uncomment for debugging. Does not work on OSX due to https:///BVLC/caffe/issues/17193# DEBUG := 19495# The ID of the GPU that 'make runtest' will use to run unit tests.96 TEST_GPUID := 09798# enable pretty build (comment to see full commands)99 Q ?= @View Code2. 在caffe⽬录下执⾏以下操作：1 mkdir build && cd buildView Code3. 编译caffe 如果要开启matlab接⼝，先修改caffe根⽬录下的CMakeList.txt⽂件line24：1 caffe_option(BUILD_matlab "Build Matlab wrapper" OFF IF UNIX OR APPLE)View Code 修改为：1 caffe_option(BUILD_matlab "Build Matlab wrapper" ON IF UNIX OR APPLE)View Code 否则在caffe/build路径下直接进⾏以下操作：1 cmake -DUSE_MPI=ON -DMPI_CXX_COMPILER=/path/to/your/openmpi/bin/mpicxx ..2# USE_MPI=ON即表⽰开启Open MPI3# -DMPI_CXX_COMPILER后的路径⼀定得是Open MPI的安装路径下的bin中的mpicxx路径，在/usr/bin下也有这个mpicxx，不要错写路径了View Code4. 安装caffe，在caffe根⽬录下执⾏以下操作：1 make all -j82 make install3# 我在安装过程中，make all之后就不需要再make install4 make runtest5# 同参考教程中⼀样，有两个test未通过View Code5. 编译Python接⼝： a. 添加环境变量：1 gedit ~/.bashrcView Code b. 在其中写⼊：1 export PYTHONPATH=$PYTHONPATH:/path/to/your/caffe/pythonView Code c. 使环境变量⽣效：1 source ~/.bashrcView Code d. 在caffe根⽬录下：1 make pycaffe2# 教程中有加sudo，但是我没有加sudo也没有影响View Code e. 测试Python接⼝，在终端输⼊以下命令：1 python2import caffe3# 如果⽆错，则python接⼝编译成功View Code出现问题：1. 安装caffe过程中，编译caffe时，输⼊以下命令出错：1 cmake -DUSE_MPI=ON -DMPI_CXX_COMPILER=/path/to/your/openmpi/bin/mpicxx ..View Code 问题1：1 CMake Warning at /usr/local/opencv-3.1.0/cmake/OpenCVConfig.cmake:166 (message):2 Found OpenCV Windows Pack but it has no binaries compatible with your3 configuration.45 You should manually point CMake variable OpenCV_DIR to your build of OpenCV6 library.7 Call Stack (most recent call first):8 cmake/Dependencies.cmake:62 (find_package)9 CMakeLists.txt:31 (include)101112 CMake Error at cmake/Dependencies.cmake:62 (find_package):13 Found package configuration file:1415 /usr/local/opencv-3.1.0/cmake/OpenCVConfig.cmake1617 but it set OpenCV_FOUND to FALSE so package "OpenCV"is considered to be18 NOT FOUND.19 Call Stack (most recent call first):20 CMakeLists.txt:31 (include)212223 -- Configuring incomplete, errors occurred!24 See also "/storage/student5/usr/local/caffe/build/CMakeFiles/CMakeOutput.log".25 See also "/storage/student5/usr/local/caffe/build/CMakeFiles/CMakeError.log".View Code 解决⽅法： 尝试⼀：在CMakeList.txt⽂件中加⼊set(OpenCV_DIR /path/to/your/OpenCV/build)，该法⽆效； 尝试⼆：退回到caffe根⽬录，然后make clean，暂时加⼊如下环境变量后重新从mkdir build && cd build开始，该法有效。

mpi集群

mpi集群

MPI集群搭建一、安装MPIch本文使用的是mpich3.1.4版本,安装过程根据官方指导手册所进行。

1.解压安装包，如图：注：mpich3文件夹是安装目录文件夹自己创建Mpich-3.1.4是安装包mpich-3.1.4.tar.gz的解压文件夹Machfile 是多机通信列表自己创建，2.配置configure文件[root@node1 hc]# cd /home/hc/mpich-3.1.4 #进入到安装文件夹内[root@node1 mpich-3.1.4]# ./configure –disable-fortran --enable-g=dbg --with-pm=hydra --prefix=/home/hc/mpich3 #配置configure命令行注：--dsable-fortran 在编译过程中不需要Fortran编译器--enable-g=dbg 使用dbg调试工具--with-pm=hydra 默认使用hydra进程管理工具直到configure配置文件结束；3. make[root@node1 mpich-3.1.4]# make #make 命令安装mpi这个过程耗时很长直到结束；4.make install[root@node1 mpich-3.1.4]# make install #安装mpi2. 配置环境变量主要是修改path，为path添加mpi的bin目录：执行过程：root@nami:~# vi .bashrc在.bashrc文件的末尾添加：export PATH=/home/hc/mpich3/bin:$PATHroot@nami:~# source .bashrcroot@nami:~# echo $PATH，查看PATH变量是否发生变化；root@nami:~# ls /usr/local/mpich/bin，查看bin下的可执行程序；至此，MPIch就可以在单机上使用了；3. 配置多服务器间无密码访问3.1在每台服务器上都执行ssh-keygen -t rsa生成密钥对: #ssh-keygen -t rsa，所有提示都按回车跳过。

如何进行分布式集群的搭建

如何进行分布式集群的搭建

如何进行分布式集群的搭建1. 引言如今，分布式系统已经成为了当代计算科学中非常重要的一部分。

在分布式系统中，集群管理是至关重要的一环。

集群管理的目标是提高系统可靠性、性能、扩展性，并且减少集群的维护成本。

本文将介绍如何进行分布式集群搭建，包括如何选择适合的硬件、软件、网络协议以及集群管理技术。

2. 硬件与网络设备选择在开始搭建分布式集群之前，我们需要考虑适合的硬件和网络设备。

硬件应该具有足够的处理能力、内存和磁盘空间。

如果您只需要处理少量的数据，您可以选择使用一些低端服务器，而如果您需要处理大量的数据，您应该选择高端服务器。

此外，我们还需要考虑硬件的可靠性和易维护性。

对于网络设备，我们需要选择适合的交换机、路由器、防火墙等设备。

在选择网络设备时，我们需要考虑网络带宽、网络质量、可靠性等因素。

此外，我们还需要考虑设备的多样性、配置和管理的复杂性。

3. 集群软件选择在进行分布式集群的搭建之前，我们需要选择适合的集群软件。

目前，有许多集群软件可供选择，例如Hadoop、Spark、Kubernetes等等。

在选择集群软件时，我们需要考虑软件的数据处理能力、可伸缩性、可靠性和易用性等因素。

在选择集群软件时，我们还需要考虑操作系统的选择。

目前，Linux系统是最受欢迎的操作系统之一，因为它具有良好的稳定性、安全性和性能。

在选择操作系统时，我们需要考虑集群软件的支持情况以及操作系统的稳定性和可维护性。

4. 网络协议选择分布式集群的搭建还需要选择适合的网络协议。

目前，常用的网络协议包括TCP/IP、HTTP、SSH等等。

在进行网络协议的选择时，我们需要考虑协议的可靠性、安全性和性能。

在选择网络协议时，我们还需要考虑协议的支持情况以及性能评估。

我们可以通过一些工具来评估网络协议的性能，例如Iperf、Netperf等等。

5. 集群管理技术选择集群管理技术是分布式集群搭建过程中的重要一环。

目前，常用的集群管理技术包括Zookeeper、Ansible、Puppet等等。

lammps多机集群并行配置

lammps多机集群并行配置

多机并行运算配置设置步骤第一步、安装Linux在WinXP存在的前提下安装Linux双系统在Win XP下右击“我的电脑”>管理>磁盘管理右击D右击>删除磁盘分区>是>...（此部分硬盘将用于安装Linux）在Win XP开机状态下插入Red Hat光盘1、安装以四核计算机为例，在单一Linux系统的前提下，重装Linux系统。

在Linux启动状态下，插入Linux安装光盘，点击菜单“系统”，点击“关机”，点击“重启”，重启机器，双核计算机需要按“F9”，出现Optical Drive后，按“回车”键，出现“Install or upgrade an existing system”后，按“回车”键，出现“OK”和“Skip”后，用键盘上的方向键选中“Skip”，按“回车”键，点击右下角的“Next”按钮，选中“Chinese（Simipified）(中文（简体）)）”，点击右下角的“Next”按钮，选中“美国英语式”，点击右下角的“下一步”按钮，选中“基本存储设备”后，点击右下角的“下一步”按钮，选中“全新安装”，点击右下角的“下一步”按钮，主机名（不改变），点击右下角的“下一步”按钮，时区（不改变），点击右下角的“下一步”按钮，“根密码”后输入：123456，敲“Tab”键“确认”后输入：123456，点击右下角的“下一步”按钮，弹出一个警告窗口，点击其中的“无论如何都使用”按钮，选中“使用所有空间”，点击右下角的“下一步”按钮，出现“将存储配置写入磁盘”对话框，点击其中的“将修改写入磁盘”按钮，选中“软件开发工作站”，选中右侧的全部选项，选中“现在自定义”，点击右下角的“下一步”按钮，选中左边的“开发”，选中右侧的全部选项，依次选中右侧的每个选项，然后分别点击“可选软件包”按钮，选中其中的全部选项，点击“关闭”按钮，点击右下角的“下一步”按钮，开始安装，等待较长时间，光驱自动打开，屏幕上出现“祝贺您，您的…”字样，取出光盘，点击右下角的“重新引导”按钮，机器重启后，屏幕上出现“欢迎”“您的系统就绪前还需要进行…”等字样，点击“前进”按钮，选中“是的，我同意许可证协议”，点击“前进”按钮，选中“不，以后再注册”，点击“前进”按钮，弹出一个窗口，点击其中的“不，谢谢，以后再连接”按钮，点击“前进”按钮，点击“前进”按钮，点击“前进”按钮，去掉“启用kdump”，点击“完成”按钮，弹出一个窗口，点击其中的“是”按钮，弹出一个窗口，点击其中的“确定”按钮，重启后，鼠标点击“其它…”，在“用户名”后输入root回车，在“密码”后输入123456回车，弹出一个窗口，选中其中的“不要再显示此信息”，点击“关闭”按钮。