OSCAR5.0安装配置

  • 格式:doc
  • 大小:124.50 KB
  • 文档页数:14

OSCAR5.0安装指南1.认识OSCAR的主要软件包读者可以从OCSAR的官方网站找到最新的5.0版本的下载,也可以从open source 的圣殿找到其5.0版本的下载。

下载下来的OSCAR包含了很多集群软件包和少量依赖软件包。

在这里我们将通过OSCAR安装的集群称为OSCAR集群,而安装在OSCAR集群上的软件包称为OSCAR软件包。

它可以是普通的RPM包,也可以是非常复杂的软件包。

在最新的5.0版本中包含了以下一些组件:1.1 C3C3的全称是cluster command control由Oak ridge national实验室开发,是用于管理和应用支持的集群工具。

它包含了一些命令行工具,也有图形界面。

可以重启动,关闭远程节点,在所有和指定节点运行普通的linux命令,作分布的文件系统和收集信息等功能。

1.2 HDF5HDF5是一个层次型的数据存储格式,包含了数据定义和支持接口。

HDF5比较适合用于那些复杂的科学数据,无法用一般的格式存放。

HDF5还支持用户自定义层次型组成的各种各样的数据结构和属性。

而且HDF5也可以运行在并行MPI IO 上,可以到其官方站点/hdf5一睹其究竟。

1.3 LAM/MPILAM/MPI是MPI的一个实现,MPI是消息传递标准平台,有1.0和2.0两个标准。

集群计算机上MPI被广泛使用,它支持各种不同类型的计算机。

有了LAM/MPI你的集群计算机在写多进程程序时就变成了一台单一的计算机。

LAM/MPI完全兼容MPI 1.0标准,部分兼容2.0标准。

LAM/MPI还有强大的监控能力来支持MPI 程序的调试。

其官方站点为。

1.4 OPIUMOSCAR的密码安装和用户管理工具OPIUM可以在集群节点之间同步用户名和密码信息,这样一个用户只需一次登陆集群计算机,无需每台节点重复登陆。

OPIUM 通过ssh实现同步用户名密码。

1.5 PBS轻量级批处理作业系统PBS分为三个部分:运行在管理节点上的PBS server管理事务和作业,Maui调度器和mon 守候进程。

OSCAR使用的是open source版本的PBS,它的官方站点是。

1.6 PfilterPfilter打开的话,OSCAR允许任何外部网络连入集群内部网络。

Pfilter允许外界通过ssh和http方式访问集群。

但是为了能保证集群系统的安全性,不让外界对集群进行非法操作,你必须配置pfilter过滤器。

1.7 PVMPVM是一个软件包,它让不同的计算机unix的或者是windows的通过网络连接起来为用户提供一个单一的大型并行计算机。

PVM允许用户利用已有的计算机资源组合起来解决大规模的问题。

目前使用PVM作科学计算的用户非常多。

PVM的官方站点是/pvm/pvm_home.html1.8 SIS系统安装套件SIS是一个linux的软件安装部件,它可以通过网络安装linux系统,简单的理解就是网络克隆linux操作系统。

集群系统每个节点都运行单独的操作系统,如果节点数量庞大,一个节点安装需要半小时,那么整个集群安装或升级操作系统将是一件很头痛的事情,而SIS帮你解决了这个问题。

SIS使用mysql数据库存放集群配置信息,必要的时候可以在原来集群的规模上增加或删除节点。

后面的安装会详细介绍网络克隆是怎么回事。

1.9 SwitcherOSCAR包含一个叫switcher的工具,方便用户切换环境。

Switcher包包含了命令行操作OSCAR中某些软件的环境的切换。

Switcher分系统级和用户级别,不同的用户可以有不同的集群环境。

此文后面会详细介绍switcher的用法。

1.10 MPICHMPICH是MPI标准的另外一个主要实现,它是一个自由的轻量级的MPI标准实现。

MPICH最新的版本1.2.52完全支持MPI 1.0标准,部分支持MPI2.0标准的功能。

它的官方网站是/mpi/mpich/indexold.html。

有linux和windows两个版本,很重要的一点是MPICH有Globus(网格计算)的版本MPICH-G2。

网格计算被称为下一代的互联网,有兴趣的读者可以上我们网站了解这项技术。

2.安装OSCAR2.1安装准备我们这里以redhat linux 9.0和OSCAR 5.0作为示例来详细介绍,并一步一步地教初学者如何由解压缩开始到最终集群系统的最终安装成功。

其中的过程经笔者的分析会变的非常清晰,笔者还会时时提醒应该注意的问题,防止在安装过程中出现错误。

由于OSCAR并非商业软件,所有无论从友好性和软件质量上都不能说很完美。

根据笔者的经验以及我们网站上积累的安装问题解答来看,很可能在安装中出现问题,被个把问题卡住也是很平常的事情。

我建议初次安装的用户到OSCAR官方网站下载它的用户手册和快速安装手册,碰到问题可以及时参考该文档。

硬件方面需要注意几点:每个节点计算机的硬盘空间必须大于5G,内存大于128M;每个节点计算机必须配备以太网卡并确保已经互连,而且以太网卡支持远程唤醒启动(这需要网卡启动芯片的支持)如果不具备这样的功能你只能用软盘启动节点安装了。

如果你用的是高速网卡比如myrient的化保证每个节点已经连通;主节点的服务器最好配备两块网卡,分对内对外,方便使用。

如果你是在已有系统的机器上安装服务器节点,那么安装前最好备份一下计算机上重要的材料,以防万一。

2.2安装linux操作系统安装前,选择一台主机作为主节点,什么是主节呢?在这里解释一下,主节点也成为集群服务器节点,集群中其余节点是客户节点。

主次之分是主要是面向安装和应用的。

主节点一般是第一个安装OSCAR包的节点,它的作用是充当OSCAR集群的管理者是和用户打交道的用户界面,其余节点通过网络克隆主节点上创建的镜像系统。

主节点上磁盘空余空间应该保证在5G以上,如果将/根目录和/var 目录分开在不同分区上,要保证它们两个都大于2G。

首先准备redhat linux 9.0安装光盘,当然OSCAR也支持其他系统如mandrake。

OSCAR的安装文档中承诺完全支持redhat 8.0,9.0和mandrake 9.0。

启动机器,一步一步地安装redhat 9.0系统,安装过程非常简单,笔者建议你选择自定义方式,以下几个软件包最好一起装上:x windows systemkde desktop envirmentkernel developmentOSCAE安装过程必须要使用x windows图形界面和kde或gnome桌面系统,其他不必要的软件包最好不要多选,安装大概需要2G的空间。

笔者在刚学习安装OSCAR的时候曾经遇到过很痛苦的经历,无论如何OSCAR总是报错说某些RPM包无法安装,因为它依赖的包没有安装,笔者欲将那些RPM包安装上,还是报同样的错误。

无奈之际只能重新安装服务器上的linux,减少不必要的软件包,最后成功将OSCAR安装上。

这个经验也许对你有帮助。

在OSCAR的快速安装文档中给出了不同操作系统下一些提示,笔者建议读者要看看这篇文档,了解一下自己的系统上安装OSCAR有什么地方需要注意的。

笔者提炼了一些信息。

对于所有系统:1.OSCAR中每个软件包都有自己的安装注意事项,可以参考详细安装文档。

2.所有节点必须有机器名,但不是localhost,而且不含下划线"_"。

3.定义节点网络信息时必须指定主域信息。

4.为了OSCAR发行起来轻巧,OSCAR预安装的python包是个兼容的包(python2-compat-1.0-1),在不同的linux版本中是不同的,可以参考/c3/RPMS/NOTE.python2。

5.测试集群发生错误时,测试窗口可能一闪而过,无法看清楚,你可以运行在shell命令行运行test/test_cluster脚本6.在安装linux的机器上,先不要安装update install组件升级linux,这样会引起RPM包的冲突,等安装好OSCAR以后再安装该组件。

在mandrake linux 中安装OSCAR之前必须做安全升级。

7.以下的警告信息可能会经常出现,可以忽略。

rsync_stub_dir: no such variable at ...Use of uninitialized value in pattern match (m//) at/usr/lib/perl5/site_perl/oda.pm ...8.OSCAR将安装Mysql数据库,如果你原来没有安装mysql数据库的话。

9.OSCAR的安装向导中出现的步骤必须依次做,不能颠倒或少做,强烈建议按照本文档介绍的次序安装。

10.目前OSCAR的向导不支持在同一个事务中同时先删除后增加同一个节点,如果你要删除一个节点,必须删除后关闭向导,然后重新启动向导,再增加该节点。

11.在<Build OSCAR Client Image>阶段,弹出"Successfully created image"说明成功了,但是该窗口的状态栏可能并没有到底,可以不予理会。

12.Cancel按钮在对于redhat linux 8.0或者9.0有几个注意的地方:1.如果安装没有选择pfilter,则创建镜像会失败,原因是不选pfilter则rpmlist中不会有iptables包,所以节点镜像创建的时候没有iptables。

解决办法是在node的rpmlist中增加iptables包,在sample。

2.在这些版本的linux中有的rpm包已经升级,所以安装oscar的时候,可能会出项警告信息,可以忽略它们。

3.安装过程中RPM安装可能会挂起,这是RPM程序的一个bug,可以用下面的方法处理:# ps -eadf | grep rpm | grep -v grep...output...# kill <PID_of_RPM> (杀死rpm进程)# cd /var/lib# tar zcvf /tmp/rpmdb.tar.gz rpm (备份rpm数据库)8# cd /var/lib/rpm# rm -f __db* (删除rpm数据库)# rpm -vv -rebuilddb (重新创建rpm数据库)然后重新安装OSCAR。

Mandrake 9.0应该注意下面问题:1.安装前先运行下名命令:# cd oscar-2.3/packages/c3/RPMS# rpm -Uvh python2-compat-1.0-1.noarch.rpm能解决安装过程中预安装C3和python2失败的问题。

2. OSCAR安装过程需要xterm,如果没有安装先要安装,包名是:xterm-165-3mdk.i586.rpm,到mandrake的CD上运行:#urpmi xterm3.安装过程会在下面的文件中增加环境变量:- /root/.bashrc- /root/.cshrc- /root/.tcshrc2.3解压缩安装完整linux以后以root身份登录,进入kde界面,将下载的文件oscar-5.0.tar.gz放到/root目录中,使用解压缩命令:#cp /mnt/cdrom/oscar-5.0.tar.gz /root#cd /root#gunzip oscar-5.0.tar.gz#tar -xvf oscar-5.0.tar2.4配置OSCAR在root用户(根据OSCAR安装文档,必须使用root用户安装)下,进入oscar-5.0目录,运行配置脚本configure。