GPFS_for_linux安装与实施文档
- 格式:docx
- 大小:101.68 KB
- 文档页数:25
GPFS安装实施和维护2015.10GPFS安装实施和维护AIX下GPFS安装配置及维护邹旭⽬录1.概述 (3)1.1 IBM GPFS功能介绍 (3)1.2 GPFS体系架构介绍 (3)磁盘 (3)⽹络共享磁盘(NSD) (4)GPFS ⽂件设备 (4)连接模式:如下图 (4)1.3 GPFS的优势 (5)2.GPFS安装配置步骤 (5)2.1 GPFS安装准备 (5)2.2 GPFS软件的安装 (6)A. GPFS 软件放在⽬录 (6)B. 升级包 (6)C. 通过SMIT 安装命令进⾏安装和升级 (6)D. 成功的安装完GPFS 之后 (7)E. 添加/etc/environment 的执⾏路径 (7)3.创建GPFS ⼼跳地址 (7)4.配置GPFS集群 (8)4.1 配置节点⽂件 (8)4.2 建⽴GPFS 集群 (8)4.3 确认查看GPFS 集群 (9)4.4 激活GPFS 授权 (9)5 配置GPFS 的共享盘 (10)5.1 建⽴NSD(Network Shared Disk)⽂件 (10) 5.2 ⽣成NSD 盘 (10)5.3确认结果 (11)5.4启动GPFS 系统 (11)6 配置GPFS 的共享⽂件系统 (11)6.1 建⽴GPFS ⽂件系统 (11)6.2 确认⽂件系统 (12)6.3 装载⽂件系统 (13)6.4 建⽴⽬录 (13)7 配置GPFS 的属性 (13)7.1 配置GPFS选项属性 (13)实施结果 (15)8.GPFS管理和维护 (16)8.1主机应⽤的启动顺序 (16)8.2 GPFS的启动和关闭 (16)节点状态 (16)8.3 GPFS 的⽂件系统管理 (17)8.4 GPFS 的集群管理 (17)8.5 GPFS 的磁盘管理 (17)8.6 GPFS的⽇志和安装路径 (18)其他有⽤的GPFS操作 (18)1. 新增⼀个节点 (18)2. 更换硬盘 (18)3. 停掉节点 (19)4. 修改inode数量 (19)5. 清除GPFS (19)1.概述1.1 IBMGPFS功能介绍GPFS (General Parallel File System) 是IBM 公司第⼀个共享⽂件系统,起源于IBM SP 系统上使⽤的虚拟共享磁盘技术( VSD )。
合用标准文档GPFS的安装、配置、管理合用标准文档目录1 GPFS安装、配置、管理和保护 (1)1.1GPFS安装 (1)1.2GPFS配置 (1)1.2.1集群节点配置 (1)1.2.2G PFS NSD磁盘配置 (1)1.2.3优化 GPFS集群配置 (3)1.2.4创立 GPFS文件系统 (4)1.2.5配置改正 (4)1.3GPFS管理和保护 (8)1GPFS安装、配置、管理和保护本局部围绕 XX公司 HPIS系统实质情况,描述 GPFS的安装、配置过程,以及 GPFS 管理和保护方法。
1.1 GPFS安装GPFS 3.3 及补丁使用 AIX 系统标准 installp方式安装,安装命令比方:#installp -agYXd . all查察安装结果 ;#lslpp -l |grep gpfsgpfs.base 3.3.0.16COMMITTED GPFS File Managergpfs.base 3.3.0.16COMMITTED GPFS File Managergpfs.docs.data 3.3.0.1 COMMITTED GPFS Server Manpages and1.2 GPFS配置1.2.1 集群节点配置准备 node 列表文件,节点属性: manager或 client,quorum或nonquorum #more /home/GPFS/nodeshpis1:manager-quorumhpis2:manager-quorum创立 RAC两节点的 GPFS集群#mcrcluster -N /home/GPFS/nodes -p hpis1 -s hpis2 -r /usr/bin/rsh -R /usr/bin/rcp -C cls_hpis-p,-s 分别表示主,辅集群管理效劳器-r /usr/bin/rsh -R /usr/bin/rcp表示rsh,rcp方式进行集群管理时使用rsh,rcp 管理方式;也可以经过配置ssh,使用 ssh,scp 方式查察集群配置#mmlscluster1.2.2 GPFS NSD磁盘配置因为 RAC只有两个 Server 节点,为保证 GPFS文件系统的高可用性,需要将两台 Server 均设为 quorum 节点,同时从两个储藏和一台Server 的当地盘中分别取一个盘作为tiebreaker quorum Disk。
IBM GPFS文件系统安装与配置目录1概述 (4)1.1IBM GPFS功能介绍 (4)1.2GPFS体系架构介绍 (2)1.3GPFS的优势 (5)2GPFS安装配置步骤 (6)2.1GPFS安装准备 (6)2.2GPFS的安装软件 (6)2.3配置GPFS集群 (6)1概述1.1IBM GPFS功能介绍GPFS (General Parallel File System) 是IBM 公司第一个共享文件系统,起源于IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。
作为这项技术的核心,GPFS 是一个并行的磁盘文件系统,它保证在资源组内的所有节点可以并行访问整个文件系统。
而且针对此文件系统的服务操作,可以同时安全地在使用此文件系统的多个节点上实现。
GPFS 允许客户共享文件,而这些文件可能分布在不同节点的不同硬盘上。
它提供了许多标准的UNIX 文件系统接口,允许应用不需修改或者重新编辑就可以在其上运行。
GPFS 也支持UNIX 文件系统的工具,即:用户可以像使用普通文件系统一样使用基于GPFS 的文件系统,唯一不同的在于管理GPFS 文件系统的命令。
GPFS 提供的文件系统操作服务可以支持并行应用和串行应用,它允许任何节点(这些节点属于同一个节点组)上的并行应用同时访问同一个文件或者不同的文件。
1.2GPFS体系架构介绍GPFS 文件系统基本上由三层架构组成:磁盘,网络共享磁盘(NSD),GPFS 文件设备,如下图所示。
•磁盘GPFS 文件系统最底层的是物理磁盘设备。
原则上可以采用系统上任何块设备,包括磁盘,磁盘分区,逻辑卷。
从物理连接上来看,GPFS 支持使用所有方式连接的磁盘。
包括本地IDE 磁盘,本地SCSI 磁盘,光纤SAN 磁盘,iSCSI 磁盘,等等。
•网络共享磁盘(NSD: network share disk)NSD 是由磁盘映射出来的虚拟设备,NSD 与磁盘是一一对应的关系。
Linux NFS服务器的安装与配置cpw806@qq.网上看到一篇有关nfs服务器安装与配置的文章觉得非常不错所以就收藏了起来,鉴于有很多时候收藏的网页过段时间就会莫名的找不到了,所以决定全盘拷贝存档。
对原作者表示感谢。
本文来源.cnblogs./mchina/archive/2013/01/03/2840040.html一、NFS服务简介NFS 是Network File System的缩写,即网络文件系统。
一种使用于分散式文件系统的协定,由Sun公司开发,于1984年向外公布。
功能是通过网络让不同的机器、不同的操作系统能够彼此分享个别的数据,让应用程序在客户端通过网络访问位于服务器磁盘中的数据,是在类Unix系统间实现磁盘文件共享的一种方法。
NFS 的基本原则是“容许不同的客户端及服务端通过一组RPC分享相同的文件系统”,它是独立于操作系统,容许不同硬件及操作系统的系统共同进行文件的分享。
NFS在文件传送或信息传送过程中依赖于RPC协议。
RPC,远程过程调用(Remote Procedure Call) 是能使客户端执行其他系统中程序的一种机制。
NFS本身是没有提供信息传输的协议和功能的,但NFS却能让我们通过网络进行资料的分享,这是因为NFS使用了一些其它的传输协议。
而这些传输协议用到这个RPC功能的。
可以说NFS本身就是使用RPC 的一个程序。
或者说NFS也是一个RPC SERVER。
所以只要用到NFS的地方都要启动RPC 服务,不论是NFS SERVER或者NFS CLIENT。
这样SERVER和CLIENT才能通过RPC来实现PROGRAM PORT的对应。
可以这么理解RPC和NFS的关系:NFS是一个文件系统,而RPC 是负责负责信息的传输。
二、系统环境系统平台:CentOS release 5.6 (Final)NFS Server IP:192.168.1.108防火墙已关闭/iptables: Firewall is not running.SELINUX=disabled三、安装NFS服务NFS的安装是非常简单的,只需要两个软件包即可,而且在通常情况下,是作为系统的默认包安装的。
实验1 GPFS安装与设置提示:在开始之前,请登录您所在组的AIX节点,每个节点打开至少一个窗口,以便后续操作。
目标在本实验中将练习如下内容验证AIX 系统环境安装GPFS介质创建GPFS集群定义NSD(Network Shared Disks)创建GPFS文件系统第一节:环境验证A.AIX与GPFS版本验证验证每个节点AIX版本参考GPFS FAQ: /infocenter/clresctr/vxrx/index.jsp # oslevel_______________________________________________________该AIX是否支持GPFS?该AIX版本下对GPFS 是否有特定版本与patch要求?________________________________________________________AIX xlC版本?8.0以上# lslpp -l |grep xlC|grep rte___xlC.aix61.rte 10.1.0.2 COMMITTED XL C/C++ Runtime for AIX 6.1xlC.rte 10.1.0.2 COMMITTED XL C/C++ RuntimexlC.sup.aix50.rte 9.0.0.1 COMMITTED XL C/C++ Runtime for AIX_____________________________________________________IBM JDK Version? Jdk 5# cd /usr; ls java5# /usr/java5/bin/java -version__1.5_____________________________________________________B.网络配置验证各节点的hostname?node1,node2,node3PAlpar10 PAlpar11 PAlpar12________________________________________________________ 各节点是否能相互ping 通?# ping node1# ping node2# ping node3C.验证/etc/hosts文件,应包含组内给节点IP和hostname,如192.168.1.11node1192.168.1.12node2192.168.1.13node3D.ssh安装、配置与通讯验证#cd /home/soft/ssh; installp -agYXpd . all先预览是否能正常安装,输出如下表示通过:SUCCESSES---------Filesets listed in this section passed pre-installation verificationand will be installed.Selected Filesets-----------------openssh.base.client 5.0.0.5302 # Open Secure Shell Commandsopenssh.base.server 5.0.0.5302 # Open Secure Shell Serveropenssh.license 5.0.0.5302 # Open Secure Shell Licenseopenssh.man.en_US 5.0.0.5302 # Open Secure Shell Documentat... openssl.base 0.9.8.840 # Open Secure Socket Layeropenssl.license 0.9.8.840 # Open Secure Socket Licenseopenssl.man.en_US 0.9.8.840 # Open Secure Socket Layer # installp -agYXd . all安装后,如下表示正常:openssl.man.en_US 0.9.8.840 USR APPLY SUCCESS openssl.license 0.9.8.840 USR APPLY SUCCESS openssl.base 0.9.8.840 USR APPLY SUCCESS openssl.base 0.9.8.840 ROOT APPLY SUCCESS openssh.license 5.0.0.5302 USR APPLY SUCCESS openssh.base.client 5.0.0.5302 USR APPLY SUCCESS openssh.base.server 5.0.0.5302 USR APPLY SUCCESS openssh.base.client 5.0.0.5302 ROOT APPLY SUCCESS openssh.base.server 5.0.0.5302 ROOT APPLY SUCCESS openssh.man.en_US 5.0.0.5302 USR APPLY SUCCESS # ssh-keygen -t rsa在每个AIX节点生成ssh-key如下:Generating public/private rsa key pair.Enter file in which to save the key (//.ssh/id_rsa): 回车Created directory '//.ssh'.Enter passphrase (empty for no passphrase): 回车Enter same passphrase again: 回车Your identification has been saved in //.ssh/id_rsa.Your public key has been saved in //.ssh/id_rsa.pub.The key fingerprint is:db:0b:23:aa:81:a9:b2:41:33:97:8b:6b:b7:24:fc:2c root@node1在节点 node1 copy如下文件# cp /.ssh/id_rsa.pub /.ssh/authorized_keys从节点node2 copy /.ssh/id_rsa.pub 到节点1/tmp/id_rsa.pub2,需要输入节点2的root密码从节点node3 copy /.ssh/id_rsa.pub 到节点1/tmp/id_rsa.pub3,需要输入节点3的root密码# scp node2:/.ssh/id_rsa.pub /tmp/id_rsa.pub2root@node2's password:id_rsa.pub 100% 393 0.4KB/s 00:00 # scp node3:/.ssh/id_rsa.pub /tmp/id_rsa.pub3在node1将/tmp/id_rsa.pub2; /tmp/id_rsa.pub3追加到/.ssh/authorized_keys中#cat /tmp/id_rsa.pub2 >> /.ssh/authorized_keys#cat /tmp/id_rsa.pub3 >> /.ssh/authorized_keys将node1上/.ssh/authorized_keys copy到node2,node3#scp /.ssh/authorized_keys node2:/.ssh/authorized_keys#scp /.ssh/authorized_keys node3:/.ssh/authorized_keys在node1,node2,node3节点touch 一个/.hushlogin文件,以屏蔽登录回显信息# touch /.hushlogin验证node1,node2,node3节点的ssh通讯,如能显示日期验证通过on node1# ssh node2 date; ssh node3 dateon node2# ssh node1 date; ssh node3 dateon node3# ssh node1 date; ssh node2 dateE.rsh, dsh 配置创建并编辑/.rhosts文件,node1 rootnode2 rootnode3 root验证rsh通讯,如能显示日期验证通过on node1# rsh node2 date; rsh node3 dateon node2# rsh node1 date; rsh node3 dateon node3# rsh node1 date; rsh node2 date验证dsh通讯,如能显示日期验证通过on node1# dsh -n node2 date; dsh -n node3 dateon node2# dsh -n node1 date; dsh -n node3 dateon node3# dsh -n node1 date; dsh -n node2 dateF.检查各AIX系统共享disks#lsdev –Cc disk#lspv第二节:安装GPFS软件A. 在node1,node2,node3上分别预览与安装GPFS软件及其PTF(Program Temporary Fix)# dsh -n node1,node2,node3 "cd /home/soft/gpfs3.2.1/3.2.1.0; inutoc .; installp -agYXpd . all"# dsh -n node1,node2,node3 "cd /home/soft/gpfs3.2.1/3.2.1.0; installp -agYXd . all"# dsh -n node1,node2,node3 "cd /home/soft/gpfs3.2.1/ptf; inutoc .; installp -agYXpd . all"# dsh -n node1,node2,node3 "cd /home/soft/gpfs3.2.1/ptf; installp -agYXd . all"B. 在node1,node2,node3上分别验证GPFS软件# dsh -n node1,node2,node3 "lslpp -L gpfs.*"Fileset Level State Type Description (Uninstaller)----------------------------------------------------------------------------gpfs.base 3.2.1.13 A F GPFS File Managergpfs.docs.data 3.2.1.1 A F GPFS Server Manpages andDocumentationgpfs.gui 3.2.1.0 C F GPFS GUIgpfs.msg.en_US 3.2.1.11 A F GPFS Server Messages - U.S.EnglishState codes:A -- Applied.B -- Broken.C -- Committed.E -- EFIX Locked.O -- Obsolete. (partially migrated to newer version)? -- Inconsistent State...Run lppchk -v.Type codes:F -- Installp FilesetP -- ProductC -- ComponentT -- FeatureR -- RPM PackageC. 在node1,node2,node3上,将gpfs执行命令路径加入PATH环境变量# echo export PATH=$PATH:/usr/lpp/mmfs/bin >>/etc/profile# . /etc/profileD. 在node1,node2,node3上,确认gpfs PATH环境变量是否已正确# env|grep PATH# mmlsclustermmlscluster: 6027-1382 This node does not belong to a GPFS cluster.mmlscluster: 6027-1639 Command failed. Examine previous error messages to determine cause.第三节:创建一个双节点的GPFS集群在本练习中,我们首先建一个单节点的GPFS CLUSTER。
GPFS for linux实施目录1、GPFS规划 (3)2、GPFS实施 (3)2.1、软件需求 (3)2.2软件安装 (3)2.2.1在每个节点上安装GPFS软件包 (4)2.2.2、gpfs软件编译 (4)2.2.3、在每个节点上编译.bashrc文件,建立GPFS命令环境变量 (4)2.2.4、创建节点描述文件 (5)2.2.5、创建磁盘描述文件 (5)2.2.6、创建主机信任文件 (5)2.2.7、确认连接磁盘 (5)3、GPFS安装 (6)3.1、建立集群 (6)3.1.1、创建集群文件系统node1 (6)3.1.2、显示集群文件系统 (6)3.2、创建NSD (7)3.2.、使用mmcrnsd创建NSD (7)3.2.2、显示NSD (7)3.3、启动GPFS文件系统 (7)3.4、查看GPFS文件系统状态 (7)3.5、建立文件系统 (7)3.6、检查文件系统 (8)1、GPFS规划在虚拟机上安装2台RedHat 5 linux,系统分配8G硬盘,令每台节点分配2个2G的硬盘具2、GPFS实施2.1、软件需求辅助软件:Vmvare 7.0redhat 5libstdc++compat-libstdc++-296compat-libstdc++-33libXpimakegcc-c++kernelkernel-headerskernel-develkernel-smpkernel-smp-develxorg-x11-xauthGPFS软件需求gpfs.basegpfs.msg.en_USgpfs.docsgpfs.gp2.2软件安装使用rpm –ivh将以上需求安装包在每个节点上装齐2.2.1在每个节点上安装GPFS软件包2.2.1.1Tar -zxcvf解压gpfs-3.1.0-6.x86_64.update.tar.gz生成gpfs.basegpfs.msg.en_USgpfs.docsgpfs.gp2.2.1.2使用rpm安装软件包rpm -ivh gpfs.msg.en_US-3.1.0-6.noarch.rpmrpm -ivh gpfs.docs-3.1.0-6.noarch.rpmrpm -ivh gpfs.gpl-3.1.0-6.noarch.rpmrpm -ivh ---noscripts gpfs.base-3.1.0-6.x86_64.update.rpm2.2.1.3使用rpm -qa|grep gpfs检查GPFS软件安装情况gpfs.base-3.1.0-6gpfs.msg.en_US-3.1.0-6gpfs.docs-3.1.0-6gpfs.gpl-3.1.0-62.2.2、gpfs软件编译2.2.2.1、在每个节点中准备portability layer build#echo 'Red Hat Enterprise Linux Server release 5.3 (Tikanga)' >/etc/redhat-releasecd /usr/lpp/mmfs/srcexport SHARKCLONEROOT=/usr/lpp/mmfs/srcrm config/site.mcrmake Autoconfig2.2.2.2、在每个节点上检查配置文件值与系统环境是否正确grep ^LINUX_DISTRIBUTION config/site.mcrgrep 'define LINUX_DISTRIBUTION_LEVEL' config/site.mcrgrep 'define LINUX_KERNEL_VERSION' config/site.mcr注意:"2061899" 意思是l "2.6.18-128.1.10.el5"2.2.2.3、在每个节点上编译make cleanmake Worldmake InstallImages2.2.3、在每个节点上编译.bashrc文件,建立GPFS命令环境变量On each node, edit the PATH,vi ~/.bashrc添加PATH=$PATH:/usr/lpp/mmfs/bin立即生效source ~/.bashrc2.2.4、创建节点描述文件Vi /tmp/gpfs_node10.3.164.24 node1:quorum-manager10.3.164.25 node2:quorum-manager2.2.5、创建磁盘描述文件/dev/hdb:node1:::1:GPFSNSD12.2.6、创建主机信任文件2.2.6.1、以下命令分别在node1和node2上都执行一遍#mkdir ~/.ssh#chmod 700 ~/.ssh#ssh-keygen -t rsa#ssh-keygen -t dsa2.2.6.2 、在node1上执行以下命令#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys#ssh node2 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys #ssh node2 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #scp ~/.ssh/authorized_keys node2:~/.ssh/authorized_keys 2.2.6.3、测试两个节点的连接等效性#ssh node1 date#ssh node2 date2.2.7、确认连接磁盘#fdisk –lDisk /dev/sda: 16.1 GB, 16106127360 bytes255 heads, 63 sectors/track, 1958 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System/dev/sda1 * 1 13 104391 83 Linux/dev/sda2 14 1958 15623212+ 8e Linux LVMDisk /dev/hdb: 2 GB, 2736369664 bytes64 heads, 32 sectors/track, 10239 cylindersUnits = cylinders of 2048 * 512 = 248576 bytes3、GPFS安装3.1、建立集群3.1.1、创建集群文件系统node1mmcrcluster -n /tmp/gpfs_node -p node1 -s node2 -r /usr/bin/ssh -R /usr/bin/scp命令显示:mmcrcluster: Processing node 1mmcrcluster: Processing node2mmcrcluster: Command successfully completedmmcrcluster: Propagating the cluster configuration data to all affected nodes. This is an asynchronous process.3.1.2、显示集群文件系统mmlsclusterGPFS cluster information========================GPFS cluster name: node1GPFS cluster id: 13882348004399855353GPFS UID domain: node1Remote shell command: /usr/bin/sshRemote file copy command: /usr/bin/scpGPFS cluster configuration servers:-----------------------------------Primary server: node1Secondary server:Node Daemon node name IP address Admin node name Designation1 node1 10.3.164.24 node1 quorum-manager2 node2 10.3.164.25 node2 quorum-manager3.2、创建NSD3.2.、使用mmcrnsd创建NSDmmcrnsd -F /tmp/gpfs_disk -v yes命令显示:mmcrnsd: Processing disk hdbmmcrnsd: Propagating the cluster configuration data to allaffected nodes. This is an asynchronous process.3.2.2、显示NSDmmlsnsd –mDisk name NSD volume ID Device Node name Remarks -------------------------------------------------------------------------------gpfs1nsd C0A801F54A9B3732 /dev/hdb node1 primary node gpfs1nsd C0A801F54A9B3732 /dev/hdb node23.3、启动GPFS文件系统mmstartup –aMon Aug 31 10:37:48 CST 2009: mmstartup: Starting GPFS ...3.4、查看GPFS文件系统状态mmgetstate -aNode number Node name GPFS state------------------------------------------1 node1 active2 node2 active3.5、建立文件系统#mkdir /gpfs 建立挂载点#./bin/mmcrfs /gpfs gpfsdev -F /tmp/gpfs_disk -A yes -B 1024K -v yes命令显示:The following disks of gpfsdev will be formatted on node node1:gpfs1nsd: size 2241856 KBFormatting file system ...Disks up to size 2 GB can be added to storage pool 'system'.Creating Inode FileCreating Allocation MapsClearing Inode Allocation MapClearing Block Allocation MapCompleted creation of file system /dev/gpfsdev.mmcrfs: Propagating the cluster configuration data to allaffected nodes. This is an asynchronous process.3.6、检查文件系统#cat /etc/fstab………………………/dev/gpfsdev /gpfs gpfs rw,mtime,atime,dev=gpfsdev,autostart 0 0 Df-g/dev/hdb /gpfs。
PGFS一般主节点1台,2个副节点。
(3,5,7,都是基数的节点)然后会有一个client节点,客户用来发调度任务的。
基于CentOS7.6& Spectrum5.0.3的安装首先环境如下:192.168.1.136 IO节点(主)192.168.1.133 mgt节点192.168.1.134 compute01节点192.168.1.135 compute02节点首先,在主的136上操作(我这的机器是新装的,用的最小化安装)首先,常规的把网卡配置好nmcli然后,由于我这里是ftp共享的yum源。
则配置vi /etc//etc/yum.repos.d/CentOS-Base.repo然后,yum clean all 再 yum list一下就好了yum repolist然后,把内核&firewalld关闭下面,创建一个gpfs专用的目录,把5.0.3的tar包塞进去mkdir -p /oglab/gpfscd /oglab/gpfs下面做几个域名的映射vi /etc/hosts192.168.1.133 mgt192.168.1.134 c01192.168.1.135 c02192.168.1.136 gpfs01然后,几个节点间建立互信[root@gpfs01 gpfs]# ssh-keygen -t rsa -N '' -f ~/.ssh/id_rsa[root@gpfs01 gpfs]# cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys [root@gpfs01 gpfs]# echo 'StrictHostKeyChecking no' > ~/.ssh/config [root@gpfs01 gpfs]# chmod 644 ~/.ssh/authorized_keys ~/.ssh/config [root@gpfs01 gpfs]# scp -rp ~/.ssh mgt:~/然后,ssh mgt可以直接登录就可以了(其余几个节点也都测试一下)下面,cd /oglab/gpfstar xvf Spectrum_Scale_DAE_503_x86_64_LNX.tar.gzls./Spectrum_Scale_Data_Access-5.0.3.0-x86_64-Linux-install这中间需要同意IBM的协议,按1 enter然后,安装一些必要的依赖包yum -y install kernel-devel cpp gcc gcc-c++ kernel-headers然后,创建一个需要的放安装包的目录/1/mkdir /1/然后,把一些安装需要的包复制到/1下cd /usr/lpp/mmfs/5.0.3.0/gpfs_rpms/然后,下面一步很重要cd /usr/lpp/mmfs/5.0.3.0/zimon_rpms/rhel7/cp .//gpfs.gss.pmcollector-5.0.3-0.el7.x86_64.rpm /1/cd /1/yum install -y gpfs.base*.rpm gpfs.gpl*rpm gpfs.gskit*rpm gpfs.ext*rpm gpfs.adv*rpm gpfs.docs*rpm然后,就可以编译了 /usr/lpp/mmfs/bin/mmbuildgpl安装pgfs完成。
linux的安装流程文字下载温馨提示:该文档是我店铺精心编制而成,希望大家下载以后,能够帮助大家解决实际的问题。
文档下载后可定制随意修改,请根据实际需要进行相应的调整和使用,谢谢!并且,本店铺为大家提供各种各样类型的实用资料,如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等,如想了解不同资料格式和写法,敬请关注!Download tips: This document is carefully compiled by theeditor. I hope that after you download them,they can help yousolve practical problems. The document can be customized andmodified after downloading,please adjust and use it according toactual needs, thank you!In addition, our shop provides you with various types ofpractical materials,such as educational essays, diaryappreciation,sentence excerpts,ancient poems,classic articles,topic composition,work summary,word parsing,copy excerpts,other materials and so on,want to know different data formats andwriting methods,please pay attention!1. 准备安装介质下载你选择的 Linux 发行版的 ISO 镜像文件。
GPFS文件系统安装配置和测试目录GPFS文件系统安装配置和测试 (1)一、目的 (2)二、测试架构和环境 (2)三、系统安装配置 (3)1.安装前的准备: (3)2.系统和相关支持包的安装 (3)3..配置SSH 无密码登录 (3)1)编辑hosts和配置密钥 (3)2)关闭防火墙及selinux安全服务 (4)3)测试ssh无密码登录配置 (4)4.安装gpfs3.4安装包 (4)5.配置GPFS (5)1)配置集群 (5)2)配置共享盘 (6)3)编辑共享盘配置文件 (6)4)使用mmcrnsd创建NSD (7)5)授权节点license (7)6)启动gpfs 文件系统 (7)7)创建GPFS 文件系统 (8)四、优化GPFS 集群配置 (8)1.查看当前集群配置 (8)2.修改集群配置参数 (8)五、变更节点配置 (9)1.增加节点 (9)2.增加NSD (9)3.增加硬盘及NSD控制服务器 (9)4.增加硬盘到文件系统中 (9)六、测试步骤和结果 (10)测试环境: (10)具体测试过程: (10)从小文件读写测试结果总结: (11)使用大文件单个10G,进行测试: (11)大文件读写测试总结: (11)七、总结 (11)一、目的测试和验证gpfs并行文件系统功能和性能,为将来部署准备二、测试架构和环境架构图三、系统安装配置1.安装前的准备:在IBM 3512 划分3个lun,空间容量分别为:380G,88 G,30 G,映射到两台服务器确保服务器和存储连接正常确保网络连接正常2.系统和相关支持包的安装安装redhat enterprise server Linux 6.3 或6.5安装其它系统需要支持包:yum install libstdc++ compat-libstdc++-296 compat-libstdc++-33 libXp imake gcc-c++ kernel kernel-headers kernel-devel kernel-smp kernel-smp-devel xorg-x11-xauth3..配置SSH 无密码登录1)编辑hosts和配置密钥编辑hostS文件如下所示10.8.8.133 gpfs110.8.8.134 gpfs210.8.8.136 gpfs710.8.8.137 gpfs6登录到各个系统gpfs2,gpfs6,gpfs7上分别执行以下命令#ssh-keygen -t dsa在gpfs2上执行以下命令#cat ~/.ssh/id_dsa.pub > ~/.ssh/authorized_keys#ssh gpfs6 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys#ssh gpfs7 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys#scp ~/.ssh/authorized_keys gpfs6:~/.ssh/authorized_keys#scp ~/.ssh/authorized_keys gpfs7:~/.ssh/authorized_keys完成以后测试gpfs2,gpfs6,gpfs7连通性ssh gpfsx date注意因为版本不一致gpfs2(6.5)版本需要执行restorecon –R –v /root/.ssh2)关闭防火墙及selinux安全服务service iptables stopvi /etc/sysconfig/selinux# This file controls the state of SELinux on the system.# SELINUX= can take one of these three values:# enforcing - SELinux security policy is enforced.# permissive - SELinux prints warnings instead of enforcing.# disabled - No SELinux policy is loaded.SELINUX=disabled# SELINUXTYPE= can take one of these two values:# targeted - Targeted processes are protected,# mls - Multi Level Security protection.SELINUXTYPE=targeted3)测试ssh无密码登录配置登录gpfs1执行命令ssh gpfs6 datessh gpfs7 datessh gpfs3 date4.安装gpfs3.4安装包执行./gpfs_install-3.4.0-0_x86_64 –text-only进行安装Cd /usr/lpp/mmfsRpm –ivh *.rpmtar -zxcvf解压gpfs-3.4.0-6.x86_64.tar.gz生成升级包gpfs.basegpfs.msg.en_USgpfs.docsgpfs.gp安装所有的rpm软件包,并升级补丁Rpm –U *.rom检查GPFS软件包安装情况rpm -qa|grep gpfs增加.bash_profile PATH$PATH=$PATH:$HOME/bin:/usr/lpp/mmfs/bin编译软件cd /usr/lpp/mmfs/srcmake Autoconfigmake Worldmake InstallImages5.配置GPFS1)配置集群在gpfs7上创建集群建立文件/tmp/gpfs.nodes内容为:gpfs7:quorum-managergpfs6:quorum-manager执行命令:/usr/lpp/mmfs/bin/mmcrcluster -n /tmp/gpfs.nodes -p gpfs7 -s gpfs6 -r /usr/bin/ssh -R /usr/bin/scp显示集群信息mmlsclusterGPFS cluster information========================GPFS cluster name: dlokcluster.gpfs7GPFS cluster id: 722837121801769718GPFS UID domain: dlokcluster.gpfs7Remote shell command: /usr/bin/sshRemote file copy command: /usr/bin/scpGPFS cluster configuration servers:-----------------------------------Primary server: gpfs7Secondary server: gpfs6Node Daemon node name IP address Admin node name Designation-----------------------------------------------------------------------------------------------1 gpfs7 10.8.8.136 gpfs7 quorum-manager2 gpfs6 10.8.8.137 gpfs6 quorum-manager2)配置共享盘首先检查硬盘连接正常root@gpfs7 gpfs]# fdisk -lDisk /dev/sda: 146.2 GB, 146163105792 bytes255 heads, 63 sectors/track, 17769 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisk identifier: 0x0006222cDevice Boot Start End Blocks Id System /dev/sda1 * 1 64 512000 83 LinuxPartition 1 does not end on cylinder boundary./dev/sda2 64 17770 142224384 8e Linux LVM Disk /dev/sdb: 146.2 GB, 146163105792 bytes255 heads, 63 sectors/track, 17769 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisk identifier: 0x0003851bDevice Boot Start End Blocks Id System Disk /dev/sdc: 146.2 GB, 146163105792 bytes255 heads, 63 sectors/track, 17769 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical): 512 bytes / 512 bytesI/O size (minimum/optimal): 512 bytes / 512 bytesDisk identifier: 0x0004d5b33)编辑共享盘配置文件[root@gpfs7 gpfs]# vi disk_file/dev/sdh:gpfs7:gpfs6:dataAndMetadata::g1/dev/sdi:gpfs7:gpfs6:dataAndMetadata::g2/dev/sdq:gpfs7:gpfs6:dataAndMetadata::g34)使用mmcrnsd创建NSDmmcrnsd -F /tmp/gpfs_disk -v yes显示NSDMmlsnsd –m[root@gpfs6 home]# mmlsnsd -mDisk name NSD volume ID Device Node name Remarks---------------------------------------------------------------------------------------g1 0A0808885379C4F2 /dev/sdc gpfs6 server nodeg1 0A0808885379C4F2 /dev/sdh gpfs7 server nodeg2 0A0808885379C4F3 /dev/sdd gpfs6 server nodeg2 0A0808885379C4F3 /dev/sdi gpfs7 server nodeg3 0A0808885379C4F4 /dev/sdl gpfs6 server nodeg3 0A0808885379C4F4 /dev/sdq gpfs7 server node5)授权节点licensemmchlicense server --accept –N hpc1,hpc2,hpc36)启动gpfs 文件系统Mmstartup –a查看文件系统状态Mmgeststate –a[root@gpfs6 home]# mmgetstate -aNode number Node name GPFS state------------------------------------------1 gpfs7 active2 gpfs6 active3 gpfs2 active7)创建GPFS 文件系统# mmcrfs gpfsdir1 -F /home/GPFS/nsd -T /gpfsdir1 -A yes -K always -B 2m -E no -m 2 -M 2 -n 32 -Q no -r 2 -R 2 -S yes -v no注:➢其mount点为/oradata, blocksize为2m;注意此参数已经创建,不可修改,blocksize一般要参照存储端LUN设置,以获得最优性能;➢-m 2 -M 2表示写两份metadata数据,-r 2 -R 2表示写两份data数据;➢我们已经将数据盘的failgroup分别设为2、3,GPFS会自动将数据均衡写入不同failgroup中;四、优化GPFS 集群配置1.查看当前集群配置# mmlsconfig[root@gpfs6 home]# mmlsconfigConfiguration data for cluster dlokcluster.gpfs7:-------------------------------------------------myNodeConfigNumber 2clusterName dlokcluster.gpfs7clusterId 722837121801769718autoload nominReleaseLevel 3.4.0.7dmapiFileHandleSize 32pagepool 2048MadminMode centralFile systems in cluster dlokcluster.gpfs7:------------------------------------------/dev/g22.修改集群配置参数Mmchconfig pagepool=2048m五、变更节点配置1.增加节点Mmaddnode -N gpfs12.增加NSD首先编辑磁盘配置文件Vi /root/gpfs/disk_file2/dev/sdb:gpfs1::dataAndMetadata::nsd43.m增加硬盘及NSD控制服务器mmcrnsd -F /root/gpfs/disk_file2 -v no4.增加硬盘到文件系统中mmadddisk g2 -F /root/gpfs/disk_file2显示文件系统mmlsfs g2flag value description------------------- ------------------------ ------------------------------------f 32768 Minimum fragment size in bytes-i 512 Inode size in bytes-I 32768 Indirect block size in bytes-m 1 Default number of metadata replicas-M 2 Maximum number of metadata replicas-r 1 Default number of data replicas-R 2 Maximum number of data replicas -j cluster Block allocation type-D nfs4 File locking semantics in effect-k all ACL semantics in effect-n 32 Estimated number of nodes that will mount file system-B 1048576 Block size-Q none Quotas enforcednone Default quotas enabled --filesetdf No Fileset df enabled?-V 12.10 (3.4.0.7) File system version--create-time Wed May 21 15:21:30 2014 File system creation time-u Yes Support for large LUNs?-z No Is DMAPI enabled?-L 4194304 Logfile size-E Yes Exact mtime mount option-S No Suppress atime mount option-K whenpossible Strict replica allocation option--fastea Yes Fast external attributes enabled?--inode-limit 520192 Maximum number of inodes-P system Disk storage pools in file system -d g1;g2;g3;nsd4 Disks in file system-A yes Automatic mount option-o none Additional mount options-T /gpfsdir1 Default mount point--mount-priority 0 Mount priority六、测试步骤和结果测试环境:Gpfs3 ibm 3850 虚拟机,linux 6.5,本地SAS盘15k转,千兆络Gpfs6 Dell 2950 linux 6.3, 本地SAS盘15k转, 4G HBA 光纤卡Gpfs6 Dell r420 linux 6.3, 本地SAS盘15k转,4G HBA 光纤卡具体测试过程:使用相同资料(普通目录文件4G):1.从gpfs2 本地盘拷贝资料到gpfs 盘,65M/s2从gpfs7 本地盘拷贝资料到gpfs 盘,161M/s3从gpfs6本地盘拷贝资料到gpfs 盘,142M/s4.从gpfs6 gpfs盘拷贝资料到gpfs 盘不同目录122M/s5. 从gpfs6,gpfs7,拷贝同时拷贝本地盘资料到GPFS 盘,gpfs672M/s,pgfs7 98M/s6登录gpfs7,拷贝本地SAS盘资料到本地SAS盘, 60M/s从小文件读写测试结果总结:本次测试环境GPFS客户端从本地到gpfs盘拷贝资料,受限千兆网络影响只能达到65M。
GPFS配置⼿册江西省农信社GPFS安装⼿册V1.0⽬录1.江西省农信社GPFS规划 (2)1.1江西省农信社GPFS集群规划 (2)1.2集群Quorum⽅式 (3)1.3NSD磁盘组成 (3)1.4⽂件系统基本信息 (3)1.5GPFS系统环境⽰意图 (5)2.GPFS安装前准备 (5)2.1安装介质及补丁准备 (5)2.2Openssl及Openssh (6)2.3Linux节点安装ksh (6)2.4Linux节点修改⽹络参数 (6)3.GPFS安装配置 (7)3.1配置ssh信任关系 (7)3.2AIX安装GPFS软件 (10)3.3Linux安装GPFS软件 (11)3.4GPFS集群配置 (12)4.GPFS⽇常维护 (19)4.1GPFS启动 (19)4.2GPFS停⽌ (19)4.3查看GPFS使⽤状况 (20)1.江西省农信社GPFS规划1.1江西省农信社GPFS集群规划1.2集群Quorum⽅式集群Quorum⽅式采⽤Node Quorum + Tiebreaker disks,两个AIX节点加上⼀块专⽤的SAN磁盘,⽬前只有⼀个AIX节点,第⼆个AIX节点和SAN磁盘需要后续添加。
1.3NSD磁盘组成1.4⽂件系统基本信息1.5GPFS系统环境⽰意图GPFS Server: 2个AIX分区连接V7000 SAN Storage: SVCGPFS Client: 48个Power Linux分区GPFS管理⽹络:千兆交换机2.GPFS安装前准备2.1安装介质及补丁准备安装包:GPFS v3.5.0.0补丁:GPFS-3.5.0.112.2Openssl及Openssh确认AIX上openssl及openssh是否已安装,Linux默认已经安装; lslpp -l |grep open2.3Linux节点安装ksh#rpm -ivh ksh-20100621-19.el6.ppc64.rpm2.4Linux节点修改⽹络参数修改/etc/sysctl.conf⽂件,需修改的⽹络参数如下:修改完毕后执⾏sysctl -p /etc/sysctl.conf让配置⽣效3.GPFS安装配置3.1配置ssh信任关系在节点/doc/abb911b558fafab068dc0287.html 上⽣成并配置ssh密钥对#ssh-keygen -t rsa# cd .ssh# lsid_rsa id_rsa.pub# cat id_rsa.pub > authorized_keys# chmod 600 authorized_keys# echo "StrictHostKeyChecking no" > config # chmod 600 config 修改各节点的/etc/hosts⽂件,加⼊对集群中各节点的别名和ip地址验证本机⽆需密码的ssh登录#ssh `hostname`将.ssh⽬录复制到其他各节点#scp -r /.ssh /doc/abb911b558fafab068dc0287.html :/root/#scp -r /.ssh /doc/abb911b558fafab068dc0287.html :/root/#scp -r /.ssh /doc/abb911b558fafab068dc0287.html :/root/…#scp -r /.ssh /doc/abb911b558fafab068dc0287.html :/root/验证各节点间⽆密码的ssh登录3.2AIX安装GPFS软件1)gpfs3.5.0安装包放在/home/gpfsaix/iso⽬录下2)切换/home/gpfsaix/iso⽬录下,通过smitty installp安装GPFS软件3)安装补丁gpfs3.5版本,需要升级到3.5.0.11以上,补丁下载地址:/doc/abb911b558fafab068dc0287.html /support/fixcentral/swg/selectFixes?parent=Cluster+software&produ ct=ibm/power/IBM+General+Parallel+File+System&release=3.5.0&platform=AIX&function =all下载后上传到服务器后解压:gzip -d -c filename.tar.gz |tar -xvf -使⽤smitty update_all安装补丁4)安装后检查#lslpp -l|grep gpfs如果之前已经创建了cluster,在所有node都down的状态下,加载GPFS版本到最新版本:mmchconfig release=LATEST;如果是新装的GPFS,则可以忽略此步。
Linux操作系统安装部署安全规范为了规范安装Linux系统,减少平台部署中出现的问题,并且方便管理与维护;体现公司运维规范、专业化,特制定Linux安装部署规范文档一、安装前的准备工作1、操作系统的选择操作系统统一选用Centos 5.X 系统64位版本2、操作系统的安装信息收集1) 服务器的内存大小2)分区的特殊需求3)Ip地址的规划4)防火墙的配置要求5)如未有特殊要求将按照以下规范安装系统二、安装系统过程详细要求操作系统安装过程创建LVM物理卷,使用全部可用空间点击红色框内的LVM(L) 出现下面这个窗口容量),根分区分配20G 空间服务器空间在200G以上者,根分区分配50G空间再继续点击“添加添加swap交换分区分区容量与内存大小相同点击确定然后下一步直接下一步密码默认设置为sd@2012选择“现在定制”安装基本系统里面选择基本、管理工具、系统工具三项应用程序里面选择编辑器一项开发里面选择“开发工具“、“开发库”两项语言支持里面默认选择”中文支持“其他选项里面都不要勾选任何软件包,点击下一步安装系统完成后重启系统三、系统安装完成后设置1.系统setup 设置进入系统后执行setup命令,有时候setup会自动执行选择防火墙配置全部选择Disabled 然后选择OK 退出选择系统服务配置(System services)把acpid apmd autofs cups bluetooth cpuspeed firstboot gpm ip6tables ipm iscsi iscsid netfs nfslock restorecond setroubleshoot smartd xfs yumupdatesd 前面的* 去掉(按空格键去掉) 禁止这些服务开机启动2. 设置系统参数1)sysctl内核参数编辑/etc/sysctl.conf在原有内容的基础上添加以下内容# Addnet.ipv4.ip_forward = 1net.ipv4.tcp_max_syn_backlog = 262144dev_max_backlog = 262144 net.core.somaxconn = 262144net.core.wmem_default = 8388608net.core.rmem_default = 8388608net.core.rmem_max = 16777216net.core.wmem_max = 16777216net.ipv4.tcp_timestamps = 0net.ipv4.tcp_synack_retries = 1net.ipv4.tcp_syn_retries = 1net.ipv4.tcp_tw_recycle = 1net.ipv4.tcp_tw_len = 1net.ipv4.tcp_tw_reuse = 1net.ipv4.tcp_mem = 94500000 915000000 927000000net.ipv4.tcp_max_orphans = 3276800net.ipv4.tcp_fin_timeout = 30net.ipv4.tcp_keepalive_time = 120net.ipv4.ip_local_port_range = 1024 65535fs.file-max=102400net.ipv4.tcp_keepalive_time = 302)设置文件描述符执行echo "ulimit -SHn 102400 ">>/etc/profile3、系统文件安全设置1)vim /etc/inittabca::ctrlaltdel:/sbin/shutdown -t3 -r now 找到此处改成#ca::ctrlaltdel:/sbin/shutdown -t3 –r now 前面加上注释防止ctrl+alt+del 重启服务器2)系统帐户配置账号管理vim /etc/passwd 文件以下账号可以锁定或者删除gopher sync games smmsp xfs shudwon rpc rpcuser uucp postgres news nscd operator halt方法1: usermod –L 用户锁定用户2: userdel 用户删除用户删除不需要的用户组vim /etc/group删除与刚才删除的用户名相同的组删除组groupdel 用户组名修改passwd、shadow、group文件权限cd /etcchown root:root passwd shadow groupchmod 600 passwdchmod 600 groupchmod 400 shadow4、IP地址规划服务器一般情况下有两个、四个或以上网卡要求:如无特殊需求,服务器一概配置一个公网IPEth0:配置为公网IPEth1:配置为内网IP如遇服务器只有内网IP::eth1:配置为内网如果内网有多个、依次排列eth2、eth3等5、添加定时校对时间任务:执行:crontab -e 添加下面一行0 1 * * * /usr/sbin/ntpdate 执行chkconfig crond on 确保crond服务为开机启动6、升级系统执行yum update -y 命令升级系统需要长时间等待7、设置iptables防火墙先清除防火墙规则/sbin/iptables -F/sbin/iptables -X执行iptables-save >/etc/sysconfig/iptables 保存防火墙规则编辑/etc/sysconfig/iptables 文件修改为一下内容----------------------------------------------------*filter:INPUT ACCEPT [47:4040]:FORWARD ACCEPT [0:0]:OUTPUT ACCEPT [37:3724]-A INPUT -i lo -j ACCEPT-A INPUT -i eth1 -j ACCEPT (如eth1为内网)-A INPUT -s 222.141.219.36 -j ACCEPT-A INPUT -s 125.46.68.0/26 -j ACCEPTWORD格式可编辑-A INPUT -s 125.46.36.128/25 -j ACCEPT-A INPUT -s 182.118.3.128/25 -j ACCEPT-A INPUT -s 61.158.255.0/24 -j ACCEPT-A INPUT -s 202.111.128.0/24 -j ACCEPT-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT -A INPUT -j DROPCOMMIT-------------------------------------------------------开启iptables服务chkconfig iptables onservice iptables restart8、执行完以上所有步骤后重启系统四、本文档所涉及配置,针对所有新装linux系统。
gpfsonlinux实施文档GPFS on Redhat 6.2实施手册1V7000存储配置1.1POOL的划分V7000共建立3个Array,形成一个pool mdiskgrp0,总的可用空间70.63TB:1.2LUN划分在mdiskgrp0这个pool里边新建3个LUN,每个大小1TB。
1.3将LUN分配给主机建立两个host,每个host包含2个wwpn. 在Linux上查看WWPN方法如下:主机一:[root@node01 ~]# cat /sys/class/fc_host/host6/port_name0x10000000c9cff748[root@node01 ~]# cat /sys/class/fc_host/host7/port_name 0x10000000c9cff749主机二:[root@node02 ~]# cat /sys/class/fc_host/host6/port_name 0x10000000c9cfedb4[root@node02 ~]# cat /sys/class/fc_host/host7/port_name 0x10000000c9cfedb5将3个LUN分配给这两个主机,使它们可以同时看到3个磁盘。
2SAN配置2.1SAN结构每个主机2个光纤口。
通过zone的划分,使得两个主机FC端口分别通过不同的交换机访问到V7000的2个端口,这2个端口分别属于V7000的A、B控制器。
最终在Linux系统中看到4条path。
SAN拓扑图:V70002.2SAN switch 10.61的配置2.2.1Alias建立4个alias,如下:alias: YT_RHLinux170_host6 10:00:00:00:c9:cf:f7:48alias: YT_RHLinux171_host6 10:00:00:00:c9:cf:ed:b4 alias: YT_V7000_Node1_port3 50:05:07:68:02:35:d6:07 alias: YT_V7000_Node2_port3 50:05:07:68:02:35:d6:082.2.2Zone建立两个zone,每个Zone包含一个主机端口和2个V7000端口:zone: YT_RHLinux170_V7000YT_RHLinux170_host6; YT_V7000_Node1_port3;YT_V7000_Node2_port3zone: YT_RHLinux171_V7000YT_RHLinux171_host6; YT_V7000_Node1_port3;YT_V7000_Node2_port32.3SAN switch 10.62的配置2.3.1Alias建立4个alias,如下:alias: YT_RHLinux170_host7 10:00:00:00:c9:cf:f7:49 alias: YT_RHLinux171_host7 10:00:00:00:c9:cf:ed:b5 alias: YT_V7000_Node1_port4 50:05:07:68:02:45:d6:07 alias: YT_V7000_Node2_port4 50:05:07:68:02:45:d6:082.3.2zone建立两个zone,每个Zone包含一个主机端口和2个V7000端口:zone: YT_RHLinux170_V7000YT_RHLinux170_host7; YT_V7000_Node1_port4;YT_V7000_Node2_port4zone: YT_RHLinux171_V7000YT_RHLinux171_host7; YT_V7000_Node1_port4;YT_V7000_Node2_port43配置多路径软件RedHat 6版本后只能使用系统自带的多路径软件,不支持IBM SDD 3.1查看多路径软件是否已经安装[root@node01 ~]# rpm -qa |grep multipathdevice-mapper-multipath-libs-0.4.9-46.el6.x86_64device-mapper-multipath-0.4.9-46.el6.x86_643.2编辑/etc/multipath.conf新安装的系统,还没有/etc/multipath.conf这个文件。
GPFS for linux实施配置文档(Red Hat linux平台)目录1、GPFS for linux实施规划 (3)1.1 规划概要 (3)1.2 网络设计规划 (4)1.3 存储设计规划 (4)2、Linux的安装及配置 (6)2.1 制作Linux Yum源 (6)2.2使用Linux Yum源安装必备rpm包 (7)2.3Linux系统中添加网络设备 (7)3、GPFS软件的安装和准备工作 (14)3.1 必须安装的Linux RPM包 (14)2.2 软件上传至目的Linux分区 (15)2.3 在每个节点上安装GPFS软件包 (15)2.3.1 GPFS基础包安装 (15)2.3.2 GPFS升级包安装 (16)2.4 GPFS软件编译 (16)2.5 GPFS环境变量设置 (17)4、GPFS环境配置文件准备 (18)4.1、创建节点描述文件 (18)4.2、创建磁盘描述文件 (18)4.3、创建主机信任---SSH (18)4.4、确认连接磁盘 (20)5、GPFS集群配置 (21)5.1、建立集群 (21)5.1.1、创建集群 (21)5.1.2、显示配置信息 (21)5.2、创建NSD (21)5.2.1、使用mmcrnsd创建NSD (21)5.2.2、显示NSD (22)5.3、启动GPFS文件系统 (22)5.4、查看GPFS文件系统状态 (22)5.5、建立文件系统 (22)5.6、检查文件系统 (22)5.7、GPFS集群调优 (22)6、GPFS文件系统测试 (24)6.1文件系统测试 (24)6.2 高可用测试 (25)1、G PFS for linux实施规划随着客户对数据越来越高的要求,现有架构的数据传输的速度可能会在将来成为系统分析性能的瓶颈,为了解决该问题,结合IBM GPFS并行文件系统在海量文件处理方面的算法优势及x86 Linux服务器的处理性能,搭建一套测试GPFS文件系统作为数据平台,来提升数据仓库平台的数据传输性能是一个不错的选择。
linux操作系统安装方法推荐文章Linux操作系统上怎么安装和更新JAVA8 热度:Linux操作系统下SSH默认22端口修改方法热度:用Linux操作系统下硬盘挂载方法热度:Linux操作系统如何截图热度:U盘怎么安装Linux系统热度:linux操作系统怎么安装呢?linux为所有人提供稳定、高效的操作系统,强调安全、易用、美观;具体深度linux操作系统,下面大家与店铺一起来学习一下linux操作系统的安装方法吧。
linux操作系统安装方法安装红旗Linux桌面版 4.0将光驱设为第一启动盘,放入第一张安装光盘后重新启动电脑,如果你的光驱支持自启动,如无意外将出现如下图。
如果不进行操作,在10秒后自动进入下一画面。
一启动就能使用鼠标了,比效方便;软件协议,只能选同意,除非你不想安装,点击“下一步”。
选择安装类型,一般选“典型安装”即可,这里还有一个选择:“恢复系统引导”,它的作用是在以后系统使用中,系统引导出问题时用它进行恢复的.这里先不管它,点下一步。
配置分区是关键的一步,搞不好会丢失硬盘有用数据,请小心,有些长期使用Windows的人装不了Linux的主要原因也是因为这一步不懂。
如果选“用fdisk程序手工分区(只限专家)”后,点击“下一步”会显示下图。
用这种方法分区,不直接不适合一般人使用,也不适合我用!于是点击“上一步”按钮,返回到上图后,再选择用“用Disk Druid手工分区”,然后点击“下一步”。
选择用“用Disk Druid手工分区”即列出各分区的详细信息,一目了然较直观,适合我。
我的硬盘有4个分区,而第一个分区已安装了Windows98,我想保留它装双系统。
表中列出了硬盘的所有分区,我准备用原系统的D盘和E盘。
即用/dev/hda5(4.8G)作挂载点安装系统,用/dev/hda6(252M)做交换分区。
在这里我先创建挂载点,挂载点放在/dev/hda5分区即原(D盘),挂载点创建步骤如下∶点击“/dev/hda5”将其选中。
GPFS for linux实施配置文档(Red Hat linux平台)目录1、GPFS for linux实施规划 (3)1.1 规划概要 (3)1.2 网络设计规划 (4)1.3 存储设计规划 (4)2、Linux的安装及配置 (6)2.1 制作Linux Yum源 (6)2.2使用Linux Yum源安装必备rpm包 (7)2.3Linux系统中添加网络设备 (7)3、GPFS软件的安装和准备工作 (14)3.1 必须安装的Linux RPM包 (14)2.2 软件上传至目的Linux分区 (15)2.3 在每个节点上安装GPFS软件包 (15)2.3.1 GPFS基础包安装 (15)2.3.2 GPFS升级包安装 (16)2.4 GPFS软件编译 (16)2.5 GPFS环境变量设置 (17)4、GPFS环境配置文件准备 (18)4.1、创建节点描述文件 (18)4.2、创建磁盘描述文件 (18)4.3、创建主机信任---SSH (18)4.4、确认连接磁盘 (20)5、GPFS集群配置 (21)5.1、建立集群 (21)5.1.1、创建集群 (21)5.1.2、显示配置信息 (21)5.2、创建NSD (21)5.2.1、使用mmcrnsd创建NSD (21)5.2.2、显示NSD (22)5.3、启动GPFS文件系统 (22)5.4、查看GPFS文件系统状态 (22)5.5、建立文件系统 (22)5.6、检查文件系统 (22)5.7、GPFS集群调优 (22)6、GPFS文件系统测试 (24)6.1文件系统测试 (24)6.2 高可用测试 (25)1、G PFS for linux实施规划随着客户对数据越来越高的要求,现有架构的数据传输的速度可能会在将来成为系统分析性能的瓶颈,为了解决该问题,结合IBM GPFS并行文件系统在海量文件处理方面的算法优势及x86 Linux服务器的处理性能,搭建一套测试GPFS文件系统作为数据平台,来提升数据仓库平台的数据传输性能是一个不错的选择。
本文档主要针对在X86平台上实施GPFS文件系统进行介绍,可供有相关需求的客户参考。
1.1 规划概要本次实施以在10台IBM X3755主机上部署GPFS-FPO为例,安装配置一套10节点的GPFS集群,可用作数据仓库,提供共享文件系统服务。
本次实施相关系统及软件版本:RHEL OS Version:6.3GPFS Version: 3.5.0.13IBM X3755配置情况:CPU:AMD6234, 4 Core*2.4GHz内存:128GB共享存储空间:2T * 6 * 101.2 网络设计规划本次GPFS集群搭建需要两组网络,一组集群通信网络,用于GPFS节点间的信息交互及同步,建议使用高速网络,比如IB网络,可充分发挥GPFS文件系统的高性能;一组管理网络,用于服务器管理,可使用普通IP网络。
GPFS集群通信网络:192.168.0.0/24 (通常为一个单独的私有网络)BI_gpfs01 192.168.0.1BI_gpfs02 192.168.0.2BI_gpfs03 192.168.0.3BI_gpfs04 192.168.0.4BI_gpfs05 192.168.0.5BI_gpfs06 192.168.0.6BI_gpfs07 192.168.0.7BI_gpfs08 192.168.0.8BI_gpfs09 192.168.0.9BI_gpfs10 192.168.0.10服务器管理网络:192.168.1.0/24 (使用客户的生产管理网络)BI_node01 192.168.1.1BI_ node02 192.168.1.2BI_ node03 192.168.1.3BI_ node04 192.168.1.4BI_ node05 192.168.1.5BI_ node06 192.168.1.6BI_ node07 192.168.1.7BI_ node08 192.168.1.8BI_ node09 192.168.1.9BI_ node10 192.168.1.101.3 存储设计规划存储空间规划如下:每个节点使用本地盘创建NSD,节点本身为NSD server。
每个节点有6块裸盘,raid5规划后大小为近10T,规划两个LV,一个LV做metadata pool,一个LV 做data pool。
共6*10块磁盘,每块2 TB2、L inux的安装及配置Linux的安装与配置这里不做过于详细的介绍,就是安装操作系统,此处针对可能会遇到的一下问题做简单说明。
2.1 制作Linux Yum源为了防止后续使用中发现操作系统缺少安装包,此处建议安装完操作系统后将操作系统镜像上传到系统中,制作本地Linux Yum源,当然如果客户现场有配置网络Yum源也行。
下面简单介绍一个制作Yum源的方法,具体有不明白的地方可以百度一下,你就知道。
创建源文件存放的目录#mkdir /home/iso/将光盘文件复制到服务器上的源目录#cp -a /media/* /home/iso/新建一个yum源的响应文件# vi /etc/yum.repos.d/local.repo文件内容如下:[base]name=linux 6baseurl=file:///home/isogpgcheck=0enable=1修改yum源的地址# vi /usr/lib/python2.6/site-packages/yum/yumRepo.py在上面的文件中找到下面这行remote = url + '/' + relative将其改为remote = '/tmp/yum' + relative2.2使用Linux Yum源安装必备rpm包通过使用Yum安装必要的安装包很方便,只需执行yum –y install该命令的具体使用方法可自行查找。
yum -y install make perl rsh ld-linux.so libm.so.6 libc.so.6 ksh libstdc++.so.5yum -y install rsh-server rpcbind xinetd libaio cpp gcc-c++ gcc nfs-utilsyum -y install kernel-headers kernel-devel compat-libstdc++ glibc-devel libXp.so.6 imake rpm-buildyum -y install compat-libstdc*2.3Linux系统中添加网络设备在linux系统中,由于某种原因造成网络设备丢失,或者我们新添加一个网卡,系统启动后可能查看不到新加网卡的状态,此时需要人工添加新的网络设备。
以新加一个IB卡为例:方法1、可以通过setup->network configuration->device configuration->new device->添加一个网络设备。
例如我们添加了一个ib0网络设备,IP设置为192.168.0.1。
通过以下步骤:则在/etc/sysconfig/network-scripts/下会产生一个ifcfg-ib0的配置文件,文件内容如下:DEVICE=ib0BOOTPROTO=noneNETMASK=255.255.255.0TYPE=EthernetHWADDR=a0:00:01:00:fe:80:00:00:00:00:00:00:00:02:C9:03:00:57:2F:1FIPADDR=192.168.0.1ONBOOT=yesIPV6INIT=noUSERCTL=nonote:这里HWADDR需要手动更改,查看ib0的HWADDR方法可以使用ifconfig ib0 或者ifdown ib0来查看。
ONBOOT=yes代表开机该设备会自动挂起,否则需要手动挂起。
2.4Linux系统中用户与组的操作Linux 系统中添加用户及组,删除用户及组,以及修改用户或组的属性,使用命令如下:useradd使用时可使用man查看用法,比如:-u 设置uid,-g 设置gid等,在集群环境中,uid和gid需保持一致。
groupaddusermod -n (更改用户名)-u (更改uid)-g (更改gid)usernamegroupmod -n (更改组名)-g(更改gid)groupname最好是在创建用户或组之前做好规划,uid,gid,名称,home目录等,以免造成后来有冲突。
特别是在集群环境中。
2.5Linux系统中ACL简单介绍在安全管理日益重要的今天,传统的Unix 文件系统的UGO 权限管理方式已经无法满足日常系统管理工作的需要。
而ACL 机制逐渐成为主流的权限管理方式。
通常情况下,UGO可以满足权限要求,特殊情况下才需要通过ACL进行扩展管理,所谓ACL,就是Access Control List,一个文件/目录的访问控制列表,可以针对任意指定的用户/组分配RWX权限。
现在主流的商业Unix系统都支持ACL。
下面举一个简单的例子,来学习一下ACL的使用方法:1、ACL的基本操作:添加和修改首先新建一个文件作为实施ACL的对象:[root@BI_gpfs01 gpfs]# touch testacl[root@BI_gpfs01 gpfs]# lltotal 0-rw-r--r-- 1 root root 0 Mar 20 13:18 testacl然后看一下这个文件缺省的ACL,这时这个文件除了通常的UGO的权限之外,并没有ACL:[root@BI_gpfs01 gpfs]# getfacl testacl# file: testacl# owner: root# group: rootuser::rw-group::r--other::r--通过setfacl命令可以设置文件的ACL,如下:setfacl -m u:testu1:rw testacl这条命令就给testacl文件增加了一条ACL,是的用户testu1对该文件具有读写权限。
此时再查看testacl的ACL,可观察到如下显示:[root@BI_gpfs01 gpfs]#getfacl testacl# file: testacl# owner: root# group: rootuser::rw-user:testu1:rw-group::r--mask::rw-other::r-此时我们使用ls命令查看会发现:[root@BI_gpfs01 gpfs]#ls -l testacl-rw-rw-r--+ 1 root root 0 Mar 20 13:32 testacl可以看到那个"+"了么?就在通常我们看到的权限位的旁边。