RedHat GFS 集群文件系统入门和进阶 资源帖

集群⽂件系统之GFS2⼀、⽂件系统分类 1.集群⽂件系统 GFS2 OCFS2 2.分布式⽂件系统（有分布式⽂件锁。

） GFS(Goole) ：适⽤海量⼤⽂件 HDFS(Hadoop) ：适⽤海量⼤⽂件 MogileFS ：适⽤海量⼩⽂件⼆、RHCS(Redhat Hat Cluster Suite)红帽集群套件 注：需要适⽤GFS2则需要先安装RHCS 1.RHCS概念： RHCS是⼀个功能完备的集群应⽤解决⽅案，它从应⽤的前端访问到数据后端的数据数据存储都提供了⼀个⾏之有效的集群架构实现，通过RHCS提供的这种解决⽅案，不但能保证前端应⽤持久，稳定的提供服务，同时也保证了后端数据存储的安全。

RHCS提供了集群系统中三种集群架构，分别是⾼可⽤性集群，负载均衡集群，存储集群 2.RHCS核⼼功能特点: ⾼可⽤集群 LVS GFS⽂件系统三、部署RHCS的⽅法 1.conga部署（luci+ricci） 控制节点：luci 集群节点：ricci 注意：在安装RHCS的时候要禁⽤epel源 2.⼿动部署四、conga部署RHCS 1.需要四台linux机器。

⼀台控制节点。

三台集群节点。

控制节点安装ansible、并且主机名、双机互信配置完毕。

2.集群节点通过ansible安装ricci （注意这⾥要⽤本机镜像内的源安装，不⽤epel源安装，因为epel版本可能更旧） #ansible webserver -m yum -a "name=ricci state=present disablerepo=epel" 3.主节点安装luci #yum -y install luci --disablerepo=epel 4.验证集群节点ricci服务 netstat -tulp （ricci⽤tcp：1111与upd：111端⼝） 5.启动控制节点服务 service luci start 6.使⽤浏览器登录RHCS管理界⾯（地址在启动服务的时候会显⽰） 7.配置集群节点及资源五、配置GFS2(集群⽂件系统)六、配置CLVM（集群逻辑卷）。

redhat教程红帽（Red Hat）是一家全球领先的开源技术解决方案供应商，总部位于美国北卡罗来纳州罗利市。

红帽以其Red Hat Enterprise Linux操作系统而闻名，同时也提供开源软件工具、平台和技术支持。

本文将为您介绍红帽及其相关教程。

红帽公司成立于1993年，是一家致力于开源技术的公司。

其主要产品是Red Hat Enterprise Linux（RHEL），这是一种经过商业支持的Linux操作系统。

RHEL提供了高度稳定和安全的操作环境，适用于各种企业级应用。

作为开源操作系统的先驱，RHEL在全球范围内得到了广泛的应用和认可。

对于初学者来说，红帽公司提供了许多教程和培训资源，帮助他们快速掌握使用RHEL的技能。

这些教程涵盖了从基本的Linux命令行操作到高级的系统管理技术。

教程提供了详细的说明和实践练习，使学习者能够深入了解RHEL的各个方面。

红帽还提供了一系列认证考试，用于评估和认证个人的Linux技能水平。

这些认证包括RHCE（红帽认证工程师）、RHCA （红帽认证架构师）等级，它们在IT行业具有很高的价值和认可度。

为了帮助考生准备考试，红帽公司提供了相应的培训课程和模拟考试。

除了RHEL，红帽还提供了许多其他开源软件工具和平台，如OpenShift、Ansible、Satellite等。

这些工具和平台提供了丰富的功能和应用场景，用于支持应用开发、自动化运维、云计算等领域。

红帽公司的官方文档和教程提供了详细的使用说明和案例，可帮助用户充分利用这些工具和平台的能力。

总而言之，红帽公司是一个重要的开源技术解决方案供应商，其产品和服务得到了广泛应用和认可。

无论您是初学者还是有经验的技术专家，红帽都提供了相应的教程和资源，帮助您使用红帽的产品和技术。

通过学习和掌握红帽技术，您将能够在IT行业中有更广阔的发展机会。

第1章红帽集群套件概述1.1。

集群基础1.2。

红帽集群套件简介1.3。

集群基础设施1.4。

高可用性服务管理1.5。

红帽GFS1.6。

集群逻辑卷管理器1.7。

全球网络块设备1.8。

Linux虚拟服务器1.9。

集群管理工具1.10。

Linux虚拟服务器管理GUI集群系统对关键生产服务提供的可靠性，可扩展性和可用性。

利用红帽集群套件，您可以创建，以满足您对性能，高可用性，负载平衡，灵活性，文件共享和经济需求的集群。

本章提供了红帽集群套件的组件和功能的概述，以及由以下部分组成：第1.1节“集群基础”第1.2节“红帽集群套件简介”第1.3节“集群基础设施”第1.4节“高可用性服务管理”第1.5节“红帽GFS”第1.6节“群集逻辑卷管理器”第1.7节，“全球网络块设备”1.8节，“Linux虚拟服务器”第1.9节“群集管理工具”第1.10节，“Linux虚拟服务器管理图形用户界面”1.1。

集群基础集群是两个或多个计算机（称为节点或成员），它们共同执行任务。

有四种主要类型的集群：存储高可用性负载均衡高性能存储集群提供跨服务器一致的文件系统图像中的簇，使服务器能够同时读取和写入单个共享文件系统。

存储集群通过限制安装和应用程序打补丁到一个文件系统，简化存储管理。

此外，与集群范围内的文件系统，存储集群消除了应用程序数据的冗余拷贝的需要，并简化了备份和灾难恢复。

红帽集群套件通过红帽GFS提供存储群集。

高可用性集群通过消除单点故障，并通过从一个群集节点故障转移服务，以另一种的情况下，一个节点不能工作提供服务的持续可用性。

通常，在高可用性集群服务读写数据（通过读写挂载文件系统）。

因此，作为一个群集节点从另一个群集节点接管服务控制的高可用性集群必须维护数据的完整性。

在高可用性集群节点故障不能从群集外部客户端可见。

（高可用性集群有时也被称为故障转移群集）。

红帽集群套件通过其高可用性服务管理组件提供了高可用性集群。

负载均衡集群调度网络服务请求到多个群集节点来平衡群集节点之间的请求负载。

⾼可⽤，多路冗余GFS2集群⽂件系统搭建详解⾼可⽤，多路冗余GFS2集群⽂件系统搭建详解2014.06标签：实验拓扑图：实验原理：实验⽬的：通过RHCS集群套件搭建GFS2集群⽂件系统，保证不同节点能够同时对GFS2集群⽂件系统进⾏读取和写⼊，其次通过multipath 实现node和FC，FC和Share Storage之间的多路冗余，最后实现存储的mirror复制达到⾼可⽤。

GFS2：全局⽂件系统第⼆版，GFS2是应⽤最⼴泛的集群⽂件系统。

它是由红帽公司开发出来的，允许所有集群节点并⾏访问。

元数据通常会保存在共享存储设备或复制存储设备的⼀个分区⾥或逻辑卷中。

实验环境：1 2 3 4 5 6 7 8[root@storage1 ~]# uname -r2.6.32-279.el6.x86_64[root@storage1 ~]# cat /etc/redhat-releaseRed Hat Enterprise Linux Server release 6.3 (Santiago) [root@storage1 ~]# /etc/rc.d/init.d/iptables status iptables: Firewall is not running.[root@storage1 ~]# getenforceDisabled实验步骤：1、前期准备⼯作0）、设置⼀台管理端（）配置ssh 私钥、公钥，将公钥传递到所有节点上12 3 4 5 6 7 8 9 10 11 12 13 14[root@manager ~]# ssh-keygen \\⽣成公钥和私钥Generating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa):Enter passphrase (empty for no passphrase):……[root@manager ~]# for i in {1..6}; do ssh-copy-id -i 192.168.100.17$i; done \\将公钥传输到各节点/root/.ssh/⽬录下root@192.168.100.171's password:Now try logging into the machine, with "ssh '192.168.100.171'", and check in:.ssh/authorized_keysto make sure we haven't added extra keys that you weren't expecting..……[root@manager ~]# ssh node1 \\测试登录Last login: Sat Jun 8 17:58:51 2013 from 192.168.100.31[root@node1 ~]#1）、配置双⽹卡IP，所有节点参考拓扑图配置双⽹卡，并配置相应IP即可1 2 3 4 5[root@storage1 ~]# ifconfig eth0 | grep "inet addr" | awk -F[:" "]+ '{ print $4 }' 192.168.100.171[root@storage1 ~]# ifconfig eth1 | grep "inet addr" | awk -F[:" "]+ '{ print $4 }' 192.168.200.171……2）、配置hosts⽂件并同步到所有节点去（也可以配置DNS，不过DNS解析绝对不会有hosts解析快，其次DNS服务器出问题会直接导致节点和节点以及和存储直接不能够解析⽽崩溃）12 3 4 5 6 7 8 9[root@manager ~]# cat /etc/hosts127.0.0.1 localhost 192.168.100.102 manager 192.168.100.171 storage1 192.168.200.171 storage1 192.168.100.172 storage2 192.168.200.172 storage2 192.168.100.173 node1 192.168.200.173 node1 192.168.100.174 node2 9 10 11 12 13 14 15 16 17 18 19 20 21 22192.168.100.174 node2 192.168.200.174 node2 192.168.100.175 node3 192.168.200.175 node3 192.168.100.176 node4 192.168.200.176 node4 [root@manager ~]# for i in {1..6}; do scp /etc/hosts 192.168.100.17$i:/etc/ ; done hosts 100% 591 0.6KB/s00:00 hosts 100% 591 0.6KB/s00:00 hosts 100% 591 0.6KB/s00:00 hosts 100% 591 0.6KB/s00:00 hosts 100% 591 0.6KB/s00:00 hosts 100% 591 0.6KB/s00:003）、配置yum源（将所有节点光盘挂接到/media/cdrom，如果不⽅便，也可以做NFS，将镜像挂载到NFS⾥⾯，然后节点挂载到NFS共享⽬录中即可，注意：不同版本的系统，RHCS集群套件存放位置会有所不同，所以yum源的指向位置也会有所不同）1234 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38[root@manager ~]# cat /etc/yum.repos.d/rhel-gfs2.repo[rhel-cdrom]name=RHEL6U3-cdrombaseurl=file:///media/cdromenabled=1gpgcheck=0[rhel-cdrom-HighAvailability]name=RHEL6U3-HighAvailabilitybaseurl=file:///media/cdrom/HighAvailabilityenabled=1gpgcheck=0[rhel-cdrom-ResilientStorage]name=RHEL6U3-ResilientStoragebaseurl=file:///media/cdrom/ResilientStorageenabled=1gpgcheck=0[rhel-cdrom-LoadBalancer]name=RHEL6U3-LoadBalancerbaseurl=file:///media/cdrom/LoadBalancerenabled=1gpgcheck=0[rhel-cdrom-ScalableFileSystem]name=RHEL6U3-ScalableFileSystembaseurl=file:///media/cdrom/ScalableFileSystemenabled=1gpgcheck=0[root@manager ~]# for i in {1..6}; do scp /etc/yum.repos.d/rhel-gfs2.repo 192.168.100.17$i:/etc/yum.repos.d ; done rhel-gfs2.repo 100% 588 0.6KB/s00:00rhel-gfs2.repo 100% 588 0.6KB/s00:00rhel-gfs2.repo 100% 588 0.6KB/s00:00rhel-gfs2.repo 100% 588 0.6KB/s00:00rhel-gfs2.repo 100% 588 0.6KB/s00:00rhel-gfs2.repo 100% 588 0.6KB/s00:00[root@manager ~]# for i in {1..6}; do ssh 192.168.100.17$i "yum clean all && yum makecache"; doneLoaded plugins: product-id, security, subscription-managerUpdating certificate-based repositories.Unable to read consumer identity……4）、时间要同步，可以考虑配置NTP时间服务器，如果联⽹可以考虑同步互联⽹时间，当然也可以通过date命令设置相同时间。

RedHat GFS安装配置详细步骤一、环境：OS：centos 5.1，centos 5.1内核已经支持GFS，无须再安装相关包三台普通PC，分布如下：gnbd-server 192.168.12.146gfs-1 192.168.12.98gfs-2 192.168.12.145二、修改/etc/hosts和/etc/sysconfig/network（gfs-1,gfs-2,gnbd-server）修改/etc/hosts文件如下：192.168.12.146 gnbd-server192.168.12.98 gfs-1192.168.12.145 gfs-2修改/etc/sysconfig/network,设置相应的hostname三、system-config-cluster产生配置文件cluster.conf（gnbd-server,需要x-window环境）利用system-config-cluster简单快捷，添加三个节点：gnbd-server,gfs-1,gfs-2将产生的cluster.conf文件scp到各个节点/etc/cluster/cluster.conf，重启机器。

四、启动服务（gfs-1,gfs-2,gnbd-server）service cman startservice clvmd startservice gfs startservice rgmanager start五、export分区(gnbd-server)1、/sbin/gnbd_serv -v -n2、gnbd_export -v -e gfsTest -d /dev/hda3gfsTest为集群名称，客户端import时用到3、检查export结果：gnbd_export -v -l六、节点import gnbd-server的分区（gfs-1,gfs-2）1、modprobe gnbd2、gnbd_import -v -i gnbd-server成功的话会产生/dev/gnbd/gfsTest，gfsTest为gnbd-server export时的名称3、检查import结果：gnbd_import -v -l4、modprobe gfs七、在客户端节点上建立gfs文件系统并挂载(gfs-1，谢谢楼下各位，是我没仔细看文档)gfs_mkfs -p lock_dlm -t gfsCluster:gfs -j 2 /dev/hda3 -c其中gfsCluster为本集群的名称，gfs为文件系统的类型,lock_dlm为锁协议八、节点挂载gfs文件系统（gfs-1,gfs-2）mount.gfs /dev/gnbd/gfsTest /mnt九、停止服务(gfs-1,gfs-2,gnbd-server)service rgmanager stopservice gfs stopservice clvmd stopservice cman stop。

REDHAT –GFS共享文件系统安装手册一、安装REDHAT的群集#system-config-clusterDistributed Lock Manager (DLM模式) 使得共享文件系统能够同步1.配置cluster nodesAdd a cluster node2.配置fence device选择manual fencing ，name（随意）然后选择manage fencing for this nodeAdd a new fence level ，然后cluster2上同样3.配置failover domainsCreate a failover domain4.配置resource配置资源前首先在两个节点上启动群集服务[root@cluster2 lvm]# service cman startStarting cluster:Enabling workaround for Xend bridged networking... doneLoading modules... doneMounting configfs... doneStarting ccsd... doneStarting cman... doneStarting daemons... doneStarting fencing... done[ OK ][root@cluster2 lvm]# service gfs start[root@cluster2 lvm]# service rgmanager startStarting Cluster Service Manager: [OK]编辑锁类型修改/etc/lvm/lvm.conf中的locking_type值为3：locking_type = 3这里与rhel 4u2有不同，lvm.conf里有解释：# Type of locking to use. Defaults to local file-based locking (1).# Turn locking off by setting to 0 (dangerous: risks metadata corruption # if LVM2 commands get run concurrently).# Type 2 uses the external shared library locking_library.# Type 3 uses built-in clustered locking.rhel 5的clvm包没有包含locking_library，只有使用type 3了。

简单的说，集群（cluster）就是一组计算机，它们作为一个整体向用户提供一组网络资源。

这些单个的计算机系统就是集群的节点（node）。

一个理想的集群是，用户从来不会意识到集群系统底层的节点，在他/她们看来，集群是一个系统，而非多个计算机系统。

并且集群系统的管理员可以随意增加和删改集群系统的节点。

通过特殊的软件将若干服务器连接在一起并提供故障切换功能的实体我们称之为高可用集群。

可用性是指系统的uptime，在7x24x365的工作环境中，99%的可用性指在一年中可以有87小时36分钟的DOWN机时间，通常在关键服务中这种一天多的故障时间是无法接受的，所以提出了前面提到的错误恢复概念，以满足99.999%的高可用性需求。

这里我们先说一下几个概念：1、服务（Service），是ＨＡ集群中提供的资源，包括Float IP，共享的存储，apache等等。

2、成员服务器（Member Server）也叫节点（Node），是HA中实际运行服务提供资源的服务器。

3、失效域（Failover Domain），是HA中提供资源的服务器的集合，当内部某个成员出现故障时，可以将服务切换到其他正常的成员服务器上。

在HA中一个失效域一般包含2台成员服务器（未应用虚拟技术）。

4、心跳（HeartBeat）是HA中监控成员服务器状态的方法，一般心跳是通过网线和串口线来传输的。

5、单一故障点（Single Point Of Failuer，SPOF）是指一个系统的这样的一个部件，当它失效或者停止运行，将导致整个系统不能工作。

在HA中通常使用双电源，多网卡，双交换机等来避免SPOF。

6、仲裁（Quorum）是HA中为了准确的判断服务器及其提供的服务是否正常而采用的在共享磁盘中保存成员服务器信息的方法。

共享的状态信息包括群集是否活跃。

服务状态信息包括服务是否在运行以及哪个成员正在运行该服务。

每个成员都检查这些信息来保证其它成员处于最新状态。