当前位置：文档之家 › 系统平台部培训手册(12)——HACMP群集的管理v1.0

系统平台部培训手册(12)——HACMP群集的管理v1.0

  • 格式：pdf
  • 大小：272.69 KB
  • 文档页数：34

HACMP的概念和原理
系统平台部培训手册
-3-

HACMP简介
IBM公司的HACMP for AIX软件是基于AIX平台 的，在高可用系统层次实现关键性任务计算环 境的工具软件。HACMP应用于RS/6000系列 的单处理器机型、对称多处理器机型或SP的节 点，可以检测系统故障并快速恢复服务，使最 终用户只感受到很小的中断时间。HACMP （High Availability Cluster Multi-Processing） 有两个主要的组成部分：高可用技术（HA） 和群集多处理技术（CMP）
在其它节点上建立LVM实体
• 用SMIT导入VG的配置信息，SMIT路径是smit vg→Import a Volume Group • 用chvg –a n命令禁止VG自动Vary-on • Mount 文件系统，确认操作成功
系统平台部培训手册
-18-

配置镜像的JFS日志
系统平台部培训手册
-15-

LVM组件设计
LVM组件的设计目标－没有单点故障，
• • • • 所有逻辑卷，包括JFS日志，均使用LVM镜像 将镜像放在不同的物理卷上 使用多块磁盘卡 使用多个电源
系统平台部培训手册
-16-

LVM配置要点
系统平台部培训手册
-14-

存储系统设计
• 设计高可用的配置的主要部分之一是共享的磁盘存储 设备。RS/6000具有全系列的磁盘存储设备可用于 HACMP，这些设备可分成以下三类： • 常规SCSI磁盘，包括SCSI-2 Differential和SCSI-2 Differential Fast/Wide磁盘。 • RAID磁盘阵列 • SSA磁盘子系统
• • • • • • • •
系统平台部培训手册
-10-

资源组
• • • • • • • • • • • • • Cascading资源组 Cascading资源组可以被一个或多个节点接管。 所有被指定参与接管一个资源组的节点都是该资源组的资源链的一部分，每个参与的节点都 被指定了接管优先级，优先级代表了接管可用资源的顺序。 当接管发生时，具有最高优先级的活动节点将获得资源组。如果该节点不可用，则由具有次 高优先级的节点获得资源组，依此类推。 当对该资源组具有更高优先级的节点重新回到群集后，它将取回它的资源组。 Rotating 资源组 一个Rotating 资源组和一组节点相关联。资源组在所有被定义的节点之间轮转。每个节点可 以拥有一个资源组。 开始时，第一个加入群集的节点获得第一个资源组，第二个加入群集的节点获得第二个资源 组，依此类推，直到所有的资源组都被节点获得。剩余的节点作为备份节点。 当一个控制资源的节点故障时，可用节点中对资源组具有最高优先级的节点将接管资源组。 当故障节点重新加入群集后，成为备份节点，不再取回资源组。 Concurrent 资源组 Concurrent 资源组由多个节点共享。所有并发访问资源组的节点在加入群集后都获得该资源 组。节点之间没有优先级的区别。 由于AIX JFS 不支持并发访问，应用就必须用生设备（逻辑卷）。因此Concurrent 资源组的 资源只能有应用、磁盘和卷组。 Concurrent 资源组的共享磁盘必须是SSA盘或RAID盘。
系统平台部培训手册
-9-

HACMP群集资源
• • • HACMP for AIX软件通过以下途径提供高可用性环境： 定义一组必须的群集资源，资源可以是硬件，也可以是软件。 定义群集节点访问这些资源的关系。这些关系确定哪个节点控制资源以 及当该节点放弃资源的控制权后哪个节点接管资源。当一个节点离开群 集时，Cluster Manager能够将这个节点的资源转移到群集中的其它节点 上。 资源的类型 高可用资源可以是以下几种实体： 应用 磁盘 卷组 文件系统 NFS文件系统 IP地址
系统平台部培训手册

-11-

建立高可用系统――避免单点故障
• • 高可用系统的主要特点是具有检测和响应可能影响到关键服务的 事件的能力。HACMP for AIX软件使群集在遇到系统的关键组件 （例如网卡）发生故障的情况下仍能继续对外提供服务。 HACMP for AIX软件通过避免单点故障的方式建立高可用的和可 扩展的群集。单点故障点是指一个关键的群集功能只由单一的组 件提供，当这个组件故障时，群集没有其它的途径提供关键的服 务。 在群集中，有可能出现单点故障的群集组件是： ★ 节点 ★ 网络和网卡 ★ 磁盘和磁盘控制卡 ★ 应用 HACMP可以检测和响应三种类型的故障：节点故障、网卡故障 和网络故障。
• • • • • • • 通常，当第一个文件系统添加到卷组时，系统自动建立JFS日志。 在HACMP环境中，为确保JFS日志逻辑卷的名字唯一且逻辑卷 镜像，应按如下方式建立JFS日志： 用smit mkvg来建立VG，指定唯一名字如“sharedvg” 建立一个逻辑卷，类型为“jfslog”，大小为1个LP，每个LP指定 2-3个拷贝 指定唯一名字如“sharevglog” 用命令logform /dev/sharevglog将逻辑卷格式化为日志逻辑卷 建立另外的逻辑卷，指定唯一的名字 在LV上建文件系统
在一个节点上建立所有的LVM实体
• • • • • 共享VG只能使用外置磁盘 建文件系统之前，先建立JFS日志 将VG配置为系统启动时非自动Vary--on状态 配置文件系统为系统启动时非自动mount状态 VG、LV、FS都建立好后，执行命令 varyoffvg
系统平台部培训手册
-17-

系统平台部培训手册
-19-

维护HACMP LVM组件
• • • • • • • 卷组的定义信息保存在以下位置：磁盘上的VGDA、ODM、 /etc/vg/vg*和内存中，在维护LVM时，要保证共享此VG的所有 节点上，此信息必须一致。 如果LVM实体需要改变，包括增加/删除PV、增加/删除LV、扩展 LV或FS、为LV或FS重命名等操作，应遵循以下步骤进行： ★ 在一个节点上进行配置，然后测试 ★ 在所有其它节点上输出旧的VG定义：exportvg sharedvg ★ 重新导入VG定义：impoitvg –v (major number) –y (VG name) –f (hdisk#) ★ 修改VG的属性：chvg –a n (VG name) ★ 检查、修改LV的属主和权限
系统平台部培训手册
-4-

高可用技术
在HA产品出现之前，在UNIX领域实现高可用性的最有效途径是通过容错技术。 容错技术依靠专门的硬件设备检测到硬件的故障， 然后立即切换至冗余的硬件设备上，不管故障设备是处理器、内存板、电源、 I/O子系统还是存储子系统。尽管这种切换能够无缝地提供不间断的服务，但 却在硬件费用和性能上付出了很高的代价，因为冗余的设备不能处理事务。更 重要的是，容错系统不能处理软件故障，而这却是宕机的最常见的原因。 高可用技术并不是通过将可用性当作一系列重复的物理设备来实现高可用性， 它将高可用性看作是一个全系统范围的、共享的资源的集合，这些资源相互协 作来保证关键的服务。高可用技术将软件和工业标准的硬件结合起来，在系统、 设备或应用发生故障时通过快速恢复关键服务来使宕机时间减至最小。尽管不 能立即切换，恢复服务也是很快的，通常在1分钟之内。 容错技术和高可用技术的区别在于服务中断的时间。当硬件发生故障时，容错 环境没有宕机时间，而高可用环境有很小的宕机时间。但是，在容错环境中， 由于软件故障无法被检测，有可能造成系统的严重破坏。而在高可用环境中， 软件故障只会造成很小的宕机时间。 现在，大多数的公司都愿意忍受一小段的宕机时间，采用高可用技术，而不愿 意花费高得多的代价采用只能检测硬件故障的容错技术。另外，在高可用配置 中，备份机还可承担其他应用。
系统平台部培训手册——
HACMP for AIX 原理、设计及实现
北京神州数码思特奇信息技术股份有限公司 系统平台部 2006年08月
系统平台部培训手册
目 录
• • • • HACMP的概念和原理 HACMP群集的设计 HACMP群集的实现 HACMP群集的管理
系统平台部培训手册
-2-

系统平台部培训手册
• • • • • •
系统平台部培训手册
-12-

HACMP群集的设计
系统平台部培训手册
-13-

高可用性设计要点
• 努力做到“没有单点故障”：这是设计的前提，应贯穿 设计的始终 • 自动故障恢复：故障恢复应无需人工干预 • 权衡投资、性能和可用性的关系：在保证可用性和性 能的条件下，使硬件投资最大程度地发挥效力 • 考虑应用软件： 认真编写启动和停止脚本，使应用在 故障时能自动恢复 • 设计高可用网络 • 考虑客户机：使客户机受群集故障影响最小 • 其它需要考虑的问题：各节点的用户帐号和用户目 录，批处理、打印队列、邮件、备份等其他应用和服 务
系统平台部培训手册
-6-

HACMP中术语的定义
• • 群集（Cluster）：多个服务器节点一起工作，使用TCP/IP进行通讯，每个节点 上运行Cluster Manager进程。 节点（Node）：群集中的每个运行Cluster Manager进程的独立的机器。节点是 HACMP的核心部分，节点上运行AIX操作系统和HACMP for AIX软件。在 HACMP群集中，每个节点有一个唯一的节点名。一个节点可能拥有一组资源 --――磁盘、卷组、文件系统、网络、网络地址和应用。节点上一般运行着访问 共享磁盘上数据的“后台”应用。 资源（Resources）：由一个节点控制的实体，当节点发生故障时能够被其它节 点接管。可以被当作资源的实体有： ★ 磁盘、卷组、文件系统 ★ NFS输出的文件系统 ★ IP地址 ★ 应用程序 关键应用（Critical Application）：由HACMP控制其启动和停止的应用程序， 例如数据库的后台进程。 事件（Event）：群集中发生的一些事情，即群集状态的改变，包括节点 up/down，网络up/down，网卡故障等等。 行为（Behavior）：事件发生时群集的响应动作。事件是由shell脚本控制的。 重聚（Reintegration）：将故障节点、网络、网卡重新带回群集的过程。

合集下载

HACMP培训课程

HACMP培训课程


以上文件在系统安装盘中
设置系统心跳线
HACMP软件需要通过心跳线监测双机之间是否正常。连接两个系 统之间的心跳线，将一分八的异步电缆接在各自系统的八口异步卡 上，以RS232线缆连接，在P570_1/570_2上配置tty1，使用smit tty命 令。
设置系统心跳线
选择RS232异步端口模式，TTY Type为tty rs232 Asynchronous Terminal 。
HACMP的构成示意图
备份 网卡 服务 网卡 备份 网卡 服务 网卡
A
SSA卡 1# A-1 SSA卡 1# A-2
SSA 卡 2# A-1 SSA 卡 2# A-2
心跳线
SSA卡 1# A-2 SSA卡 1# A-1
B
SSA 卡 2# A-2 SSA 卡 2# A-1
SSA 环路B
A 镜像
B 镜像
户计算机系统及其应用的可靠性，而不是单台主
机的可靠性。
HACMP的构成
HACMP通过以下的方式提供一个高可用性的环境：
定义集群资源和资源组
定义群集中节点对资源组的接管关系
群集资源包括以下硬件或软件部件：磁盘、卷组、文件系统、 网络地址和应用服务器。集群中的每种资源为了实现高可用 性，必须被归入一个资源组，资源组时为了便于管理及配置 而定义的相关性的资源集合，如某个节点机的卷、文件系统、 IP地址、磁盘、应用系统往往定义为一个资源组。 集群中节点的接管关系确定了当某个节点失败时，与其相关 的资源组由哪个节点接管以及如何接管的规则。
主机B（standby): Service_ip: Standby_ip: Boot_ip: perm_ip:
6.100.4.3 192.168.1.2 192.168.2.2 6.100.4.4 永久ip
HACMP配置与维护手册

HACMP配置与维护手册

POWER HA5.5配置与维护手册2010年9月2日目录第一章一体化系统HACMP配置 (3)§1.1系统结构图 (3)§1.2拓扑规划 (3)§1.3磁盘资源规划 (4)§1.4应用规划 (5)§1.5操作系统要求 (6)第二章HACMP日常维护 (8)§2.1HACMP服务正常启停 (8)§2.1.1HACMP启动 (8)§2.1.2停止HA (9)§2.2查看HACMP集群服务状态 (10)§2.2.1查看HACMP服务状态 (10)§2.2.2查看资源组的状态 (10)§2.2.3查看HACMP集群状态 (11)第三章系统切换方案 (12)§3.1rlw1机器应用出现故障，HACMP资源切换 (12)§3.1.1切换rlw1_apprg资源组 (12)§3.1.2恢复rlw1_apprg资源组 (13)§3.2hg2机器应用出现故障，HACMP资源切换 (15)§3.2.1切换rlw2_orarg资源组 (15)§3.2.2恢复rlw2_orarg资源组 (17)第四章HACMP切换测试 (19)§4.1网卡故障模拟测试 (19)§4.2rlw1 系统单机故障模拟测试 (20)§4.3rlw2 系统单机故障模拟测试 (22)§4.4rlw1系统HA 手工切换测试 (24)§4.5rlw2系统HA 手工切换测试 (26)第一章一体化系统HACMP 配置§1.1 系统结构图§1.2 拓扑规划P780(1)主机(LPAR rlw1)共享磁盘阵列（HDS USPV 存储系统)心跳线(tty0)ent2ent0 P780(2) 主机(LPAR rlw2)ent2ent0Service NetworkPersistent Networkrlw1机器boot1地址配置在第一块外置网卡上（en0），将boot2地址配置在第二块外置网卡（en2），persistent ip地址绑在第二块外置网卡上（en2）；rlw2机器boot1地址配置在第一块外置网卡上（en0），将boo2地址配置在第二块外置网卡（en2），persistent ip地址绑在第二块外置网卡上（en2）。

HACMP日常操作手册【范本模板】

HACMP日常操作手册【范本模板】

HACMP操作手册强制方式停掉HACMP:HACMP 的停止分为3 种，graceful(正常)，takeover(手工切换），force(强制)。

下面的维护工作，很多时候需要强制停掉HACMP 来进行,此时资源组不会释放，这样做的好处是,由于IP 地址、文件系统等等没有任何影响，只是停掉HACMP 本身,所以应用服务可以继续提供，实现了在线检查和变更HACMP 的目的。

一般所有节点都要进行这样操作。

强制停掉后的HACMP 启动：在修改HACMP 的配置后，大多数情况下需要重新申请资源启动，这样才能使HACMP 的配置重新生效.日常检查及处理为了更好地维护HACMP，平时的检查和处理是必不可少的.下面提供的检查和处理方法除非特别说明，均是不用停机，而只需停止应用即可进行，不影响用户使用。

不过具体实施前需要仔细检查状态，再予以实施。

clverify 检查这个检查可以对包括LVM 的绝大多数HACMP 的配置同步状态，是HACMP 检查是否同步的主要方式。

smitty clverify—〉Verify HACMP Configuration回车即可经过检查，结果应是OK。

如果发现不一致，需要区别对待。

对于非LVM 的报错,大多数情况下不用停止应用,可以用以下步骤解决：1.先利用强制方式停止HACMP 服务。

同样停止host2 的HACMP 服务.1.只检查出的问题进行修正和同步：smitty hacmp —〉Extended Configuration—>Extended Verification and Synchronization这时由于已停止HACMP 服务，可以包括"自动修正和强制同步“。

对于LVM 的报错，一般是由于未使用HACMP 的C-SPOC 功能，单边修改文件系统、lv、VG 造成的，会造成VG 的timestamp 不一致.这种情况即使手工在另一边修正（通常由于应用在使用,也不能这样做)，如何选取自动修正的同步，也仍然会报failed。

HACMPXD GLVM 安装配置手册v1.0

HACMPXD GLVM 安装配置手册v1.0

HACMP/XD GLVM 安装配置手册v1.0目录1环境描述 (4)2配置集群 (4)2.1安装软件 (4)2.2创建基本cluster (7)2.2.1准备网络环境 (7)2.2.2添加 cluster (8)2.2.3添加 nodes (8)2.2.4添加两个 sites (9)2.2.5添加两个networks (9)2.2.6添加communication interfaces (9)2.3创建resource group (10)2.3.1创建app server (10)2.3.2创建monitor (11)2.3.3创建Resource Group (12)2.4HACMP 同步验证 (13)3配置 GLVM (14)3.1创建RPV server (P550B) (14)3.2创建 RPV client (P550A) (15)3.3创建 RPV server (P550A) (17)3.4创建 RPV client (P550B) (18)3.5创建 VG (19)3.6Create LV (20)3.7创建 FS (24)3.8创建GLVM copies (25)3.9在P550B上 Import GMVG (27)3.10修改 PowerHA Resouce Group 属性 (28)3.11PowerHA 同步 (29)4启动和测试 (30)4.1启动 cluster (30)4.2测试 resource move (30)5Q&A （Synchronous） (31)5.1Clstat,cldump error (31)5.2Hacmp Verify Error 1 (32)5.3Hacmp Verify Error 2 (33)5.4After fallover or fallback, find stale state (33)6转换 Sync GLVM 为Async Mode (34)6.1分配 PVs to mirror pool (34)6.2改变vg属性 (35)6.3改变 LV属性 (36)6.4添加 aio_cache LV （caching of asynchronous write request） (39)6.5转换 Mirror Pool为 Asynchronous Mirroring (41)6.6改变Resource Group属性 (41)6.7在P550B再次importvg datavg2 (42)6.8PowerHA 同步验证 (43)7Q&A （Asynchronous） (43)7.1PowerHA Verify Error 1 (43)7.2Varyonvg failed 1 (44)7.3Varyonvg failed 2 (44)本文档仅供研发内部使用，如需在生产环境使用，请先对指导书各步骤进行验证1环境描述两个节点的集群，软件硬件配置如下：1.Power5 5502.AIX 6103-sp33.PowerHA SystemMirror 6.1 sp14.2个 IP Networks5.每个节点2 disks（DS5020）:✓一个是rootvg, 另外一个为GLVM testing✓磁盘在集群节点间不共享✓一个datavg22配置集群2.1安装软件#smitty install_latest上图为预安装，如没有报错，则将PREVIEW only? (install operation will NOT occur)修改为no ，则正式安装开始。