互备方式hacmp实施手册(详细,也可以作为主备和双机的参考)

POWER HA5.5配置与维护手册2010年9月2日目录第一章一体化系统HACMP配置 (3)§1.1系统结构图 (3)§1.2拓扑规划 (3)§1.3磁盘资源规划 (4)§1.4应用规划 (5)§1.5操作系统要求 (6)第二章HACMP日常维护 (8)§2.1HACMP服务正常启停 (8)§2.1.1HACMP启动 (8)§2.1.2停止HA (9)§2.2查看HACMP集群服务状态 (10)§2.2.1查看HACMP服务状态 (10)§2.2.2查看资源组的状态 (10)§2.2.3查看HACMP集群状态 (11)第三章系统切换方案 (12)§3.1rlw1机器应用出现故障，HACMP资源切换 (12)§3.1.1切换rlw1_apprg资源组 (12)§3.1.2恢复rlw1_apprg资源组 (13)§3.2hg2机器应用出现故障，HACMP资源切换 (15)§3.2.1切换rlw2_orarg资源组 (15)§3.2.2恢复rlw2_orarg资源组 (17)第四章HACMP切换测试 (19)§4.1网卡故障模拟测试 (19)§4.2rlw1 系统单机故障模拟测试 (20)§4.3rlw2 系统单机故障模拟测试 (22)§4.4rlw1系统HA 手工切换测试 (24)§4.5rlw2系统HA 手工切换测试 (26)第一章一体化系统HACMP 配置§1.1 系统结构图§1.2 拓扑规划P780(1)主机(LPAR rlw1)共享磁盘阵列（HDS USPV 存储系统)心跳线(tty0)ent2ent0 P780(2) 主机(LPAR rlw2)ent2ent0Service NetworkPersistent Networkrlw1机器boot1地址配置在第一块外置网卡上（en0），将boot2地址配置在第二块外置网卡（en2），persistent ip地址绑在第二块外置网卡上（en2）；rlw2机器boot1地址配置在第一块外置网卡上（en0），将boo2地址配置在第二块外置网卡（en2），persistent ip地址绑在第二块外置网卡上（en2）。

HACMP 5.2 的安装、配置、测试完全手册摘要：IBM HACMP 自从出了5.2 版本后，到了5.205比较稳定，并已经过充分的测试（见测试篇）和实践证明（已有多个系统成功自动切换）。

这里我整理了一下，以比较复杂的双机互备情况为例，其他类似设置可适当简化。

样例为AIX5304+HACMP5205.第一章规划篇第二章安装篇1、安装前提1) 操作系统版本要求：AIX５.203以上2) 环境要求用户确认HA要求所有切换需要用到的用户必须一一对应，userid完全相同。

如tlg1d0上oracle用户为orarun，tlg1a0上的orarun必须为切换保留，sid均为209平时用的oracle用户就改为oraclt[tlg1a0][root][/]lsuser -a id ALLroot id=0daemon id=1bin id=2sys id=3adm id=4uucp id=5nobody id=-2lpd id=9lp id=11invscout id=6snapp id=200ipsec id=201nuucp id=7radiusd id=202ldap id=203oradev id=204tuxrun id=205oraclt id=208orarun id=209sshd id=211bsx1 id=210[tlg1d0][root][/]>lsuser -a id ALLroot id=0daemon id=1bin id=2sys id=3adm id=4uucp id=5nobody id=-2lpd id=9lp id=11invscout id=6snapp id=200ipsec id=201nuucp id=7radiusd id=202ldap id=203oradev id=204orarun id=209tuxrun id=205oraclt id=208bsx1 id=210Ø 文件系统确认HA要求切换相关的文件系统不能重名，如tlg1d0上oracle软件目录为/ora10msrun，tlg1a0上的/ora10msrun必须为切换保留，改为/ora10msclt[tlg1d0][root][/]>df -kFilesystem 1024-blocks Free %Used Iused %Iused Mounted on/dev/hd4 524288 487820 7% 3276 3% //dev/hd2 7077888 1868516 74% 91290 18% /usr/dev/hd9var 524288 458364 13% 991 1% /var/dev/hd3 917504 826700 10% 120 1% /tmp/dev/hd1 655360 524856 20% 291 1% /home/proc - - - - - /proc/dev/hd10opt 1179648 589072 51% 11370 8% /opt/dev/lv00 131072 126912 4% 18 1% /var/adm/csd/dev/fslv01 131072 130724 1% 4 1% /tftpboot/dev/fslv00 6684672 3719036 45% 6 1% /export/eznim/dev/ora10msrunlvbak 8912896 5165508 43% 24814 3% /ora10msrunbak /dev/msrundatalvbak 13107200 2895980 78% 32 1% /msrundatabak/dev/msrunloglvbak 5242880 3094480 41% 8185 2% /msrunlogbak/dev/mksysblv 13107200 6238868 53% 5 1% /mksysb/dev/tlg1d0_baklv 26214400 17495848 34% 1111 1% /tlg1d0_bak/dev/msrundatalv 13107200 2896000 78% 31 1% /msrundata/dev/msrunloglv 5242880 3112216 41% 7996 2% /msrunlog/dev/ora10msrunlv 8912896 5173252 42% 23406 2% /ora10msrun[tlg1a0][root][/]>df -kFilesystem 1024-blocks Free %Used Iused %Iused Mounted on/dev/hd4 655360 93968 86% 3450 14% //dev/hd2 8650752 3779000 57% 90347 10% /usr/dev/hd9var 1179648 1001248 16% 1164 1% /var/dev/hd3 1179648 1136192 4% 143 1% /tmp/dev/hd1 655360 587592 11% 489 1% /home/proc - - - - - /proc/dev/hd10opt 1835008 1244528 33% 11374 4% /opt/dev/lv00 131072 126912 4% 18 1% /var/adm/csd/dev/fslv01 131072 118800 10% 7 1% /tftpboot/dev/fslv00 7733248 960696 88% 27298 12% /export/eznim/dev/fslv02 15335424 1143804 93% 4525 2% /soft_ins/dev/tlg1a0_baklv 26214400 20751500 21% 16 1% /tlg1a0_bak/dev/ora10mscltlvbak 13107200 9386904 29% 16852 1% /ora10mscltbak /dev/tux81msrunlvbak 655360 407932 38% 2685 3% /tux81msrunbak /dev/meslvbak 8912896 4815640 46% 6349 1% /BSMesWare/BSX1bak /dev/xcomlvbak 5242880 5186260 2% 4178 1% /xcombak/dev/ora10mscltlv 13107200 9386748 29% 16852 1% /ora10msclt/dev/tux81msrunlv 786432 538952 32% 2685 3% /tux81msrun/dev/meslv 14155776 10057876 29% 6343 1% /BSMesWare/BSX1/dev/xcomlv 5242880 5186280 2% 4178 1% /xcom3) 安装包要求：RSCT 2.3.6.0 或更高版本。

一.硬件配置1.存储设备与现有的DS5100存储相连接，并且划分出两个空间，分别给ORACLE11G数据库和SAP 应用程序来试用，预留出300G空间如下所示：给分区映射空间分配置如下图所示：二.软件配置1.AIX操作系统版本6100-06-03-10482.HACMP版本6.1 使用串口卡做心跳.四.软件安装及补丁1.AIX6.1操作系统的安装/ 6100-06-03-1048 是当时最新的补丁2.操作系统相关包安装（有些默认已经安装了）3.POWERHA6.1安装是当时最新的补丁hacmp61-IZ92782smitty install_all(cluster_hativol, haview, mariew, rect.exp)HA此项目为两台分别安装上串口卡和串口线做心跳，（配置hd是IP网络）可以用ip别名的方法来跑心跳，但用来跑心跳的这个网段必须不能和其他所有接口在同一个网段。

五.实施步骤1.在两台GWPRD1上设置IP地址（1）在GWPRD1机上A. 配置boot1网卡->#smitty (smitty tcpip)->Communications Applications and Services->TCP/IP->Minimum Configuration & Startup选择en0* HOSTNAME [GWPRD1]* Internet ADDRESS (dotted decimal) [192.168.1.2]Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en1NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [10.1.126.254]B. 配置stdby1网卡->#smitty->Communications Applications and Services->TCP/IP->Minimum Configuration & Startupselect en2* HOSTNAME [GWPRD1]* Internet ADDRESS (dotted decimal) [192.168.2.2]Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en3NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [10.1.126.254]（2）在GWPRD2机上A. 配置boot2网卡->#smitty->Communications Applications and Services->TCP/IP->Minimum Configuration & Startupselect en0* HOSTNAME [GWPRD2]* Internet ADDRESS (dotted decimal) [192.168.1.3] Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en1NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [10.1.126.254]B. 配置stdby2网卡->#smitty->Communications Applications and Services->TCP/IP->Minimum Configuration & Startupselect en2* HOSTNAME [GWPRD2]* Internet ADDRESS (dotted decimal) [192.168.2.3] Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en3NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [10.1.126.254]2.在两台GWPRD1上修改/etc/hosts文件，内容如下（1）在GWPRD1机上127.0.0.1 loopback localhost GWPRD1192.168.1.2 boot1 GWPRD1192.168.2.2stdby1 GWPRD110.1.126.100svc1192.168.1.3boot2 GWPRD2192.168.2.3 stdby2 GWPRD210.1.126.99 svc2（2）在GWPRD2机上127.0.0.1 loopback localhost GWPRD2192.168.1.2 boot1 GWPRD1192.168.2.2stdby1 GWPRD110.1.126.100svc1192.168.1.3boot2 GWPRD2192.168.2.3 stdby2 GWPRD210.1.126.99 svc23.在GWPRD1上建立共享卷组建立oravg共享卷组->#smitty mkvg选Add an Original Volume GroupAdd a Big Volume GroupAdd a Scalable Volume Group则出现VOLUME GROUP name [oravg]Physical partition SIZE in megabytes []* PHYSICAL VOLUME names [hdisk2] 注：根据客户现场提供，这里假设为hdisk2 Activate volume group AUTOMATICALLY [no]at system restart?Volume Group MAJOR NUMBER []Create VG concurrent Capable? [yes] 并行是YES 其它如：主备和互备在创建VG时应选择NOAuto-varyon in Concurrent Mode? [no] 这里一样的主备和互备NO /并行是YES 注：看oravg是否是激活状态，如果是激活，则需要#varyoffvg oravg4.在GWPRD1上import共享卷组（1）import oravg共享卷组->#smitty (smitty importvg)出现：VOLUME GROUP name [oravg]* PHYSICAL VOLUME name [hdisk2]+Volume Group MAJOR NUMBER[] +#注意：sapvg同上面方法一样。

AIX+Hacmp双机热备oracle10g安装环境说明系统部署：Unix AIX 6.1版本＋HACMP 5.4版本＋ORACLE 10g双机热备的方式是Oracle程序安装在各自的主机上，只把数据库实例安装的共享存储上双机热备原理：通过Hacmp实现双机热备，a、b两台小机中，同一时刻只有一台机器对外提供服务，另一台机器处于待命状态。

A为主机，b为备机，正常情况下是a机对外提供服务，当a机发生故障无法提供服务时，b机会自动接管，将系统和oracle服务切换到b机上。

这个自动切换的过程大概需要3分钟的样子。

当a机故障修改之后，启动a机上的hacmp，这时系统又会自动从备机b上自动切换回主机a上。

小机a、b都有各自的IP地址，不管是a在提供服务，还是b在提供服务，他们对外提供的服务IP地址是不变的，即客户端在连接的时候，不会因为两台小机之间的切换而需要改变配置。

Oracle实例安装步骤1、安装前的准备1.1 修改root用户下的fsize资源限制：# vi /etc/security/limitsroot:fsize = -11.2 修改用户允许的最大进程数：# smit chgsys1.3 修改root用户在命令行中使用backspace键：# cd# vi .profilesmit erase ^![注] ^! 代表backspace键。

1.4 在每个节点上检查网络配置1.5 编辑hosts文件,把主备节点相应的主机名和IP写入1.6在每个节点上建立dba，hagsuser，oinstall组和oracle用户建立用户组：dba用户组：其中：hagsuser组ID：502oinstall组ID：503[注]可以通过命令smit或smitty操作。

1.7 建立oracle用户：oracle用户：[注]oracle的primary group为dba,Group Set为hagsuser和oinstall。

HACMP软件安装实施[键入文字]目录1说明 (4)1.1文档说明 (4)1.2注意事项 (4)2HACMP 规划 (5)2.1HA（H I GH A V AILABILITY） (5)2.2规划举例 (6)3HACMP 安装前准备 (8)3.1硬件环境准备 (8)3.2介质准备 (8)4POWERHA（HACMP）软件安装 (9)4.1安装HACMP5.4需要的操作系统软件包 (9)4.2更新操作系统 (10)4.3HACMP软件安装 (10)4.4升级HACMP软件 (11)5配置HACMP (14)5.1设置IP地址 (14)5.2配置共享磁盘卷组VG (15)5.3定义TTY串口通讯设备 (16)5.4创建集群C LUSTER (17)5.5添加N ODE节点 (19)5.6创建以太网络，添加ETHER网络通讯接口 (19)5.7创建点对点网络，添加RS232通讯设备 (22)5.8添加S ERVICE IP L ABEL (24)5.9配置A PPLIC A TION S ER VER (26)5.10配置资源组 (28)5.11参数优化 (31)5.12同步资源组 (35)5.13启动HA (36)5.14保存S NAPSHOT (37)6HA服务启停、监控 (38)6.1启动HA服务 (38)6.2停止HA服务 (38)6.3监控HA状态 (39)7切换测试 (41)7.1手工停服务切换测试 (41)7.2不停HA服务，在线移动资源组（C-SPOC） (42)7.3模拟网卡故障测试 (44)7.4模拟服务器异常DOWN机测试 (44)1说明1.1文档说明本文的环境是在AIX5.3操作系统下安装配置hacmp5.4的步骤，其它版本的系统安装配置基本类似，不同之处，请参考IBM的官方文档。

文档链接地址IBM Systems Information Centers ：/eserver/目录分aix、软件、等文档目录。

HACMP操作及注意事项
一．启动HACMP：
主机启动后先在一台主机，如S85上执行smitty clstart ，启动完后再在另一台机，如M80上执行smitty clstart ，HACMP启动db2也自动启动。

二．关闭及切换HACMP：
由于安装的HACMP为cascading方式，S85为主节点，M80为次节点。

在S85主机上上执行smitty clstop，有三个选项graceful、takeover、forced，如选graceful，S85上的HACMP正常停止，S85上的资源如datavg、s85_svc、datavg上的文件系统、应用系统不切换给M80；如选takeover，S85上S85上的HACMP 正常停止，S85上的资源如datavg、s85_svc、datavg上的文件系统、应用系统切换给M80；如选forced S85上的HACMP强行停止，S85上的资源如datavg、s85_svc、datavg上的文件系统、应用系统不切换给M80；
若S85出现故障而宕机或用takove切换，S85重新正常启动HACMP后，S85上的资源如datavg、s85_svc、datavg上的文件系统、应用系统又切换回S85。

三．HACMP注意事项：
在一台主机如S85上增加文件系统、改变文件系统大小、增
加逻辑卷时，需在另一台主机如M80上进行exportvg 和importvg操作。

一、HACMP 双机系统配置打算在配置中间业务平台HACMP环境之前首先要制定配置打算。

在IBM HACMP 的配置指南中推举了一种配置打算表的方式〔Planning Worksheet 〕，在进展配置考虑的时候将这些表格填完即可。

通常分行中间业务平台的HACMP环境大体都有相像的拓扑环境，两个Public 类型的网络，一个用于供给中间业务效劳〔使用IP alias方式〕，另一用于连接AS/400的SNA 〔必需使用IP replacement方式〕Cluster WorksheetCluster Name：xxibp_clusterNode Name：xxMID_PRD，xxMID_BAK在主节点上配置拓扑构造然后同步到其他节点，网络拓扑如下：（1）Network概览Network Name Network Type Network Attribute Network Mask Node Namesnet_ibp Ether public 255.255.255.0 xxMID_PRD，xxMID_BAK net_sna Ether public 255.255.255.0 xxMID_PRD，xxMID_BAK net_rs232_01 RS-232 serial N/AxxMID_PRD，xxMID_BAK （2）Network内部构造Network net_ibpService地址：ibp_svc 10.1.7.33Boot地址：ibp_boot2 172.16.101.1ibp_boot1 172.16.100.1Network sna_netService地址：sna_svc 172.16.120.3Boot地址：sna_boot 172.16.120.1Standby地址：sna_stb 172.16.121.1SNA的网络配置IP〔可以使用私有地址，如172网段的任何地址，但两块网卡要在同一网段〕，只是为了能够相互切换，寻常的IP地址不用。

IBM HACMP双机服务器系统解决方案Hacmp（High Availability Cluster Multi-Processing）双机热备份软件主要功能是提高客户计算机系统及其应用可靠性，而不是单台主机可靠性。

一、Hacmp双机系统工作原理HACMP工作原理是利用LAN来监控主机及网络、网卡状态。

在一个HACMP环境中有TCP/IP网络和非TCP/IP网络。

TCP/IP网络即应用客户端访问公共网，该网可以是大多数AIX所支持网络，如Ethernet，T.R.，FDDI，ATM，SOCC，SLIP，等等。

非TCP/IP网络用来为HACMP对HA环境（Cluster）中各节点进行监控而提供一个替代TCP/IP通讯路径，它可以是用RS232串口线将各节点连接起来，也可以是将各节点SCSI卡或SSA卡设置成Target Mode方式。

1、作为双机系统两台服务器（主机A和B）同时运行Hacmp软件；2、服务器除正常运行自机应用外，同时又作为对方备份主机；3、两台主机系统（A和B）在整个运行过程中，通过“心跳线”相互监测对方运行情况（包括系统软硬件运行、网络通讯和应用运行情况等）；4、一旦发现对方主机运行不正常（出故障）时，故障机上应用就会立即停止运行，本机（故障机备份机）就会立即在自己机器上启动故障机上应用，把故障机应用及其资源（包括用到IP地址和磁盘空间等）接管过来，使故障机上应用在本机继续运行；5、应用和资源接管过程由Ha软件自动完成，无需人工干预；6、当两台主机正常工作时，也可以根据需要将其中一台机上应用人为切换到另一台机(备份机)上运行。

HACMP双机系统结构图（点击看大图）二、Hacmp安装配置前需作准备工作1、划分清楚两台服务器主机各自要运行应用(如A机运行应用，B机作为standby)；2、给每个应用(组)分配Service_ip、Standby_ip、boot_ip和心跳线tty，如：主机A（运行应用）：Service_ip: 172.16.1.1Standby_ip: 172.16.2.1Boot_ip: 172.16.1.3主机B（standby）：Service_ip: 172.16.1.2Standby_ip: 172.16.2.2Boot_ip: 172.16.1.43、按照各主机应用要求，建立好各自磁盘组，并分配好磁盘空间；4、根据Ha软件要求，对服务器操作系统参数作必要修改。

IBM HACMP双机热备实施（上）Hacmp（High Availability Cluster Multi-Processing）双机热备份软件的主要功能是提高客户计算机系统及其应用的可靠性，而不是单台主机的可靠性。

一、Hacmp双机系统的工作原理HACMP的工作原理是利用LAN来监控主机及网络、网卡的状态。

在一个HACMP环境中有TCP/IP网络和非TCP/IP网络。

TCP/IP网络即应用客户端访问的公共网，该网可以是大多数AIX所支持的网络，如Ether net，T.R.，FDDI，ATM，SOCC，SLIP，等等。

非TCP/IP网络用来为H ACMP对HA环境（Cluster）中的各节点进行监控而提供的一个替代TC P/IP的通讯路径，它可以是用RS232串口线将各节点连接起来，也可以是将各节点的SCSI卡或SSA卡设置成Target Mode方式。

1、作为双机系统的两台服务器（主机A和B）同时运行Hacmp软件；2、服务器除正常运行自机的应用外，同时又作为对方的备份主机；Boot_ip: 172.16.1.43、两台主机系统（A和B）在整个运行过程中，通过“心跳线”相互监测对方的运行情况（包括系统的软硬件运行、网络通讯和应用运行情况等）；4、一旦发现对方主机的运行不正常（出故障）时，故障机上的应用就会立即停止运行，本机（故障机的备份机）就会立即在自己的机器上启动故障机上的应用，把故障机的应用及其资源（包括用到的IP地址和磁盘空间等）接管过来，使故障机上的应用在本机继续运行；5、应用和资源的接管过程由Ha软件自动完成，无需人工干预；6、当两台主机正常工作时，也可以根据需要将其中一台机上的应用人为切换到另一台机(备份机)上运行。

二、Hacmp安装配置前需作的准备工作1、划分清楚两台服务器主机各自要运行的应用(如A机运行应用，B 机作为standby)；2、给每个应用(组)分配Service_ip、Standby_ip、boot_ip和心跳线t ty，如：3、按照各主机的应用的要求，建立好各自的磁盘组，并分配好磁盘空间；4、根据Ha软件的要求，对服务器操作系统的参数作必要的修改。