互备方式hacmp实施手册(详细,也可以作为主备和双机的参考)
- 格式:doc
- 大小:890.00 KB
- 文档页数:34
POWER HA5.5配置与维护手册2010年9月2日目录第一章一体化系统HACMP配置 (3)§1.1系统结构图 (3)§1.2拓扑规划 (3)§1.3磁盘资源规划 (4)§1.4应用规划 (5)§1.5操作系统要求 (6)第二章HACMP日常维护 (8)§2.1HACMP服务正常启停 (8)§2.1.1HACMP启动 (8)§2.1.2停止HA (9)§2.2查看HACMP集群服务状态 (10)§2.2.1查看HACMP服务状态 (10)§2.2.2查看资源组的状态 (10)§2.2.3查看HACMP集群状态 (11)第三章系统切换方案 (12)§3.1rlw1机器应用出现故障,HACMP资源切换 (12)§3.1.1切换rlw1_apprg资源组 (12)§3.1.2恢复rlw1_apprg资源组 (13)§3.2hg2机器应用出现故障,HACMP资源切换 (15)§3.2.1切换rlw2_orarg资源组 (15)§3.2.2恢复rlw2_orarg资源组 (17)第四章HACMP切换测试 (19)§4.1网卡故障模拟测试 (19)§4.2rlw1 系统单机故障模拟测试 (20)§4.3rlw2 系统单机故障模拟测试 (22)§4.4rlw1系统HA 手工切换测试 (24)§4.5rlw2系统HA 手工切换测试 (26)第一章一体化系统HACMP 配置§1.1 系统结构图§1.2 拓扑规划P780(1)主机(LPAR rlw1)共享磁盘阵列(HDS USPV 存储系统)心跳线(tty0)ent2ent0 P780(2) 主机(LPAR rlw2)ent2ent0Service NetworkPersistent Networkrlw1机器boot1地址配置在第一块外置网卡上(en0),将boot2地址配置在第二块外置网卡(en2),persistent ip地址绑在第二块外置网卡上(en2);rlw2机器boot1地址配置在第一块外置网卡上(en0),将boo2地址配置在第二块外置网卡(en2),persistent ip地址绑在第二块外置网卡上(en2)。
HACMP 5.2 的安装、配置、测试完全手册摘要:IBM HACMP 自从出了5.2 版本后,到了5.205比较稳定,并已经过充分的测试(见测试篇)和实践证明(已有多个系统成功自动切换)。
这里我整理了一下,以比较复杂的双机互备情况为例,其他类似设置可适当简化。
样例为AIX5304+HACMP5205.第一章规划篇第二章安装篇1、安装前提1) 操作系统版本要求:AIX5.203以上2) 环境要求用户确认HA要求所有切换需要用到的用户必须一一对应,userid完全相同。
如tlg1d0上oracle用户为orarun,tlg1a0上的orarun必须为切换保留,sid均为209平时用的oracle用户就改为oraclt[tlg1a0][root][/]lsuser -a id ALLroot id=0daemon id=1bin id=2sys id=3adm id=4uucp id=5nobody id=-2lpd id=9lp id=11invscout id=6snapp id=200ipsec id=201nuucp id=7radiusd id=202ldap id=203oradev id=204tuxrun id=205oraclt id=208orarun id=209sshd id=211bsx1 id=210[tlg1d0][root][/]>lsuser -a id ALLroot id=0daemon id=1bin id=2sys id=3adm id=4uucp id=5nobody id=-2lpd id=9lp id=11invscout id=6snapp id=200ipsec id=201nuucp id=7radiusd id=202ldap id=203oradev id=204orarun id=209tuxrun id=205oraclt id=208bsx1 id=210Ø 文件系统确认HA要求切换相关的文件系统不能重名,如tlg1d0上oracle软件目录为/ora10msrun,tlg1a0上的/ora10msrun必须为切换保留,改为/ora10msclt[tlg1d0][root][/]>df -kFilesystem 1024-blocks Free %Used Iused %Iused Mounted on/dev/hd4 524288 487820 7% 3276 3% //dev/hd2 7077888 1868516 74% 91290 18% /usr/dev/hd9var 524288 458364 13% 991 1% /var/dev/hd3 917504 826700 10% 120 1% /tmp/dev/hd1 655360 524856 20% 291 1% /home/proc - - - - - /proc/dev/hd10opt 1179648 589072 51% 11370 8% /opt/dev/lv00 131072 126912 4% 18 1% /var/adm/csd/dev/fslv01 131072 130724 1% 4 1% /tftpboot/dev/fslv00 6684672 3719036 45% 6 1% /export/eznim/dev/ora10msrunlvbak 8912896 5165508 43% 24814 3% /ora10msrunbak /dev/msrundatalvbak 13107200 2895980 78% 32 1% /msrundatabak/dev/msrunloglvbak 5242880 3094480 41% 8185 2% /msrunlogbak/dev/mksysblv 13107200 6238868 53% 5 1% /mksysb/dev/tlg1d0_baklv 26214400 17495848 34% 1111 1% /tlg1d0_bak/dev/msrundatalv 13107200 2896000 78% 31 1% /msrundata/dev/msrunloglv 5242880 3112216 41% 7996 2% /msrunlog/dev/ora10msrunlv 8912896 5173252 42% 23406 2% /ora10msrun[tlg1a0][root][/]>df -kFilesystem 1024-blocks Free %Used Iused %Iused Mounted on/dev/hd4 655360 93968 86% 3450 14% //dev/hd2 8650752 3779000 57% 90347 10% /usr/dev/hd9var 1179648 1001248 16% 1164 1% /var/dev/hd3 1179648 1136192 4% 143 1% /tmp/dev/hd1 655360 587592 11% 489 1% /home/proc - - - - - /proc/dev/hd10opt 1835008 1244528 33% 11374 4% /opt/dev/lv00 131072 126912 4% 18 1% /var/adm/csd/dev/fslv01 131072 118800 10% 7 1% /tftpboot/dev/fslv00 7733248 960696 88% 27298 12% /export/eznim/dev/fslv02 15335424 1143804 93% 4525 2% /soft_ins/dev/tlg1a0_baklv 26214400 20751500 21% 16 1% /tlg1a0_bak/dev/ora10mscltlvbak 13107200 9386904 29% 16852 1% /ora10mscltbak /dev/tux81msrunlvbak 655360 407932 38% 2685 3% /tux81msrunbak /dev/meslvbak 8912896 4815640 46% 6349 1% /BSMesWare/BSX1bak /dev/xcomlvbak 5242880 5186260 2% 4178 1% /xcombak/dev/ora10mscltlv 13107200 9386748 29% 16852 1% /ora10msclt/dev/tux81msrunlv 786432 538952 32% 2685 3% /tux81msrun/dev/meslv 14155776 10057876 29% 6343 1% /BSMesWare/BSX1/dev/xcomlv 5242880 5186280 2% 4178 1% /xcom3) 安装包要求:RSCT 2.3.6.0 或更高版本。
一.硬件配置1.存储设备与现有的DS5100存储相连接,并且划分出两个空间,分别给ORACLE11G数据库和SAP 应用程序来试用,预留出300G空间如下所示:给分区映射空间分配置如下图所示:二.软件配置1.AIX操作系统版本6100-06-03-10482.HACMP版本6.1 使用串口卡做心跳.四.软件安装及补丁1.AIX6.1操作系统的安装/ 6100-06-03-1048 是当时最新的补丁2.操作系统相关包安装(有些默认已经安装了)3.POWERHA6.1安装是当时最新的补丁hacmp61-IZ92782smitty install_all(cluster_hativol, haview, mariew, rect.exp)HA此项目为两台分别安装上串口卡和串口线做心跳,(配置hd是IP网络)可以用ip别名的方法来跑心跳,但用来跑心跳的这个网段必须不能和其他所有接口在同一个网段。
五.实施步骤1.在两台GWPRD1上设置IP地址(1)在GWPRD1机上A. 配置boot1网卡->#smitty (smitty tcpip)->Communications Applications and Services->TCP/IP->Minimum Configuration & Startup选择en0* HOSTNAME [GWPRD1]* Internet ADDRESS (dotted decimal) [192.168.1.2]Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en1NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [10.1.126.254]B. 配置stdby1网卡->#smitty->Communications Applications and Services->TCP/IP->Minimum Configuration & Startupselect en2* HOSTNAME [GWPRD1]* Internet ADDRESS (dotted decimal) [192.168.2.2]Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en3NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [10.1.126.254](2)在GWPRD2机上A. 配置boot2网卡->#smitty->Communications Applications and Services->TCP/IP->Minimum Configuration & Startupselect en0* HOSTNAME [GWPRD2]* Internet ADDRESS (dotted decimal) [192.168.1.3] Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en1NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [10.1.126.254]B. 配置stdby2网卡->#smitty->Communications Applications and Services->TCP/IP->Minimum Configuration & Startupselect en2* HOSTNAME [GWPRD2]* Internet ADDRESS (dotted decimal) [192.168.2.3] Network MASK (dotted decimal) [255.255.255.0]* Network INTERFACE en3NAMESERVERInternet ADDRESS (dotted decimal) []DOMAIN Name []Default GATEWAY Address [10.1.126.254]2.在两台GWPRD1上修改/etc/hosts文件,内容如下(1)在GWPRD1机上127.0.0.1 loopback localhost GWPRD1192.168.1.2 boot1 GWPRD1192.168.2.2stdby1 GWPRD110.1.126.100svc1192.168.1.3boot2 GWPRD2192.168.2.3 stdby2 GWPRD210.1.126.99 svc2(2)在GWPRD2机上127.0.0.1 loopback localhost GWPRD2192.168.1.2 boot1 GWPRD1192.168.2.2stdby1 GWPRD110.1.126.100svc1192.168.1.3boot2 GWPRD2192.168.2.3 stdby2 GWPRD210.1.126.99 svc23.在GWPRD1上建立共享卷组建立oravg共享卷组->#smitty mkvg选Add an Original Volume GroupAdd a Big Volume GroupAdd a Scalable Volume Group则出现VOLUME GROUP name [oravg]Physical partition SIZE in megabytes []* PHYSICAL VOLUME names [hdisk2] 注:根据客户现场提供,这里假设为hdisk2 Activate volume group AUTOMATICALLY [no]at system restart?Volume Group MAJOR NUMBER []Create VG concurrent Capable? [yes] 并行是YES 其它如:主备和互备在创建VG时应选择NOAuto-varyon in Concurrent Mode? [no] 这里一样的主备和互备NO /并行是YES 注:看oravg是否是激活状态,如果是激活,则需要#varyoffvg oravg4.在GWPRD1上import共享卷组(1)import oravg共享卷组->#smitty (smitty importvg)出现:VOLUME GROUP name [oravg]* PHYSICAL VOLUME name [hdisk2]+Volume Group MAJOR NUMBER[] +#注意:sapvg同上面方法一样。
AIX+Hacmp双机热备oracle10g安装环境说明系统部署:Unix AIX 6.1版本+HACMP 5.4版本+ORACLE 10g双机热备的方式是Oracle程序安装在各自的主机上,只把数据库实例安装的共享存储上双机热备原理:通过Hacmp实现双机热备,a、b两台小机中,同一时刻只有一台机器对外提供服务,另一台机器处于待命状态。
A为主机,b为备机,正常情况下是a机对外提供服务,当a机发生故障无法提供服务时,b机会自动接管,将系统和oracle服务切换到b机上。
这个自动切换的过程大概需要3分钟的样子。
当a机故障修改之后,启动a机上的hacmp,这时系统又会自动从备机b上自动切换回主机a上。
小机a、b都有各自的IP地址,不管是a在提供服务,还是b在提供服务,他们对外提供的服务IP地址是不变的,即客户端在连接的时候,不会因为两台小机之间的切换而需要改变配置。
Oracle实例安装步骤1、安装前的准备1.1 修改root用户下的fsize资源限制:# vi /etc/security/limitsroot:fsize = -11.2 修改用户允许的最大进程数:# smit chgsys1.3 修改root用户在命令行中使用backspace键:# cd# vi .profilesmit erase ^![注] ^! 代表backspace键。
1.4 在每个节点上检查网络配置1.5 编辑hosts文件,把主备节点相应的主机名和IP写入1.6在每个节点上建立dba,hagsuser,oinstall组和oracle用户建立用户组:dba用户组:其中:hagsuser组ID:502oinstall组ID:503[注]可以通过命令smit或smitty操作。
1.7 建立oracle用户:oracle用户:[注]oracle的primary group为dba,Group Set为hagsuser和oinstall。
HACMP软件安装实施[键入文字]目录1说明 (4)1.1文档说明 (4)1.2注意事项 (4)2HACMP 规划 (5)2.1HA(H I GH A V AILABILITY) (5)2.2规划举例 (6)3HACMP 安装前准备 (8)3.1硬件环境准备 (8)3.2介质准备 (8)4POWERHA(HACMP)软件安装 (9)4.1安装HACMP5.4需要的操作系统软件包 (9)4.2更新操作系统 (10)4.3HACMP软件安装 (10)4.4升级HACMP软件 (11)5配置HACMP (14)5.1设置IP地址 (14)5.2配置共享磁盘卷组VG (15)5.3定义TTY串口通讯设备 (16)5.4创建集群C LUSTER (17)5.5添加N ODE节点 (19)5.6创建以太网络,添加ETHER网络通讯接口 (19)5.7创建点对点网络,添加RS232通讯设备 (22)5.8添加S ERVICE IP L ABEL (24)5.9配置A PPLIC A TION S ER VER (26)5.10配置资源组 (28)5.11参数优化 (31)5.12同步资源组 (35)5.13启动HA (36)5.14保存S NAPSHOT (37)6HA服务启停、监控 (38)6.1启动HA服务 (38)6.2停止HA服务 (38)6.3监控HA状态 (39)7切换测试 (41)7.1手工停服务切换测试 (41)7.2不停HA服务,在线移动资源组(C-SPOC) (42)7.3模拟网卡故障测试 (44)7.4模拟服务器异常DOWN机测试 (44)1说明1.1文档说明本文的环境是在AIX5.3操作系统下安装配置hacmp5.4的步骤,其它版本的系统安装配置基本类似,不同之处,请参考IBM的官方文档。
文档链接地址IBM Systems Information Centers :/eserver/目录分aix、软件、等文档目录。
HACMP操作及注意事项
一.启动HACMP:
主机启动后先在一台主机,如S85上执行smitty clstart ,启动完后再在另一台机,如M80上执行smitty clstart ,HACMP启动db2也自动启动。
二.关闭及切换HACMP:
由于安装的HACMP为cascading方式,S85为主节点,M80为次节点。
在S85主机上上执行smitty clstop,有三个选项graceful、takeover、forced,如选graceful,S85上的HACMP正常停止,S85上的资源如datavg、s85_svc、datavg上的文件系统、应用系统不切换给M80;如选takeover,S85上S85上的HACMP 正常停止,S85上的资源如datavg、s85_svc、datavg上的文件系统、应用系统切换给M80;如选forced S85上的HACMP强行停止,S85上的资源如datavg、s85_svc、datavg上的文件系统、应用系统不切换给M80;
若S85出现故障而宕机或用takove切换,S85重新正常启动HACMP后,S85上的资源如datavg、s85_svc、datavg上的文件系统、应用系统又切换回S85。
三.HACMP注意事项:
在一台主机如S85上增加文件系统、改变文件系统大小、增
加逻辑卷时,需在另一台主机如M80上进行exportvg 和importvg操作。
一、HACMP 双机系统配置打算在配置中间业务平台HACMP环境之前首先要制定配置打算。
在IBM HACMP 的配置指南中推举了一种配置打算表的方式〔Planning Worksheet 〕,在进展配置考虑的时候将这些表格填完即可。
通常分行中间业务平台的HACMP环境大体都有相像的拓扑环境,两个Public 类型的网络,一个用于供给中间业务效劳〔使用IP alias方式〕,另一用于连接AS/400的SNA 〔必需使用IP replacement方式〕Cluster WorksheetCluster Name:xxibp_clusterNode Name:xxMID_PRD,xxMID_BAK在主节点上配置拓扑构造然后同步到其他节点,网络拓扑如下:(1)Network概览Network Name Network Type Network Attribute Network Mask Node Namesnet_ibp Ether public 255.255.255.0 xxMID_PRD,xxMID_BAK net_sna Ether public 255.255.255.0 xxMID_PRD,xxMID_BAK net_rs232_01 RS-232 serial N/AxxMID_PRD,xxMID_BAK (2)Network内部构造Network net_ibpService地址:ibp_svc 10.1.7.33Boot地址:ibp_boot2 172.16.101.1ibp_boot1 172.16.100.1Network sna_netService地址:sna_svc 172.16.120.3Boot地址:sna_boot 172.16.120.1Standby地址:sna_stb 172.16.121.1SNA的网络配置IP〔可以使用私有地址,如172网段的任何地址,但两块网卡要在同一网段〕,只是为了能够相互切换,寻常的IP地址不用。
IBM HACMP双机服务器系统解决方案Hacmp(High Availability Cluster Multi-Processing)双机热备份软件主要功能是提高客户计算机系统及其应用可靠性,而不是单台主机可靠性。
一、Hacmp双机系统工作原理HACMP工作原理是利用LAN来监控主机及网络、网卡状态。
在一个HACMP环境中有TCP/IP网络和非TCP/IP网络。
TCP/IP网络即应用客户端访问公共网,该网可以是大多数AIX所支持网络,如Ethernet,T.R.,FDDI,ATM,SOCC,SLIP,等等。
非TCP/IP网络用来为HACMP对HA环境(Cluster)中各节点进行监控而提供一个替代TCP/IP通讯路径,它可以是用RS232串口线将各节点连接起来,也可以是将各节点SCSI卡或SSA卡设置成Target Mode方式。
1、作为双机系统两台服务器(主机A和B)同时运行Hacmp软件;2、服务器除正常运行自机应用外,同时又作为对方备份主机;3、两台主机系统(A和B)在整个运行过程中,通过“心跳线”相互监测对方运行情况(包括系统软硬件运行、网络通讯和应用运行情况等);4、一旦发现对方主机运行不正常(出故障)时,故障机上应用就会立即停止运行,本机(故障机备份机)就会立即在自己机器上启动故障机上应用,把故障机应用及其资源(包括用到IP地址和磁盘空间等)接管过来,使故障机上应用在本机继续运行;5、应用和资源接管过程由Ha软件自动完成,无需人工干预;6、当两台主机正常工作时,也可以根据需要将其中一台机上应用人为切换到另一台机(备份机)上运行。
HACMP双机系统结构图(点击看大图)二、Hacmp安装配置前需作准备工作1、划分清楚两台服务器主机各自要运行应用(如A机运行应用,B机作为standby);2、给每个应用(组)分配Service_ip、Standby_ip、boot_ip和心跳线tty,如:主机A(运行应用):Service_ip: 172.16.1.1Standby_ip: 172.16.2.1Boot_ip: 172.16.1.3主机B(standby):Service_ip: 172.16.1.2Standby_ip: 172.16.2.2Boot_ip: 172.16.1.43、按照各主机应用要求,建立好各自磁盘组,并分配好磁盘空间;4、根据Ha软件要求,对服务器操作系统参数作必要修改。
IBM HACMP双机热备实施(上)Hacmp(High Availability Cluster Multi-Processing)双机热备份软件的主要功能是提高客户计算机系统及其应用的可靠性,而不是单台主机的可靠性。
一、Hacmp双机系统的工作原理HACMP的工作原理是利用LAN来监控主机及网络、网卡的状态。
在一个HACMP环境中有TCP/IP网络和非TCP/IP网络。
TCP/IP网络即应用客户端访问的公共网,该网可以是大多数AIX所支持的网络,如Ether net,T.R.,FDDI,ATM,SOCC,SLIP,等等。
非TCP/IP网络用来为H ACMP对HA环境(Cluster)中的各节点进行监控而提供的一个替代TC P/IP的通讯路径,它可以是用RS232串口线将各节点连接起来,也可以是将各节点的SCSI卡或SSA卡设置成Target Mode方式。
1、作为双机系统的两台服务器(主机A和B)同时运行Hacmp软件;2、服务器除正常运行自机的应用外,同时又作为对方的备份主机;Boot_ip: 172.16.1.43、两台主机系统(A和B)在整个运行过程中,通过“心跳线”相互监测对方的运行情况(包括系统的软硬件运行、网络通讯和应用运行情况等);4、一旦发现对方主机的运行不正常(出故障)时,故障机上的应用就会立即停止运行,本机(故障机的备份机)就会立即在自己的机器上启动故障机上的应用,把故障机的应用及其资源(包括用到的IP地址和磁盘空间等)接管过来,使故障机上的应用在本机继续运行;5、应用和资源的接管过程由Ha软件自动完成,无需人工干预;6、当两台主机正常工作时,也可以根据需要将其中一台机上的应用人为切换到另一台机(备份机)上运行。
二、Hacmp安装配置前需作的准备工作1、划分清楚两台服务器主机各自要运行的应用(如A机运行应用,B 机作为standby);2、给每个应用(组)分配Service_ip、Standby_ip、boot_ip和心跳线t ty,如:3、按照各主机的应用的要求,建立好各自的磁盘组,并分配好磁盘空间;4、根据Ha软件的要求,对服务器操作系统的参数作必要的修改。
HACMP双机配置指导书本文介绍HA CMP双机的配置。
1.1 概述在启动短消息系统之前,需要对双机系统进行配置,IBM-pSeries的双机控制软件称之为HACMP。
HACMP双机软件的配置过程分为两部分,分别为HA CMP基本配置(Cluster配置)和HACMP应用定制配置。
配置过程如下:在启动双机系统HA CMP之前,需要对两个独立的主机进行配置,以构成一个完整的双机系统,这些配置工作都将通过IBM的HACMP双机软件工具来完成,称为Cluster配置。
在Cluster配置正确完成之后,就可以结合具体的短消息系统对HACMP进行定制配置,也就是进行应用的监管配置,将短消息系统置于HACMP双机系统的监控管理之下。
说明:以下配置操作以root用户进行,每个步骤完成,可使用Esc+3 / F3 回退到上一步,使用Esc+4/F4进行配置项值列表选择,使用Esc+0/F10退出smitty 配置环境,Enter确认配置参数。
1.2 双机规划方案1.2.1以下为中山短消息系统的双机规划实例,供参考!表1-1Network Adapter Worksheet表1-2Share IP Address用户/组规划1.2.2 修改配置文件根据以上网络规划,修改相应的配置文件:1、以root用户修改主备小型机上/etc/security/limits文件:# cd /etc/security;切换到目录:/etc/security.# vi limits ;修改配置文件limits。
在文件中增加或修改root用户的参数如下:smc:fsize = -1core = 409600cpu = -1data = -1rss = -1stack =-1nofiles = 20002、修改hosts文件127.0.0.1 loopback localhost # loopback (lo0) name/address# zs_smc_smc1172.10.14.31 zs_smc_smc1_boot zs_smc_smc1192.168.14.31 zs_smc_smc1_stb zs_smc_smc1# zs_smc_smc2172.10.14.33 zs_smc_smc2_boot zs_smc_smc2192.168.14.33 zs_smc_smc2_stb zs_smc_smc2# service_ip172.10.14.30 service_ip#fix ip172.10.114.31 zs_smc_smc1172.10.114.33 zs_smc_smc2.rhosts文件zs_smc_smc1zs_smc_smc1_bootzs_smc_smc1_stbzs_smc_smc2zs_smc_smc2_bootzs_smc_smc2_stbservice_ip1.3 配置前提1.3.1 检查双机上正确安装了HACMP软件检查双机两台机器上是否都安装了HA CMP软件,详细安装步骤见附录二。
HACMP安装手册安装前准备1.1.硬件设备1.1.1.主机主机两台,每台主机至少需要两块网卡,一个空闲的串口。
如果主机中配了千兆以太网卡,建议使用该千兆网卡,不要使用内置网卡。
(因为内置网卡是集成在主板上的,如果一旦出现故障,不容易更换,这样HACMP中的配置就需要修改,增加了工作量)1.1.2.心跳线心跳线一根。
如果心跳线的口和主机的串口不能对上,需要两根转接线,具体的长度由两台主机的相对位置决定。
1.2.操作系统环境主机 内容 文件集 备注主机1 OS:5200-02Kerl:64文件系统:JFS2 bos.adt.*.*bos.rte.*rsct.basic.*pat.*rsct.core.*oslevel –rprtconflslpp -l主机1 与主机1一致1.3.软件介质HACMP 4.5(CRM)1.4.磁盘划分建立需要切换的VG等。
如果是对ORACLE9i RAC数据库做双机系统,对存放数据库数据的VG (oradatavg)建立时不需要建立属性为concurrent的卷组。
(在配置HACMP时设定为concurrent属性即可)1.5.操作系统参数配置1.5.1./sbin/rc.boot修改/sbin/rc.boot文件中:##Modified By Sinosoft For Hacmp Software Start#nohup /usr/sbin/syncd 60 > /dev/null 2>&1 &nohup /usr/sbin/syncd 10 > /dev/null 2>&1 &##Modified By Sinosoft For Hacmp Software End1.5.2.water marksmit system -->Change / Show Characteristics of Operating System HIGH water mark for pending write I/Os per file [32] +LOW water mark for pending write I/Os per file [24] +或者直接用命令:chdev -l sys0 -a maxpout='32' -a minpout='24'1.6.网络地址配置1.6.1.主机名及IP地址主机 内容 备注 主机1boot1 10.48.178.201serv1 10.48.178.202stby1 10.48.179.3主机2boot2 10.48.178.203serv2 10.48.178.204stby2 10.48.179.4具体的hosts文件参考附录中的“主机hosts文件”。
HACMP配臵指导手册目录第一章HACMP配臵前硬件准备 (3)第二章HACMP软件安装 (4)2.1 操作系统补丁及指定包的安装 (4)2.2 安装HACMP软件包 (5)2.3升级HACMP的补丁到最新 (5)2.4 重启系统 (5)第三章HACMP的配臵 (5)3.1 主备模式下HACMP 配臵 (5)3.1.1 IP 地址规划 (6)3.1.2 设臵BOOT 地址 (6)3.1.3 配臵通信串口 (7)3.1.4 创建Cluster并添加HA节点 (14)3.1.5 添加service label (17)3.1.6 添加应用程序服务器 (20)3.1.7 创建资源组 (23)3.1.8 修改资源组属性 (25)3.1.9 配臵串型网络 (27)3.1.10 添加串行设备 (31)3.1.11 添加永久地址 (35)3.1.12 HA相关参数调整 (38)3.1.13 第三方存储去Reservation脚本配臵 (40)3.1.14 同步校验 (41)3.1.15 启动HA (42)3.1.16 停止HA (43)3.2 互备模式下HACMP 配臵 (45)3.2.1 IP 地址规划 (45)3.2.2 HA 配臵 (46)3.3 Concurrent模式下HACMP 配臵 (47)3.3.1 Concurrent模式下资源组配臵 (47)第一章HACMP配臵前硬件准备在安装HA 软件之前,首先连接好系统硬件设备,包括心跳线连接,存储设备连接等。
并将需要加到资源组中的卷组在分别导入到群集中的每个节点上。
第二章HACMP软件安装2.1 操作系统补丁及指定包的安装AIX系统需要如下软件包,并且AIX补丁版本达到最新。
bos.clvm.enhbos.datarsct.basic(rsct.basic.hacmp,rsct.basic.rte,rsct.basic.sp)pt.basic(pat.basic.hacmp,pat.basic.rte,pat.basic.sp)pat.clients(pat.clients.hacmp,pat.clients.rte,pat.clients.sp)bos.perf.toolsperfagent.toolsbos.adt.syscallsbos.adt.libm如果您要安装并行的资源组,还要安装下面的包:bos.rte.lvmbos.clvm.enh2.2 安装HACMP软件包将HACMP 5.3 光盘加载到SERVER, 由SMITTY进行安装。
HACMP v5.3 安装配置文档1. 1. 准备工作(1)两台主机(P650)A,B节点名分别为(NODEA,NODEB)后面集群配置要用到,两台主机之间可以正常PING通,并且每台主机有两个不同网络的物理网卡(boot1,stby1或boot2,stby2)(2)每台主机的/etc/hosts文件一致,并配置或添加需要的IP和对应主机举例说明:比如两台主机分别为A,B 对应IP地址主机名为:主机IP地址主机名A 192.168.100.240(boot1) p520 (p1)10.10.10.5(stby1)B 192.168.100.241(boot2) p520(p2)10.10.10.6(stby2)修改HOSTS文件如下:通过VI命令,修改hosts文件(以主机A为例,B主机与A主机HOSTS文件相同)vi /etc/hosts127.0.0.1 loopback localhost192.168.100.240 boot1 p110.10.10.5 stby1 p1 (可以不填写) 192.168.100.241 boot2 p210.10.10.6 stby2 p2192.168.128.2 server(用来与程序的客户端通信之用,主机当机后,该IP 就会从主机飘逸到另外一台备用机器B,原理就是通过该HOSTS文件来解析的)注:以上服务IP有的时候可以是两个;另外一台主机也同A主机一样,HOSTS文件配置相同。
(3) 每台主机/.rhosts文件一致,并使其权限为600VI .rhostsP1Boot1Stby1ServerP2Boot2Stby2server主机A:chmod 600 ..rhosts(修改权限)B:chmod 600 .rhosts(4) 两台主机通过串口做心跳,并确保已通过tty的测试配置或添加TTY(串口设备)--两台主机都必须做相同的配置工作,添加串口Smitty tty选择“Add a TTY”TTYMove cursor to desired item and press Enter.List All Defined TTYsAdd a TTYMove a TTY to Another PortChange / Show Characteristics of a TTYRemove a TTYConfigure a Defined TTYGenerate Error ReportTrace a TTYType or select values in entry fields.Press Enter AFTER making all desired changes.[TOP] [Entry Fields]TTY type ttyTTY interface rs232Description Asynchronous Terminal Parent adapter sa2* PORT number [0] +Enable LOGIN disable +BAUD rate [9600]PARITY [none] +BITS per character [8] +Number of STOP BITS [1] +TIME before advancing to next port setting [0] +TERMINAL type [dumb]FLOW CONTROL to be used [xon]心跳线测试Lsdev –Cc tty 查看新增串口,会有如下显示:tty0 Available 00-00-S3-00 Asynchronous Terminal注:同上,B机器也增加串口,并配置和测试。
HACMP操作手册强制方式停掉HACMP:HACMP 的停止分为3 种,graceful(正常),takeover(手工切换),force(强制).下面的维护工作,很多时候需要强制停掉HACMP 来进行,此时资源组不会释放,这样做的好处是,由于IP 地址、文件系统等等没有任何影响,只是停掉HACMP 本身,所以应用服务可以继续提供,实现了在线检查和变更HACMP 的目的。
一般所有节点都要进行这样操作.强制停掉后的HACMP 启动:在修改HACMP 的配置后,大多数情况下需要重新申请资源启动,这样才能使HACMP 的配置重新生效。
日常检查及处理为了更好地维护HACMP,平时的检查和处理是必不可少的。
下面提供的检查和处理方法除非特别说明,均是不用停机,而只需停止应用即可进行,不影响用户使用。
不过具体实施前需要仔细检查状态,再予以实施。
clverify 检查这个检查可以对包括LVM 的绝大多数HACMP 的配置同步状态,是HACMP 检查是否同步的主要方式. smitty clverify->Verify HACMP Configuration回车即可经过检查,结果应是OK。
如果发现不一致,需要区别对待。
对于非LVM 的报错,大多数情况下不用停止应用,可以用以下步骤解决:1.先利用强制方式停止HACMP 服务。
同样停止host2 的HACMP 服务.1.只检查出的问题进行修正和同步:smitty hacmp ->Extended Configuration-〉Extended Verification and Synchronization这时由于已停止HACMP 服务,可以包括”自动修正和强制同步“。
对于LVM 的报错,一般是由于未使用HACMP 的C—SPOC 功能,单边修改文件系统、lv、VG 造成的,会造成VG 的timestamp 不一致。
这种情况即使手工在另一边修正(通常由于应用在使用,也不能这样做),如何选取自动修正的同步,也仍然会报failed.此时只能停掉应用,通过整理VG 来解决.cldump 检查:cldump 的监测为将当前HACMP 的状态快照,确认显示为UP,STABLE。
一、删除现有集群环境 (3)1.查看现有HACMP环境。
命令如下: (3)2.停止现有hacmp集群中的节点。
命令如下: (3)3.删除现有集群。
(注意:本小节内容需在集群内现有所有节点中执行) (5)4.删除hacmp现有节点的资源组 (6)二、为新建立的机群创建资源组 (7)1.建立资源组 (7)2.导入导出VG (9)三、添加非ip网络(注:本节内容节点内机器均要执行) (9)1.在终端窗口内键入smitty tty,选择rs232 (10)2.测试串口心跳 (11)四、修改/etc/hosts文件(注:本节内容节点内机器均要执行) (13)五、配置HACMP(注:本节内容如无特殊注名全部在A机操作) (14)1.创建集群组 (14)2.为群集添加节点 (15)3.为集群添加网络 (16)4.为集群组添加服务器 (23)5.为建立好的oracle,wasphere服务器添加服务IP (24)6.为集群添加资源组 (26)六、校验和同步群集 (29)七、测试HACMP配置 (31)首先安装操作系统,两台节点都升级ML到最新版本, HACMP安装需要如下软件包:建议关于RSCT的包全装。
bos.clvmpatbos.adtbos.databos.perfbos.perf.gtoolsrsct.basicpat.basicpat.clientsrsct.corersct.basic.rtersct.opt.storagermHACMP安装需要的RSCT版本如下:AIX 5L v.5.3 plus ML 12.4.2•pat.basic.hacmp 2.4.2.0•pat.clients.hacmp 2.4.2.0•rsct.core.sec 2.4.2.1•rsct.core.rmc 2.4.2.1AIX 5L v.5.2 plus ML 52.3.6•pat.basic.hacmp 2.3.6.0•pat.clients.hacmp 2.3.6.0•rsct.core.sec 2.3.6.1•rsct.core.rmc 2.3.6.1确认两台节点的RSCT版本是一致的,使用如下命令行:/usr/bin/lslpp -l pat.basic.hacmp/usr/bin/lslpp -l pat.clients.hacmp/usr/bin/lslpp -l rsct.basic.rte安装HACMP5.4除了如下文件集一般不用安装外,其他所有的文件集都要安装,安装好后建议安装HACMP的补丁包。
cluster.haviewcluster.hativoli一、删除现有集群环境1.查看现有HACMP环境。
命令如下:在终端窗口内键入Smitty hacmp命令选择Extended Configuration选择Extended Topology Configuration选择Show HACMP Topology下面显示的为现有hacmp 的拓扑结构和信息。
2.停止现有hacmp集群中的节点。
命令如下:在终端窗口内键入Smitty clstop命令注意:要停止集群内所有节点!也可通过选择多个节点一起停止集群服务,但是这种做法是不被推荐的。
(建议分别在各自节点停掉集群服务)下图为机群停止成功:3.删除现有集群。
(注意:本小节内容需在集群内现有所有节点中执行)在终端窗口内键入smitty hacmp命令选择Extended Configuration选择Extended Topology Configuration选择Configure an HACMP Cluster选择Remove an HACMP Cluster下图为删除节点成功:4.删除hacmp现有节点的资源组在A机执行:# lsvg –o (查看现已挂载的资源组)rootvg# varyonvg oradata (挂载oradata)恢复卷组,便于删除# varyonvg wasdata (挂载wasdata)恢复卷组,便于删除# lsvg –o (查看现已挂载的资源组)wasdataoradatarootvg执行smitty reducevg2命令删除资源组按Esc+4选择要删除的vg (注:rootvg 为系统所在的卷组不能删除!!!)下图为删除vg成功在B机执行:# exportvg oradata (在B机导出oradata资源组)# exportvg wasdata (在A机导出oradata资源组)二、为新建立的机群创建资源组1.建立资源组在终端窗口内键入smitty mkvg命令选择Add a Scalable Volume Group为vg起名为oradata,按Esc+4选择hdisk2物理磁盘本教程为护为备份方式所以在这里Create VG Concurrent Capable?选NO(注:如想在HA可以调用的资源组一定要在Activate volume group AUTOMATICALLY at system restart?这项选NO!!!)下图为建立oradata成功建立wasdata vg2.导入导出VG建立oardata,wasdata完成后在A机执行:# varyoffvg wasdata# varyoffvg oradata建立oardata,wasdata完成后在b机执行:# importvg -y oradata hdisk2# importvg -y wasdata hdisk3# varyoffvg wasdata# varyoffvg oradata三、添加非ip网络(注:本节内容节点内机器均要执行)两台机器均配置串口异步卡,所以我们用非ip网络rs232作为心跳,心跳方式还有ip网络心跳和非ip网络磁盘心跳。
1.在终端窗口内键入smitty tty,选择rs232调整PORT number值为0调整BAUD rate值为96002.测试串口心跳在B机上执行cat </dev/tty0在A机上执行cat /etc/hosts >/dev/tty0如果在B机上能接收到eccprd1上的hosts文件信息,则表明心跳线已经配置好。
(接线不对或设置问题等原因有可能会出现乱码,经本人测试只要能够在B机输出就能正常切换)3.补充磁盘心跳的创建方法3.1做磁盘心跳的磁盘必须将VG创建为Concurrent模式System Management (C-SPOC)->HACMP Concurrent Logical Volume Management->Concurrent Volume Groups->create a concurrent volumeGroup如:Node Names dbsvr1,dbsvr2 PVID 0003714b1331a3edVOLUME GROUP name [heartvg] Physical partition SIZE in megabytes 4 +Volume group MAJOR NUMBER [56] +Enhanced Concurrent Mode true +Enable Cross-Site LVM Mirroring Verification false3.2 配置磁盘心跳# smitty hacmpExtended ConfigurationExtended Topology ConfigurationConfigure HACMP NetworksConfigure HACMP Communication Interfaces/DevicesAdd Communication Interfaces/DeviceAdd Pre-defined Communication Interfaces and DevicesCommunication Devices* Device Name[diskhb_node_a]* Network Type diskhb* Network Name net_diskhb_01* Device Path[/dev/hdisk1]* Node Name[NodeA] +同样方法创建另一个磁盘通信设备* Device Name[diskhb_node_b]* Network Type diskhb* Network Name net_diskhb_01* Device Path[/dev/hdisk1]* Node Name[NodeA] +3.3 测试磁盘心跳cd /usr/sbin/rsct/bin在rac1 上运行:dhb_read -p hdisk2 –r (先执行receive,然后在另外的节点执行send,正常的话会显示link status ok)在rac2 上运行:dhb_read -p hdisk2 –t四、修改/etc/hosts文件(注:本节内容节点内机器均要执行)测试网络通讯分别在本机上ping对方的ip地址和对方HOSTNAME看是否ok。
(备注:在 HACMP 5.2 中为了安全起见,不再使用 /.rhosts 文件来控制两台机器之间的命令和数据交换,使用 /usr/es/sbin/cluster/etc/rhosts 文件来代替 /.rhosts 文件的功能。
修改/USR/ES/SBIN/CLUSTER/ETC/RHOSTS文件(nodeA和nodeB上都需要相同修改)192.168.10.11 -----(nodeA的启动ip)192.168.20.11 -----(nodeA的备用ip)192.168.10.12 -----(nodeB的启动ip)192.168.20.12 -----(nodeB的备用ip)编写/USR/ES/SBIN/CLUSTER/NETMON.CF文件(nodeA 和nodeB上各添加自己的启动ip和备用ip)nodeA上添加:192.168.10.11192.168.20.11nodeB上添加:192.168.10.12192.168.20.12 -------这个备注一般不需要执行,在好多HA的配置里都没有看到,但估计配置了对解决NETMON.CF错误有用)五、配置HACMP(注:本节内容如无特殊注名全部在A机操作)1.创建集群组在终端窗口输入smitty hacmp命令选择Extended Configuration选择Extended Topology Configuration选择Configure an HACMP Cluster选择Add/Change/Show an HACMP Cluster添入要创建的集群组添加成功2.为群集添加节点在终端窗口输入smitty hacmp命令选择Extended Configuration选择Extended Topology Configuration选择Configure HACMP Nodes选择Add a Node to the HACMP Cluster 为创建好的集群组创建节点添加boot ip同上添加B节点3.为集群添加网络执行完毕后,退回Extended Configuration菜单,选择Discover HACMP-related Information from Configured Nodes执行完毕后,退回Extended Configuration菜单,选择Extended Topology Configuration选择Configure HACMP Networks选择Add a Network to the HACMP Cluster(注:的是Enable IP Address Takeover via IP Aliases [Yes] 此选项决定了HACMP的service IP切换方式,只有“boot”、“standby”、“service”三个IP分别为三个不同网段时必须选用IP Aliases方式。