发表于: 2007-1-7 21:05 [引用] [投诉] [快速回复]
--------------------------------------------------------------------------------
前段时间做了一个RAC双机，现自己做个总结，献给CU上的XDJM。
一：系统安装
二：盘阵识别
2.1配置StorEdge3510
2.2 识别盘阵
三：Cluster 软件安装
3.1 Sun Cluster环境配置
3.2 Sun Cluster软件安装
四：Scintall 配置
4.1 网络接口配置
4.2 节点配置
五：IPMP配置
六：agent 安装及服务注册
6.1 安装agent软件
6.2 注册服务类型
6.3 注册资源
七：磁盘资源配置
八：常见故障排错及维护
8.1 磁盘资源维护
8.2 Sun cluster 维护
一：系统安装
系统安装没有什么好说的，安装系统的时候分区要注意下，一定要有一个globaldevices分区和一个metadb分区。（注意globaldevices这个单词的拼写，不然在配置scintall时，选择”典型安装”的时候会出现找不到globaldevices分区的情况。）理论上globaldevices需要512MB，metadb 100MB即可。系统安装好之后，安装最新的EIS补丁。两个节点的分区最好一致，避免出现不可预料的情况。
节点 NodeA NodeB
主机名 V490-1 V490-2
网卡名 Ce0 Ce0
IP 192.168.1.1/24 192.168.1.2/24
主机节点与磁盘阵列以及网卡之间的连线图如下图所示：
注：为了行文方便，本文中两个节点分别命名为v490-1、v490-2
二：盘阵识别
2.1配置StorEdge3510
在本文中，StorEdge3510共有七块300g FC硬盘，其中6个硬盘做RAID5，剩下的一个做hot spare盘。由于sun cluster需要一个quorum盘，RAC Oracle需使用raw做文件系统，所以划分了三个partion。Quorum分区1024MB即可。另两个分区大小不要大于650G（注意：solaris10 最大只支持650g的raw分区。判断有没有超出系统识别范围，运行format命令看共享盘阵有没有slice8。如有slice8就表明这个分区太大了。切记！！！）。
2.2 识别盘阵
Solaris10 默认已经对SAN支持很好了，不需跟solaris9一样，安装杂七杂八的补丁。运行cfgadm –al 可以看见系统已经注册了控制器，只需启用多路径mpxio即可。
Code
root@v490-1 # reboot -- -r //让系统重新扫描硬件设备
root@v490-1 # ls -l /dev/fc //查看HBA卡信息。三块hba卡分别在pci2,3,4上 total 8 lrwxrwxrwx 1 root root 51 Dec 21 19:57 fp0 -> ../../devices/pci@8,700000/SUNW,qlc@2/fp@0,0:devctl lrwxrwxrwx 1 root root 51 Dec 21 19:57 fp1 -> ../../devices/pci@8,700000/SUNW,qlc@3/fp@0,0:devctl
lrwxrwxrwx 1 root root 51 Dec 21 19:57 fp2 -> ../../devices/pci@8,700000/SUNW,qlc@4/fp@0,0:devctl
lrwxrwxrwx 1 root r
oot 51 Dec 21 19:57 fp3 -> ../../devices/pci@9,600000/SUNW,qlc@2/fp@0,0:devctl
root@v490-1#vi /kernel/drv/fp.conf //添加如下语句。
name="fp" parent="/pci@8,700000/SUNW,qlc@2" port=0 mpxio-disable="no"; name="fp" parent="/pci@8,700000/SUNW,qlc@3" port=0 mpxio-disable="no"; name="fp" parent="/pci@8,700000/SUNW,qlc@4" port=0 mpxio-disable="no";
//表明在HBA卡接口上启用mpxio，而不是全局启用。跟solaris9 不同
root@v490-1# stmsboot –u
WARNING: This operation will require a reboot.
Do you want to continue ? [y/n] (default: y) y
The changes will come into effect after rebooting the system.
Reboot the system now ? [y/n] (default: y) y
root@v490-1# format // 可以看见盘阵已经变成multipath-devices
注：在本节中，若无特别说明，以上步骤两个节点均需运行
三：Cluster 软件安装
3.1 Sun Cluster环境配置
Code:
root@v490-1 # vi .rhosts //两个节点通讯用
+
root@v490-1 # vi /etc/defaultrouter //默认网关
192.168.1.254
3.2 Sun Cluster软件安装
双机软件采用sun公司的sun cluster3.1 ，此软件已经集成到JES（Java Enterprise System）软件包中。
Code:
root@v490-1 # /cdrom/cdrom/Solaris_sparc/ installer
选择“sun cluster 3.1u4”
根据提示按“next”即可完成安装
Sun cluster软件默认安装在/usr/cluster目录中。软件安装完毕之后，也需要打补丁。不过sun cluster安装完毕之后，系统默认已经启动服务，安装补丁之前需停用sun cluster服务。
Code
root@v490-2 #reboot -- -x //重启之后不进入sun cluster环境
root@v490-1 #cd /cdrom/cdrom0/sun/patch/SunCluster/3.x/3.1/10
root@v490-1 # unpack-patches
root@v490-1 # cd /tmp/san/9 ;./install_all_patches
root@v490-1 #reboot -- -r //安装补丁之后重启
注：在本节中，若无特别说明，以上步骤两个节点均需运行
发表于: 2007-1-7 21:12 主题： [引用] [投诉] [快速回复]
--------------------------------------------------------------------------------
四：Scintall 配置
4.1 网络接口配置
系统安装的过程中，只打开了ce0网卡接口，其它网卡接口默认没有打开。在本例中，需使用的网卡接口有ce0、ce1、ce4、ce5。执行以下命令启用网卡接口
Code
root@v490-1 # ifconfig ce1 plumb //两个节点都需执行
root@v490-1 # ifconfig ce4 plumb
root@v490-1 # ifconfig ce5 plumb
root@v490-1 # vi /etc/hosts //在v490-1添加如下内容
192.168.1.2 v490-2
192.168.1.3 v490-1-ce4
root@v490-1 # vi /etc/hostname.ce4 //启用ce4
v490-1-ce4
root@v490-2 # vi /etc/hosts //在v490-2添加如下内容
192.168.1.1 v490-1
192.168.1.4 v490-2-ce4
root@v490-2 # vi /etc/hostname.ce4 //启用ce4
v490-2-ce4
4.2 节点配置
配置主节点v490-1
Code
root@v490-1 #scinsta
ll
1) Install a cluster or cluster node
2) Install just this machine as the first node of a new cluster
3) This option is used to establish a new cluster using this machine as the first node in that cluster.
Do you want to continue (yes/no) [yes]? Yes
4) >>> Type of Installation <<<
Typical
5) What is the name of the cluster you want to establish? rsgs-cluster
6) Do you want to run sccheck (yes/no) [yes]? No
7) Node name (Control-D to finish): v490-2
This is the complete list of nodes:
v490-1
v490-2
8) Select the first cluster transport adapter: ce1
9) Select the second cluster transport adapter: ce5
10) Do you want to disable automatic quorum device selection (yes/no) [no]? yes
11) Do you want scinstall to reboot for you (yes/no) [yes]?
配置次节点v490-2
Code
root@v490-2 #scinstall
1) Install a cluster or cluster node
2) Add this machine as a node in an existing cluster
3) *** Adding a Node to an Existing Cluster ***
Do you want to continue (yes/no) [yes]?
4) >>> Type of Installation <<<
Typical
5) What is the name of the sponsoring node? v490-1
6) What is the name of the cluster you want to join? rsgs-cluster
7) Do you want to run sccheck (yes/no) [yes]?
8) >>> Autodiscovery of Cluster Transport <<<
Do you want to use autodiscovery (yes/no) [yes]?
9) Do you want scinstall to reboot for you (yes/no) [yes]?
五：IPMP配置
Code
root@v490-1 #vi /etc/hosts
192.168.1.1 v490-1 loghost
192.168.1.2 v490-2
192.168.1.5 v490-1-ce0-float
192.168.1.3 v490-1-ce4
192.168.1.6 v490-1-ce4-float
root@v490-1 #vi /etc/ hostname.ce0
v490-1 netmask + broadcast + group sc_ipmp0 up
addif v490-1-ce0-float netmask + broadcast + deprecated -failover up
root@v490-1 #vi /etc/ hostname.ce4
v490-1-ce4 netmask + broadcast + group sc_ipmp0 up
addif v490-1-ce4-float netmask + broadcast + deprecated -failover up
root@v490-2 #vi /etc/hosts
192.168.1.1 v490-1
192.168.1.3 v490-2 loghost
192.168.1.7 v490-2-ce0-float
192.168.1.4 v490-2-ce4
192.168.1.8 v490-2-ce4-float
root@v490-2 #vi /etc/ hostname.ce0
v490-2 netmask + broadcast + group sc_ipmp0 up
addif v490-2-ce0-float netmask + broadcast + deprecated -failover up
root@v490-2 #vi /etc/ hostname.ce4
v490-2-ce4 netmask + broadcast + group sc_ipmp0 up
addif v490-2-ce4-float netmask + broadcast + deprecated -failover up
root@v490-2 #scstat -i
-- IPMP Groups --
Node Name Group Status Adapter Status
IPMP Group: v490-1 sc_ipmp0 Online ce4 Online
IPMP Group: v490-1 sc_ipmp0 Online ce0 Online
IPMP Group: v490-2 sc_ipmp0 Online ce4 Online
IPMP Group: v490-2 sc_ipmp0 Online ce0 Online
发表于: 2007-1-7 21:17 主题：
[引用] [投诉] [快速回复]
--------------------------------------------------------------------------------
六：agent 安装及服务注册
sun cluster通过agent注册服务来达到管理各种服务的目的。要注册服务需安装sun cluster agent。
6.1 安装agent软件
Code
root@v490-1 # cd /cdrom/cdrom0/components/
安装/cdrom/cdrom0/components/目录下如下几个软件包：
SunCluster_Oracle_RAC_SVM_3.1
SunCluster_Oracle_RAC_FRAMEWORK_3.1
SunCluster_Oracle_RAC_HWRAID_3.1
以上软件包为ORACLE for RAC数据库使用的服务包,下面以安装SunCluster_Oracle_RAC_FRAMEWORK_3.1为例。
root@v490-1#cd components/SunCluster_Oracle_RAC_FRAMEWORK_3.1/Solaris_10/Packages
root@v490-1#pkgadd –d .
The following packages are available:
1 SUNWcscor Simplified Chinese Sun Cluster HA Oracle data service
(sparc) 3.1.0,REV=2005.05.20.16.28
2 SUNWjscor Japanese Sun Cluster HA Oracle data service
(sparc) 3.1.0,REV=2005.05.20.16.35
3 SUNWscor Sun Cluster HA Oracle data service
(sparc) 3.1.0,REV=2005.07.18.10.43
4 SUNWscucm Sun Cluster UCMM reconfiguration interface
(sparc) 3.1.0,REV=2005.07.18.14.37
5 SUNWudlm Sun Cluster support for Oracle OPS/RAC UDLM, (opt)
(sparc) 3.1.0,REV=2005.07.18.14.37
6 SUNWudlmr Sun Cluster support for Oracle OPS/RAC UDLM, (root)
(sparc) 3.1.0,REV=2005.07.18.14.37
Select package(s) you wish to process (or 'all' to process
all packages). (default: all) [?,??,q]:
根据提示操作即可安装此软件包
注：在本节中，若无特别说明，以上步骤两个节点均需运行
6.2 注册服务类型
Code
root@v490-1# scrgadm -a -t SUNW.rac_framework
//RAC 框架服务
root@v490-1# scrgadm -a -t SUNW.rac_udlm
//RAC 文件锁服务
root@v490-1# scrgadm -a -t SUNW.rac_svm
//文件系统服务
root@v490-1# scrgadm –pvv
//查看已经注册的服务
注：服务注册在任意一个节点操作即可
6.3 注册资源
Sun cluster资源切换的最小单元是资源组
Code
root@v490-1# scrgadm -a -g rg-groupA
root@v490-1# scrgadm -a -g rg-groupA -y maximum_primaries=2 -y desired_primaries=2 -y nodelist=v490-1,v490-2
root@v490-1# scrgadm -a -j rac-framework-rs -g rg-groupA -t SUNW.rac_framework
root@v490-1# scrgadm -a -j rac-udlm-rs -g rg-groupA -t SUNW.rac_udlm -y resource_dependencies=rac-framework-rs -x port=7000
root@v490-1# scrgadm -a -j rac-svm-rs -g rg-groupA -t SUNW.rac_svm -y resource_dependencies=rac-framework-rs
root@v490-1# scswitch -Z -g rg-groupA
//启动资源组
注：资源注册在任意一个节点操作即可
七：磁盘资源配置
在每个
节点上创建metadb库，用来存储metadevices 设备信息。
Code
root@v490-1# metadb –a –f –c 3 c0t0d0s6
//创建metadb库
root@v490-1#metadb
//查看metadb库信息
创建多属主磁盘集。
Code
root@v490-1# metaset -s ora_data -M -a -h v490-1 v490-2
//创建多属主磁盘集ora_data
root@v490-1#scdidadm –L
//查看共享磁盘设备(3510)的全局设备号（did）。D6 为quorum盘。D4、d5 为RAW设备
1 v490-2:/dev/rdsk/c0t0d0 /dev/did/rdsk/d1
2 v490-2:/dev/rdsk/c1t1d0 /dev/did/rdsk/d2
3 v490-2:/dev/rdsk/c1t0d0 /dev/did/rdsk/d3
4 v490-1:/dev/rdsk/c5t600C0FF0000000000A7ED9783CCF4803d0 /dev/did/rdsk/d4
4 v490-2:/dev/rdsk/c5t600C0FF0000000000A7ED9783CCF4803d0 /dev/did/rdsk/d4
5 v490-1:/dev/rdsk/c5t600C0FF0000000000A7ED9783CCF4802d0 /dev/did/rdsk/d5
5 v490-2:/dev/rdsk/c5t600C0FF0000000000A7ED9783CCF4802d0 /dev/did/rdsk/d5
6 v490-1:/dev/rdsk/c5t600C0FF0000000000A7ED9783CCF4800d0 /dev/did/rdsk/d6
6 v490-2:/dev/rdsk/c5t600C0FF0000000000A7ED9783CCF4800d0 /dev/did/rdsk/d6
7 v490-1:/dev/rdsk/c1t1d0 /dev/did/rdsk/d7
8 v490-1:/dev/rdsk/c1t0d0 /dev/did/rdsk/d8
9 v490-1:/dev/rdsk/c0t0d0 /dev/did/rdsk/d9
root@v490-1# metaset –s ora_data –a /dev/did/dsk/d4
root@v490-1# metaset –s ora_data –a /dev/did/dsk/d5
//将共享磁盘d4，d5 添加到磁盘集ora_data中
root@v490-1 # metaset - s ora_data
//查看磁盘集ora_data属性
Multi-owner Set name = ora_data, Set number = 1, Master = v490-1
Host Owner Member
v490-1 multi-owner Yes
v490-2 multi-owner Yes
Driv Dbase
d4 Yes
d5 Yes
注：创建磁盘集在任意一个节点操作即可
创建软分区--oracle for RAC使用的RAW分区
Code
root@v490-1 #scstat –D //查看sun cluster中磁盘集ora_data状态
-- Multi-owner Device Groups -- Device Group Online Status ------------ ------------- Multi-owner device group: ora_data v490-1,v490-2
root@v490-1 # metainit –s ora_data d55 1 1 /dev/did/dsk/d4
root@v490-1 # metainit –s ora_data d56 1 1 /dev/did/dsk/d5
//初始化d4、d5为metadevices
root@v490-1 # metainit –s ora_data d35 –p d55 10g
//在d55中创建软分区d35
root@v490-1 # metainit –s ora_data d36 –p d55 10g
。。。。。。（省略）
root@v490-1 # metainit –s ora_data d64 –p d55 500m
root@v490-1 # metastat -s ora_data
//查看磁盘集ora_data状态
ora_data/d55: Concat/Stripe
Size: 1258308416 blocks (600 GB)
Stripe 0:
Device Start Block Db
ase State Reloc Hot Spare
d4s0 0 No Okay No
ora_data/d56: Concat/Stripe
Size: 1426067456 blocks (680 GB)
Stripe 0:
Device Start Block Dbase Reloc
d5s0 0 No No
ora_data/d36: Soft Partition
Device: ora_data/d55
State: Okay
Size: 20971520 blocks (10 GB)
Extent Start Block Block count
0 24092800 20971520
ora_data/d35: Soft Partition
Device: ora_data/d55
State: Okay
Size: 20971520 blocks (10 GB)
Extent Start Block Block count
0 3121248 20971520
。。。。。。（省略）
Device Relocation Information:
Device Reloc Device ID
d5 No -
d4 No -
注：创建软分区在任意一个节点操作即可
为oracle for RAC使用的RAW创建软连接
Code
root@v490-1 # mkdir –p /export/home/oracle/datafiles
root@v490-1 #chown –R oracle:dba /export/home/oracle/datafiles
root@v490-1 #chmod –R 755 /export/home/oracle/datafiles
//创建RAW软连接使用的目录
root@v490-1 #ln -s /dev/md/ora_data/rdsk/d35 /export/home/oracle/datafiles/system01_10g
//创建system表空间
root@v490-1 #ln -s /dev/md/ora_data/rdsk/d36 /export/home/oracle/datafiles/sysaux01_10g
//创建sysaux表空间
。。。。。。（省略）
root@v490-1 # chown –R oracle:dba dev/md/ora_data/rdsk
root@v490-1 # chmod –R 755 dev/md/ora_data/rdsk
root@v490-1 # ls -l
//可以看出此处时一个软连接，这个地方做工程的时候没有做笔记。具体的连接目录忘了 ，是 /devices/目录下的，一定要修改此目录下的owner 为oracle:dba
注：在本节中，若无特别说明，以上步骤两个节点均需运行
创建oracle for RAC 安装环境-- raw_config.conf
Code
root@v490-1 # su - oracle
root@v490-1 #vi raw_config.conf
system=/export/home/oracle/datafiles/system01_10g
sysaux=/export/home/oracle/datafiles/sysaux01_10g
example=/export/home/oracle/datafiles/example01_500m
users=/export/home/oracle/datafiles/user01_500m
temp=/export/home/oracle/datafiles/temp01_10g
undotbs1=/export/home/oracle/datafiles/undotbs1_10g
undotbs2=/export/home/oracle/datafiles/undotbs2_10g
redo1_1=/export/home/oracle/datafiles/redo11_500m
redo1_2=/export/home/oracle/datafiles/redo12_500m
redo1_3=/export/home/oracle/datafiles/redo13_500m
/export/home/oracle/datafiles/redo14_500m
/export/home/oracle/datafiles/redo15_500m
/export/home/oracle/datafiles/redo16_500m
redo2_1=/export/home/oracle/datafiles/redo21_500m
redo2_2=/export/home/oracle/datafiles/redo22_500m
redo2_3=/export/home/oracle/datafiles/redo23_500m
/export/home/oracle/datafiles/redo24_500m
/export/home/oracle/datafi
les/redo25_500m
/export/home/oracle/datafiles/redo26_500m
control1=/export/home/oracle/datafiles/ctl1_500m
control2=/export/home/oracle/datafiles/ctl2_500m
control3=/export/home/oracle/datafiles/ctl3_500m
spfile=/export/home/oracle/datafiles/spfile_500m
/export/home/oracle/datafiles/ocr_500m
/export/home/oracle/datafiles/vote_500m
注：在本节中，若无特别说明，以上步骤两个节点均需运行
八：常见故障排错及维护
8.1 磁盘资源维护
Code
root@v490-1 #metaset –s ora_data
//查看磁盘集信息
root@v490-1 # metaset -s ora_data -d –f /dev/did/rdsk/d5
//删除磁盘集ora_data中的磁盘资源d5
root@v490-1 # metaset -s ora_data -a /dev/did/rdsk/d5
//添加磁盘d5资源到磁盘集ora_data中
root@v490-1 # metaset -s ora_data -d -f -h v490-2
//删除磁盘集ora_data中的节点主机v490-2
root@v490-1 # metaset -s ora_data -a –M -h v490-2
//添加节点主机v490-2到磁盘集ora_data中
root@v490-1 # scswitch -z -D ora_data -h v490-2
//切换磁盘集到节点v490-2
root@v490-1 # metastat -s ora_data
//查看metadevices信息
root@v490-1 # metastat –s ora_data d36
//查看软分区详细信息
root@v490-1 # metainit –s ora_data d36 –p d55 10g
//创建软分区
root@v490-1 # metaclear –s ora_data –r d36
//删除软分区
root@v490-1 # metaclear –s ora_data -p d55
//删除metadevices（d55）下的所有软分区（慎用）
FAQ 1 ：创建多属主磁盘集失败
root@v490-2 # metaset -s ora_data -M -a -h v490-1 v490-2
metaset: v490-2: ora_data: node v490-1 is not in membership list
原因：没有注册SUNW.rac_svm服务所致
解决方法：1：注册服务
root@v490-2 # scrgadm -a -t SUNW.rac_svm
2：在每个节点上编辑/var/run/nodelist文件
root@v490-2 #vi /var/run/nodelist
1 v490-1 192.168.1.1
2 v490-2 192.168.1.2
FAQ 2 ：启用多路径之后，系统即进入单用户模式
原因：solaris10在全局启用mpxio之后，会修改本地磁盘的namespces,系统启动时读取分区表文件(/etc/vfstab)，就会出现找不到磁盘。
解决方法：进入系统维护模式，恢复/etc/vfstab文件，在系统中针对HBA卡端口启用mpxio即可
8.2 Sun cluster 维护
Code
root@v490-1 #scstat [-q | -D | -g | -i]
//scstat 查看双机状态（全部信息）
//-q 查看quorum信息
//-D 查看diskset 信息
//-g 查看资源组信息
// -I 查看ipmp信息
root@v490-1 # scswitch –Z –g rg-groupA
//启动资源组。注册资源之后使用
root@v490-1 # scs
witch -z –g rg-groupA -h v490-2
//切换资源组rg-groupA到主机v490-2
root@v490-1 # scswitch -e -j rac-svm-rs
//启动资源，常用在注册资源之后
root@v490-1 # scswitch -r -j rac-svm-rs
//删除资源rac-svm-rs
root@v490-1 # scswitch -n -j rac-svm-rs
//关闭资源rac-svm-rs（不推荐使用）
root@v490-1 #scshutdown –g0 –y
//关闭cluster（不推荐使用）
FAQ 1 ：系统启动报错。提示“
Could not stat: /dev/rdsk/../../devices/scsi_vhci/ssd@g600c0ff0000000000a7ed9119d393800:h,raw path not loaded.No such file or directory“
原因： quorum盘和数据盘共用一个磁盘分区（相对磁盘阵列）
解决方法：在磁盘阵列中划分最少两个分区