2013年12月
目录
1.项目介绍 (4)
1.1VPLEX架构图 (4)
1.2本项目设备配置 (4)
2.存储规划 (5)
2.1规划目标 (5)
2.2VPLEX端口的使用 (5)
3.SAN网络规划 (6)
3.1现有拓扑示意图 (6)
3.2VPLEX实施拓扑示意图 (7)
3.3设备IP规划 (8)
3.4Z ONE规划 (8)
4.VPLEX WITNESS实施规划 (10)
5.版本控制 (11)
5.1ODM版本的要求 (11)
5.2P OWER HA版本的要求 (11)
5.3P OWERPA TH版本的要求 (12)
6.与数据迁移相关的VPLEX配置 (13)
6.1应用系统数据迁移方式论述 (13)
6.1.1 主机层面的迁移 (13)
6.1.2 存储层面的迁移 (13)
6.2应用系统数据迁移实施步骤简述 (13)
6.2.1 主机层面在线数据迁移方式实施步骤简述 (13)
6.2.2 VPLEX层面的离线数据转移方式实施步骤简述 (14)
6.2.3 应用系统从VPLEX-Metro回退到DS4800存储系统实施步骤简述 (15)
7.VPLEX METRO实施步骤 (15)
7.1VPLEX前期准备 (15)
7.1.1 system volumes (15)
7.1.2 meta data volumes (15)
7.1.3 logging volumes (16)
7.2S WITCH ZONING (17)
7.3B ACKEND STORAGE PROVISIONQ (17)
7.4VPLEX INITIAL SETUP (18)
7.4.1 Config ip address and hostname of VPLEX (18)
7.4.1.1 Connect to management server (18)
7.4.1.2 entering the VPLEXCLI (18)
7.4.1.3 set the management server ip address (18)
7.4.1.4 change the hostname of VPLEX (18)
7.4.1.5 check software version (19)
7.4.2 use EZ-setup to initialize the VPLEX1 (19)
7.4.2.1 Start EZ-setup (19)
7.4.2.2 Configure the first cluster (19)
7.4.2.3 Chose the local authentication (19)
7.4.2.4 Configure event notification (19)
7.4.2.5 Configure send system report to EMC (20)
7.4.2.6 Configure performance statistics collector (20)
7.4.2.7 Generate the certificate (20)
7.4.2.8 Backend storage discovery (21)
7.4.2.9 create meta-data volume (21)
7.4.2.10 verify if meta-data volume is successfully created (22)
7.4.2.11 create meta-data volume backups (22)
7.4.2.12 enable FE port (22)
7.4.3 use EZ-setup to initialize the VPLEX2 (22)
7.4.3.1 Connect to VPLEX2 (22)
7.4.3.2 Sychronize the time on the clusters (22)
7.4.3.3 Start EZ-setup on cluster2 (23)
7.4.3.4 Configure the Meta-data volume and backup of VPLEX2 (23)
7.4.3.5 Complete configuration of cluster1 (23)
7.4.3.6 Complete configuration of cluster2 (23)
7.4.4 Join the clusters (23)
7.4.5 Create logging volumes (24)
7.5C HECK THE CLUSTER HEALTH (25)
7.6VPLEX BACKEND STORAGE CONNECTIVITY VERIFY (25)
7.7C LAIM THE DA TA VOLUME (25)
8.设备的使用 (28)
8.1V PLEX的使用 (28)
9.系统测试 (29)
9.1V PLEX高可用测试 (29)
9.2数据库高可用测试 (30)
1.项目介绍
XXX灾备项目采用EMC VPLEX METRO解决方案，实现院区主机房和灾备机房容灾，结合实际情况本项目规划如下。
1.1VPLEX架构图
1.2本项目设备配置
本次规划的EMCVPLEX配置简要描述如下：
●1个处理器引擎两个控制器，8个8Gb的FC前端口，8个8Gb的FC后端口
●72GBCache
●VPLEX METRO 20TB
本次规划的EMC DS-300B SAN交换机配置简要描述如下：
●两台交换机，每台激活24个8Gb端口。
2.存储规划
2.1规划目标
HP 3PAR和IBM DS4800存储使用VPLEXMETRO架构，并且满足VPLEX METRO双活的解决方案规划如下。
2.2VPLEX端口的使用
本项目中vplex版本为vs2，每台vplex有1个引擎每个引擎有两个控制器。每台主机配置了2张双口HBA卡用于连接VPLEX，每张卡使用一个端口，VPLEX的后端口用于连接HP 3PAR 和IBM DS4800。所有VPLEX端口的使用如下表所示：
命名规则
VPLEX的端口命名规则：E1D0F0代表引擎1的director A的A0模块的第0口
HP 3PAR的端口命名规则：3PAR_A_F0代表控制器A的FC第0口
Zone的命名规则：VPLEXA_E1B2F2_3PAR_A_F0代表VPLEXA的引擎1的director B的B2模块的2口到3PAR控制器A的第0光纤口的zone
注：此图为一台VPLEX的端口连接图。
3.S AN网络规划
本项目使用主机房的SAN交换机及新增的两台DS-300B SAN交换机，vplex到一台交换机需要至少4个FE，4个BE，4个Wan com，每台存储至少需要4个端口。如情况允许，建议在生产机房搭建同机房的vplex metro环境，便于下一步的数据迁移。
在数据迁移完成后，灾备机房环境准备好后，把vplex metro的cluster-2和DS4800搬运到灾备机房。此时生产机房和灾备机房vplex metro正常运行，不影响原有系统的运行。
3.1现有拓扑示意图
3.2VPLEX实施拓扑示意图
Vplex在生产中心运行
灾备中心准备好后vplex在生产中心和灾备中心运行
注：线只代表路径，不代表实际数量。
3.3设备IP规划
注：IP需求由客户工程师规划
3.4Zone规划
生产中心VPLEX与第一路SAN交换机端口的连接
生产中心VPLEX与第二路SAN交换机端口的连接
灾备中心VPLEX与第一路SAN交换机端口的连接
灾备中心VPLEX与第二路SAN交换机端口的连接
4.V PLEX Witness实施规划
VPLEX Witness是对VPLEX集群和集群间链路故障的仲裁判断和管理机制。如果认可VPLEX 故障概率大大低于DWDM链路，可以考虑不使用仲裁机Witness。代价是如果生产VPLEX不可用，需要手工激活容灾VPLEX并重启生产端业务。
如有VPLEX Witness，则对生产端VPLEX的故障有更完善的容灾处理机制，此情况下无需手工重新激活灾备端VPLEX，业务可无缝继续维持运行。
若实施VPLEX Witness，需要以下需求：
?冗余的DWDM链路
?Witness安装在区别于生产和灾备的第三机房
?Witness和Vplex通讯，使用区别于DWDM的IP链路
?需要安装在VMware FT上面
同时，建议增加一条容灾链路（与目前链路不同的运营商提供），保证整个双活架构的稳定性，避免意外停机的风险。并且Witness安装环境达到最佳实践要求。
5.版本控制
5.1ODM版本的要求
5.2PowerHA版本的要求
5.3Powerpath版本的要求
6.与数据迁移相关的VPLEX配置
6.1应用系统数据迁移方式论述
应用系统从传统的存储系统迁移到VPLEX环境下，有两种方式可以考虑，第一种迁移方式为主机层面的数据迁移方式，第二种迁移方式为VPLEX层面的数据转移方式。
6.1.1主机层面的迁移
主机层面的在线数据迁移方式通常采用LVM Mirror作为数据迁移手段，将应用系统不中断（在线）地从传统存储系统上迁移到VPLEX环境中，但是VPLEX环境需要有足够的存储空间，迁移步骤简述如下：
1)VPLEX分配存储空间给主机
2)主机通过LVM Mirror方式将数据从传统的存储系统上同步到VPLEX的存储空间上
3)主机释放传统的存储系统空间
6.1.2存储层面的迁移
VPLEX层面的离线数据转移方式将应用系统从传统的存储系统上转移到VPLEX环境中，在转移期间，应用系统需要停止运行，迁移步骤简述如下：
1)应用系统停止运行
2)存储系统回收应用系统使用的存储空间，然后将其分配给VPLEX
3)VPLEX将存储空间进行“封装”后创建分布式LUN分配给主机
4)恢复应用系统的运行
6.2应用系统数据迁移实施步骤简述
6.2.1主机层面在线数据迁移方式实施步骤简述
1)在主机上，安装支持VPLEX的EMC ODM软件
2)在SAN Switch上，增加主机与VPLEX前端端口之间的ZONE
3)在VPLEX上，将磁盘设备分配给主机
4)在主机上，识别VPLEX的磁盘设备，并将其加入到相应的VG中
5)在主机上，通过LVM Mirror将数据迁移到VPLEX使用的磁盘空间上
6)在主机上，将DS4800的磁盘设备从VG中分离出来
7)在unisphere上，回收主机释放出来的磁盘设备
8)（可选）在SAN Switch上，删除主机与DS4800前端端口之间的ZONE
9)在unisphere上DS4800将回收的磁盘空间分配给VPLEX
10)在VPLEX上，将DS4800的磁盘设备“封装”成VPLEX的磁盘设备
安装支持VPLEX的EMC ODM软件
# uncompress EMC.AIX.5.3.0.5.tar.Z
# tar -xvf EMC.AIX.5.3.0.5.tar
# installp -ac -gX -d . EMC.Invista.aix.rte
# installp -ac -gX -d . EMC.Invista.fcp.rte
# installp -ac -gX -d . EMC.Symmetrix.aix.rte ；如果已经安装，则忽略
# installp -ac -gX -d . EMC.Symmetrix.fcp.rte ；如果已经安装，则忽略
安装EMC PowerPath软件
如果主机没有安装PowerPath软件，请参照“PowerPath for AIX Installation and Administration Guide.pdf”，安装和配置PowerPath软件。
SAN Switch上增加主机与VPLEX前端端口之间的ZONE
在SAN Switch上，创建主机HBA与VPLEX前端端口之间的ZONE。
VPLEX分配磁盘空间给主机
根据应用系统所使用的磁盘设备的数量和大小，在VPLEX上创建相应数量和大小的Distributed Device （由来自于HP 3PAR和DS4800的磁盘设备组合成RAID 1类型），并且创建包含这些Distributed Device的Consistency Group，然后分配给主机。
主机识别和配置VPLEX磁盘设备
1)运行“/usr/lpp/EMC/INVISTA/bin/emc_cfgmgr–v”命令，识别和配置VPLEX磁盘设备
2)确认已经正确识别和配置VPLEX磁盘设备
# lsdev -Cc disk
...
hdisk2 Available 2V-08-01 EMC INVISTA FCP Disk
hdisk3 Available 2K-08-01 EMC INVISTA FCP Disk
3)运行“powermtconfig”命令，配置PowerPath设备，并且确认VPLEX磁盘设备的policy是Adaptive
在主机上通过LVM Mirror将数据同步到VPLEX磁盘设备上
系统管理员通过LVM Mirror，将数据同步到VPLEX磁盘设备上
在主机上将旧的磁盘设备清除，保留VPLEX磁盘设备
系统管理员将旧的存储系统磁盘设备清除，保留VPLEX磁盘设备
回收旧的磁盘设备
在unisphere上，回收之前分配给主机使用的DS4800的磁盘设备，然后重新分配给VPLEX。
6.2.2VPLEX层面的离线数据转移方式实施步骤简述
在VPLEX环境中，对后端存储系统的磁盘设备采用整盘封装的方式下，可以将应用系统完整的迁移到VPLEX环境中。
1)在主机上，停止应用系统的运行
2)在主机上，删除相应的后端存储系统的磁盘设备
3)在主机上，安装支持VPLEX的EMC ODM软件
4)在后端存储系统上，取消主机对磁盘设备的访问
5)（可选）在SAN Switch上，删除主机HBA与后端存储系统前端之间的ZONE
6)在SAN Switch上，增加VPLEX后端端口与后端存储系统前端之间的ZONE
7)在SAN Switch上，增加主机HBA与VPLEX前端端口之间的ZONE
8)在后端存储系统上，赋予VPLEX对磁盘设备的访问
9)在VPLEX上，对后端存储系统的磁盘设备进行整盘封装，以及增加镜像的操作
10)在VPLEX上，将封装后的VPLEX磁盘设备分配给主机
11)在主机上，识别和配置VPLEX的磁盘设备
12)在主机上，启动应用系统
6.2.3应用系统从VPLEX-Metro回退到DS4800存储系统实施步骤简述
在客户环境中，VPLEX对后端存储系统的磁盘设备采用整盘封装的方式，因此，应用系统可以回退到传统的直接访问后端存储系统的磁盘设备的工作方式。
1)主机删除相应的VPLEX的磁盘设备
2)VPLEX上删除相应的Storage View，取消主机对VPLEX磁盘设备的访问
3)（可选）在SAN Switch上删除主机HBA与VPLEX前端之间的ZONE
4)（可选）在SAN Switch上删除VPLEX后端与后端存储系统前端之间的ZONE
5)在后端存储系统上取消VPLEX对后端后端存储系统的磁盘设备的访问
6)在SAN Switch上增加主机HBA与后端存储系统前端之间的ZONE
7)在后端存储系统上分配磁盘设备给主机
8)主机识别后端存储系统的磁盘设备，启动应用系统
9)在VPLEX上，清除后端存储系统磁盘设备的配置信息
7.V PLEX Metro实施步骤
7.1VPLEX 前期准备
7.1.1system volumes
VPLEX的system volumes分为两种：metadata volumes 和logging volumes
7.1.2meta data volumes
meta data volumes里包含VPLEX cluster的系统配置信息，主要为：
●virtual-to-physical mapping information
●data about the devices and virtual volumes
system configuration settings
Meta data volume建议为Raid1或者Raid5保护的卷，其对I/O性能的要求不高。
每个VPLEX Metro cluster安装需要4个78GB的volume，分别用于meta-volume, mirrored copy of meta-volume, backups of meta-volume and mirrored-meta-volume.
7.1.3logging volumes
Loggging volume用于在inter-link断开时，记录Site之间的数据差异索引。建议logging volumes为10GB的volume，10GB的logging volume通常可以支持约320TB的分布式卷。
7.2Switch zoning
按照规划完成VPLEX backend zoning 7.3Backend storage provisionq
Register VPLEX BE port on HP3PAR
Assign volume to VPLEX
7.4VPLEX initial setup
7.4.1Configip address and hostname of VPLEX
7.4.1.1Connect to management server
connectEthernet cable to the service port of mgmt server. Config your NIC use DHCP, ip address will be assigned in the range 128.221.252.<23-30>
Default user/password :service/Mi@Dim7T
Service port IP: 128.221.252.2
SSH client: SecureCRT or PUTTY
7.4.1.2entering the VPLEXCLI
7.4.1.3set the management server ipaddress
7.4.1.4change the hostname of VPLEX
7.4.1.5check software version
7.4.2use EZ-setup to initialize the VPLEX1 7.4.2.1Start EZ-setup
7.4.2.2Configure the first cluster
7.4.2.3Chose the local authentication
7.4.2.4Configure event notification
7.4.2.5Configure send system report to EMC
7.4.2.6Configure performance statistics collector
7.4.2.7Generate the certificate