朝阳教育城域网应用虚拟化建设项目
深化设计方案
承建单位：北京北控电信通科技发展有限公司
地址：北京市海淀区花园路13号院网商世纪商务楼3层电话：010-********
日期：二零零九年九月
目录
第一章设计方案 (3)
1.1 项目概述 (3)
1.2 设计目标 (3)
1.3 设计原则 (3)
1.4 总体方案设计概述 (5)
第二章各子系统详细设计方案 (8)
2.1. 服务器系统的深化设计方案 (8)
2.1.1. IBM设备的升级 (8)
2.1.2. HP服务器的规划设计 (13)
2.1.3. HP服务器安装位置图 (13)
2.1.4. 刀片服务器结构示意图 (15)
2.2. 存储系统扩容实施计划 (16)
2.2.1. 扩容硬件安装 (19)
2.2.2. 新增DAE识别 (22)
2.2.3. 新增光纤交换机接入SAN (22)
2.2.4. 新增存储空间划分 (29)
2.2.5. 主机连接存储 (33)
2.2.6. 新增存储空间的管理 (33)
2.2.7. 存储升级规划 (34)
2.2.8. CX4-480扩容步骤 (37)
2.3. 虚拟机系统的深化设计方案 (39)
2.3.1. ESX3.5升级方案 (39)
2.3.2. 新服务器部署深化设计方案 (41)
2.4. 接入网络系统的深化设计 (49)
2.4.1. 以太网10Gbps平滑接入 (49)
2.4.2. 防火墙配置策略 (50)
第三章培训深化方案 (51)
3.1 VMWARE培训 (51)
3.1.1 培训目标 (51)
3.1.2 培训对象 (51)
3.1.3 培训规划 (51)
3.1.4 VMware培训目录 (52)
3.1.5 服务器及存储设备设备原厂操作培训 (54)
第一章设计方案
1.1 项目概述
在朝阳区教委VMware服务器虚拟化项目实施过程中,细化实现步骤,以及使朝阳区教委相关项目人员对实际安装、操作、维护 VMware 虚拟基础架构软件有所了解。
1.2 设计目标
本方案设计目标，可以归纳为如下五点：
1、采用最成熟和完善的虚拟化技术，不片面追求性能和价格，以基础
架构的高可用性和可靠性为重；
2、应用业务数据集中存储、集中备份，使用专业的数据备份恢复软件，
为随时可能出现的灾难做好数据恢复准备；
3、数据库服务器建议使用成熟稳定的高性能服务器，并做好双机实现
的准备；
4、搭建虚拟架构的服务器使用较大的内存和多核处理器；
5、成本控制方面，建议选择易于扩展的虚拟架构，做好按需扩展的准
备；
1.3 设计原则
对于整个系统的构建，我们的理念是希望设计成一个具备以下特点的系统： 先进性
方案中的各个部分应推荐符合当代信息技术发展形势，既体现先进技
术又比较成熟，并且是各个领域公认的领先产品。系统方案应满足未
来各种应用系统对存储备份中心的要求，提供统一平台的服务；对平
台软件选择必须具备先进性，以及提供针对各种已有数据源的接口支
持。
高度可用
随着未来更多系统的广泛使用，存储备份中心需要提供更高级别的稳定服务，并具备当异常或灾难发生时的快速恢复机制。系统稳定性和可靠性直接关系到网管系统应用能否正常运行。因此在系统设计中，高可靠性至关重要。
高度可扩展
整个数据中心系统应当具备极强的灵活性。为了适应整个应用的未来变化，现在搭建的IT基础架构。必须具备高可扩展性和灵活的资源调配。包括虚拟计算资源、协同计算、虚拟存储池、数据生命周期管理、数据归档、存储系统管理、系统容灾等一系列的技术实现方式，为适应未来应用开发和扩展，奠定坚实的基础。
完善的数据保护机制
通过信息生命周期战略，将数据进行分层存储和保护，可以将特别重要的数据存储在一级光纤存储阵列上，将次重要的数据和过期的数据存储到二级SATA存储设备上，这样不仅可以提高主存储系统的性能和利用率，也降低了总体的投资成本。
数据安全性
在数据保密、安全措施上采取较缜密的权限与加密管理，以保证系统和数据的安全。
平滑过渡
系统的建设是逐步完善的过程，本次系统的建设应保障相关各系统的稳定，在工程割接时平滑过渡，不应影响到最终客户的使用。
易于管理
建立一套易于管理的IT基础架构，用户可以通过一个终端管理整个数据中心的所有IT资源，及时发现计算机系统运行中的问题或者潜在的危险，使整个数据中心处于一个运行良好的状态中。
高性价比
对于本系统，虽然要使用先进的技术和产品来搭建底层的平台，但我们
要通过良好的设计和选择为用户降低投资成本，对于目前已有的建设，
我们要尽量使其物尽其能，以降低整个系统的TCO（总体拥有成本）。
1.4 总体方案设计概述
目前中心机房所有功能网络区块直接接入核心层，核心层由两台Cisco Catalyst 6509交换机组成。两台分别配置一块SUP720-3B引擎、一块4口万兆接口（XENPAK插槽）板、一块24口千兆(SFP插槽)接口板。万兆接口用于核心互联，以及与大流量服务器区及关键服务器区核心设备互联；千兆接口用于满足其它功能区上联核心层。大流量服务器核心交换设备使用华为Quidway S8512来担当。利用本交换机配置的两个万兆接口，分别连接两台核心交换机，组成冗余万兆主干，满足本区数据传输需求；本交换机已配置48个10/100/1000Mbps接口，满足本区服务器接入需求。关键服务器区核心交换设备使用Cisco Catalyst 6506，通过两个万兆接口上联核心层；并扩展防火墙模块（FWSM），提供关键服务器区的网络安全控制。本次项目对Cisco Catalyst 6506 进行改造，通过增加WS-X6708-10G-3C 模块满足刀片服务器10Gbps的接入。同时本次项目还要对中心机房现有的4台IBMX346，6台IBM X3650和现有的4台虚拟化系统的IBM 3850M2 ESX服务器进行硬件上的升级。同时4台虚拟化系统的ESX服务器进行虚拟化软件升级后，与新增刀片机BL680c作为本次虚拟化系统的一个集群。
系统结构如下图所示：
EMC CX-480C
ESX
VM VM VM VM VM
VirtualCenter Client 图形终端
ESX
VM VM VM VM VM
刀片服务器系统：为两套刀片服务器系统。每套系统包括：12台刀片服务器BL460c （每台BL460c 内存为16GB ；双核类型为E5504的CPU ； 2*2.5"双端口72GB SAS 热插拔硬盘），2台刀片服务器BL680c （每台BL680c 内存为32GB ，四核类型为E7430的CPU ，2*2.5"双端口72GB SAS 热插拔硬盘）。每套刀片服务器机箱上LAN 网络接口配备为：两台Cisco 1/10GbE 3125X 交换机，每台交换机上配有两个Cisco 10GBASE-CX4 X2 模块。同时每套刀片机箱上配有两块连接SAN 网络的直通模块。
磁盘阵列系统：通过对客户的实际应用环境调研，朝阳信息中心在2008年虚拟化建设项目中采用了一台EMC CX4-480，本次项目实施我们将对原有EMC 设备存储空间进行升级。我们将增加2个磁盘柜，每个磁盘柜中配15*300G 的SAS 盘。两个磁盘柜通过RAID6后，使整体存储达到7.3T 的实际应用。在SAN 网络里，我们将增加两台DS-C9134AP-K9光纤交换机，每台交换机将32个SFP 端口全部激活，同时还要激活1个10 Gbps 的端口。两台DS-C9134AP-K9分别连接到EMCCX4-480的两个通道中，达到冗余的连接方式。
以太网络的连接系统：信息中心原服务器网络接入设备为一台WS-C6506，此次项目对接入交换机进行升级。我们将增配一块WS-X6708-10G-3C 接口板和四块Cisco 10GBASE-CX4 X2 模块。
虚拟机系统：本次订购的28台HP刀片机作为本次虚拟化系统的ESX，刀片机安装的是vSphere4.0。VCenter控制台现在使用的是一台IBM x346服务器，IP 地址为58.132.8.80，即是VC也是License Server。在VC里有两个集群，同时管理着IBM3850M2和HP刀片服务器。
整体的连接方式是这样的：
LAN网络端：每套刀片服务器机箱C7000上配备两台Cisco 3125X 刀片式接入交换机，每台Cisco 3125X上配有两块Cisco 10GBASE-CX4 X2万
兆铜缆模块；升级后的WS-C6506增加一块8口WS-X6708-10G-3C万兆接口
板，同时接口板上也配有四块Cisco 10GBASE-CX4 X2万兆铜缆模块。
每台刀片交换机上的万兆接口通过15米的万兆铜缆CAB-INF-26G-15连
接到接入交换机WS-C6506的WS-X6708-10G-3C的接口板上，从而使服务
器接入到中心网络。如上图所示。
SAN网络端：由于每台刀片机上都配有一块双端口的HBA卡，所以每台刀片机箱C7000上配有两块16端口4Gb FC SAN直通模块，通过多模光
纤跳线，每台刀片机箱C7000上的两块直通模块分别连接不同的光纤交
换机DS-C9134AP-K9，从而达到冗余的连接方式。由于EMC CX-480为
双驱动器，每个驱动器上有两个 4 Gb/s 光纤通道，每一个驱动器通过
两条多模光纤跳线分别连接不同的光纤交换机DS-C9134AP-K9，从而达
到存储的冗余连接链路。如上图所示。
同时，两套服务器系统中每台刀片服务器上都安装配置VMware第四代虚拟架构套件-VMWARE VSPHERE? 4.0 企业版软件，用于在单个物理服务器实体上，利用HP服务器强大的处理能力，生成多个虚拟服务器，而每一个虚拟服务器，从功能、性能和操作方式上等同于传统的单台物理服务器，在每个虚拟服务器上，再安装配置相关的Windows 或Linux 操作系统，进而再安装应用软件，这样以前的每个物理服务器就变身成为VMware vSphere? 4.0 服务器上的虚拟机，从而大大提高资源利用率，降低成本，增强了系统和应用的可用性，提高系统的灵活性和快速响应，完美的实现了服务器虚拟架构的整合。实际安装中可以根据客户服务器现有条件及运行状况，充分利用原有服务器的资源，只要能达到与我们建议的服务器类似的容量、性能（如添加内存等方式）即可满足作为
ESX Server 的要求。
在具体实现中，为了实现数据的集中存储、集中备份以及充分利用VMware 虚拟架构中虚拟机可动态在线从一台物理服务器迁移到另一台物理服务器上的特性等，我们已经建议使用有冗余配置的光纤交换机标准的SAN 集中存储架构，由VMware虚拟架构套件生产出来的虚拟机的封装文件都存放在SAN 存储阵列上。通过共享的SAN 存储架构，可以最大化的发挥虚拟架构的优势，进行在线地迁移正在运行的虚拟机（VMware VMotion），进行动态的资源管理（VMware DRS），和集中的基于虚拟机快照技术的Lan Free 的整合备份（VMware VCB）等，而且为以后的容灾提供扩展性和打下基础。
为了集中管理和监控虚拟机、实现自动化以及简化资源调配，对物理服务器及其上的虚拟服务器进行统一的管理。仍然保持将VC布署在一台独立的物理服务器上，这样可以保证VC的运行“不受当对虚拟化后的物理机器进行操作时的影响” 。新升级后的虚拟机可以直接挂载到VC上，从而达到直接管理的目的。
第二章各子系统详细设计方案
2.1. 服务器系统的深化设计方案
2.1.1.IBM设备的升级
2.1.1.1升级现状
本次工程要对4台IBM X346服务器，6台IBM X3650服务器和4台IBM 3850 M2 服务器进行升级。
4台IBM X346为闲置的服务器，目前没有任何应用，现有配置也比较少。 6台IBM X3650 服务器现在承担着机房里的一些应用，主要是放在大流量服务器区和关键应用服务器区。
4台IBM 3850 M2 服务器为信息中心现有的虚拟化系统的ESX服务器。
朝阳教育城域网应用虚拟化建设项目深化设计方案北控电信通科技发展有限公司 升级前各服务器的状态如下：
- 9 -
朝阳教育城域网应用虚拟化建设项目深化设计方案北控电信通科技发展有限公司
2.1.1.2升级后的状态
本次工程要对上述的14台服务器进行升级：
根据现场探勘需要升级的4台闲置的IBM X346 服务器升级的内容比较多，需要每台机器都要增加CPU，7K RAID控制器，2*1G内存和46G SCSI硬盘。4台闲置的IBM X346 服务器每台都有1颗 3.2GHZ的CPU，需要升级后的服务器每台要包含两颗CPU。投标时购买的CPU为3.0GHZ，则升级时需要将4台闲置的IBM X346 服务器的3.2GHZ的CPU合并。最终升级后4台IBM X346 服务器其中两台（产品序列号为：99A VEKL和99AVLZX）为双3.2GHZ CPU的服务器（0621/0698为1组，0113/0788为1组），两台（产品序列号为：99A VEMA和99AVBTW）为双3.0GHZ CPU的服务器（0460/0283为1组，0351/0085为1组）。序列号为99A VLZX和99AVBTW的服务器升级后为5块146G的SAS盘，其余的两台为6块146G的SAS盘。所有的服务器升级后都有7KServerRAID。升级后的服务器安装放置在第PC3-4号机柜中，目前尚没有任何应用，没有连接到中心机房的局域网中。升级后的服务器安装微软操作系统，进行系统和硬件的稳定化测试。（具体配置见下附表）
6台IBM X3650 服务器现在承担着机房里的一些应用，主要是放在大流量服务器区和关键应用服务器区。本次升级对IBM X3650进行内存、硬盘的升级。
由于现有数据量比较大，升级后硬盘肯定由原有的RAID 1变换成RAID 5分区，这样势必会造成数据的丢失。为了保证数据的完整和安全性，我们对其中4台机器（37-6，37-7，31-1，31-2）只对升级后的硬盘做RAID，原有的硬盘数据不变。而对另2台机器（39-6，35-5）采取重要数据备份以后新旧硬盘重新整合做RAID。待升级机器加电测试通过后，再将数据回迁。
4台IBM 3850 M2 服务器为信息中心现有的虚拟化系统的ESX服务器。本次升级只对服务器的内存进行升级。在升级之前将待升级的服务器上的应用Vmotion到下一台ESX服务器上，待升级完毕，加电测试成功后，再将应用Vmotion回来。升级后的产品将由原有的虚拟化系统中划分出来，规划到本次虚拟化系统集群系统中，形成新的HA系统。
朝阳教育城域网应用虚拟化建设项目深化设计方案北控电信通科技发展有限公司 升级后各服务器的状态如下：
- 11 -
2.1.1.3升级服务器的摆放图
根据对现场机房环境的调研，以及甲方对设备环境的要求，做出如下机柜结构设计：
1. 升级后的4台IBM X346（2U/台）服务器布置在PC3-4号机柜中，与原有的2台IBM X366（4U/台）服务器在同一机柜中，4台IBM X346（2U/台）服务器分别排34-1至34-4号位置，1个KVM液晶套件(1U/台)。服务器之间有1U的差，以便区别。
3. 原则上，为了通风散热考虑，每台设备之间留1U的空隙。由机柜距底10公分处开始安装机器。
4. 机柜分布示意图如下
机机34
图1：机柜结构示意图
2.1.2.HP服务器的规划设计
经现场测量HP刀片机机箱的尺寸比第二排机柜的规格尺寸大，所以新到服务器只能安装在机房第三排或第四排的黑色机柜中，经现场勘查，第PC3-3号机柜和第PC3-8号机柜安装刀片的条件是最合适的。所以我们建议将PC3-3号机柜中的4台服务器迁移到PC2-2号机柜中；将PC3-8号机柜中原有设备上移。每套刀片安装时距底部20公分，这样有利于机器的散热。
2.1.
3.HP服务器安装位置图
根据对现场机房环境的调研，以及甲方对设备环境的要求，做出如下机柜结构设计：
1. 将PC3-3号机柜中的设备移到PC2-2号机柜中。
机机
机机21
机机机机机PC3-3机机机机机机机机机PC2-2机机机机
2. 两套刀片服务器分别布置在机房第PC3-3、PC3-8号两台42U 机柜里面。
3. 第PC3-3号机柜布置一套HP 刀片服务器，两台CISCO 光纤交换机MDS 9134。
4. 第38号机柜布置一套HP 刀片服务器，将机柜中原有的虚拟备份设备和网络设备向上移动，新的HP 服务器和原有设备之间3个U 来区分。
5.为了通风散热考虑，刀片服务器布置离机柜底座20公分处高。
6. 机柜PC3-3和机柜PC3-8中的刀片服务器都是为虚拟化扩容用途；其中升级后的3850 M2（7141QXE ）作为本项目所涉及的虚拟化平台服务器群成员。
7. 机柜分布示意图如下：
图3：机柜结构示意图
2.1.4. 刀片服务器结构示意图
刀片机前面板图：
刀片机后面版图
2.2. 存储系统扩容实施计划
朝阳教育信息中心原有存储CX4-480，硬盘总数为46块，其中400GB 光纤硬盘有6块，1TB SATA Ⅱ硬盘有40块。本次扩容30块300GB 15K 光纤硬盘，并且以RAID6的方式为新ESX Server 提供存储空间。
现有系统概况：
HP DL680G5 刀片
机
HPC7000刀片机箱电源模块
HP DL460G6 刀
片机
刀片机电源指示灯
SAS 300G FC 磁盘
HP C7000风扇
CISCO 3125 for HP 刀片交换机
HP C7000 HBA 卡直通模块
HP 刀片机管理模块
HP C7000电源
HP C7000 HBA 卡直通模块
CISCO 3125 for HP 刀片交换机
现在SAN 网络拓扑：
升级前的中心机房SAN网络工作环境包括：虚拟化网络服务器端原有6台IBMX3850M2作为前期虚拟化系统的ESX主机，名称为CHY-ESX1至CHY-ESX6。SAN网络包括两台EMC DS5000B光纤交换机，6台ESX 主机通过多模光纤分别与两台光纤交换机EMC DS5000B相连。两台光纤交换机EMC DS5000B通过四条多模光纤分别与EMC CX-480的两个主机头SPA0，SPA1，SPB0，SPB1相连，达到冗余的链路。
扩容后SAN网络拓扑：
中心机房升级后的SAN网络工作环境增加了28台HP刀片服务器（其中四台HP BL680G5和二十四台BL460G6 ）作为本次虚拟化系统的ESX主机，名称为CHY-ESX7至CHY-ESX34。SAN网络增加了包括两台CISCO DS-C9134AP-K9光纤交换机，命名为MDS9134-1和MDS9134-2。这28台刀片ESX 主机通过多模光纤分别与两台光纤交换机DS-C9134AP-K9相连。MDS9134-1光纤交换机第9端口与第25端口分别与CX-480的SPA03，SPB03相连，MDS9134-21光纤交换机第9端口与第25端口分别与CX-480的SPA13，SPB13相连，达到冗余的链路。
2.2.1.扩容硬件安装
CX4-480体系结构示意图：
CX4-480后端连接示意图：