生命人寿保险股份有限公司龙岗数据中心网络设计方案
信息技术部
2009.12
一、概述
生命人寿保险股份有限公司在业务快速增长、结构持续改善的环境下，在业务高速发展和信息技术不断更新的同时，规划建设具有先进视野，一流标准，科学先进，并可持续发展的的信息技术基础设施与管理体系成为生命人寿业务稳定运行的重要支撑保障和跨越发展的驱动引擎。为了加强生命人寿信息技术对业务的支持能力，并加快生命人寿信息化建设向先进标准迈进的步伐，公司规划启动了生命人寿龙岗后援中心的建设。
生命人寿后援中心建设作为生命人寿重要的战略部署，是生命人寿不断提升国际化、专业化管理水准的重要保证。生命人寿龙岗数据中心将为生命人寿保险股份有限公司提供有效支持。生命人寿后援中心用以支持生命人寿的企业未来业务的发展。本项目方案工作的目标是把生命人寿后援中心规划成为适应未来战略发展变化、灵活调整性强、智能化、网络化的后援中心。
1, 后援中心网络建设方面的总体思路
企业信息基础架构的主要目标是支持企业业务的发展及提供企业用户可靠、稳定、安全及高可用的应用访问能力，在考虑业务需求和现有环境的同时也要考虑技术和业务的发展趋势。因此：
●后援中心承载着上层的业务应用是IT基础架构的核心
●灾备中心提供企业业务连续的功能
●网络提供数据传输和用户安全的稳定的接入
●安全保障企业信息的安全
●IT运维管理保障IT的平稳有效运作
系统和数据
网络和灾备
基础设施
策略
人员
IT 运维管理
后援中心与IT 整体之间的关系
2, 后援中心网络规划建议
在此规划建议报告中，充分考虑了金融保险业对后援中心网络必须满足的需求，并在建议中充分体现了数据中心网络应具有的：
● 可用性 ● 可靠性
● 灵活性/可扩展性 ● 安全性 ● 可管理性 ● 先进性
在建议中，除了考虑到金融保险业对后援中心必须具有的功能之外，还特别考虑到对未来后援中心可能提供的服务和技术的支持的特点，
● 在网络的设计中充分考虑到对集团及其成员公司的数据中心服务支持 ● 充分考虑到未来数据中心可能对社会提供数据中心服务的支持 ● 数据中心网络对高密度刀片服务器的支持 ● 数据中心网络对虚拟服务器的支持
● 数据中心网络对资源自动分配技术的支持
同时，在方案中参考了数据中心网络的最佳实践，设计中采用了成熟的先进的数据中心网络技术，它们包括：
● 多层的服务器架构
多层架构：前置/WEB层、应用层、后台/数据库层、存储层
对于先进的多层的应用系统，数据中心网络采用多层（Tier）服务器网络结构，更符合应用的特点
通过采用多层架构，配以多层的防火墙/IPS，提供额外的安全性
为未来适应先进的应用架构提供灵活的网络平台
●采用先进的专线技术
更少的网络投入
使用逻辑链路的方式，保持原有网络架构
可以支持数据、语音、图象、视频等多种业务
能够提供服务质量保证，可以提供更好的带宽保证和更高的服务质量
采用可靠的备份线路可以在发生故障时自动地迂回故障点，具备较高的可靠性
●对重要应用系统，端到端的没有单点故障点的网络架构
冗余的Internet
冗余的防火墙
冗余的交换机和路由器设计
冗余的广域网线路——WAN、CWDM/DWDM光纤
冗余的服务器网络连接，如：服务器网卡Teaming技术
●负载分担的技术——Load Balancer
在服务器架构中采用负载分担技术，提供系统的高可扩充性、灵活性和冗余性
●多层异构防火墙/IDS系统架构
在数据中心网络的接入区和服务器区采用多层异构的防火墙/IDS 系统架构，提供更好的网络安全性
网络交换机可使用PVLAN技术进一步提高网络安全性
不同的应用系统虽然在同一层交换机上，但可以通过划分不同的VLAN进行分隔
使用PVLAN可以限制同一VLAN之间的数据通讯，提供更多的安全性，防止ARP攻击等
二，龙岗后援中心网络需求与设计
龙岗数据中心将作为生命人寿所有后端业务的集中处理中心、信息管理中心、数据存储和处理中心，是一个满足各应用要求的，兼顾未来需求的核心数据中心。
龙岗数据中心将作为未来5-10年人寿保险公司、资产管理公司、健康险、养老险公司及其它专业子公司的后援中心，在机房设计时，从机房空间、机柜数量、机房制冷、UPS供电等方面已充分考虑了未来的业务规模，预留了充足的发展余地。
?后援中心主机房占地面积670平方米，辅助功能区域面积600平方米，主机房、测试机房、通信机房总计可安放220多个标准服务器机柜，40
个网络机柜，可满足未来6-10年公司业务和规模发展的需要。
?主机房内一期共安排了144个机柜位置，其中20个IBM主机机柜、19个网络核心机柜、10个网络列头柜、95个普通服务器机柜。主机房预
留了二期75个标准服务器机柜的位置。按每个机柜放至少4台服务器
计算，主机房一期可安放至少400台生产系统服务器，4套IBM主机系
统。而目前上海数据中心有120多台服务器、2套IBM小型机系统在使
用。
?通信机房共安排15个网络机柜位置，主要用于运营商通信线路接入和大楼综合布线汇接。
?测试机房有21个服务器机柜和1个网络列头柜，用于摆放研发、测试系统。测试机房可安放80-100台测试、研发服务器。
?监控间安排20多个信息点，用于连接机房大屏幕监控设备、部分网管系统和管理员终端。
?后援中心大楼办公区域总计设计了1500多个数据信息点，有8个弱电布线间
为满足保监会下发的《保险业信息系统灾难恢复管理指引》的要求，目前公司的生产中心机房—上海生命人寿大厦机房在龙岗数据中心机房建设完成后，将作为龙岗中心机房的异地灾备机房继续运作，以满足监管要求。
基于以上后援中心的基础设施需求，根据公司业务类型和IT系统运行现状，龙岗后援中心将按以下功能分区的需求进行网络规划：
●核心区，即网络的核心路由交换区
作为整个数据中心的网络核心，需要部署高背板带宽、高可用性、高端口密度的核心网络交换机，提供全线速无阻塞交换路由服务，其核心背板带宽需要在480G以上，以保证各功能分区和核心业务系统的高效快速运行。为逻辑上区分各功能区域，网络核心与各功能区域以三层路由方式连接，为此需要配置较强包转发能力的核心网络设备，包转发能力需要在400Mpps以上。
●服务器群区，包括：
1，核心业务系统，包括公司目前在运行的个险、银代、团险、投连险、影像、打印系统等以及将来可能增加的健康险、养老险系统等系统接入需求目前公司核心业务系统运行在2台IBM P595主机上，这两台主机共有48个千兆光纤网口。为保障核心业务系统处理速度同时为节约费用，在龙岗数据中心，这些服务器需要直接连到核心交换机上，核心交换机需要为此提供至少48个光纤接口。
投连、影像、打印等系统目前运行于30余台HP 380、580服务器上，这些服务器均为双千兆以太网口接入；
公司目前正在筹备资产管理公司、养老险公司，预计这2个专业子公司的业务系统需要新增20台PC服务器，这些服务器均为双千兆以太网口接入。
2，ERP等系统接入需求
目前ERP系统运行于3台HP 580服务器上。
3，OA系统，包括办公自动化、邮件、文件等系统接入需求
目前公司OA系统、文件服务器、邮件服务器运行于10台HP PC服务器上。
4，呼叫中心客服等系统接入需求
5，资金、财务管理等系统接入需求
6，稽核、审计、反洗钱等系统接入需求
7，视频监控、流媒体培训系统等、视频会议接入需求
视频会议系统运行于2台Polycom专业设备上，视频监控系统运行于4台专业设备上。
目前在上海数据中心总计有120多台各型服务器和设备在运行，其网络端口均是1000M以太网口。
在数据中心主机房设计时，主机房内设计共有6排机柜，第6排为网络核心区，有1排为IBM小型机区域（可布置4套小机系统），其余4排为普通服务器机柜。
普通服务器机柜每排有21-23个服务器机柜，2个网络列头柜，每个列头柜通过2条光纤上连到网络核心区。按每个服务器机柜放4-5台服务器计算，每个列头柜可支持本区域10个服务器机柜中的40-50台服务器接入，为保证高可用性，每个列头柜需要安装48口千兆以太网交换机2台。因此在每个网络列头柜中布设2台汇聚层交换机，每台交换机有48个1000M以太网口，2-4个光纤口。按所有列头柜网络设备均布置到位设计，主机房内一期需要20台汇聚层交换机，加上通信机房、测试机房的光纤汇聚，核心交换机上需要为汇聚层交换机至少配置24个光纤网口。
在上海数据中心各系统迁入数据中心机房时，各系统需要物理上安装在一个区域即安排在同一排机柜中。
下图为普通业务系统网络连接示意，普通服务器分别接入各网络列头柜中的汇聚层交换机，汇聚层交换机通过光纤上连到网络核心。
1 Web服务器
1应用服务器
系统1数据库服务
器
办公接入区
为后援中心楼层及公司内部办公人员接入需求。公司客服、呼叫中心、两核、IT等部门将在后援中心办公，初期约有300多人搬入；后援中心大楼有四层楼面，8个弱电布线间，1500多个网络信息点。
办公接入区包含了临时访问人员接入需求，配合桌面管理软件合网络准入控制系统以及部署安全策略，允许临时访问人员接入网络，获得有限网络资源。
在数据中心机房布线系统设计时，各配线间的光纤集中汇聚到通信机房，为保障可用性，在通信机房需要部署2台汇聚层交换机，每台要求为有16口以上千兆光纤网口，其中4口上联到核心交换机，16口连接到各配线间交换机。配线间交换机要求每台有48口10/100M以太网口，2个光纤口，总计需要20台。考虑到上海可调配8-10个48口交换机，数据中心网络设备采购时，新采购10台48口交换机可基本满足需要。
下图为后援中心大楼办公网络接入结构，其中汇聚层交换机安装在通信机房。
布线间1
布线间2
布线间3
研发测试区
研发测试区域，新系统研发及新系统上线前测试接入需求
目前IT研发、测试环境服务器总计约有50多台，均为HP PC服务器，在龙岗后援中心测试机房内布置了20个标准服务器机柜，用以安放研发、测试服务器，按机柜空间和配电系统容量，可摆放80-100台PC服务器。
在龙岗后援中心办公的IT研发人员初期约有50多人，预计未来约有200人；IT外包人员初期有40多人，预计未来有100多人。对于IT外包人员，通过配置安全策略，只允许访问部分开发、测试系统和Internet资源。
下图为研发测试区域的网络连接示意：
测试服务器群
开发服务器群
安全控制
只允许外包人员访问部分开发、测试服务器及部分Internet 资源
外网接入区
1，Internet 接入区
在Internet 区域需要部署防火墙、入侵检测设备、接入认证设备、上网行为管理设备等安全设备；同时需要部署公司网站、邮件前置机、邮件网关、电子商务服务器、包括公司网站、VPN 接入等服务器，部署在Internet 区域的服务器初期约有20台。
Internet 接入区需要普通48口网络交换机4台。 下图为Internet 网络接入
电子商务Web 服务器群
电子商务应用服务器群
VPN 接入服务器
2，第三方接入Extranet
到各银行、保监会、证券交易所、证券公司和其他合作伙伴的接入需求。初期由于投资交易中心需要保留在荣超中心办公、银保通专线保留在上海接入，暂时无第三方接入需求。为保留一定的应急扩展能力，初期计划采购1台中低端路由器，以便有需要时快速安装。
下图为第三方接入网络结构：
内部广域网接入区域
1，分支机构接入
目前各地有19家分公司专线接入、全国70多家中支机构通过分公司接入数据中心的需求，因此需要一台高性能的核心路由器，具有多种数据接口类型，以汇聚19家分公司上联的数据专线。按我公司实际使用情况，一条OC-3/STM-1线路就可以很好的满足我公司的需求，这条线路可划分成63条2M线路传输数据。
2，荣超商务中心总公司办公职场接入需求
荣超中心有400位总公司员工需要访问龙岗数据中心各业务系统3，上海生命人寿大厦灾备中心机房接入需求
生命人寿大厦机房作为龙岗数据中心的灾备机房，有数据同步、业务系统互备等需求。
以上2、3项的需求需要另外部署一台中高端路由器，分别通过2条互备线路接入荣超中心和生命人寿大厦，这台设备还将作为龙岗数据中心的V oIP网关，连接龙岗后援中心的程控交换机，因此需要这台设备有支持E1数据接口的能力。
下图为内部机构网络连接示意：
核心交换机
包括网络管理、系统管理、主机管理、机房动力环境监控、办公场所视频监控等功能，龙岗数据中心机房初期总计有5-10套监控系统需要连接。
下图为监控管理区网络结构，监控区各设备连接到安装在通信机房的汇聚层交换机。监控区域需要普通48口网络交换机2台，这2台交换机同时起汇聚UPS间、监控间、通信机房网络信息点的作用。
网管服务器监控系统认证服务器
基于以上功能区域划分，为满足目前在使用系统和汇聚层交换机的接入
（120多台生产服务器、2套IBM小型机系统、50多台研发测试服务器，12个网络列头柜），每台网络核心交换机至少需要44个光纤网口，48个千兆以太网口，为保留未来3-5年的扩容余地，每台网络核心交换机需要配置2个48个光纤网卡模块，2个48个千兆以太网模块。
按以上核心交换机和列头柜汇聚层交换机数量的配置，龙岗数据中心一期可支持4套IBM小机系统的光纤接入、300台生产服务器的千兆以太网冗余接入、100台研发测试服务器的千兆以太网接入、1000名办公人员的100M以太网接入。按目前120台在用服务器、每年新增40台服务器、每3年新增1套IBM 主机系统计算，可支持未来4-5年的系统扩容需要。
按以上需求配置的路由器，可支持最多63个分公司的2M专线的接入和荣超中心、上海生命人寿大厦高带宽长途链路接入。
三，龙岗后援中心网络拓扑
1，数据中心逻辑框图
2，网络总体拓扑图
按功能区域划分后的网络逻辑拓扑结构参见下图。2台核心交换机、2台核心路由器、安装在主机房网络核心区，为整个数据中心的核心路由交换区。
两台高性能核心交换机通过网络虚拟系统组成逻辑上的单台交换机，通过网络虚拟技术：
●分布式处理二三层协议，提高网络处理性能
●每组虚拟为一台设备，简化组网，配置管理更高效
●虚拟交换组设备软件版本同步升级，易于维护
●整个虚拟交换组的设备支持热插拔，灵活管理
●对虚拟交换组来说，实现倍数级的接入密度和背板交换能力，并提高组
网的可靠性
部署虚拟技术后，无需再考虑MSTP、VRRP等协议，解决了传统设备和链路
只能工作在主/备模式和利用率低于50％的性能瓶颈。
每排机柜的网络列头柜中安装2-4台汇聚层交换机，直接连接这排机柜中的服务器设备，每台汇聚层交换机通过2条光纤分别上连到两台核心交换机上。
另有2台汇聚交换机安装在通信机房，汇接各楼层布线间的交换机，并分别通过2条光纤连接到两台核心交换机上。
网络拓扑参见下图：
3，公司整体网络架构
龙岗后援中心专线新装、网络实施工作完成后，公司整体网络如下图所示
龙岗数据中心
总公司
为满足保监会对保险公司灾备系统建设的规范要求，在龙岗后援中心机房
开始运作以后，上海生命人寿大厦机房将作为公司的灾备机房继续运作，以满足
监管要求，因此要求生产中心机房和灾备中心建立可靠的通信链路
总公司（荣超商务中心）通过2条专线访问龙岗数据中心；各分公司分别
通过2条2M SDH线路连接龙岗数据中心和上海灾备中心，龙岗数据中心与上
海灾备中心之间通过不同运营商的2条专线连接，满足实时数据传输和灾备需
要。
四，网络安全设计
1、设计原则
?统一性原则
?实用性原则
?先进性原则
?可扩展性原则
?安全性原则
?保密性原则
?安全分级原则
?最高保护原则
?易实现性和可管理性
2、规划原则：
将各个区域按照数据流特点、重要程度、面临风险程度等分成不同的网络
区域，大致可以分为如图的几大区域：
核心交换区作为网络中心，其任务是大量数据交换，在上面不做任何安全措施，以免影响效率。
对内服务器区域主要是公司内部的业务系统及办公系统服务器群，除了防火墙外，主要安全考虑是保护核心业务系统应用服务器和数据库服务器。
W AN 接入区域包含与各地分公司的线路接入以及与外联机构的专线接入汇聚，通过防火墙实现对数据中心总部应用的安全控制。并部署IPS 设备防范入侵已经网络病毒木马的传播影响数据中心的正常运行。
互联网区域和对外服务器区域由于面对互联网开放，其受到安全攻击入侵的可能性最大，除了传统防火墙、IPS 之外，需要考虑到web 应用防火墙对web 服务器进行高层次防护。并根据需要逐步考虑其他的安全措施。
企业客户端区域包括内部员工办公PC 、IT 外包人员PC 访问、外来人员临时访问，除了统一防病毒产品部署之外，需要加强终端资产以及安全管理。
3，安全设备需求 防火墙
数据中心以下区域需要部署防火墙：Internet 接入区域、第三方接入区域和内部功能区域。
在Internet 接入区域需要部署2层防火墙，同时为保证高可用性，防火墙需要荣誉部署，这里防火墙起到隔离公司内部网络和保护DMZ 区域服务器的作用。
在第三方接入区域需要部署1-2台防火墙，放置公司内部机密信息和数据的不恰当泄露。
在需要保护的功能区域与核心交换区域连接之间部署传统防火墙，对于进出该功能区域的数据进行网络层的控制。
DDOS 设备备配置
安全 审计业务流量
SLB
SLB
初期需要部署6台防火墙设备。
入侵检测防护设备IPS
基于防火墙的数据包过滤是全面的网络安全拓扑结构的必要组件，但仅靠它们来建立网络安全体系是远远不够的。需要的是一种针对整个网络七层的全面的安全防护体系解决方案，从而有效地保护网络免受恶意攻击和错误使用的骚扰。因此需要一款实用的入侵检测防护设备IPS，作为防火墙安全防护的一个重要补充，它能做到：
●能够对通过网络的每一个数据包的全部内容进行检查，并对恶意活动进
行检测；
●这种内容检查技术能够提供更加深入的数据包分析；
●能够检测出嵌入在常用协议（例如 HTTP 会话）中的复杂攻击；
●能够对检测出的恶意行为进行阻断。
龙岗数据中心中，Internet接入区域和内部功能区域需要各部署一台高性能的IPS设备。
上网行为管理设备
通过部署上网行为管理设备能够实现：
●因特网内容管理：利用某种手段（如：利用URL数据库提供全面而精确
的因特网过滤或管理人员通过自定义策略来管理等）达到对员工访问的网站的管理。
●带宽资源管理：通过设置优先级，使重要业务处于优先于工作无关的活
动。在超过管理员设定的网络带宽阀值时，禁止个人访问因特网或使用应用程序。
●管理对等或即时消息发送使用：通过设置某种策略来阻止发送和接收文
件附件，尽量减少病毒或蠕虫通过对等或即时消息传播的风险。
上网行为管理系统产品可用于降低员工因使用因特网、网络和桌面应用程序带来的风险，能帮助用户提高效率、改善安全性以及保护信息技术资源，并可以降低法律风险。
在数据中心Internet接入区域需要部署一台上网行为管理设备。
桌面管理和安全防护系统
通过部署桌面管理和安全防护系统能够实现：
●IT软硬件资产管理
●客户端远程协助，客户端远程协助为系统管理员带来最易为用户接受的
协助、最准确的定位、最安全的连接、最快速的控制功能，提升管理效
率，提高客户满意度。
●应用程序授权管理，应用程序授权管理为系统管理员带来软件快速定
位、统计以及控制。
●应用程序分发，可以为系统管理员带来应用程序快速地分发、安装、卸
载而无需任何用户参与以及可进行忙时分发。
●操作系统部署，操作系统部署可以为系统管理员带来操作系统的快速分
发。
● 补丁管理系统
● 客户端安全威胁管理 ● 间谍软件检测与防护 ●
防病毒软件管理，病毒防护管理为企业客户端带来全面的病毒防护二层保障。
● 外设控制管理，为企业客户端带来全面的数据信息传输安全保障 ● 软件禁用管理
● 网络信任准入，为企业客户端带来全面的网络边界安全保障。 在总公司需要部署一套如LANdesk 的桌面管理及安全防护系统。
五，专线接入需求分析
龙岗后援中心需要通过数据专线连接生命人寿各地分支机构、灾备中心、荣超中心总公司职场、第三方业务合作伙伴，通过Internet 线路为客户提供快速及时的信息查询服务，需要大量运营商的专线资源。
1，分支机构接入
目前各分公司分别通过一条电信1M MPLS 线路和一条联通2M SDH 线路连接到上海的生产和灾备中心。
在龙岗后援中心基础建设完成后，需要新安装一条各地分公司到龙岗的电信（联通）的2M SDH 线路，拆除目前分公司到上海的电信1M MPLS 线路，用于分支机构访问各生产中心机房。最终各地分公司分别通过2条不同运营商的数据专线访问龙岗中心机房和上海灾备中心。
分公司到龙岗数据中心专线传输的数据由OA 、业务系统访问、视频会议、呼叫中心客服系统等。
分公司到龙岗的新增专线预计每条初装费8000元，月租费6500元。
2，灾备中心互连
由于龙岗数据中心和生命人寿大厦灾备中心存储之间需要传输同步数据，在灾难发生时需要进行机房功能的切换，数据传输带宽比较高，实时性要求也比较高，且有部分业务系统需要保留在生命人寿大厦灾备中心，因此需要在两个数据中心间建立高带宽且低延时的通信链路，计划将目前荣超中心连接到上海的两条MSTP 专线迁移到龙岗使用。
对于主要关键的业务系统，要求RTO 为24小时，RPO 为5分钟。 对数据仓库，RTO/RPO 为24小时
? 冗灾距离
?
上海~深圳 约1200KM
Days
Mins Hrs
Wks
Secs
R e c o v e r y P o i n t
(R P O ) 10M i n s
Mins
Days
Hrs
Secs Wks
R e c o v e r y T i m e
(R T O ) 24H r s
? 数据链路
?
TCP/IP
生命人寿业务系统主要业务量都发生在工作时间，即工作日每天8点-20点，每月月底及每年年底为业务高峰期日均业务量峰值可达平时的2倍。根据以上情况按照年均工作日250天、短时极端数据量达到10倍估算，我们得出如下的2012年日系统I/O 情况表
复制链路建议采用20M 数据专线（按照90%实际性能计算），采用基于TCP/IP 协议的数据复制。对应带宽见下表：
量为(552.16M-135M)/135M=3.1分钟。及系统RPO 为3.1分钟，满足生命人寿对数据冗灾系统RPO<5分钟的要求。
为保证灾备线路的可靠，需要在生产中心和灾备中心机房间安徽钻工2条数据专线，其中一条带宽需要保证在20M ，另外一条在一般情况下传输普通业务数据，带宽2M 以上。
3，总公司职场互连
总公司荣超中心职场位于深圳市中心，需要访问的数据位于龙岗机房，数据传输量比较大，带宽要求比较高。
上面图片是荣超中心到上海生命人寿大厦机房专线的流量监控截图，上面部分是星期一的流量情况，下面部分是最近两周的流量汇总图。这条专线主要传输OA、邮件、灾备系统、培训验收环境、客服系统等数据，与生产机房搬迁后的荣超至龙岗的专线传输情况一致，工作时段专线流量通常保持在8M以上。