银行数据中心应用平台建设方案

银行分行数据中心项目工程实施方案银行分行数据中心项目工程实施方案第1章项目概况1.1 项目背景某银行某分行为满足业务需求，将根据模块化的、分层的、分级的现代数据中心设计理念，构建一个满足可扩展性、灵活性和高可用性的网络基础架构，实现对分行各业务系统提供统一的基础设施服务支持的目标。

1.2 项目目标随着数据大集中的完成，分行业务处理模式将发生根本性变化，由先前的业务处理发生在分行本地演变成所有核心业务均上送总行统一处理。

另一方面全行各类信息业务平台、管理平台的不断投入使用，带来明显的网络交易压力，对网络带宽、稳定性和安全性提出了更高要求。

同时，由于网络设备持续运行，年久老化，面临较重的运行压力。

今后拟对分行网络系统进行一次升级改造，确保网络处理能力满足未来发展需要，真正实现业务处理和信息管理的高速运行。

根据当前成熟的网络技术并结合网络技术将来的发展趋势，分行网络系统改造目标是建成一个高性能、高可靠性、安全冗余、可扩展的网络安全通信平台。

网络改造具体涉及到以下几点：1.网络设备更换或升级分行网络自建成运行以来，已经连续运转八年，网络设备已出现不同程度的老化，部分设备性能已严重落后于现有同等网络产品，甚至部分产品已停产或淘汰，为保证分行网络的安全运转，优化分行网络性能，预防网络故障的发生，对分行老旧网络设备进行更换或升级。

同时，网络改造必须采用国际通用的标准，在网络模式、设备的选择、线路的选择、实施和管理等各个环节上都采用现行国际标准和行业标准，以方便以后对网络的升级、更新和维护；充分考虑各个网络产品(软件、硬件)的兼容性，网络设备的冗余性；所有网络设备必须支持IPV6，满足下一代数据通信网络的需要。

2.千兆网络建设随着数据大集中项目的实施，以及各种新业务系统的上线，网络系统资源的占用越来越大，提高业务处理的速度和质量，成为分行网络建设的重点。

鉴于分行现有的百兆网络面临的业务压力，必须提升网络带宽，对分行核心网络设备实现千兆光纤互联，保证网络的快速处理能力，并实现核心应用服务器的千兆连接。

商业银行数据应用方案随着金融科技的不断发展，金融科技的发展方向已经从功能型应用向数据型应用转变，各家商业银行都在研发数据平台，并在不断探索中提高数据应用能力。

本文设计的这套数据应用平台基于目前主流的架构，包括业务场景梳理、数据清洗、指标库、建模平台、决策引擎、应用落地、跟踪反馈七大模块，七大模块在运行中形成闭环，不断迭代，旨在制定统一数据应用标准、实现银行自主建模、提升银行各部门数据应用能力，具体如下：业务场景是利用思维导图梳理全行数据应用的框架，清晰展示商业银行各业务场景的明细，能帮助商业银行更加明确的规划数据应用的计划。

组织各部门的业务人员，整理所在部门的业务场景，整合全行的业务场景标准，包括渠道、信贷、个人财富、后台等业务场景.整理完全行的业务场景后，可整理单部门或具体一类业务场景的所用策略.数据清洗是数据应用的基础，也是数据治理的重要组成部分，是保证数据质量的基础性工作。

可将征信、流水、尽调表、客户信息等重要业务数据表清洗一遍，梳理全行的数据质量。

数据清洗内容主要包括（数据清洗具体流程后续会单独介绍）：完整性：即每张表的字段是否全部入数据平台，每张表的字段是够齐全；准确性：即每张表、字段的有效数据、空数据和异常数据的占比；时效性：即每张表的数据是否及时入仓；匹配率：即目标样本的数据匹配率是否达到要求。

将数据清洗的结果常态化，定期发布清洗报告，跟踪数据变化情况，为数据使用部门提供参考。

商业银行可建设全行统一的指标库，向行内提供口径统一的指标，可用于业务规则、模型、标签等应用场景，在各部门持续使用中优化指标库，最终建成一套完整、稳定、适用性高的指标库，指标库包括征信、流水、存贷款日均、调查表、客户信息等维度。

以个人征信指标为例，包括个人信息、贷款信息、信用卡信息、逾期记录、担保记录、申请记录等维度.四、建模平台目前市面上已经有较成熟的自动化建模平台，能满足业务人员自主建模需求，自主建模可提升商业银行建模能力，将模型核心内容掌握在自己手里。

银行双活数据中心建设方案目录1数据中心现状 (1)2项目规划 (1)数据中心改造方案 (1)2.1业务互联网接入区域高可用设计 (1)2.2业务互联网接入区域双活设计 (2)2.3业务区高可用设计 (4)2.4业务区综合前置区域基于IP的双活设计 (5)2.5业务区OA区域基于IP的双活设计 (6)2.6测试区域应用高可用设计 (8)2.7项目利旧设备调换说明 (8)3实施计划 (9)3.1互联网接入区F5LC替换说明 (9)3.2互联网接入区F5LC替换业务影响 (9)3.3应用区F5LTM替换说明 (10)3.4应用区F5LTM替换业务影响 (10)1数据中心现状目前有番禺生产机房和柯子岭灾备机房，两个数据中心采用裸纤DWDM互联。

数据中心按其所部署业务属性不同，划分为外网网银区、内网综合前置区、内网OA区以及负责办公用户上网的互联网接入区。

2项目规划为提升数据中心IT资源利用效率，同时保障业务灾难时的平滑切换，计划将两中心建设为双活数据中心，并对原机房中部署的F5设备进行升级。

数据中心改造方案2.1业务互联网接入区域高可用设计•网银区域高可用包括了接入互联网链路的高可用和Web/App应用的高可用。

•在链路高可用上采用F5互联网融合解决方案，通过部署F5 BR-4000S，实现链路负载均衡、多数据中心负载均衡、DNS server、DDOS防护、数据中心防火墙等诸多L4-L7 Services，解决了传统架构中的“糖葫芦串”的复杂部署，简化了网络架构，降低了后期的运维管理成本。

在番禺生产机房部署2台BR-4000s，通过Scale N+M集群保证网银出口的高可靠性；•互联网出口处F5实现的DDOS防护功能有效保护了外网DNS系统的安全；•将外网DNS迁移部署到F5设备上，为广州农商银行实现了高性能的智能DNS系统；•在应用高可用方面，Web层使用LTM4000s，App层使用LTM2000s，实现对应用的负载均衡、SSL Offload、健康检查和会话保持等功能。

商业银行数据中心网络建设方案目录1、数据中心建设分析 (3)1.1 背景 (3)1.2 建设重点 (3)2、数据中心网络系统设计原则 (4)2.1可靠性和可用性 (4)2.2可扩展性 (5)2.3灵活性 (5)2.4高性能 (5)3、数据中心分区设计思想 (5)3.1 区域划分 (5)3.2分区设计的优点 (6)4、数据中心架构设计 (6)4.1设计概述 (6)4.1.1 VLAN规划 (8)4.1.2 路由设计 (8)4.2核心交换区设计 (8)4.2.1 具体设计 (8)4.2.2 VLAN划分 (8)4.2.3 路由规划 (9)4.3生产前置区规划 (10)4.3.1拓扑 (10)4.3.2 VLAN规划 (10)4.3.3 路由规划 (10)4.4 广域网接入区规划（分行接入） (11)4.5.1 路由规划 (13)4.6 QoS设计 (13)4.6.1 QoS设计原则 (13)4.6.2 QoS服务模型选择 (14)4.6.3 QoS规划 (15)4.7 ARP攻击防御 (17)4.7.1 ARP攻击原理 (17)4.7.2 ARP攻击的类型 (17)4.7.3 ARP攻击解决方案 (20)4.7.4 其他技术 (27)5、数据中心管理 (28)5.1数据中心管理设计原则 (28)5.2网络管理 (29)5.3网络监控 (31)6、产品与关键技术 (33)6.1 万兆以太网与100G平台技术的考虑 (33)6.1.1以太网发展进入100G时代 (33)6.1.2服务器万兆互联成为主流趋势 (34)6.1.3核心交换机的价格升级至100G (35)6.2 IRF虚拟化技术 (36)6.2.1技术优点 (36)6.2.2典型组网应用 (37)1、数据中心建设分析1.1 背景当前，国内四大国有商业银行、城市商业银行、邮政储蓄银行、农村信用社、证券等金融机构都在进行数据大集中之后的IT建设，而数据中心和灾备中心的建设是其中建设的重点。

H3C银行数据中心解决方案1 数据中心建设面临的挑战随着国内银行信息化发展的推进，从上世纪八、九十年代开始的会计电算化、电子联行到近几年的数据大集中，揭开了银行数据中心建设的序幕。

伴随着数据集中的IT集约化、精细化转变，以及银行业务跨越式发展和核心竞争力的极大提升，业界掀起了数据中心建设的浪潮。

数据中心建设是一个复杂的系统工程，以数据为核心，优化业务系统，也带动了IT基础设施的重新架构。

这个过程面临着多样的挑战：需要选择适当的标准协议，整合异构的平台，构建基于标准化的网络基础设施；如何统一规划网络、安全、存储等IT系统；如何实现数据中心端到端的安全防护和集中统一管理；如何解决Internet接入安全和终端准入控制；数据中心如何实现全面的、精细化的运维管理等等。

H3C作为业界领先的全系列的网络、安全、存储产品供应商和解决方案提供商，提供全面的金融数据中心整体解决方案，在数据中心规划、设计、实施、运维各方面有着丰富的经验，帮助客户建设先进的数据中心。

2 数据中心建设行业监管要求在银行数据大集中的过程中，为实现银行业务良性发展，作为监管机构的人民银行制定了多项规范和标准，规范金融数据大集中和数据中心建设，在2002年制定了《关于加强银行数据集中安全工作的指导意见》，对数据中心建设和安全防护提出了指导性要求。

2004年，又发布了行业标准《JRT 00112004 银行集中式数据中心规范》，指导银行数据中心建设。

3 H3C银行数据中心解决方案3.1 优化的规划设计方法数据中心放置了网络、计算、存储等各种资源，数量庞大、管理复杂，基于在数据中心长期的最佳实践，H3C 利用模块化的设计思路，采用分区、分层、分级的设计方法，实现数据中心逻辑功能的模块分区设计，标准化数据中心架构，层次清晰，实现了数据中心高可靠、高性能、易管理、易扩展的目标。

3.2 IT基础架构整合数据中心基础架构由网络、安全、存储等各个部分组成，随着技术的发展，开放、标准逐渐成为IT基础架构的基本要求。

智慧银行大数据分析综合服务平台建设方案1目录第1章项目概述 (13)1.1、建设背景 (13)1.2、建设目标 (13)1.2.1、总体目标 (13)1.2.2、分阶段建设目标 (14)1.3、相关系统联动对接 (15)1.3.1、数据分析综合服务平台 (15)1.3.2、量收系统 (16)1.3.3、金融大数据平台 (16)1.3.4、各生产系统 (17)1.3.5、CRM (17)第2章业务需求分析 (17)2.1、总体需求 (17)2.2、数据管理 (19)2.2.1、数据采集 (20)2.2.2、数据交换 (20)2.2.3、数据存储与管理 (21)2.2.4、数据加工清洗 (22)2.2.5、数据查询计算 (22)2.3、数据管控 (23)2.4、数据分析与挖掘 (24)2.5、数据展现 (25)2第3章系统架构设计 (27)3.1、总体设计目标 (27)3.2、总体设计原则 (27)3.3、系统总体架构设计 (29)3.3.1、总体技术框架 (29)3.3.2、系统总体逻辑结构 (34)3.3.3、平台组件关系 (37)3.3.4、系统接口设计 (44)3.3.5、系统网络结构 (51)第4章系统功能设计 (54)4.1、概述 (54)4.2、平台管理功能 (55)4.2.1、多应用管理 (55)4.2.2、多租户管理 (60)4.2.3、统一运维监控 (61)4.2.4、作业调度管理 (86)4.3、数据管理 (88)4.3.1、数据管理框架 (88)4.3.2、数据采集 (91)4.3.3、数据交换 (95)4.3.4、数据存储与管理 (97)4.3.5、数据加工清洗 (123)34.3.7、数据查询 (150)4.4、数据管控 (178)4.4.1、主数据管理 (178)4.4.2、元数据管理技术 (180)4.4.3、数据质量 (185)4.5、数据ETL (193)4.6、数据分析与挖掘 (197)4.6.1、数据分析流程 (200)4.6.2、R语言开发环境与接口 (202)4.6.3、并行化R算法支持 (202)4.6.4、可视化R软件包 (207)4.6.5、编程语言支持 (210)4.6.6、自然语言处理和文本挖掘 (210)4.6.7、实时分析 (211)4.6.8、分析管理 (211)4.6.9、分析支持 (217)4.6.10、指标维护 (218)4.6.11、分析流程固化 (218)4.6.12、分析结果发布 (218)4.6.13、环境支持 (219)4.7、数据展现 (219)4.7.1、交互式报表 (222)4.7.2、仪表盘 (229)44.7.4、内存分析 (232)4.7.5、移动分析 (233)4.7.6、电子地图支持 (234)第5章技术要求实现 (235)5.1、产品架构 (235)5.1.1、基础构建平台 (241)5.1.2、大数据平台组件功能介绍 (242)5.1.3、系统分布式架构 (297)5.2、运行环境支持 (301)5.2.1、系统操作支持以及环境配置 (301)5.2.2、与第三方软件平台的兼容说明 (302)5.3、客户端支持 (304)5.3.1、客户端支持 (304)5.3.2、移动端支持 (304)5.4、数据支持 (304)5.5、集成实现 (307)5.6、运维实现 (310)5.6.1、运维目标 (310)5.6.2、运维服务内容 (311)5.6.3、运维服务流程 (315)5.6.4、运维服务制度规范 (317)5.6.5、应急服务响应措施 (318)55.6.7、资源管理 (320)5.6.8、系统升级 (323)5.6.9、系统监控平台功能 (324)5.7、平台性能 (336)5.7.1、集群切换 (336)5.7.2、节点切换 (338)5.7.3、性能调优 (339)5.7.4、并行化高性能计算 (345)5.7.5、计算性能线性扩展 (349)5.8、平台扩展性 (351)5.9、可靠性和可用性 (353)5.9.1、单点故障消除 (353)5.9.2、容灾备份优化 (355)5.9.3、系统容错性 (362)5.10、开放性和兼容性 (364)5.10.1、高度支持开源 (370)5.10.2、操作系统支持以及软件环境配置 (383)5.10.3、兼容性与集成能力 (384)5.11、安全性 (386)5.11.1、身份鉴别 (387)5.11.2、访问控制 (388)5.11.3、安全通讯 (397)5.12、核心产品优势 (397)65.12.1、高速运算、统计分析和精确查询 (397)5.12.2、有效的资源利用 (400)5.12.3、高并发、低延迟性能优化 (402)5.12.4、计算资源有效管控 (402)5.12.5、API设计和开发工具支持 (404)5.12.6、友好的运维监控界面 (408)5.12.7、扩容、备份、恢复机制 (413)5.12.8、集群自动负载均衡 (415)5.12.9、计算能力扩展 (415)5.13、自主研发技术优势 (416)5.13.1、高稳定、高效的计算引擎Inceptor (416)5.13.2、完整的SQL编译引擎 (418)5.13.3、高性能的SQL分析引擎 (419)5.13.4、SQL统计分析能力 (420)5.13.5、完整的CURD功能 (422)5.13.6、Hyperbase高效的检索能力 (423)5.13.7、基于Hyperbase和SQL引擎的高并发分布式事务 (426)5.13.8、Hyperbase非结构化数据的支持 (428)5.13.9、机器学习与数据挖掘 (428)5.13.10、Transwarp Stream (434)5.13.11、内存/SSD/磁盘混合存储 (438)5.13.12、MR/Spark/流处理统一平台 (440)5.13.13、多租户支持能力 (442)5.13.14、多租户安全功能 (443)75.13.15、标准JDBC与ODBC接口 (444)第6章系统性能指标和测试结果说明 (445)6.1、性能测试报告 (445)6.1.1、测试目标 (445)6.1.2、测试内容 (446)6.1.3、测试环境 (446)6.1.4、测试过程和结果 (448)6.2、TPC-DS测试报告 (452)6.2.1、测试目标 (452)6.2.2、测试内容 (452)6.2.3、测试环境 (454)6.2.4、测试过程和结果 (455)6.3、量收迁移验证性测试报告 (456)6.3.1、测试目标 (456)6.3.2、测试内容 (456)6.3.3、测试环境 (457)6.3.4、串行执行情况 (458)6.3.5、并行执行情况 (461)6.3.6、生产表数据规模 (463)6.3.7、测试结果 (467)6.4、某银行性能测试报告 (467)6.4.1、测试目标 (467)6.4.2、测试内容 (467)86.4.4、测试过程和结果 (469)第7章系统配置方案 (486)7.1、硬件系统配置建议 (486)7.1.1、基础Hadoop平台集群配置规划 (486)7.1.2、数据仓库集群配置规划 (489)7.1.3、集群规模综述 (492)7.1.4、开发集群配置建议 (493)7.1.5、测试集群配置建议 (494)7.2、软件配置建议 (494)7.3、软硬件配置总表 (497)7.4、网络拓扑 (500)第8章系统测试 (501)8.1、系统测试方法 (501)8.2、系统测试阶段 (503)8.3、系统测试相关提交物 (505)第9章项目实施 (506)9.1、项目实施总体目标 (506)9.2、项目管理 (506)9.3、业务确认 (508)9.4、数据调研 (509)9.5、系统设计阶段 (510)99.7、ETL过程设计 (512)9.8、ETL开发与测试 (513)9.9、系统开发阶段 (514)9.10、系统测试阶段 (515)9.11、系统上线及验收 (517)9.12、提交物 (520)9.13、系统的交接与知识转移 (523)第10章项目管理 (525)10.1、项目总体管理 (525)10.1.1、项目实施总流程 (525)10.1.2、项目实施中各阶段的主要任务 (525)10.1.3、项目组织架构 (532)10.1.4、项目负责人及主要成员 (541)10.1.5、项目管理制度 (643)10.2、项目质量管理 (647)10.2.1、范围 (648)10.2.2、过程目标 (648)10.2.3、角色与职责 (649)10.2.4、过程活动 (651)10.3、项目计划 (656)第11章安全保密 (674)第12章知识产权 (676)1013.1、现场支持服务 (678)13.2、标准售后技术服务 (679)13.2.1、提供预防性维护 (679)13.2.2、系统升级服务 (680)13.2.3、系统性能优化 (680)13.2.4、提供系统完整文档 (681)13.2.5、定期系统健康检查服务 (682)13.2.6、应急预案 (683)13.3、承诺 (684)13.3.1、我方对集团的承诺 (684)13.3.2、关于开发队伍的承诺 (684)13.4、技术保证 (685)13.4.1、方案实用性保证 (685)13.4.2、应用系统的运行能力的保证 (685)13.4.3、预防性维护检修内容 (686)13.4.4、服务响应 (686)13.4.5、关于软件维护的保证 (687)13.4.6、专业服务保证 (688)13.4.7、售后服务流程及时限 (688)第14章人员培训 (689)14.1、H ADOOP系统培训 (690)14.2、业务使用培训 (692)1114.4、运行维护培训 (696)14.5、开发培训 (698)14.5.1、培训目标 (703)14.5.2、培训方式 (704)14.5.3、培训资源 (705)12第1章项目概述1.1、建设背景随着移动互联网、云计算、物联网和大数据技术的广泛应用，现代社会已经迈入全新的大数据时代。

XX银行数据中心建设方案引言摘要：本文简单介绍EMC SRDF技术，重点阐述了银行如何利用该技术进行新旧数据中心搬迁、灾难备份的系统设计，详细介绍了如何按照系统设计要求逐步将旧数据中心安全地、迅速地搬迁到新的数据中心，并最终形成一套灾难备份系统。

关键字：SRDF、数据迁移、灾难备份随着银行数据集中的深入开展，各种业务数据都进行集中处理。

随着业务的不断拓展，我们可能需要对旧数据中心进行扩容，并进行新中心的建设。

这时，我们就需要进行数据中心的搬迁工作。

而实际上对于较大型的数据中心，经常要利用灾备技术来实现数据的迁移，同时利用原有的数据中心作为备份中心。

如何能保证数据中心迁移过程中数据不丢失？如何确保数据中心迁移过程中业务系统基本不停顿？这些都是我们银行要面对的问题。

本文将基于EMC SRDF技术，以中国建设银行厦门市分行数据中心新旧大楼搬迁和灾备系统实施为例，讨论数据中心数据迁移和搬迁的方案规划、设计和实施。

一、数据中心迁移背景银行数据中心的共有特点是：业务集中、数据集中、海量数据容量（至少TB量级）、大业务量、业务连续性要求极高、关键业务数据可用性高。

随着银行数据集中，旧数据中心由于容量、性能、运行环境等限制，已不能满足业务系统发展的需要，这时各银行就可能建立一个新的数据中心。

由于业务24×7的连续性需求和客户数据的重要性，保证业务连续性是数据中心迁移的核心要求，迁移数据的高可靠性是数据中心迁移成败的关键。

数据迁移过程中对业务的影响、迁移的数据完整性保证是迁移技术选型、方案设计的依据。

随着厦门建行各项业务系统的发展，原有的计算中心机房已经难以满足越来越多业务系统对中心运行环境的要求，系统的扩充性受到极大的限制。

随着分行新营业大楼的使用和新大楼中新中心机房的建设完成，厦门建行需要将原有的数据中心将搬迁到新营业大楼中。

厦门建行原数据中心主机系统基本上是基于IBM RS/6000主机和EMC存储平台为基础的系统。

商业银行数据中心网络建设方案目录1、数据中心建设分析 (3)1.1 背景 (3)1.2 建设重点 (3)2、数据中心网络系统设计原则 (4)2.1可靠性和可用性 (4)2.2可扩展性 (5)2.3灵活性 (5)2.4高性能 (5)3、数据中心分区设计思想 (5)3.1 区域划分 (5)3.2分区设计的优点 (6)4、数据中心架构设计 (6)4.1设计概述 (6)4.1.1 VLAN规划 (8)4.1.2 路由设计 (8)4.2核心交换区设计 (8)4.2.1 具体设计 (8)4.2.2 VLAN划分 (8)4.2.3 路由规划 (9)4.3生产前置区规划 (10)4.3.1拓扑 (10)4.3.2 VLAN规划 (10)4.3.3 路由规划 (10)4.4 广域网接入区规划（分行接入） (11)4.5.1 路由规划 (13)4.6 QoS设计 (13)4.6.1 QoS设计原则 (13)4.6.2 QoS服务模型选择 (14)4.6.3 QoS规划 (15)4.7 ARP攻击防御 (17)4.7.1 ARP攻击原理 (17)4.7.2 ARP攻击的类型 (17)4.7.3 ARP攻击解决方案 (20)4.7.4 其他技术 (27)5、数据中心管理 (28)5.1数据中心管理设计原则 (28)5.2网络管理 (29)5.3网络监控 (31)6、产品与关键技术 (33)6.1 万兆以太网与100G平台技术的考虑 (33)6.1.1以太网发展进入100G时代 (33)6.1.2服务器万兆互联成为主流趋势 (34)6.1.3核心交换机的价格升级至100G (35)6.2 IRF虚拟化技术 (36)6.2.1技术优点 (36)6.2.2典型组网应用 (37)1、数据中心建设分析1.1 背景当前，国内四大国有商业银行、城市商业银行、邮政储蓄银行、农村信用社、证券等金融机构都在进行数据大集中之后的IT建设，而数据中心和灾备中心的建设是其中建设的重点。