工商银行上海数据中心备份方案解析
- 格式:doc
- 大小:33.00 KB
- 文档页数:3
工商银行数据中心工商银行是中国最大的商业银行之一,拥有庞大的客户数量和复杂的金融业务。
为了支持这些业务的运作,工商银行建立了先进的数据中心,作为信息处理和存储的核心枢纽。
数据中心是银行业务的重要基础设施,承担着保护客户数据、支持交易处理、实现业务可靠性和故障恢复等关键功能。
数据中心的架构工商银行的数据中心采用了先进的技术架构,以确保高可靠性和安全性。
数据中心通常包括主干网络、服务器、存储系统、备份设备、安全设备等组成部分。
主干网络是数据中心内各设备的通信网络,负责传输数据和保障设备之间的连接畅通。
服务器是数据中心的核心组件,负责运行各种应用程序和服务。
工商银行的数据中心通常会部署大量的服务器,以支持业务系统的高效运作。
存储系统是数据中心的重要组成部分,用于存储各类数据,包括客户信息、交易记录、系统日志等。
工商银行的数据中心通常会采用高性能的存储设备,以满足不同数据访问需求。
备份设备是数据中心的关键设备之一,用于定期备份数据,以防止数据丢失或损坏。
工商银行通常会采用多重备份策略,确保数据的安全性和可靠性。
安全设备是数据中心的关键设备之一,用于保护数据中心免受网络攻击和物理入侵。
工商银行通常会采用防火墙、入侵检测系统、访问控制系统等多层安全措施,以确保数据的安全和隐私。
数据中心的运维管理为了确保数据中心的稳定运行,工商银行会采用先进的运维管理技术。
数据中心的运维管理包括监控设备运行状态、排除故障、定期维护设备、升级软件版本等一系列工作。
监控是数据中心运维管理的重要环节,通过监控系统可以实时监测设备运行状态、网络流量、存储容量等关键指标。
一旦发现异常情况,运维人员会及时采取措施,确保问题得到及时解决。
故障排除是数据中心运维管理的关键任务之一,一旦设备发生故障,运维人员会迅速响应,进行故障排查和修复工作。
工商银行通常会采用冗余设计和备用设备,以最大程度降低故障对业务的影响。
定期维护是数据中心运维管理的必要工作之一,包括对设备进行清洁、检查硬件状态、更新软件版本等工作。
工商银行上海数据中心灾备系统运维实践、“两地三中心”建设历程工商银行于1999年开启了数据中心集约化建设的先河,在北京、上海分别建设两大数据中心后,于2002年1月在国内同业率先启动了主机灾难备份工程。
经过多年的建设和持续投入,已经实现了高等级的核心系统灾备体系建设,完成了全行应用分等级灾备体系建设。
为进一步提升信息系统灾难恢复能力,工商银行启动了“两地三中心”工程建设。
根据规划,2014年将在上海嘉定建立同城数据中心,与上海外高桥数据中心构成同城双中心,同城双中心整体与北京异地灾备中心组成异地灾备模式(如图1所示)。
“两地三中心”模式可以满足不同灾难场景下的恢复要求,实现更灵活的风险应对。
在架构布局上,上海同城双中心具备基本相同的业务处理能力并通过高速链路进行实时数据同步,两个中心之间距离约55千米,日常情况下可按主/ 备或双活模式运行。
在发生区域级灾难某个中心失效时,可在基本不丢失数据的情况下进行双中心间的应急切换,保持业务连续运行。
北京异地灾备中心用于同城双中心的灾难恢复,当出现因大范围自然灾害等原因导致同城双中心同时失效时,异地灾备中心可以用灾备系统接管全行核心业务。
二、“两地三中心”技术手段和实施策略工商银行通过技术攻关,完成了“两地三中心”模式下的信息系统业务连续性架构设计和方案研究,提出了可以提供多层级业务连续性保障水平的解决方案。
信息系统可以给银行业务应用提供A/A、A/Q和A/S等多种部署模式,最终以业务影响分析结果作为应用部署模式选型的决策依据。
在具体实施中,工商银行坚持“全面覆盖基本保障能力、重点针对关键核心应用部署高等级灾备保障技术''原则,做好资源分等级和差异化配置。
如ATM、POS、柜面业务、资本市场等核心业务系统是银行的关键应用,与其相关的应用系统就具有较高的业务连续性等级。
自2010年工程启动以来,项目进展情况良好,完成方案规划设计和验证评审,在数据库复制技术全面推广、智能网管改造、55千米磁盘同步镜像等关键技术领域取得了突破;完成了核心主机并行系统投产,即双园区模拟同城双活的试运行,目前主机并行系统主要运行可分离查询交易,分流了部分核心生产系统的负载压力;完成13个开放平台应用服务器双活改造,预计今年将完成近50个开放平台应用的双活改造。
中国工商银行数据中心(上海)社会招聘岗位 岗位名称 岗位职责工作地点 相关要求 开放平台 数据库管理 负责对Oracle/MSSQL/Teradata 等开放开放平台数据库的生产运行维护,协助进行开放平台版本投产工作,对大型数据中心必备的数据库系统进行维护和改进。
上海/北京 1、全日制高校本科以上学历,计算机或软件工程相关专业;2、3年以上大数据运维工作经验,精通熟悉Hadoop相关技术,具有MySQL 开发维护经验;3、具有Oracle 数据库OCP 、OCM 认证者优先。
开放平台存储管理负责对开放平台集中存储备份系统进行生产运行维护,深入研究存储虚拟化、大批量备份及灾备相关技术,并对存储备份生产运维方式进行改进。
上海/ 北京 1、全日制高校本科以上学历,计算机或相关专业;2、3年以上开放平台系统维护经验,熟悉主流操作系统运行维护操作与管理;3、3年以上集中存储管理经验,熟悉主流存储产品技术及虚拟化技术,有为虚拟化平台进行存储架构设计经验者优先;4、熟悉数据备份技术和数据容灾技术,有独立设计或参与设计开放平台数据容灾方案经验者优先。
开放平台操作系统管理 负责AIX/SUSE/WINOWS 等开放平台操作系统的生产监控及运行维护,参与开放平台应用投产及项目实施,对大型数据中心必备的操作系统进行维护和改进。
上海/ 北京 1、全日制高校本科以上学历,计算机或相关专业; 2、3年及以上Linux 操作系统或Vmware 平台运维经验,有存储、数据库(oracle )、中间件(was )运维经验者优先;3、2年及以上开放平台主流硬件或网络运维经验,有为大型数据中心进行虚拟化基础架构设计经验者优先。
电力系统 负责110KV 、35KV 变电站供上海 1、全日制高校本科及以上学历,强电相关专业;。
引言概述:数据中心是现代信息社会中不可或缺的重要构件,其为各行各业提供数据存储、处理和交换等基础设施服务。
上海作为中国经济、金融和科技发展的重要地区,数据中心的建设和发展也日益受到重视。
上海数据交易所是上海市政府支持和推动的大型数据交易平台,旨在促进数据资产的流通和价值实现,本文将深入探讨上海数据交易所的发展现状及前景。
正文内容:一、上海数据交易所的背景及目标1.政策背景:上海市政府对数据经济的重视和支持;2.建设目标:推动数据资产的交易与共享,促进数据经济的发展;3.功能定位:提供数据交易、结算和咨询等一站式服务。
二、上海数据交易所的基础设施建设1.机房建设:安全稳定的数据存储与处理环境;2.网络通信:高速、低延迟的数据传输通道;3.数据安全:保护隐私和防止数据泄露的技术措施;4.硬件设备:高性能的服务器和存储设备。
三、上海数据交易所的数据交易模式与服务1.数据交易方式:拍卖、竞价、挂牌等多种交易模式;2.数据交易品种:金融、科技、医疗、人口等多个领域的数据资产;3.交易服务流程:信息发布、报价、成交确认与结算;4.数据交易风险管理:交易合规、数据估值、纠纷解决等措施;5.数据咨询服务:数据分析、预测与建模等增值服务。
四、上海数据交易所的市场发展与机遇1.数据经济的发展趋势:、区块链、云计算等技术的推动;2.数据交易市场的竞争格局:国内外数据交易所的对比与分析;3.数据产业链的拓展与融合:数据采集、清洗、分析与应用的协同创新;4.数据资产流通的挑战与机遇:数据壁垒、价值认可与知识产权保护等问题。
五、上海数据交易所的未来展望与发展战略1.推动数据标准化与认证机制的建立;2.拓展国际数据交易与合作;3.集聚数据产业创新资源,推动数据资产的增值与转化;4.面向大众的数据教育与培训,提升数据利用能力;5.稳妥推进数据产权保护法律法规的建立与完善。
总结:上海数据交易所作为上海市政府建设和支持的大型数据交易平台,将在数据资产交易与服务等方面发挥着重要的作用。
金融业数据中心r大型主机系统硬件架构的设计与分析张正培;陈永青;陆君杰【期刊名称】《中国金融电脑》【年(卷),期】2018(000)003【总页数】7页(P36-42)【作者】张正培;陈永青;陆君杰【作者单位】中国工商银行数据中心上海;中国工商银行数据中心上海;中国工商银行数据中心上海【正文语种】中文面对当前各种新技术架构的挑战,大型主机系统在金融企业广泛应用的地位依然没有改变,这与它的高稳定性、高安全性和强大的处理能力密不可分。
数据中心作为金融企业的生产中心,为业务的顺利开展提供坚实的科技支撑,其稳定安全的运行至关重要。
合理设计数据中心大型主机系统硬件架构是一项复杂的工作,在金融企业总体布局中占有重要位置。
一、主机系统硬件总体架构一套基本的主机系统硬件架构包括主机集群、主机磁盘机、虚拟带库、磁带库、光纤导向器、FTS(Fiber Transfer System)以及连接各设备的光纤链路。
主机集群用于数据的集中处理;主机磁盘机用于数据集中存储;磁带库用于数据的备份;虚拟带库提供主机集群备份到磁带库的数据缓冲;光纤导向器提供数据交换功能;FTS用于为光纤导向器和其他功能部件间提供光纤跳接。
各设备间的连接关系如图1所示。
在设计和规划数据中心时,为保证冗余备份和灾难恢复,往往会建立多个站点并在站点间保持数据同步和多级备份,确保数据的高可靠性、高一致性和高安全性。
目前通用的架构包括“异地灾备”架构和“两地三中心”架构。
图1 主机系统硬件架构“异地灾备”架构,为的双站点分别位于两个城市,保障了远程异地双活及业务连续性,可在需要时随时进行切换。
图2为“异地灾备”架构,其中站点A和站点B构成“异地灾备”架构,如果站点A或站点B发生灾难性故障,可将核心业务处理和主要渠道切换到另一个站点。
“两地三中心”指的是在两个城市设立三个数据中心站点。
如图3所示,A站点和B站点为同城双活站点,承担业务生产,在其中一个站点出现问题时,可互相切换接管;C站点为异地灾备站点,用于在A站点及B站点同时失效(如地区灾难性事故发生)时,异地接管生产。
银行两地三中心备份架构测试方案目录1.测试目的 (3)2.测试物理架构 (3)3.测试内容 (5)案例一:SAN-Client架构下的数据备份和介质服务器端重删 (5)案例二:备份数据灾备—基于重删技术的复制和跨备份域的自动导入 (7)案例三:Windows平台下的客户端重删备份 (7)案例四:SAN-Client架构下直接备份到磁带库的性能表现 (9)案例五:NPIV环境下的SAN-Client备份架构 (10)4.结果分析 (11)5.测试结果 (13)图 1 测试环境架构图 (3)图 2 备份域1的备份量/重删后空间占用随备份作业的变化趋势图 (6)图 3 备份域1的即时重删比/空间占用重删比随备份作业的变化趋势图 (6)图4虚拟环境下的文件拷贝性能 (8)图5备份域2的备份量/重删后空间占用随备份作业的变化趋势图 (9)图6备份域2的即时重删比/空间占用重删比随备份作业的变化趋势图 (9)图7通过NBU5220透传到磁带库的性能 (10)Table 1 数据库1备份数据汇总表 (5)Table 2数据库2备份数据汇总表 (5)Table 3跨备份域的重删复制数据统计表(备份域1到备份域2) (7)Table 4 跨备份域的重删复制数据统计表(备份域2到备份域1) (7)Table 5 Windows平台SQL Server数据库的客户端重删备份 (7)Table 6 Windows平台文件的客户端重删备份 (8)Table 7 通过NPIV实现SAN-Client备份架构 (10)Table 8通过NBU 5220直接透传备份到磁带库的参考数据 (12)1. 测试目的本次xx 银行NBU5220智能备份一体机测试主要验证SAN-Client 架构的实现和性能指标,并提供对xx 银行海外分行两地三中心架构下的备份系统建设做参考。
主要测试内容:● 验证Symantec 备份一体机(NBU5220)松耦合架构(SAN-Client 架构)的实现 ● 验证通过NBU5220通过光纤网络透传备份到磁带库的功能和性能 ● 验证通过NBU5220重删技术进行备份的多钟场景和效果 ● 验证通过NBU5220进行备份的存储单元组的架构● 验证通过NBU5220在同一备份域内的存储生命周期策略的实现● 验证通过NBU5220跨备份域实现重删复制、并自动在灾备域自动导入备份信息的功能2. 测试物理架构为本次测试,xx 银行信息中心搭建2个测试备份域,以满足对备份域的SAN-Client 架构和跨备份域的复制等功能的测试。
创新助推工商银行“两地三中心”工程建设作者:李六旬来源:《中国金融电脑》 2015年第9期工商银行“两地三中心”工程建设共历时5年,完成自主创新18项,共计提交13项国家专利申请。
项目建设过程中,科技人员自主、创新,有机整合应用业界多种技术,实现了信息系统从传统灾备恢复模式向双中心并行运行的业务连续模式的转型。
在主机、网络、开放平台等技术应用方面,探索实践了金融业业务连续运转的新模式,成为行业内可借鉴的示范标杆。
2015 年4 月18 日22:00 至4 月19 日22:00,工商银行成功实施了2015 年度首次临时通知同城站点切换演练,在切换和回切过程中,业务影响时间均控制在2 分钟之内,进一步验证了同城数据中心的业务运营接管能力。
这是继工商银行2013 年在国内同业率先成功实施数据中心同城双园区全业务切换运行,以及2014 年上海嘉定同城中心成功投产并实现全国首家金融企业跨数据中心全球核心业务分钟级切换运营之后,在持续提升信息系统连续运营能力道路上的又一个重要里程碑,标志着工商银行已具备常态化下行业内领先的业务连续性和灾难恢复能力。
一、工商银行“两地三中心”工程双活目标2009 年,为在“两地两中心”灾备体系基础上进一步提高信息系统的高可用性和业务连续运作能力,探索从传统灾备恢复模式向双中心双活、多活的业务连续模式转型,工商银行启动了“两地三中心”新架构建设,明确最终实现的业务目标为“双活一备、业务连续、数据零丢失”,即数据上海(上海)建设同城双中心应对站点级故障或灾难,双中心均能运行核心银行业务并可相互接管,实现分钟级恢复对外客户服务,并保持数据零丢失;数据中心(北京)作为异地备份中心,应对区域级灾难。
根据总行工程布局要求,工商银行数据中心(北京)牵头展开技术攻关和研究工作。
项目团队在技术论证和调研过程中发现,“两地三中心”双活建设目标是站在面向业务的角度真正满足业务连续性运作的需要,是业界双活建设的最高追求目标。
一、中国工商银行上海数据中心数据备份和恢复的需求
中国工商银行上海数据中心(以下简称上海数据中心),每天需要对VSE/ESA生产主机和OS/390生产系统上的生产和系统数据进行备份,包括批处理前和批处理后的数据备份。
上海数据中心每天需要从8个VSE/ESA系统和8个OS/390系统上的数百个3390-3型磁盘卷上备份大量VSAM文件(业务数据) 和备份磁盘卷的整卷数据。
现在,每个VSE/ESA生产系统的每天的数据备份量达200盘3490E 磁带,其中有60盘左右为对磁盘卷的备份。
为了不间断业务运行,缩短批处理时间,不影响生产运行。
上海数据中心对数据备份操作的要求是:
∙确保数据安全性和完整性。
∙缩短备份时间,减少由于备份对业务的中断。
∙如果需要进行数据恢复时,恢复操作要准确、迅速,时间短。
∙备份和恢复操作要简捷,便于操作员的日常使用。
为了将数据备份时间缩短到最小,上海数据中心希望利用磁盘快速复制技术,或者虚拟磁带系统来快速完成备份操作。
上海数据中心最终备份的的数据是VSAM文件。
单个文件的数据量不大,但是文件数量众多。
对这种类型数据的备份和恢复,虚拟磁带系统(VTS)技术将是最好的解决方案。
上海数据中心最终利用StorageTek公司的、运行在OS/390操作系统上的HSC和VTCS软件,配合以运行在VSE/ESA操作系统上的、MT Consultant公司的LMS/VSE软件来完成这些备份任务的。
、方案介绍
由于上海数据中心需要备份的数据量庞大,将来的备份磁带数量一定很多。
因此,上海数据中心应该采用自动磁带库来管理备份磁带。
并采用物理磁带及和虚拟磁带机相结合的数据备份和恢复技术,来提高数据备份的效率和存储空间的利用率。
9490磁带机与3490E磁带机完全兼容,采用IDRC压缩和3490E E-cart,单盘磁带的容量为2.4GB。
由于上海数据中心的磁盘卷大多数为3390-3 型,容量为
2.89GB,将占用2盘3490E E-cart磁带。
上海中心采用9490磁带机EE-tape功能,一盘磁带的容量可以高达4.8 GB (压缩后)。
对于OS/390磁盘卷整卷的备份,上海数据中心采用StorageTek 9310自动磁带库和9840高性能、大容量磁带机。
如果配合StorageTek exHPDM软件,可以将数个磁盘卷同时备份到一盘9840磁带上。
将能充分发挥9840磁带机的性能和充分利用9840磁带的容量。
根据工商银行上海数据中心对数据备份和恢复的要求,采用StorageTek公司9310自动磁带库加StorageTek公司的VSM(虚拟存储系统)的综合磁带解决方案。
VSM主要处理大量小文件的备份和恢复,如VSAM文件、CICS日志、数据库增量备份等。
而对大型文件备份和恢复,则直接使用9310自动磁带库中磁带驱动器,如对磁盘卷的整卷备份、数据库的全备份等操作。
本方案涉及的硬件和软件产品
∙1套StorageTek 9310自动磁带库系统
∙1套StorageTek VSM虚拟存储系统
∙8套HSC(主机软件部件)软件
∙1套VTCS(虚拟磁带控制软件)
∙8套LMS/VSE软件及8套5193磁带库管理网关
∙磁带管理软件
在OS/390系统上采用CA公司的CA-1/TMS磁带管理软件。
在VSE/ESA系统上采用CA公司的DYNAM/T磁带管理软件。
磁带库和VSM系统硬件连接方案
若要实现虚拟磁带卷的迁移和回迁,VSM至少需要9310磁带库中的2台9840物理磁带驱动器与其相连接。
如果迁移和回迁的工作量比较大,则需要更多的磁带机驱动器。
由于VSM主要用于处理大量小文件的备份和恢复。
而对大型文件的备份和恢复仍需要直接使用9310自动磁带库中9840磁带驱动器。
因此9310自动磁带库必须要有直接(或通过ESCON通道转接器)连接到OS/390主机上的磁带机驱动器。
如果主机上同时提交了多个大型文件的备份或恢复作业,则需要有多个磁带机驱动器。
否则,将会有作业因没有可用的磁带驱动器而等待。
如果将9310中的多个磁带驱动器给VSM专用,再将另一些磁带驱动器给主机专用,则需要更多的磁带驱动器。
直连的优点是,日常操作比较简便。
但是,这样做投资比较大,而且磁带驱动器不能得到充分的利用。
这样如何充分、有效地利用磁带库中磁带驱动器,则是需要解决的问题。
上海中心每个VSE系统每天的数据备份量平均为200盘3490E磁带。
不含磁盘卷的备份磁带。
按照实际存储在每盘磁带上的数据量平均为100MB,那么8个VSE 系统每天的备份数据总量为160 GB。
如果这些备份数据驻留在VSM的时间为1天,那么VSM的容量至少为160GB。
如果这些备份数据的保留时间为30天,则总的数据容量为9.6TB。
自动磁带库中将需要至少120盘9840磁带来保留这些备份磁带。
如果将每天每个VSE系统的备份数据迁移到一盘3490E磁带中,30天则需要240盘3490磁带。
如果OS/390系统的备份的数据量与VSE/ESA系统的相近,则对VSM容量的要求将与以上分析大体相近。
三、方案技术要点
虚拟磁带存储管理是对磁带和自动磁带库解决方案的重大革新。
它是自从磁带库出现以来,第一个为批量处理而发明的新技术。
虚拟磁带使现有的技术能够得到充分地利用。
虚拟磁带技术将批处理中的磁带操作变得更加有效,使高密度介质、高性能磁带机和高速通道得以充分利用。
VSM虚拟磁带系统所带来的最大利益是极大地提高了批处理的性能,这是用户可以直接感受到的虚拟磁带技术所带来的影响。
其带来的间接利益还有很多,包括:充分利用现有的磁带机和磁带资源,解决磁带驱动器紧张的问题,简化了磁带管理。
对于小型批处理文件的备份,装带和卸带时间占整个磁带操作时间(占用磁带机驱动器的时间)的很大一部分。
利用虚拟磁带技术,将没有装带和卸带的时间,所以整个磁带操作时间将显著降低。
这将带来两大好处:第一,批处理作业将运行地更快,从而缩小批处理窗口;第二,虚拟磁带机驱动器的利用率更高,减少作业等待驱动器的时间,降低了对驱动器数量的需求。
再加上虚拟磁带系统提供的虚拟磁带驱动器数量很多,使系统可以同时处理大量批处理备份作业,减少作业的等待时间。
如果需要从仍驻留在VSM中虚拟磁带中恢复数据,由于该虚拟磁带卷仍然驻留在缓存中,VSM将会直接将它恢复到主机磁盘上。
整个过程不需要装带/卸带操作,缩短了恢复的时间,也缩短了批处理的时间。
用户可以定义虚拟磁带卷驻留的时间。