DataGuard和GoldenGate灾备方案对比111
- 格式:xls
- 大小:18.00 KB
- 文档页数:2
基于Oracle数据库的数据同步技术大体上可分为两类:Oracle自己提供的数据同步技术和第三方厂商提供的数据同步技术。
Oracle自己的同步技术有DataGuard,Streams,Advanced Replication和今年刚收购的一款叫做GoldenGate的数据同步软件。
第三方厂商的数据同步技术有Quest公司的SharePlex和DSG的RealSync。
下面对这些技术逐一进行介绍。
一、DataGuard数据同步技术DataGuard是Oracle数据库自带的数据同步功能,基本原理是将日志文件从原数据库传输到目标数据库,然后在目标数据库上应用(Apply)这些日志文件,从而使目标数据库与源数据库保持同步。
DataGuard 提供了三种日志传输(Redo Transport)方式,分别是ARCH传输、LGWR同步传输和LGWR异步传输。
在上述三种日志传输方式的基础上,提供了三种数据保护模式,即最大性能(Maximum Performance Mode)、最大保护(Maximum Protection Mode)和最大可用(Maximum Availability Mode),其中最大保护模式和最大可用模式要求日志传输必须用LGWR同步传输方式,最大性能模式下可用任何一种日志传输方式。
最大性能模式:这种模式是默认的数据保护模式,在不影响源数据库性能的条件下提供尽可能高的数据保护等级。
在该种模式下,一旦日志数据写到源数据库的联机日志文件,事务即可提交,不必等待日志写到目标数据库,如果网络带宽充足,该种模式可提供类似于最大可用模式的数据保护等级。
最大保护模式:在这种模式下,日志数据必须同时写到源数据库的联机日志文件和至少一个目标库的备用日志文件(standby redo log),事务才能提交。
这种模式可确保数据零丢失,但代价是源数据库的可用性,一旦日志数据不能写到至少一个目标库的备用日志文件(standby redo log),源数据库将会被关闭。
114Internet Security互联网+安全一、引言如今医院信息化建设不断发展,业务也在不断扩大,信息也成为医院的生产资源,业务流、资金流、信息流相互作用,贯穿医院运营管理的全过程。
各种业务系统产生的核心数据逐渐增多,业务系统容灾和数据备份保护显得尤其重要。
数据安全、业务连续和用户隐私保护,是信息化环境下各类用户最重要的安全原则。
如何通过灾备保证系统安全及业务连续性,成为医院信息科室关注的问题,经济性也是重要考量因素。
灾备系统规划建设中,将新旧设备分别建设于生产和容灾是合理化利用物理设备的有效解决方案。
二、医院现状我院现有HIS、LIS、EMR、PACS 等核心系统来承担医院的日常业务运行,HIS、LIS、PACS、EMR、体检、银医通、物资设备等业务系统都建有相应的备份功能,为了实现对系统和数据的多重保护,确保重要数据万无一失,同时提高系统和数据应急恢复能力,我们采用备份一体机AnyBackup 5.0对现有业务系统的生产数据、服务器操作系统、虚拟化平台的虚拟机系统和数据等重要数据采取统一的、集中的备份,同时采用增量备份和完全备份相结合的模式,提高防灾、容灾的能力。
备份一体机恢复数据需要专业的环境,恢复时间受环境搭建、硬件设备等影响。
原备份一体机基于应用层备份,无存储层备份。
医院原搭建的oracle RAC 群集的物理设备已经使用超过5年,我院已于今年进行更换。
但是闲置下来的RAC 群集物理设备变得相对鸡肋,使用在低端业务应用有些奢侈,使用在高端业务安全性能不够,原设计方案建设的软件无法与新搭建的软件并行。
三、需求分析为了保护我院信息化平台的数据信息,必须对其信息系统平台上的数据进行有效的备份。
通过配置相应的数据备份软件、磁带库等软、硬件系统,以防止因为硬件损坏、逻辑错误、人为误操作等故障而引起医院双活数据中心灾备系统的探讨和实践摘要:目的:在原有的业务双活主机架构基础上升级容灾备份系统,探索符合我院现状的容灾方案,进一步保障业务系统平稳运行,生产数据安全可用。
GoldenGate TDM容灾方案与DataGuard容灾方案的对比物理standby我们知道物理standby与primary数据库完全一模一样(默认情况下,当然也可以不一样,事无绝对嘛),Dataguard通过redo应用维护物理standby数据库。
通常在不应用恢复的时候,可以以read-only模式打开,如果数据库指定了flashback area的话,也可以被临时性的置为read-write模式。
物理standby所使用的redo应用技术使用最底层的恢复机制,这种机制能够绕过sql级代码层,因此效率最高。
逻辑standby逻辑standby有三种工作模式:最大保护(Maximum protection):必须确保redo写到至少一个standby数据库,才提交本事务.这种模式能够确保绝无数据丢失。
要实现这一步当然是有代价的,它要求所有的事务在提交前其redo不仅被写入到本地的online redo log,还要同时提交到standby数据库的standby redo log,并确认redo数据至少在一个standby数据库可用(如果有多个的话),然后才会在primary 数据库上提交。
如果出现了什么故障导致standby数据库不可用的话,primary数据库会被shutdown。
?最高性能(Maximum performance):这种模式提供在不影响primary数据库性能前提下最高级别的数据保护策略。
事务可以随时提交,当前primary数据库的redo数据也需要至少写入一个standby数据库,不过这种写入可以是不同步的。
如果网络条件理想的话,这种模式能够提供类似最高可用性的数据保护而仅对primary数据库有轻微的性能影响。
?最高可用性(Maximum availability):必须确保redo写到至少一个standby数据库,才提交本事务.这种模式提供在不影响primary数据库可用前提下最高级别的数据保护策略。
栏目编辑:梁丽雯E-mail:****************银行灾备中心同步数据完整性实现■ 广西壮族自治区农村信用社联合社 陈华杰摘要:本文介绍了银行灾备数据中心在其业务连续性中的重要作用,对比了目前主流的数据同步技术,对其中的关键技术进行了分析,并针对生产和灾备中心在异步模式下同步可能会丢失少量数据这个行业痛点提出了解决方案,可供同业参考。
关键词:银行灾备;数据中心;数据同步;异步数据完整性;异步丢数解决近年来,随着国家和行业监管部门对金融机构信息系统风险管理的要求不断提高,以及银行自身基于防范灾难和风险、保障业务连续性需求的考虑,国内银行相继启动了灾备体系建设。
灾备体系建设即除了生产中心以外,再建设一个或者多个灾备数据中心,通过部署必要的软硬件设备,使得关键应用系统在多个中心都拥有相同处理能力的运行环境,再通过数据同步技术,实现生产数据在多个中心之间同步。
灾备中心投入使用后,当生产中心发生灾难故障时,灾备中心可以迅速启用,以保证银行关键业务的连续性。
灾备体系建设与管理是复杂的持续性系统工程,投资巨大、建设周期长、实施难度大。
不仅对技术实力要求高,而且十分考验管理水平,更涉及科技战略、科技治理、运维管理等诸多因素。
其中,如何选择适合的数据同步技术,实现数据在生产和灾备中心之间快速、完整的同步,确保灾难发生时能够快速从生产中心切换到灾备中心,从而保证银行关键业务的连续性,是灾备体系建设需要仔细考虑的问题。
在银行灾备体系建设中,对于银行的业务连续性,监管机构也给出了明确要求。
根据《商业银行数据中心监管指引》(银监办发〔2010〕114号)、《商业银行业务连续性监管指引》(银监发〔2011〕104号)的要求,数据丢失量目标(RPO)不超过30分钟,业务恢复时间目标(RTO)不超过4小时。
在兼顾性能、RPO和RTO三者的时候,银行大部分会选择异步的方式进行生产中心和灾备中心的数据同步,但该模式会导致启用灾备中心时出现丢失少量数据的可能。
GoldenGate TDM软件在容灾方面应用的技术特点目录1 GoldenGate TDM软件在容灾方面应用的技术特点 (3)1.1 卓越的性能 (3)1.1.1 大交易量数据复制 (3)1.1.2 极低的时延 (3)1.1.3 对生产端影响小 (4)1.1.4 最低的网络带宽占用 (4)1.2 高可靠性 (4)1.2.1 可靠的数据复制机制 (4)1.2.2 健壮的复制环境 (5)1.2.3 自动的异常恢复能力 (5)1.3 优秀的兼容性和可扩展性 (5)1.3.1 兼容多种软硬件平台以及数据库平台 (5)1.3.2 支持异构环境间的数据复制 (6)1.3.3 灵活的多种复制模式便于扩展 (7)1.4 良好的可维护性 (7)1.4.1 安装与部署简便无需停机 (7)1.4.2 基于时间点的复制可实现快速恢复 (8)1.4.3 方便易用的管理工具 (8)1.5 广泛的用户基础 (9)2 总结 (9)附录 (10)附录一 GoldenGate公司及产品介绍 (10)GoldenGate公司简介 (10)GoldenGate产品介绍 (10)GoldenGate复制模式 (11)GoldenGate关键特性 (14)GoldenGate用途及应用方式 (15)附录二 GoldenGate成功案例 (17)案例一美国银行 (17)案例二国家体育总局体彩中心 (20)案例三海关总署 (23)1GoldenGate TDM软件在容灾方面应用的技术特点基于GoldenGate的容灾方案,能够在异构环境下有效保护用户业务数据安全和业务连续性,并且具有高性能、高可靠性、高可扩展性。其主要特点如下:1.1 卓越的性能GoldenGate TDM软件能够在活动的生产端及备份端进行数据复制,秒一级的数据延迟,大交易量的数据复制,能在很大程度上确保主备两端数据的同步性及一致性,灾难发生时将数据丢失量降到最低。1.1.1大交易量数据复制GoldenGate是一种能够支持大交易量数据复制的软件。它通过实时解析数据库在线日志,捕获其中的数据变化予以复制;再通过数据压缩、缓存和网络优化等手段有效利用网络,降低传输时间;通过交易重组、操作合并、并行处理等机制加速数据在备份端的投递,从而保证了对大交易量实时复制的实现。在美国银行、Overstock等案例以及国内多次测试中,GoldenGate TDM软件每日同步的数据增量超过1T,在同类软件产品中无人能及。1.1.2极低的时延GoldenGate实时解析数据库的日志,可以在几十个毫秒之内获取数据的变化,然后通过网络传输到备份端;备份端GoldenGate投递进程同样在几十个毫秒内将数据通过数据库本地接口投递到数据库中,完成数据复制。根据我们在某用户使用中实测的数据,在北京到广州近2000公里的远距离复制中,使用2M DDN专线,每日日志增量在20G左右,其复制延迟一般在1秒钟之内,在国内外容灾应用中处于领先地位。如果复制距离缩短,延迟时间会更短。1.1.3对生产端影响小GoldenGate TDM优秀的日志分析技术使得其在复制过程中极少与源数据库交互,且无须在数据库中插入表或触发器,从而对源数据库运行影响非常小,对生产系统的运行基本没有影响。1.1.4最低的网络带宽占用首先,从原理上讲,GoldenGate复制的基本单位是事务,复制的是最小化的数据变化集。通常通过GoldenGate复制的数据量仅为数据库日志量的四分之一左右。其次,GoldenGate集成了数据压缩功能,可以进一步降低在网络上传输的数据量。其压缩算法与winzip相同,根据使用经验,可以达到6:1到9:1的压缩比例,进一步降低了带宽的需求。1.2 高可靠性1.2.1可靠的数据复制机制GoldenGate可以提供可靠的数据复制,主要体现在下面三点:(一)保证事务一致性GoldenGate应用复制操作的顺序与在源系统上的顺序相同,并且按照相同的事务环境提交,确保在目标系统上数据的完整性和读一致性。这种以交易为单位的复制,在一旦出现灾难后能够避免出现交易中只有部分数据被复制到目标从而造成数据紊乱,大大提高了容灾的可靠性。(二)检查点机制保障数据无丢失GoldenGate的抽取和复制进程使用检查点机制记录完成复制的位置。比如在抽取进程中,其检查点记录当前抽取日志的位置,下次复制时能够从该点继续复制,从而保障数据无丢失。在数据传输和投递进程中,也同样运用了检查点机制来保证数据复制的可靠性。(三)可靠的数据传输机制GoldenGate使用应答机制传输交易数据,只有在得到确认消息后才认为数据传输完成,否则将自动重新传输数据,从而保证了抽取出的所有数据都能发送到备份端。GoldenGate的数据传输机制1.2.2健壮的复制环境GoldenGate提供了多种异常处理预案,使客户可以从容应对网络中断、数据库实例失败、RAC节点失败、备份数据库失败等各种异常情况,在异常出现后能够快速地恢复数据复制且保证无数据丢失。1.2.3自动的异常恢复能力GoldenGate使用检查点机制记录当前完成复制的位置。在日常运行过程中,如果由于网络中断、数据库实例失败、存储空间不够等原因造成复制停止,GoldenGate能够以自定义间隔自动检测并在异常排除后恢复复制,保障数据无丢失,使得管理和维护工作中人工介入降低到最小。1.3 优秀的兼容性和可扩展性1.3.1兼容多种软硬件平台以及数据库平台GoldenGate TDM是一种基于日志的结构化数据复制软件,能够兼容各种服务器、磁盘阵列等硬件设备,支持当前常用的各种操作系统如HP Unix、IBM Aix、Sun Solaris、Linux、Windows、z/OS等,可用于当前主流的Oracle、DB2、SQL Server 、Sybase、MySQL、Teradata等各种数据库平台上。GoldenGate软件兼容表1.3.2支持异构环境间的数据复制GoldenGate TDM不仅适用于多种软硬件平台,还能在主备端异构的情况下跨平台进行数据复制。由于GoldenGate TDM是基于日志的数据复制软件,对于硬件平台及操作系统平台有很好的兼容性。对于不同数据库类型,GoldenGate TDM 设计了各自对应的捕捉和投递模块。其捕捉通过解析数据库日志将数据转化为与数据库无关的自定义格式存放到队列,安装在目标端的GoldenGate TDM软件再将这些数据转换为与目标数据库类型及版本相一致的SQL语句,最后将数据变化应用到数据库。因此,GoldenGate TDM软件可以实现不同类型操作系统、不同数据库或其不同版本之间的数据复制。1.3.3灵活的多种复制模式便于扩展GoldenGate提供了灵活的应用方案,基于其先进、灵活的技术架构及其异构环境支持可以根据用户需求组成各种拓扑结构(如图所示)。客户可以根据自己的需求选择特定的复制方式,并根据系统扩展对复制进行任意扩展。基于这种灵活的拓扑和对软硬件的高兼容性,使得客户在IT系统扩展上具有更高的灵活性。GoldenGate各种拓扑结构示意图1.4 良好的可维护性1.4.1安装与部署简便无需停机GoldenGate复制软件的安装和部署非常简单,可以在很短时间内完成软件安装。GoldenGate是一个解压缩后即可使用的软件,其所有信息包括配置、进程信息、数据队列等都放在安装目录下。GoldenGate的状态信息、报告、断点等所有信息等放在其安装目录下,它不需要在源数据库和目标端数据库插入任何附加对象。GoldenGate的安装过程可以在10分钟以内完成,且无须数据库停止服务,对于保证信息系统的业务连续性有重大意义。1.4.2基于时间点的复制可实现快速恢复GoldenGate数据复制可以基于时间点定义复制起始位置,这为客户在维护过程中提供了更好的灵活性。例如,如果目标数据库由于系统错误或者人为失误造成近一个小时数据出现错误,我们可以使用一个命令修改GoldenGate时间点使之从错误时间点之前重新复制,GoldenGate的冲突处理机制会自动过滤掉重复数据,使得最后目标数据恢复与源端一致,而无需重新初始化数据。这种基于时间点的机制非常灵活,为系统管理和维护提供了很大的便利。1.4.3方便易用的管理工具为了使客户方便地管理,GoldenGate提供了集中管理的工具Director。该工具可以对多个分布的GoldenGate实例进行集中管理,并提供命令行、web页面面和Java 界面三种管理界面,客户可以根据自身爱好选择任意一种方式管理和监控复制软件的运行。GoldenGat Director示意图Director使得客户可以更加直观的观察复制软件运行的状态,管理和配置复制软件进程和参数,及时处理故障和报警,还可以提供与第三方监控软件的接口,极大地方便了客户的管理。1.5 广泛的用户基础GoldenGate是一家专注于数据复制领域的专业公司,也是全球最早致力于数据复制软件开发的公司之一,其产品经过世界各国著名企业多年验证。其客户包括中国海关总署、中国国家税务总局、中国国家体育总局体彩管理中心、海南移动、中国电子口岸、美国银行、VISA、瑞银集团、汇丰银行、澳大利亚海关、新加坡港务局等企事业单位,得到了客户的一致好评。2总结在容灾系统建设中,数据备份是关键,如何将数据(包含系统、应用和业务等数据)特别是关键业务数据完整、实时地复制到备份中心,是系统容灾建设的重点。基于GoldenGate TDM产品的容灾解决方案,很好的实现了数据备份的任务,能够在异构环境中实现大交易量数据的实时复制,确保关键数据的持续性访问,及系统业务的连续性。对多种硬件平台、操作系统平台及数据库平台的兼容,跨平台数据复制的特性,特别适用于生产端具有多样性的容灾系统建设。此外,GoldenGate TDM 具有良好的性能,对生产端资源、网络资源占用极少,实时的数据复制,简易的安装,灵活的部署,广泛的应用基础,也使得它在容灾系统数据级复制中,有着无可比拟的优势。总之,基于GoldenGate TDM软件的容灾方案,能够在主备端的异构环境下实现数据实时备份,减少灾难带来的损失,是容灾系统建设的最佳选择。附录附录一 GoldenGate公司及产品介绍GoldenGate公司简介GoldenGate是一家创建于1995年的美国公司,开发总部设在旧金山,在北美,欧洲和亚洲(包括新加坡、印度、澳大利亚)设有支持中心。GoldenGate公司专注于数据同步领域,是实现数据同步技术的领导者。至2007年,在全球35个国家售出超过2000个许可证,客户分布在政府、银行、电信、证券、传媒、医疗等行业,大部分客户为全球500强企业,如中国海关总署、中国国家体育总局体彩管理中心、中国电子口岸、海南移动、美国银行、VISA、瑞银集团、澳大利亚海关、新加坡港务局等。GoldenGate是许多一流的数据库厂商如Oracle、Sybase、Microsoft、MySQL、Teradata等公司的认证合作伙伴,并且和著名的公司如HP、IBM、Sun等厂商建立了战略合作伙伴关系。GoldenGate产品介绍GoldenGate公司的领先技术就是逐渐为大家所知的交易数据管理Transactional Data Management (TDM),可以在异构的IT基础结构之间实现大量数据的秒一级的数据捕捉、转换和投递。GoldenGate可以支持几乎所有常用操作系统如和数据库平台,如下表所示:GoldenGate软件兼容表▪TeradataDelivery:▪All listed above▪MySQL, Ingres▪and any ODBC compatibledatabasesGoldenGate软件提供了一个单一的平台,这个平台可以为任何企业环境实现秒一级的灾难备份。GoldenGate是一种基于软件的数据复制方式,它从数据库的日志中解析数据的变化(数据量只有日志的四分之一左右),GoldenGate将数据转化为自己的格式,直接通过TCP/IP网络传输,无需依赖于数据库自身的传递方式如Oracle Net,而且可以通过高达9:1的压缩比率对数据进行压缩,大大降低带宽需求。在目标端,GoldenGate可以通过交易重组,分批加载等技术手段大大加快数据投递的速度和效率,降低目标系统的资源占用,可以在秒一级实现大量数据的复制。GoldenGate复制模式1) 单向数据复制GoldenGate的数据复制原理是:利用捕捉进程(Extract Process)在源系统端读取Online Redo Log或Archive Log,确定需要进行的复制(增、删、改)操作,并通过队列(Extract 队列),将相关信息传送到目标系统。目标系统端的投递进程(Deliver 进程)接受相关内容,通过Replicate 进程创建实现数据复制或同步的SQL语句,并在目标系统中予以执行。单向复制示意图2) 双向数据复制双向数据复制是基于单向数据复制原理之上,两端互为源/目的数据复制对象,两端生产系统同时保持Active状态。为了避免出现刚被复制进对端目的数据库数据马上又被捕捉进程复制回源端,陷入死循环的状态。GoldenGate采用了相应的判别机制来保证对捕捉数据的识别,当应用程序和GoldenGate复制进程同时更新同一个表时, 捕捉进程使用了一个跟踪表机制。在配置双向数据复制时, 需要通过命令行向两边的数据库中加入跟踪表。当捕捉进程读到一个交易中有针对跟踪表的更新, 捕捉进程就知道这个交易是由复制进程产生的并且把这笔交易忽略掉. 如果没有针对跟踪表的更新, 捕捉进程就知道这个交易是由应用程序产生的并且把这笔交易读取出来.通过以上处理机制后,就可以很好的解决双向数据复制中所担心的重复捕捉变化数据的操作出现。显然,上述过程的实现,与基于文件复制原理的数据同步完全不同。无论从网络资源占用、执行效率和对系统性能影响等方面考虑,都比其它方案有较大的优势。双向复制示意图GoldenGate提供了灵活的应用方案,基于其先进、灵活的技术架构可以根据用户需求组成各种拓扑结构,如图所示:GoldenGate各种拓扑结构示意图➢广播复制:由一个数据库向多个数据库复制,利用GoldenGate的数据过滤功能可以实现数据的有选择分发;(四)集中复制:由多个数据库向一个数据库复制,可以将分布的、跨平台或异构的多个数据库集中到一个数据库。此种模式广泛应用于n+1模式的容灾,通过将多个系统数据库集中到一起,可以充分利用备份中心的设施,大幅减少投资;另外也用于跨平台多系统的数据集成,为这些提供系统提供一个统一视图便于查询和统计数据。➢多层复制:由A数据库向B复制,同时又由B向C复制,可以在以上几种模式基础上无限制扩展。由此可见,GoldenGate的复制模式非常灵活,用户可以根据自己的需求选择特定的复制方式,并根据系统扩展对复制进行扩展。GoldenGate关键特性GoldenGate是一种基于数据库日志的数据复制产品,可以利用极少的系统开支,实时复制数据库,改善数据可用性。GoldenGate可以在数据移植、在线维护等场合应用,以减少或消除数据库的停机时间。同时,它还可用于数据容灾、负载均衡、数据集中、数据分布等应用中。GoldenGate可确保在这些工作进行时,源系统的正常事务处理得以继续进行,功能上不受影响。作为一种软件方案,GoldenGate 可以采用非常灵活的方式加以配置,包括双向复制和多层次的数据复制。特别是其在双向数据复制领域的技术先进性,可以满足用户在本地或广域网络环境中的各种复杂需求。GoldenGate的TDM软件的几个关键特性∶➢本机数据改变捕捉–作为一个基于日志的同步解决方案,将对源系统和网络的影响减少到最低。➢灵活性–源和目的系统不需要有一样的操作系统、数据库及模板(例如∶表,索引,等)。GoldenGate能在同一个系统的多个数据库实例之间实现数据复制,或把数据复制到局域网内的其它数据库实例,或把数据复制到广域网上的远端数据库实例。➢无需宕机时间的移植–GoldenGate能在不同版本的数据库和操作系统之间同步数据。数据库,操作系统或应用系统的更新可以在辅助系统里进行。一旦更新后的辅助系统通过了完整的测试,所有的处理工作就可以切换到辅助系统,然后更新主系统。一旦主系统的更新完成了,主与辅助系统之间能够再一次同步而无宕机时间。➢不依赖于硬件和数据库–GoldenGate不依赖于操作系统,数据库和硬件。数据可以在不同的环境之间移动,因而消除了客户对任何拓扑结构的依赖性。➢RPO与RTO的目标–GoldenGate提供了立即恢复备份的装备。这是因为源和备份系统可以配置或构架设计为双向”端到端”的功能。➢双向复制–GoldenGate提供了两个或两个以上生产系统之间的数据复制功能。这些系统无须具有一样的属性或相同的操作系统,数据库或数据库版本。➢数据一致性–备份数据库支持读一致性的查询活动(交易的一致性在任何时候都受到保护)。➢灵活的拓扑结构–在数据库和表一级实现了多种相关数据的分部方式。例如∶支持一对多,多对一,多对多以及分层的配置。➢映射与转换功能–列转换能够适应特别的备份需要,包括查看和执行存储过程。➢数据选择–选择性的复制数据而不是全部,例如表,行和列。➢支持OracleRAC–对于Oracle的一个特别需求就是实时支持RAC数据复制。与其它现有方案不同之处就是能够从交易日志中捕捉和投递数据。GoldenGate用途及应用方式GoldenGate 是一种基于log 的复制解决方案,支持不同的配置方式,以满足用户的各种数据复制和同步化要求。其用途和应用方式包括:1)建立报表系统GoldenGate 可以将源系统的数据实时复制到目标系统,从而建立一个可以被访问的即席查询和报表系统。目标系统可以是源系统的全集或子集。报表实例通过将查询和报表系统放在不同的数据库实例中运行,可以平衡服务器负载并提高OLTP类生产系统的性能。一方面,可以减少OLTP应用和查询报表应用之间的磁盘I/O冲突,提高OLTP应用的效率。另一方面,GoldenGate支持不同模式间的复制。可以分别面向OLTP和查询系统的使用特点来进行设计,如建立索引,设置数据库表的参数等等。2)实现高可用性保证数据高可用性和数据库系统能够从灾难中迅速恢复是一个非常具有挑战性的工作。GoldenGate可以通过LAN或WAN进行复制,这样当生产环境出现紧急事件或要进行例行维护时,可以将应用切换到复制数据库中。高可用性有了生产数据库的实时拷贝,用户可以保证应用系统7*24不间断运行的情况下进行维护工作,如进行操作系统和数据库的升级等等。3)多数据源配置多数据源配置允许你将不同的用户分布到不同的服务器,让每个数据库能够反映其他数据库的变化。在这种配置模式下,GoldenGate采用必要的冲突处理机制来解决可能发生的冲突。多数据源4)数据分布和数据集中GoldenGate通过LAN或WAN进行实时复制,将生产数据库中的数据拷贝到需要它们的地方。对广播复制来说,远程用户可以访问这些实时数据而不用登录生产服务器。因此,提高了网络性能和生产环境下的OLTP应用的性能。集中复制广播复制5)层次化企业数据分布GoldenGate 支持层叠复制,可以向不是直接相连的数据库复制数据。使用这种配置,可以在远程数据库间进行复制(如从北京到上海)。GoldenGate 支持多种复杂的场景来满足复制需求。数据分布附录二 GoldenGate成功案例案例一美国银行1)美国银行介绍美国银行为全球首要的金融服务机构之一,致力为客户提供前所未有,优质完善的银行服务。美国银行服务遍及美国21个州、哥伦比亚特区及全球190个国家,为多达3000万个人客户及200万商业客户提供最全面的个人及商业银行服务。所有业务依托于其构架的全球最大的金融服务网络,包括其美国本土内将近4400个分支机构和大约14000台ATM机。并且为将近300万用户提供通过INTERNET方式的实时在线访问模式。2)美国银行面临的几个主要问题作为世界金融服务行业领导企业之一,美国银行的业务系统包括了14000台左右的ATM机,它们每年近似处理大约30亿个事务,一天之中的每一秒钟近似处理300多个事务。系统所采用的硬件平台是HP NonStop。随着如此大量的事务数处理的进行,从K系列到S系列的初始化迁移要求在系统持续运行、不停机的情况下进行。在应用了GoldenGate软件后,美国银行成功的完成系统主机平台升级的初始化数据迁移。项目在2002年2月完成,成功的系统迁移后,美国银行的应用系统包括了3台HP NonStop S系列主机、2台HP NonStop K系列主机。面对着IT行业技术的日益更新,IT环境的日益复杂和日趋重要。美国银行在面对如此庞大的金融服务网络时面对的几个主要问题是:➢美国银行的系统需要为客户提供24小时×7的不间断服务,任何形式的服务停止都会产生不可挽回的损失。需要建立一个完善的灾备系统。➢美国银行希望分布在美国各地的服务器均衡的处理业务请求,但由于地理位置的不同,各地所处理的业务数量也相差悬殊。需要建立一个能够双向复制数据的负载均衡的服务系统。带着这些期望目标,美国银行最终选择了GoldenGate软件平台做作为它的解决方案。3)GoldenGate数据双向复制容灾解决方案在美国银行的应用美国银行在美国的全国范围内,按地区划分了四个生产中心,分别为东北中心,西北中心,东南中心,西南中心。在美国中部堪萨司州设立容灾备份中心。通过GOLDENGATE数据复制平台,实时将生产中心的数据复制到备份中心,一旦生产中心处于计划停机或非计划停机状态,热备中心将接管生产中心的服务,保障业务的持续进行。通过GOLDENGATE的应用。美国银行顺利地完成了各生产中心的系统升级和割接而没有影响到业务服务。系统拓扑结构图如下:热备中心Kansas CityData Center美国银行灾备系统框图美国银行在东北和西北的用户数量有明显的不平均,承担的服务量也明显不同。为了让东北和西北的负载均衡起来,同时相互作为容灾中心。美国银行在东北和西北生产中心采用了GOLDENGATE的数据双向复制功能。这样客户可以同时在东北或西北生产中心本地进行交易。交易结果实时复制到另一生产中心。这样用户交易少的西北生产中心就负载了一部分东北生产中心的用户交易。为避免两端同时对同一帐户进行操作引起的数据冲突,GOLDENGATE采用了复制交易前后差值的方法,来避免数据冲突。4)GOLDENGATE数据双向复制的优势在通过GoldenGate软件将生产中心数据进行迁移而达到与热备中心同步后,成功的实施了数据迁移和系统升级后,GoldenGate为美国银行的容灾系统打下了坚实的基础。可以根据实际业务需要和容灾中心建设的需求,将数据复制到任何想要复制的站点,从而建立灵活的容灾系统。在美国银行的实际应用中,采用了bin-directional(双向)的数据复制,这也反映了GoldenGate软件ACTIVE to ACTIVE的数据复制特性,这表明了其软件极强的适应性。实现了硬件级容灾方案和系统级容灾方案所不能解决的问题。所以说,GoldenGate软件构成了美国银行容灾解决方案的核心部分。5)用户对GOLDENGATE产品的评价美国银行副总裁兼技术总监Michele schwappach对GoldenGate产品有如下评价:“我们在细致评估了目前业界几乎所有的同类产品后,最终选择了GoldenGate产品。从2002年应用至今,GoldenGate产品一直提供稳定的服务。我们相信GoldenGate产品的特性将为美国银行在未来时期内的长期业务发展提供保证”。“这些显著的特性包括:➢面对日趋复杂的计算机环境的极好的适应性,使其能够在目前流行的各种数据平台间传输数据。➢利用GoldenGate软件的数据复制功能,产生类似于生产系统的模拟环境,可直接用于应用程序的测试和开发。➢利用GoldenGate软件的数据双向复制功能,使分散在不同地区的生产系统提供负载均衡的服务。➢利用GoldenGate软件的数据复制功能,提供了生产系统到热备系统的数据实时同步。保证美国银行的业务持续性和灾难备份服务。”。
GoldenGate容灾解决方案黄行威甲骨文(中国)软件系统有限公司目录第一章方案概述 (3)1.1 概览 (3)1.2 GoldenGate TDM的好处 (3)1.2.1 实时性 (3)1.2.2 持续可用性 (3)1.2.3 异构支持 (3)1.2.4 高性能,低影响 (3)1.2.5 事务一致性 (4)1.3 GoldenGate技术介绍 (4)第二章方案实现技术细节 (11)第一章方案概述1.1 概览为了应对这样的现状,我们推荐Oracle 公司的GoldenGate软件,该软件提供了事务数据管理(TDM)平台,用于持续性的在电子客票系统和灾备系统之间传递大量事务数据,并确保投递速度快,事务完整,系统整体开销影响小。
采用GoldenGate的数据复制技术,实现数据实时备份,确保核心数据的安全,同时避免引入过多种类的软硬件产品,降低了运营维护的复杂度和投入,有利于灾备系统的恢复和切换。
1.2 GoldenGate TDM的好处1.2.1 实时性随着一个新事务在数据源端产生,数据马上被捕获,转换(如果有必要),并且在极短时间内被传送给目标端系统1.2.2 持续可用性GoldenGate工作不需要专门的时间窗口或者系统中断,它的架构可以保证即使遇到计划或非计划断电也不会影响可用性。
1.2.3 异构支持只要源和目标端都是主流数据库,主流平台,即使在在异构环境下,也可以使用TDM进行系统间数据复制,这就确保了IT部门的灵活性。
1.2.4 高性能,低影响GoldenGate能够支持每秒数千的事务交易,同时对源系统和目标系统仅仅有极小的性能影响。
1.2.5 事务一致性尽管事务是在源和目的两个不同的系统之间传递的,GoldenGate依然可以确保其参照完整性和事务一致性。
1.3 GoldenGate技术介绍关于 GOLDENGATEGoldenGate 是高可用和实时数据整合的最优方案。
GoldenGate 协助关键系统保持 24*7 小时运作,满足最终用户连续可用的要求。
O racle GoldenGate测试文档1.Oracle GoldenGate介绍GoldenGate TDM(交易数据管理)软件是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化,再将这些变化应用到目标数据库,实现源数据库与目标数据库同步、双活。
GoldenGate TDM软件可以在异构的IT基础结构(包括几乎所有常用操作系统平台和数据库平台)之间实现大量数据亚秒一级的实时复制,其复制过程简图如下:如上图所示,GoldenGate TDM的数据复制过程如下:利用捕捉进程(Capture Process)在源系统端读取Online Redo Log或Archive Log,然后进行解析,只提取其中数据的变化如增、删、改操作,并将相关信息转换为GoldenGate TDM自定义的中间格式存放在队列文件中。
再利用传送进程将队列文件通过TCP/IP传送到目标系统。
捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后,会写检查点,记录当前完成捕捉的log位置,检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制;目标系统接受数据变化并缓存到GoldenGate TDM队列当中,队列为一系列临时存储数据变化的文件,等待投递进程读取数据;GoldenGate TDM投递进程从队列中读取数据变化并创建对应的SQL语句,通过数据库的本地接口执行,提交到数据库成功后更新自己的检查点,记录已经完成复制的位置,数据的复制过程最终完成。
由此可见,GoldenGate TDM是一种基于软件的数据复制方式,它从数据库的日志解析数据的变化(数据量只有日志的四分之一左右)。
GoldenGate TDM将数据变化转化为自己的格式,直接通过TCP/IP网络传输,无需依赖于数据库自身的传递方式,而且可以通过高达9:1的压缩率对数据进行压缩,可以大大降低带宽需求。
在目标端,GoldenGate TDM可以通过交易重组,分批加载等技术手段大大加快数据投递的速度和效率,降低目标系统的资源占用,可以在亚秒级实现大量数据的复制,并且目标端数据库是活动的GoldenGate TDM提供了灵活的应用方案,基于其先进、灵活的技术架构可以根据用户需求组成各种拓扑结构,如图所示:GoldenGate TDM可以提供可靠的数据复制,主要体现在下面三点:保证事务一致性GoldenGate TDM在灾备数据库应用复制数据库交易的顺序与在生产中心数据库上的顺序相同,并且按照相同的事务环境提交,确保在目标系统上数据的完整性和读一致性,为实时查询和事务处理创造了条件。
Oracle GoldenGate 产品介绍GoldenGate软件提供了一个单一的平台,这个平台可以为任何企业环境实现秒一级的灾难备份。
GoldenGate是一种基于于日志的结构化数据复制方式,它通过解析源数据库在线日志或归档日志获得数据的增删改变化(数据量只有日志的四分之一左右),再将这些变化应用到目标数据库,实现源数据库与目标数据库同步、双活。
Dataguard只适用于Oracle数据库,而GoldenGate可以使用几乎所有平台上的主流数据库。
1.1.Oracle GoldenGate为了解决数据复制、数据容灾等需求场景,使用Oracle 公司的GoldenGate 软件,该软件提供了事务数据管理(TDM)平台,用于持续性的在电子客票系统和灾备系统之间传递大量事务数据,并确保投递速度快,事务完整,系统整体开销影响小。
采用GoldenGate的数据复制技术,实现数据实时备份,确保核心数据的安全,同时避免引入过多种类的软硬件产品,降低了运营维护的复杂度和投入,有利于灾备系统的恢复和切换。
1.1.1.GoldenGate特点1.1.1.1.实时性随着一个新事务在数据源端产生,数据马上被捕获,转换(如果有必要),并且在极短时间内被传送给目标端系统1.1.1.2.持续可用性GoldenGate工作不需要专门的时间窗口或者系统中断,它的架构可以保证即使遇到计划或非计划断电也不会影响可用性。
1.1.1.3.异构支持只要源和目标端都是主流数据库,主流平台,即使在在异构环境下,也可以使用TDM进行系统间数据复制,这就确保了IT部门的灵活性。
1.1.1.4.高性能,低影响GoldenGate能够支持每秒数千的事务交易,同时对源系统和目标系统仅仅有极小的性能影响。
1.1.1.5.事务一致性尽管事务是在源和目的两个不同的系统之间传递的,GoldenGate依然可以确保其参照完整性和事务一致性。
1.1.2.GoldenGate 高可用和容灾GoldenGate 高可用和容灾解决方案消除计划外和计划内停机时间,同时提高性能和可伸缩性,满足数据和使用量激增需求。