数据容灾架构中的数据复制技术
- 格式:docx
- 大小:1.28 MB
- 文档页数:17
数据库容灾与故障恢复的实施与测试在当今信息时代,数据的安全性和可用性对于企业而言极为重要。
数据库容灾与故障恢复是一项保障数据持续可用的关键措施。
本文将介绍数据库容灾与故障恢复的实施与测试。
一、数据库容灾实施1. 高可用性架构设计在实施数据库容灾前,需要对数据库系统进行高可用性架构的设计。
高可用性架构包括主备模式、主从模式、集群模式等。
选择适合企业需求的架构,确保主备数据库之间的数据同步以及切换成本的降低。
2. 数据库备份备份是数据库容灾的基础。
定期进行数据库的全量备份和增量备份,并将备份数据保存在异地,以防止因一地故障导致数据的丢失。
同时,备份策略的选择也需要根据企业的业务需求和数据变化情况进行灵活调整。
3. 数据库同步与复制数据库同步与复制是保证主备数据库数据一致性的关键。
通过数据库复制技术,将主数据库的数据同步到备数据库中,确保备数据库中的数据与主数据库保持一致。
常用的数据库复制技术包括物理复制和逻辑复制。
4. 故障自动切换与恢复数据库容灾中,当主数据库发生故障时,备数据库需要能够自动接管主数据库的功能,实现故障的快速切换,保证服务的连续性。
为此,可以利用数据库的集群、镜像、双机热备等技术实现自动切换与恢复。
二、数据库故障恢复测试1. 测试策略的制定在进行数据库故障恢复测试前,需要制定合适的测试策略。
测试策略要包括测试的范围、测试的目标、测试的方法、测试的评估指标等。
针对不同的数据库故障场景,制定相应的测试策略。
2. 故障模拟的实施在数据库故障恢复测试中,需要模拟不同类型的故障,以测试系统对各种故障的反应能力。
例如,模拟主数据库的故障,测试备数据库的故障自动切换与恢复功能;模拟数据损坏,测试数据库的数据一致性与完整性恢复能力。
3. 恢复时间与恢复点目标的评估数据库故障恢复测试中,需要评估恢复时间和恢复点目标(RPO)的指标。
恢复时间指的是系统从发生故障到完全恢复的时间,需要尽量缩短恢复时间,减少业务中断时间。
数据库容灾的常用方法近年来,随着企业数据规模的不断增大和对数据可用性的要求越来越高,数据库容灾问题备受关注。
数据库容灾指的是在数据库系统发生故障或灾难情况下,能够快速、可靠地恢复数据库的可用状态,确保数据的安全性和连续性。
现针对数据库容灾常用的方法进行探讨,包括物理备份、逻辑备份、数据库复制和数据库集群。
一、物理备份物理备份指的是将数据库的物理文件复制到备份设备上,实现对整个数据库的完全复制。
它包括全量备份和增量备份两种形式。
1.全量备份:全量备份是指对数据库所有数据和日志进行备份,一般在数据库初始建立之后进行一次全量备份,以后每隔一段时间进行一次。
全量备份具有备份速度快、恢复速度相对较慢的特点。
2.增量备份:增量备份是在全量备份的基础上,备份数据库发生变动的部分数据和日志。
增量备份能够减少备份数据量和备份时间,但在恢复时需要结合全量备份和增量备份进行数据的恢复。
物理备份适用于大规模数据库和重要数据的备份,具有数据完整性高、恢复速度快的优点。
但也存在备份数据量大、恢复时对数据库的停机时间长的缺点。
二、逻辑备份逻辑备份是在逻辑层面对数据库进行备份,通常以SQL语句或数据导出方式进行。
逻辑备份不复制数据库的物理文件,而是将数据库中的数据和逻辑结构导出为可读的脚本或文件。
逻辑备份具有跨平台的优势,可以实现不同数据库之间的数据迁移和转换。
同时,逻辑备份也方便对数据库中的数据进行选择性恢复和数据导入。
但相比于物理备份,逻辑备份速度较慢,备份文件较大,对数据库的负载较高。
三、数据库复制数据库复制是将主数据库的数据和操作同步到备份服务器的过程。
它是通过将主数据库的事务日志复制到备份服务器并在备份服务器上执行,从而实现主备数据库的同步。
数据库复制具有实时性好、恢复速度快的优点,能够提供几乎无延迟的备份和灾难恢复能力。
常见的数据库复制方法包括MySQL的主从复制、Oracle的Data Guard和SQL Server的数据库镜像。
数据库容灾方案概述数据库是现代信息系统中不可或缺的核心组成部分,它承载着企业和组织的重要数据和业务逻辑。
在数据库操作过程中,面临着各种风险和可能的故障,如硬件故障、自然灾害、人为错误等。
为了保证数据的安全性和可用性,在设计数据库方案时,必须考虑容灾方案。
数据库容灾方案是为了保障数据库系统在遇到各类灾难性事件时能够快速恢复和可持续运行的一套安全策略和技术手段。
其目标是减少灾害引起的数据丢失和系统停机时间,保护企业或组织的信息安全和业务连续性。
主要的数据库容灾方案有备份与恢复、故障转移和数据复制。
备份与恢复是最基本的数据库容灾方案。
通过定期的全量备份和增量备份,将数据库数据和日志保存到容灾介质中,以便在发生硬件故障、系统错误或人为错误导致数据丢失时进行数据恢复。
备份恢复方案需要保证备份的可靠性和完整性,同时还需测试和验证备份数据的可用性和正确性。
故障转移是将数据库从主节点切换到备用节点的机制。
当主节点发生故障时,备用节点自动接管数据库工作,以实现系统的快速恢复和保证业务的连续性。
故障转移方案可通过数据库集群技术或者虚拟化环境实现。
在设计故障转移方案时,需要考虑到资源的负载均衡、容灾设备的地理分布和网络的可靠性等因素。
数据复制是通过将主数据库的数据实时或定期同步到备用数据库来实现容灾。
数据复制方案可以采用数据库复制技术或主备复制技术。
数据复制可以分为同城复制和异地复制。
同城复制适用于较低的故障风险,保证数据的近实时复制和延迟恢复。
异地复制则适用于面临较高的灾害风险,通过将备用数据库部署在分布式数据中心或者异地机房,以实现跨地域容灾。
除了以上主要的数据库容灾方案外,还可以采用虚拟化和云计算技术来增强数据库的容灾能力。
通过虚拟化技术,可以将数据库部署在虚拟机中,提供快速恢复和高可用性的环境。
云计算技术可以实现将数据库托管到云服务提供商,由其负责数据的备份和容灾。
在选择和设计数据库容灾方案时,需要综合考虑实际业务需求、可用性要求、数据一致性和恢复时间目标等因素。
金融数据中心容灾解决方案在当今数字化的金融时代,数据已成为金融机构的核心资产。
金融数据中心作为存储和处理这些关键数据的枢纽,其稳定性和可靠性至关重要。
一旦数据中心遭遇灾难,如自然灾害、硬件故障、网络攻击或人为错误等,可能导致业务中断、数据丢失,进而给金融机构带来巨大的经济损失和声誉损害。
因此,构建一套有效的容灾解决方案是金融机构保障业务连续性的关键举措。
一、容灾的重要性金融行业的特点决定了其对数据的高度依赖和对业务连续性的严格要求。
金融交易需要实时处理,客户信息必须准确无误地保存,任何数据的丢失或业务的中断都可能引发信任危机,导致客户流失,甚至面临监管处罚。
例如,银行系统的瘫痪可能导致客户无法进行存取款、转账等操作;证券交易所的数据丢失可能影响交易的准确性和公正性,引发市场混乱。
二、容灾解决方案的类型(一)数据备份与恢复这是最基础的容灾手段。
通过定期将数据备份到磁带、磁盘或云端等存储介质中,当主数据中心发生故障时,可以利用备份数据进行恢复。
但需要注意备份的频率和完整性,以及恢复的时间和效率。
(二)异地容灾在地理位置上远离主数据中心的地方建立备份数据中心。
当主数据中心遭受灾难无法正常运行时,业务可以迅速切换到异地数据中心,保证业务的连续性。
异地容灾需要考虑数据同步的实时性、网络带宽和延迟等因素。
(三)双活数据中心主数据中心和备份数据中心同时运行,共同承担业务负载。
这种方式可以提高资源利用率,减少业务切换的时间,但技术实现难度较大,需要保证两个数据中心之间的数据一致性和业务的无缝切换。
(四)云容灾利用云计算服务提供商的基础设施和技术,将数据备份到云端或在云端建立容灾环境。
云容灾具有灵活扩展、成本较低等优点,但需要关注数据安全和合规性问题。
三、容灾解决方案的实施步骤(一)风险评估首先,对金融数据中心可能面临的风险进行全面评估,包括自然灾害、人为因素、技术故障等。
了解每种风险发生的可能性和可能造成的影响,为后续的容灾规划提供依据。
数据库备份与容灾技术数据作为企业和组织最重要的资产之一,必须得到有效的保护和管理。
数据库备份和容灾技术是一种保障数据完整性和可用性的重要手段。
本文将针对数据库备份和容灾技术进行深入探讨,并提供一些实用的建议和指导。
一、数据库备份技术数据库备份是将数据库中的数据和结构拷贝到另一个存储介质中,以防止数据丢失或损坏。
有效的数据库备份技术可以确保数据的持久性和可恢复性。
1.全量备份全量备份是指备份整个数据库的所有数据和结构,将数据库的完整副本存储到备份介质中。
全量备份可以提供最高的数据完整性和可恢复性,但备份时间较长,占用更多的存储空间。
2.增量备份增量备份是基于全量备份的基础上,只备份自上次备份以来的新增或修改的数据。
增量备份相对于全量备份可以减少备份时间和占用的存储空间,但在数据恢复过程中需要应用多个备份。
3.差异备份差异备份是备份自上次完整备份以来发生变化的数据,相比增量备份,差异备份只需要备份当次备份与上次全量备份之间的增量数据。
差异备份相对于增量备份可以减少备份时间和备份数量,但恢复时需要应用全量备份和差异备份。
二、数据库容灾技术数据库容灾是通过构建具有可用性和可恢复性的数据库系统,以防止因自然灾害、硬件故障或人为错误导致的数据库不可用或数据丢失。
常见的数据库容灾技术包括冗余备份、故障切换和灾备复制。
1.冗余备份冗余备份是指将数据库备份存储在多个地理位置或存储介质中,以确保即使某个备份发生故障,其他备份仍然可用。
冗余备份可以通过远程复制、镜像和跨地理位置备份来实现。
2.故障切换故障切换是指将数据库从一个故障的系统切换到一个备用系统,以确保数据库的持续可用性。
常见的故障切换技术包括主从复制、双机热备和集群化部署。
3.灾备复制灾备复制是构建分布式数据库系统的一种方法,通过将数据库复制到多个地理位置的系统中,以实现数据的多地备份和故障容错。
常见的灾备复制技术包括主备复制、多主复制和对等复制。
三、数据库备份与容灾的最佳实践进行数据库备份和容灾时,我们应该考虑以下几个方面来确保数据的安全和可恢复性。
随着社会信息化步伐的不断加速,人们对信息系统的容灾备份能JJ提出更高的要求。
容灾技术冈此也日新月异。
研究容灾技术,成立容灾系统的体系架构,提高容灾系统性能,都是重要的研究方向。
近几年,大量数据灾难如911事件,黑客服务器解决等,使得数据安全问题加倍迫切。
容灾已经成为信息数据中心建设的热点课题,很多容灾技术也快速地发展起来。
在容灾行业,有一个常识是,灾难一旦发生,如何尽可能降低灾难给企业带来的负面影响是需要高度重视的一个问题。
一样,企业在蒙受来自互联网的“灾难”时,首先需要做的就是迅速成立起事故响应机制,及早恢复日常的信息服务。
不过,这需要企业在进行信息化的进程中做好未雨绸缪的容灾备份工作,做好了准备,才能有事情发生时的从容应对。
在容灾技术中通过容灾备份可以很好地解决系统的安全稳定运行要求。
容灾备份是通过特定的容灾机制,在各类灾难损害发生后,仍然能够最大限度地保障提供正常应用服务的信息系统。
容灾备份可以分为数据备份和应用备份。
数据备份需要保证用户数据的完整性、靠得住性和一致性。
对于提供实时服务的信息系统,在用户的服务请求在灾难中中断时,应用备份可以提供不问断的应用服务,让客户的服务请求能够继续运行,保证信息系统提供的服务完整、靠得住、一致。
数据备份是容灾系统的基础,也足容灾系统能够正常工作的保障;应用备份则是容灾系统的建设目标,它必需成立在靠得住的数据备份的基础之上,通过应用系统、网络系统等各类资源之间的良好协调来实现。
按照IBM公司SHARE78标准,容灾技术可以分为7个层次,从无任何容灾备份办法,到将备份的磁带存储在异地,再刮成立应用系统实时切换的异地容灾备份中心,数据和应用的恢复时间从数天到几个小时乃至几秒。
一个完整的容灾备份系统包括本地数据备份、远程数据复制和异地备份中心。
固然,并非是所有的企业都需要这样一个系统,只有对不可中断的关键业务才有必要成立容灾备份中心。
而小型企业通过成立NAS或SAN的离线数据备份和人为的数据转移就可以够达到很好的容灾备份效果。
数据库容灾方案随着企业业务的数字化和数据的快速增长,数据库成为了企业信息系统中不可或缺的重要组成部分。
为了保证业务的连续性和数据的安全性,企业需要采取一系列的容灾方案来应对可能发生的灾难性情况,例如硬件故障、自然灾害或人为错误等。
本文将介绍几种常见的数据库容灾方案。
一、本地备份与恢复本地备份是最基本也是最常见的数据库容灾方案之一。
通过定期备份数据库的数据和日志文件,可以在系统崩溃或数据损坏时恢复数据。
备份可以使用数据库自带的工具,如Oracle的Export/Import工具,或使用第三方的备份软件。
备份的频率可以根据业务的需求和数据变化的频率而定。
此外,备份数据的存储也需要注意安全性和可靠性,可以将备份数据存储在不同地点以避免单点故障。
二、热备份和冷备份热备份和冷备份是针对关键系统而设计的高可用性数据库容灾方案。
热备份是指将实时数据同步到备份系统中,以保证数据的一致性。
常见的热备份技术有数据库复制和数据库集群。
数据库复制将实时数据复制到备份数据库中,可以实现高可用性和读写分离。
数据库集群则是多个数据库服务器共同提供服务,一台服务器发生故障时,其他服务器自动接管服务。
冷备份是在备份系统中定期将数据和日志文件复制到备份设备中,通常需要停机维护数据库。
三、异地备份与恢复异地备份是指将备份数据存储在与生产环境隔离的地理位置,以应对区域性灾难造成的数据丢失。
常见的异地备份方案有远程复制和云备份。
远程复制可以通过网络将备份数据复制到异地服务器或存储设备中,以实现数据的异地备份和恢复。
云备份则是将备份数据存储在云平台上,具有高可用性和弹性扩展的优势。
需要注意的是,异地备份需要考虑带宽和网络延迟等因素,以确保备份和恢复的效率。
四、容灾演练与监控容灾演练和监控是数据库容灾方案的重要组成部分。
容灾演练可以定期模拟灾难场景,测试备份和恢复的过程和效果,发现和解决潜在的问题,以提高容灾的可靠性和效果。
监控数据库的运行状态和备份的完整性也是非常重要的,及时发现故障并采取相应的措施可以有效减少数据丢失和系统停机的风险。
容灾备份的远程复制与数据同步机制在现代社会,数据的重要性愈发凸显。
企业、机构、个人的数据备份和容灾备份工作变得不可或缺。
容灾备份是指将关键数据或系统进行备份,以防止数据丢失、硬件故障或自然灾害等情况导致的业务中断。
而远程复制与数据同步机制则是容灾备份的核心环节。
远程复制是指在数据源和备份目标之间建立起连接,并通过网络或专用通道将数据从源端传输到目标端。
它实现了源端数据的实时同步或延时同步,以确保备份数据的完整性和即时性。
数据同步机制则是指在数据传输过程中,保证源端和目标端数据的一致性。
远程复制技术有很多种,常见的有同步复制、异步复制和镜像复制。
同步复制要求源端和目标端的数据完全一致,即源端数据修改后必须立即同步到目标端,确保数据的实时性和可用性。
这种方式能够提供较高的数据一致性保证,但也可能引入较高的传输延时和网络带宽消耗。
异步复制则允许源端和目标端数据存在一定的时间差,常见的实现方式有日志复制和增量备份。
它适用于网络传输较差的情况下,能够减少数据传输延时和网络资源消耗。
镜像复制是指在源端和目标端同时进行数据写入操作,可以提供实时的容灾备份。
不过,它要求源端和目标端的硬件和网络环境高度一致,并且容易带来数据一致性问题。
数据同步机制包括校验和和日志记录。
校验和是一种简单有效的数据完整性验证方法,通过计算数据的校验和值并与接收到的数据校验和进行对比,可以判断数据在传输过程中是否发生错误或丢失。
而日志记录则是在数据修改时记录相关操作日志,以实现数据的追踪和恢复。
这些机制可以保证数据在传输过程中保持一致,防止数据丢失和错误。
容灾备份的远程复制与数据同步机制不仅适用于企业和机构,个人用户也可以借助这些技术实现数据备份和容灾。
比如,云盘服务商常常利用远程复制和数据同步机制,在用户上传或下载文件时,通过分布式存储的方式确保数据的备份和容灾。
此外,个人用户也可以通过购买NAS(网络附加存储)设备,利用远程复制实现本地数据备份到远程服务器,并通过数据同步机制保证数据的一致性。
随着全球IT产业的飞速发展,金融行业的IT建设逐步成为主导金融企业业务发展的核心驱动力,基于金融行业IT系统容灾建设的各种行业标准以及监管标准也相应提高。
而决定容灾架构健壮与否的最关键因素就是数据复制技术,它是实现高标准RTO和RPO的前提条件。
本文基于业界主流数据复制技术的原理、复杂度、关键因素以及复制效果等多个维度进行分析及论述,旨在为同业在此类项目规划和建设过程中提供一些启示和帮助。
1.背景及综述在金融行业内,众所周知其对业务连续性的要求以及对各种IT风险的应对能力的要求都是非常高,尤其是对容灾能力的要求,这是由它的业务特殊性以及集中式架构所决定的。
在金融企业容灾架构中,所谓的数据复制技术主要是指能够将结构化数据进行复制,从而保证数据具备双副本或者多副本的技术。
目前业界发展来看,可以实现数据复制的技术多种多样,有基于数据库层面的数据复制技术,例如Oracle公司的Active Data Gurad、IBM公司的db2 HADR等;有基于系统层面的数据复制技术,例如赛门铁克的vxvm、传统的逻辑卷管理(LVM)、Oracle公司的自动存储管理(ASM)冗余技术、IBM公司的GPFS 等;有基于存储虚拟化实现的数据复制技术,例如EMC公司Vplex Stretch Cluster、IBM公司SVC Split Cluster、NetAPP公司Metro Cluster等;也有基于存储底层实现的数据复制技术,例如IBM公司的DS8000 PPRC技术、EMC公司的SRDF技术、HP公司的CA技术等等。
每一种技术都有其实现的前提条件,也有各自的技术特点和实现的不同效果。
本文将从复制技术的原理、特点、复杂程度以及复制效果等多方面展开分析及论述,并从多个维度进行对比分析,将业界主流数据复制技术的发展现状以及技术优劣给予一个清晰的展示,并就数据复制技术发展的未来以及趋势予以展望。
2.数据复制技术价值分析2.1 数据复制在容灾中的必要性一、RPO保障如果没有数据复制技术,那么容灾也就无从谈起。
当面临站点及故障时,由于没有数据复制技术的支撑,我们的数据无法在其他站点再现,这将意味着RPO将无法保障。
对于一个金融企业来讲,最重要的就是客户的数据,它是企业的生命。
从这个意义上来讲,金融企业不能没有容灾体系,容灾体系的前提条件是能够实现数据复制。
那么数据复制的效率如何,复制的效果如何,复制技术的先进与否也就决定了金融企业生命线的稳固与否。
二、RTO保障所谓RTO就是在容灾系统在面临站点级故障时,多长时间能够恢复业务。
假设站点故障恢复的时间不可容忍或者根本没有可能,那么业务必须能够切到另外一个数据中心,从数据、应用以及网络层都需要具备这个切换能力。
但是最终的目的就是要保障业务能正常恢复,而业务恢复的前提条件就是数据,没有数据的应用切换和网络切换没有任何意义。
也就是说数据恢复是应用切换以及网络切换的前提条件,从这个意义上讲,数据复制效率和效果直接决定了一些列切换,也就是它使得RTO成为可能。
2.2 评价数据复制技术的维度分析对于数据复制来讲,我们可以从多个层面、多种技术去实现。
各有各的特点,那么究竟哪一种数据复制技术更适合我们?活着说哪一种复制技术更科学合理?这需要一系列从不同纬度进行的科学评估。
本文认为应该从以下几个方面来展开分析,并结合我们自己的需求来选择合理的数据复制方案。
一、投资成本分析建设任何一个项目,投资成本的分析都是必不可少的分析维度。
对数据复制技术的投资成本分析来讲,我们需要从它的首次建设成本、持续维护成本以及容灾管理成本等多方面去考虑。
二、技术成熟度及健壮性分析对于数据复制技术的成熟度和健壮性分析来讲,一方面我们要从技术本身的原理上来分析,另外我们还需要从技术的发展以及应用范围以及应用的持久稳定性等方面来考虑。
三、风险评估分析数据复制技术本身来讲是要帮助我们解决站点级故障带给我们的IT风险,但是对于技术应用本身来讲,它也会存在一些技术风险。
比如说特殊场合下的一些技术风险、容灾管理过程中的一些风险、极端场合下的一些技术风险等等。
四、功能拓展性分析对于数据复制技术本身来讲,其主要功能就是完成数据的复制。
但是在完成数据复制的同时,由于其架构的特点以及技术特点等因素有可能对于我们的应用产生积极的拓展性作用,也有可能限制了我们的应用架构模式,还有可能对我们的基础架构扩展性以及灵活性造成一定的限制。
3.数据复制技术原理分析3.1 基于应用事务日志回放技术图3.1是Oracle数据库层面的数据复制技术(ADG)的架构原理图。
对于该架构原理图,本文从其实现的基本条件、数据复制原理、数据复制的模式以及数据复制的关键因素等几个方面来进行深度剖析。
图3.1-1 Oracle Active Data Guard3.1.1前提条件容灾站点之间需要有三层以太网连通,软件层面需要数据库的集群软件模块(Oracle Active Data Gurard)或者是db2 purscale hadr。
服务器层面需要至少两套服务器系统分别部署于两个数据中心。
存储层面需要两套存储空间分别部署于两个站点作为主库存储和备库存储,他们互相之间独立。
3.1.2复制原理对于主站点的数据库来讲,客户端的数据更新请求首先要由日志写入进程写到重做日志当中,然后由数据写进程再周期性地写入数据文件当中。
重做日志当中以SCN为数据库独有的时间搓序列来记录所有数据库更新的先后顺序,从而保障数据库恢复能够按照正确的顺序执行保障数据一致性和完整性。
那么对于配置了Active Data Guard的数据库读写的完成在以上所述过程中,日志写进程在本地日志文件写入过程的同时,日志传输进程会将缓存里面的重做日志通过ADG传输给灾备站点的备库实例,备库实例的日志接收进程根据接受到的重做日志在备库上重新执行数据库的更新操作,从而保证主库和备库的事务性更新行为一致性,最终保证数据的一致。
当然也有一个前提条件,那就是在ADG作用之前,必须保证备库的数据保持与主库的某一固定时间点的完整副本,这需要靠传统数据备份技术来实现备库的初始数据复制。
因为事务复制的本质是行为复制,那么行为作用的初始数据副本必须保持一致,才能保证最终两副本的一致性。
对于事务日志的复制技术,本文根据主库IO周期特点可以分为绝对同步模式、近似同步模式和异步模式三种。
绝对同步模式是指主库的一个完整更新事务的结束既要包括主库的重做日志落盘也要包括备库的重做日志落盘,也就是说备库重做日志落盘之后返回给主库,主库才能执行下一个事务。
近似同步模式是指在传输正常情况下保持与绝对同步模式一样的模式,在网络传输超时的情况下,就会剥离备库重做日志的过程,只要保证主库重做日志落盘就可以了。
异步模式是指主库只保证本地重做日志落盘,并不会等待备库重做日志落盘的返回信号。
在后两种模式下,当主备库传输管理剥离之后,主库会主动通过以下两种方式探测并尝试重新和备库建立联系,第一是归档日志进程会周期性ping备库,成功情况下,它会根据获得的备库控制文件的记录的最后归档点和自己的归档日志决定向备库推送哪些归档日志。
第二是日志发送进程会在重做日志准备发生归档的时刻点主动去ping备库日志接受进程并把剩余的重做条目发送给备库接受进程。
3.1.3关键因素基于事务日志回放技术的数据复制架构,从技术规划上以及运维管理层面上有几个关键因素需要把握才能将这种数据复制技术运用自如,才能帮我们真正实现高标准的容灾体系建设。
一、重做日志管理策略设计我们知道对于数据库来讲,我们是靠其在线重做日志和离线重做日志来进行数据恢复的。
对于离线重做日志也就是归档日志,我们是需要周期性备份并删除的,否则离线重做日志就会无限占用数据库有限的存储资源。
那么对于事务日志型数据复制架构来讲,无论是主库还是备库,都需要有合理的日志管理策略来配合才能正常运行。
策略的规划和设计需要把握以下几个原则:1.完成应用的日志要及时转储,包括主库传输完毕的归档日志和备库应用完毕的归档日志。
2.没有完成应用的日志必须能够保留,主库没有传输到备库的归档日志如果被提前转储会造成备库数据丢失,备库没有被应用的日志如果转储,备库同样会丢失数据。
3.存储资源的科学规划,如果主备库暂时中断,又因为原则2导致归档日志堆积,那么势必造成存储资源的需求超过正常时刻的存储需求量,如果存储资源不够,又会造成数据库发生宕机事故。
以上各个原则的科学设计既需要依赖于数据库参数的合理设置,又需要依赖于备份工具的转储策略合理配合,同时更需要根据不同的业务系统以及负载特点,通过历史数据评估以及仿真测试数据来设计合理的数值并进行动态评估和优化。
二、架构扩展性及灵活性在今天的互联网线上时代,系统架构的扩展性和灵活性显得尤为重要。
对于容灾架构来讲,它的扩展性和灵活性同样非常重要。
对于业务型的数据复制架构来讲,它有两种基本架构:级联架构和串联架构。
级联架构是指一点为主多点为备,串联架构是指主备模式依次类推。
级联架构更有利于主库的多点保障,串联架构更有利于主库的性能保障。
具体采用什么样的架构组合,是要根据主库数据的具体业务需求进行合理评估和设计。
三、容灾切换管理主备库的切换,包括两种类型的切换:Fail Over & Switch Over。
Fail Over是指故障情况下的强制切换,Switch Over是指计划性的切换。
无论是哪种切换首先是要保障备库数据和主库数据一致或者可容忍范围内的近似一致。
其次当数据发生切换时,实际上主库的服务IP地址就会转化成备库的服务地址,无论是通过域名转换还是通过应用重连的方式都需要保障上层的服务地址能够无缝切换。
最后切换之后,原来的主库如果没有时间戳恢复功能的话,那么原主库里面的数据就会变成无效数据,需要重新初始化数据副本。
但是如果保持时间戳恢复功能的化,就会巨大的存储空间消耗。
3.2 基于系统级逻辑卷镜像技术下面三张图都是基于系统级逻辑卷镜像技术实现的数据双重复制。
图3.2-1是基于ORACLE自动存储卷管理技术实现的ASM磁盘卷镜像复制技术;图3.2-2是基于UNIX存储卷管理(LVM)实现的逻辑卷镜像技术;图3.2-3是基于IBM GPFS分布式文件系统底层逻辑磁盘镜像实现的数据复制。
三种技术虽然依赖的具体技术不同,但是其底层原理都是基于系统层面的双写实现的数据复制。
图3.2-1 ORACLE ASM复制镜像架构图3.2-2 LVM镜像复制架构图3.2-3分布式文件系统GPFS镜像复制架构3.2.1 前提条件容灾站点之间需要SAN环境联通。
软件层面,架构一需要具备ORACLE集群软件当中的自动存储卷管理模块,架构二需要借助UNIX操作系统层的逻辑卷管理器,架构三需要借助GPFS或者类似的分布式文件系统软件。