几种容灾数据复制技术的比较
- 格式:docx
- 大小:237.98 KB
- 文档页数:23
数据库容灾的常用方法近年来,随着企业数据规模的不断增大和对数据可用性的要求越来越高,数据库容灾问题备受关注。
数据库容灾指的是在数据库系统发生故障或灾难情况下,能够快速、可靠地恢复数据库的可用状态,确保数据的安全性和连续性。
现针对数据库容灾常用的方法进行探讨,包括物理备份、逻辑备份、数据库复制和数据库集群。
一、物理备份物理备份指的是将数据库的物理文件复制到备份设备上,实现对整个数据库的完全复制。
它包括全量备份和增量备份两种形式。
1.全量备份:全量备份是指对数据库所有数据和日志进行备份,一般在数据库初始建立之后进行一次全量备份,以后每隔一段时间进行一次。
全量备份具有备份速度快、恢复速度相对较慢的特点。
2.增量备份:增量备份是在全量备份的基础上,备份数据库发生变动的部分数据和日志。
增量备份能够减少备份数据量和备份时间,但在恢复时需要结合全量备份和增量备份进行数据的恢复。
物理备份适用于大规模数据库和重要数据的备份,具有数据完整性高、恢复速度快的优点。
但也存在备份数据量大、恢复时对数据库的停机时间长的缺点。
二、逻辑备份逻辑备份是在逻辑层面对数据库进行备份,通常以SQL语句或数据导出方式进行。
逻辑备份不复制数据库的物理文件,而是将数据库中的数据和逻辑结构导出为可读的脚本或文件。
逻辑备份具有跨平台的优势,可以实现不同数据库之间的数据迁移和转换。
同时,逻辑备份也方便对数据库中的数据进行选择性恢复和数据导入。
但相比于物理备份,逻辑备份速度较慢,备份文件较大,对数据库的负载较高。
三、数据库复制数据库复制是将主数据库的数据和操作同步到备份服务器的过程。
它是通过将主数据库的事务日志复制到备份服务器并在备份服务器上执行,从而实现主备数据库的同步。
数据库复制具有实时性好、恢复速度快的优点,能够提供几乎无延迟的备份和灾难恢复能力。
常见的数据库复制方法包括MySQL的主从复制、Oracle的Data Guard和SQL Server的数据库镜像。
数据库容灾的关键技术数据库是现代信息系统的核心组成部分,对于大型企业来说,数据库的稳定运行和数据的安全性至关重要。
然而,由于各种原因,如硬件故障、自然灾害、人为破坏等,数据库可能会遭受破坏或丢失。
为了保障数据库的连续可用性和数据的安全性,数据库容灾技术应运而生。
本文将介绍数据库容灾的关键技术。
一、备份与恢复技术备份与恢复技术是数据库容灾的基础。
通过定期备份数据库,可以在遭受灾难性破坏或数据丢失时进行数据恢复,保障数据库的连续可用性。
备份方式包括全量备份和增量备份,全量备份将数据库的全部数据备份下来,而增量备份则备份自上次全量备份以来的更新数据。
此外,还可以使用快照技术实现数据库的热备份,快照技术可以快速生成数据库的一致性镜像,并在发生故障时进行快速恢复。
二、异地备份技术为了进一步提高数据库的容灾能力,可以将备份数据存储于异地。
在遭受地区性灾难或者数据中心故障时,异地备份技术能够保证数据库的连续可用性和数据的安全性。
异地备份技术常用的方法包括:1. 异地镜像复制:将数据库的变更操作实时复制到异地备份服务器上,保持数据的实时同步。
2. 异地日志复制:将数据库的日志文件实时复制到异地备份服务器上,利用日志回放技术在发生故障时进行数据恢复。
3. 异地存储复制:将数据库的备份数据存储于异地,通过网络传输保障数据的安全性和完整性。
三、高可用集群技术高可用集群技术是数据库容灾的重要手段之一。
通过将多台服务器组成集群,实现数据库的共享和自动故障转移,可以提供高可用性的数据库服务。
常见的高可用集群技术包括:1. 主从复制:将一个主数据库的变更操作实时复制到多个从数据库,实现读写分离和故障转移。
2. 多活集群:在多个数据库之间实现双向同步,任何一台数据库出现故障时都能够自动切换到其他正常节点上。
3. 分布式数据库:将数据库水平切分成多个分片,每个分片都部署在不同的服务器上,实现负载均衡和故障转移。
四、容器化技术容器化技术是近年来兴起的一种新型数据库容灾技术。
在数据容灾中最常采用,也是最有效的方案是异地容灾。
这种容灾方案最有保障,因为它是把数据备份保存在另一地方,甚至另一个国家,这样数据就会更安全。
试想一下在伊拉克这样连成战争不断的国家,即使把数据保存在了本国其它地方也是不安全的,所以有许多数据存储厂商提出了全球容灾的方案。
从本篇起要向大家介绍几个典型的数据存储厂商的异地容灾方案,本篇所介绍的是全球最为著名的数据存储厂商--IBM的几种异地容灾方案。
针对不同的用户需求,IBM公司的异地容灾方案产品线非常丰富,各种数据备份技术和应用方案层出不穷,处于全球领先地位。
它的这些容灾方案不可能全在本文中介绍清楚,所以只选三个常见的方案类型向大家介绍。
一、数据级灾备--PPRCIBM的PPRC(Peer to Peer Remote Copy,点对占点远程复制)复制技术是基于ESS企业级数据存储服务器,通过ESCON(Enterprise Systems Connection,企业管理系统连接,是一种光纤通道)通道建立配对的逻辑卷容灾技术。
这是IBM的最高级别容灾方案,主要适用于大、中型和电信企业选用。
它的网络结构(如图1所示)。
在图中数据中心A和数据中心B可以是两相隔上百公里的网络系统,既可以单独把某个数据中心的数据备份到另一个远程数据中心中,也可以实现相互远程备份。
在标准的实时备份方案中,服务器主机通过SAN与IBM企业存储服务器ESS相连接,两台ESS之间通过ESCON通道实现同步远程拷贝。
受ESCON传输距离的限制,当主、备机房的距离超过2公里时,需要加光纤延伸器。
光纤延伸器可以从多个不同的厂商购得,比如IBM 2029 Fibre Saver、INRANGE的9801等。
在光纤延伸器的帮助下,PPRC数据备份可达到100公里以上。
在这种容灾方案中,核心设备就是IBM的ESS的企业级存储服务器,目前最新的型号主要有IBM TotalStorage Enterprise Storage Server (ESS) Model 750/800这两种,(如图2所示)。
数据库备份与容灾技术数据作为企业和组织最重要的资产之一,必须得到有效的保护和管理。
数据库备份和容灾技术是一种保障数据完整性和可用性的重要手段。
本文将针对数据库备份和容灾技术进行深入探讨,并提供一些实用的建议和指导。
一、数据库备份技术数据库备份是将数据库中的数据和结构拷贝到另一个存储介质中,以防止数据丢失或损坏。
有效的数据库备份技术可以确保数据的持久性和可恢复性。
1.全量备份全量备份是指备份整个数据库的所有数据和结构,将数据库的完整副本存储到备份介质中。
全量备份可以提供最高的数据完整性和可恢复性,但备份时间较长,占用更多的存储空间。
2.增量备份增量备份是基于全量备份的基础上,只备份自上次备份以来的新增或修改的数据。
增量备份相对于全量备份可以减少备份时间和占用的存储空间,但在数据恢复过程中需要应用多个备份。
3.差异备份差异备份是备份自上次完整备份以来发生变化的数据,相比增量备份,差异备份只需要备份当次备份与上次全量备份之间的增量数据。
差异备份相对于增量备份可以减少备份时间和备份数量,但恢复时需要应用全量备份和差异备份。
二、数据库容灾技术数据库容灾是通过构建具有可用性和可恢复性的数据库系统,以防止因自然灾害、硬件故障或人为错误导致的数据库不可用或数据丢失。
常见的数据库容灾技术包括冗余备份、故障切换和灾备复制。
1.冗余备份冗余备份是指将数据库备份存储在多个地理位置或存储介质中,以确保即使某个备份发生故障,其他备份仍然可用。
冗余备份可以通过远程复制、镜像和跨地理位置备份来实现。
2.故障切换故障切换是指将数据库从一个故障的系统切换到一个备用系统,以确保数据库的持续可用性。
常见的故障切换技术包括主从复制、双机热备和集群化部署。
3.灾备复制灾备复制是构建分布式数据库系统的一种方法,通过将数据库复制到多个地理位置的系统中,以实现数据的多地备份和故障容错。
常见的灾备复制技术包括主备复制、多主复制和对等复制。
三、数据库备份与容灾的最佳实践进行数据库备份和容灾时,我们应该考虑以下几个方面来确保数据的安全和可恢复性。
1.容灾相关概念2.1容灾定义容灾(Disaster Tolerance),就是在灾难发生时,在保证应用系统的数据尽量少丢失的情况下,维持系统业务的连续运行。
和容灾比较容易混淆的概念有容错和灾难恢复。
容错是指在计算机系统软硬件发生故障时,保证系统能继续运行的能力,主要通过硬件冗余和错误检查等技术来实现;容灾是通过系统冗余、灾难检测和系统迁移等技术来实现。
灾难恢复是指灾难发生后,系统恢复正常运行的能力;而容灾指灾难发生时保持系统不间断运行的能力。
1.2容灾分类容灾可以区分为离线式容灾(冷容灾)和在线容灾(热容灾)两种类型。
离线式容灾主要依靠备份技术来实现。
首先通过备份软件将数据备份到磁带上,然后将磁带异地保存、管理。
数据的备份过程可以实现自动化管理,整个方案的部署和管理比较简单,投资较少。
缺点在于:系统的数据恢复较慢,备份窗口内的数据丢失严重,实时性差。
对RTO(Recovery Time Objective)和RPO(Recovery Point Objective)要求较低的用户可以选择这种方式。
在线式容灾中,源数据中心和灾备中心同时工作。
数据在写入源数据中心的同时,实时地被复制传送到灾备中心。
在此基础上,可以在应用层进行集群管理,当生产中心遭受灾难、出现故障时,可由灾备中心自动接管并继续提供服务。
应用层的管理一般由专门的软件来实现,可以代替管理员实现自动管理。
在线容灾可以实现数据的实时复制,因此,数据恢复的RTO和RPO都可以满足用户的高要求。
因此,数据重要性很高的用户都应选择这种方式,比如金融行业的用户等。
实现这种方式的容灾需要很高的投入。
容灾备份系统按照灾难防御程度的不同,可分为数据容灾和应用容灾。
数据容灾是对应用系统数据按照一定的策略进行异地容灾备份,当灾难发生时,应用系统暂时无法正常运行,必须花费一定时间从灾备中心恢复应用关键数据至本地系统以保证业务的连续性和数据的完整性,因为异地容灾备份系统只保存了灾难发生前应用系统的备份数据,因此数据容灾可能会产生部分数据丢失。
容灾备份技术在医院信息系统的应用当今社会,随着医疗技术的飞速发展,医院信息系统已经成为医疗机构不可或缺的核心部分。
医院信息系统负责储存和管理患者的个人信息、病历资料、财务数据等敏感信息,一旦出现系统故障或者数据丢失,将会给医院和患者带来不可估量的损失。
因此,在医院信息系统中应用容灾备份技术显得尤为重要。
一、容灾备份技术的定义及分类1.数据备份:将医院信息系统中的数据复制到其他存储设备或服务器上,以便在发生数据丢失或损坏时进行恢复。
数据备份可以分为全备份、增量备份和差异备份等类型。
2.数据恢复:当医院信息系统发生数据丢失或损坏时,通过备份数据进行恢复,使系统尽快恢复正常运行。
数据恢复主要包括磁盘阵列恢复、数据库恢复、文件恢复等。
3.虚拟化技术:通过将医院信息系统的硬件和软件资源进行虚拟化,实现资源的动态分配和迁移,提高系统的可用性和灵活性。
4.高可用性集群:通过将医院信息系统部署在多个服务器上,实现负载均衡和故障转移,确保系统在单个服务器故障时能够继续运行。
5.云服务:将医院信息系统部署在云平台上,利用云计算的弹性、可扩展和高效等特点,提高系统的可靠性和稳定性。
二、容灾备份技术在医院信息系统的应用实例1.数据备份:该医院采用了全备份和增量备份相结合的方式,将患者的个人信息、病历资料、财务数据等敏感信息备份到远程数据中心。
每天晚上进行全备份,每周进行一次增量备份。
备份数据存储在远程数据中心的安全存储设备上,并通过加密技术保证数据的安全性。
2.数据恢复:在发生数据丢失或损坏时,该医院可以立即从远程数据中心恢复备份数据。
为了提高数据恢复的速度,医院采用了快速恢复技术,如磁盘阵列镜像、数据库热备份等。
3.虚拟化技术:该医院采用了虚拟化技术,将医院信息系统的硬件资源进行虚拟化,实现了资源的动态分配和迁移。
当某个服务器出现故障时,可以将故障服务器上的虚拟机迁移到其他正常服务器上,确保信息系统正常运行。
4.高可用性集群:该医院信息系统采用了高可用性集群技术,将信息系统部署在多个服务器上,实现负载均衡和故障转移。
“两地三中⼼”和“双活”简介--容灾技术⽅案当前市场上常见的容灾模式可分为同城容灾、异地容灾、双活数据中⼼、两地三中⼼⼏种。
1、同城容灾同城容灾是在同城或相近区域内( ≤ 200K M )建⽴两个数据中⼼ : ⼀个为数据中⼼,负责⽇常⽣产运⾏ ; 另⼀个为灾难备份中⼼,负责在灾难发⽣后的应⽤系统运⾏。
同城灾难备份的数据中⼼与灾难备份中⼼的距离⽐较近,通信线路质量较好,⽐较容易实现数据的同步复制,保证⾼度的数据完整性和数据零丢失。
同城灾难备份⼀般⽤于防范⽕灾、建筑物破坏、供电故障、计算机系统及⼈为破坏引起的灾难。
2、异地容灾异地容灾主备中⼼之间的距离较远(> 200KM ) ,因此⼀般采⽤异步镜像,会有少量的数据丢失。
异地灾难备份不仅可以防范⽕灾、建筑物破坏等可能遇到的风险隐患,还能够防范战争、地震、⽔灾等风险。
由于同城灾难备份和异地灾难备份各有所长,为达到最理想的防灾效果,数据中⼼应考虑采⽤同城和异地各建⽴⼀个灾难备份中⼼的⽅式解决。
本地容灾是指在本地机房建⽴容灾系统,⽇常情况下可同时分担业务及管理系统的运⾏,并可切换运⾏;灾难情况下可在基本不丢失数据的情况下进⾏灾备应急切换,保持业务连续运⾏。
与异地灾备模式相⽐较,本地双中⼼具有投资成本低、建设速度快、运维管理相对简单、可靠性更⾼等优点;异地灾备中⼼是指在异地建⽴⼀个备份的灾备中⼼,⽤于双中⼼的数据备份,当双中⼼出现⾃然灾害等原因⽽发⽣故障时,异地灾备中⼼可以⽤备份数据进⾏业务的恢复。
本地机房的容灾主要是⽤于防范⽣产服务器发⽣的故障,异地灾备中⼼⽤于防范⼤规模区域性灾难。
本地机房的容灾由于其与⽣产中⼼处于同⼀个机房,可通过局域⽹进⾏连接,因此数据复制和应⽤切换⽐较容易实现,可实现⽣产与灾备服务器之间数据的实时复制和应⽤的快速切换。
异地灾备中⼼由于其与⽣产中⼼不在同⼀机房,灾备端与⽣产端连接的⽹络线路带宽和质量存在⼀定的限制,应⽤系统的切换也需要⼀定的时间,因此异地灾备中⼼可以实现在业务限定的时间内进⾏恢复和可容忍丢失范围内的数据恢复。
灾备技术:容灾与备份区别、灾备规划容灾(Disaster Tolerance):就是在上述的灾难发生时,在保证生产系统的数据尽量少丢失的情况下,保持生存系统的业务不间断地运行。
容错(Fault Tolerance):指在计算机系统的软件、硬件发生故障时,保证计算机系统中仍能工作的能力。
区别:容错可以通过硬件冗余、错误检查和热交换再加上特殊的软件来实现,而容灾必须通过系统冗余、灾难检测和系统迁移等技术来实现。
当设备故障不能通过容错机制解决而导致系统宕机时,这种故障的解决就属于容灾的范畴。
什么是灾难恢复(Disaster Recovery):指的是在灾难发生后,将系统恢复到正常运作的能力。
区别:容灾强调的是在灾难发生时,保证系统业务持续不间断地运行的能力,而灾难恢复强调的灾难之后,系统的恢复能力。
现在的容灾系统都包含着灾难恢复的功能,所以本文的讨论除了包括容灾方面的内容,还包括了灾难恢复的部分内容。
容灾系统在企业中给与数据安全系数相当高的保障,但是容灾系统倒是是什么,他们是什么意思?恐怕连正在使用容灾备份的网络管理人员都不能解释。
本文用最浅显的语言给大家解释容灾备份到底是什么。
1.容灾和备份的目的不同容灾系统的目的在于保证系统数据和服务的“在线性”,即当系统发生故障时,仍然能够正常地向网络系统提供数据和服务,以使系统不致停顿。
而容灾备份技术的目的与此并不相同,备份是“将在线数据转移成离线数据的过程”,其目的在于应付系统数据中的逻辑错误和历史数据保存。
所以,在各种容错技术非常丰富的今天,备份系统仍然是不可替代的。
2.备份是基石备份是指为防止系统出现操作失误或系统故障导致数据丢失,而将全系统或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。
备份是数据高可用的最后一道防线,其目的是为了系统数据崩溃时能够恢复数据。
3.容灾不可少那么建设了备份系统,是否就不需要容灾备份系统?这还要看业务部门对RTO(恢复所需的时间指标)/RPO(能够恢复到的最新状态)指标的期望值,如果允许1TB的数据库RTO=8小时,RPO=1天,那备份系统就能满足要求。
字节级复制是什么?字节级复制技术解析字节级复制是什么?在了解这个概念前,我们先来看一张图:以上图片,分别代表了三种主流的容灾复制技术方案,分别是文件级复制,数据块级复制,字节级复制的对比。
假设一个通用场景,比如某系统下的一个文件300MB,使用存储设备的数据库大小划分为64KB,用户变化数据量为512B。
文件级复制:当该文件发生512B字节的改变时,灾备系统需要传输至少300MB的网络包到灾备机上以完成数据保护。
数据块级复制:当该文件发生512B字节的改变时,灾备系统需要传输至少64KB的网络包到灾备机上以完成数据保护。
字节级复制:当该文件发生512B字节的改变时,灾备系统需要传输至少512B字节的网络包到灾备机上以完成数据保护。
因此在此场景下,同样的512B字节改变的情况下,如果不做源端删重处理,对传输带宽的压力比为614K:125:1的关系。
原因是三种情况下,重复数据的比率分别为300*1024*1024B/512B=614400(存在61万倍的重复数据),64KB/512B=125(存在125倍的重复数据),512/512=1(零重复数据)。
由此可见,在文件级别、数据块级别数据复制情况下都存在着,上百倍甚至上万倍的删重需求,需要大量的源端计算资源开销,而字节级别数据复制技术,直接捕获字节级变化量,数据零重复,不占用源端生产系统资源,不额外开销网络传输资源,简单高效。
了解了字节级复制的概念,我们在来了解一下字节级复制技术代表—字节级CDP。
那么什么是字节级CDP呢?如果说快照是数据照相机,那么CDP(Continuous Data Protection)就是数据录像机。
录像当然要为了回放,要回放,就当然可以任意快进快退,看到并提取每一个“帧”,甚至直接把当前系统数据回滚到之前的某个历史时间点。
大家接触最多的一个实例就是数据库的redo 和undo日志了。
块级CDP的底层机制需要在一个单独设备中,先将源卷镜像一份出来。
各种容灾技术分析1. 数据复制技术数据复制可以从存储、操作系统、数据库和应用四个层次来做,其中通过应用系统进行数据复制需要应用程序支持;如果现有应用程序不支持,需要进行进行开发,这里不做深入介绍。
(1) 数据库复制数据容灾技术数据库复制技术一般是由数据库厂商或者第三方开发,基于数据库日志或者数据流实现复制的技术。
Oracle DataGuard是典型代表,此处将以此为例进行介绍。
Oracle DataGuard 通过使用称为Standby Database的数据库来防止出现数据的灾难。
它通过将Primary Database数据库的重做日志传到并应用到Standby Database数据库来使Standby Database数据库与Primary Database数据库同步:可以将重做日志直接从Primary Database数据库同步写到Standby Database数据库来完成完全没有数据损失的灾难保护,这会给Primary Database数据库的性能带来一定的性能损失。
可以将归档的重做日志从Primary Database数据库异步写到Standby Database数据库来使Primary Database数据库在极少损失性能的前提下,最小化地减少数据的丢失。
如果重做日志数据到达Standby Database数据库后快速应用到Standby Database数据库,则在Primary Database数据库出现问题时可以快速地 failover 到Standby Database数据库。
然而,如果延缓一定时间后再应用重做日志数据,可以避免Primary Database数据库的错误快速地传播到Standby Database数据库。
(2) 存储硬件复制数据容灾技术硬件同步复制技术是以同步复制技术为基础,通过磁盘阵列实现数据同步复制,从而保证产中心阵列与容灾中心阵列的在线数据完全同步。
容灾备份技巧:数据复制与异步复制的选择随着企业的数据规模不断增长,数据安全和灾备备份成为企业管理中的重要环节。
在不同的备份技术中,数据复制和异步复制都是常见的选择。
本文将从数据复制和异步复制的定义、实施方式、优缺点以及适用场景等方面进行论述。
数据复制是一种备份技术,它通过将生产环境中的数据复制到备份目标中,以实现数据备份和灾难恢复。
数据复制主要包括同步复制和异步复制两种方式。
同步复制是指在数据写入到生产环境后,立即将该数据复制到备份环境中。
这种方式能够保证备份环境中的数据与生产环境中的数据完全一致,具有实时性和可靠性。
然而,同步复制受限于网络延迟和带宽限制,如果网络出现故障或者数据量过大,可能会导致生产环境的性能下降。
异步复制是指在数据写入到生产环境后,延迟一段时间再将数据复制到备份环境中。
这种方式可以解决同步复制的性能问题,同时降低了对网络的依赖。
由于存在一定的延迟,异步复制可能会导致备份环境中的数据与生产环境中的数据存在一定的差异。
但是,异步复制通常能够通过设置适当的时间间隔来控制数据差异的范围,同时提供更高的性能和灵活性。
在选择数据复制还是异步复制时,需要根据企业的需求和实际情况进行综合考虑。
如果企业对数据一致性要求较高,且有足够的网络带宽和稳定性,可以选择同步复制。
这种方式适用于金融、医疗等行业,对数据的实时性和可靠性要求非常高。
如果企业对数据的实时性要求不高,但对性能和灵活性有一定的要求,可以选择异步复制。
这种方式适用于电商、制造业等行业,对数据的一致性要求相对较低,但对性能和容灾恢复能力要求较高。
除了备份技术的选择外,还需要考虑如何保障备份环境的安全性。
首先,需要确保备份环境与生产环境的网络隔离,防止备份数据被恶意访问。
其次,需要定期对备份环境进行演练和测试,确保在灾难发生时能够及时恢复数据。
此外,还可以考虑使用多地备份策略,将备份数据存储在不同的地理位置,提高备份的可靠性和容灾恢复能力。
飞康-CDP容灾方案与传统容灾方案比较引言概述:飞康-CDP容灾方案是一种高级的容灾解决方案,与传统容灾方案相比具有许多优势。
本文将从数据保护、恢复时间目标、灵活性、成本效益和可靠性五个方面对飞康-CDP容灾方案与传统容灾方案进行比较。
一、数据保护:1.1 飞康-CDP容灾方案通过连续数据保护技术,可以实时备份数据,减少数据丢失的风险。
1.2 传统容灾方案通常采用定期备份的方式,无法实时保护数据,容易导致数据丢失。
1.3 飞康-CDP容灾方案可以提供更高的数据保护水平,确保业务连续性和数据完整性。
二、恢复时间目标:2.1 飞康-CDP容灾方案可以实现几乎零恢复时间目标(RTO),即在灾难发生后能够立即恢复业务运行。
2.2 传统容灾方案通常需要较长的恢复时间,需要手动操作和数据传输,导致业务中断时间较长。
2.3 飞康-CDP容灾方案可以大大缩短业务中断时间,提高业务的可用性和可靠性。
三、灵活性:3.1 飞康-CDP容灾方案可以实现灵活的数据恢复点选择,用户可以根据需求选择任意时间点进行数据恢复。
3.2 传统容灾方案通常只能恢复到最近一次备份的数据,无法提供灵活的数据恢复选择。
3.3 飞康-CDP容灾方案可以满足不同业务的个性化需求,提供更灵活的数据恢复方案。
四、成本效益:4.1 飞康-CDP容灾方案可以减少数据丢失的风险,降低业务中断的损失。
4.2 传统容灾方案需要定期备份和手动操作,增加了人力和物力成本。
4.3 飞康-CDP容灾方案可以提高数据备份和恢复的效率,降低了成本投入。
五、可靠性:5.1 飞康-CDP容灾方案采用了高级的数据复制和故障转移技术,可以保证数据的可靠性和完整性。
5.2 传统容灾方案可能存在数据传输中的错误和丢失,无法保证数据的可靠性。
5.3 飞康-CDP容灾方案具有更高的容灾可靠性,能够保障业务的连续性和稳定性。
总结:飞康-CDP容灾方案相对于传统容灾方案具有更高的数据保护水平、更短的恢复时间目标、更灵活的数据恢复点选择、更低的成本投入和更高的可靠性。
浅谈四种容灾复制技术数据复制是构建容灾的基石,利用复制软件实时地将数据从一个主机(或磁盘)复制到另一个主机(磁盘),生成一个数据副本。
数据复制有多种分类方法,依据复制启动点的不同,可分为同步复制、异步复制。
同步复制,数据复制是在向主机返回写请求确认信号之前实时进行的;对于异步复制,数据复制是在向主机返回写请求确认信号之后实时进行的。
一、四种容灾复制技术说明根据操作系统的I/O(读写操作)路径以及复制对象划分为四大种类:基于应用层事务复制、基于文件层复制、基于逻辑卷层复制、基于磁盘阵列复制。
当然,目前出现了基于SAN交换机的复制,但是相对技术不太成熟,应用很少。
按照数据复制软件或硬件安装的位置又可划分为主机型复制和非主机型复制。
应用层、文件层、逻辑卷层的都属于主机型复制,主机型复制软件需安装在主机上,需要消耗一定的主机资源。
存储层属于非主机型复制,复制直接由磁盘阵列的内部组件完成,理论上无需消耗应用所在主机的资源。
一般而言,容灾要保护的数据是结构化数据,即存储在数据库的数据。
以下都用复制数据库来说明。
1.基于应用层事务复制基于应用层事务的复制,一般采用采用异步复制机制,复制对象为应用事务,其过程为:捕获应用系统的事务,例如SQLServer或Oracle数据库的事务,经由传输组件传输到目标服务器,然后目标装载进程按照数据库的关系原理排序事务,将事务保存到目标数据库。
这层的复制完全能保障数据库的一致性,且目标数据库处于在线运行状态。
当生产数据库发生故障时,直接使用目标数据库即可恢复业务,容灾的RTO指标趋于零。
但是支持的应用有限,一般为SQLServer、Oracle、Sybase、DB2、MySQL等等数据库。
另外复制速度较慢,因为数据要通过数据库的装载接口才能写入数据库。
应用层代表厂商:浪擎、DSG、Goldengate、Quest、Oracle、微软等。
2.基于磁盘阵列复制基于磁盘阵列层的复制,磁盘阵列厂商的复制技术,其原理与逻辑卷层的相似,属于非主机型的复制。
数据容灾的带宽及时延性能分析通过建立异地数据容灾,可以保证在本地系统出现灾难时,异地存在一份与本地数据完全一致(同步方式)或接近一致(异步方式)的数据备份(具有完整的一致性)。
但这时我们必须考虑数据传输的带宽及时延等因素。
下面,我们分别对采用同步及异步方式进行数据传输复制的情形加以分析。
同步数据复制方式当采用同步数据传输方式时,本地系统必须等到数据成功的写到异地系统,才能进行下一个I/O 操作。
一个I/O通过远程链路写到异地系统,涉及到3个技术参数:带宽、距离和中间设备及协议转换的时延。
1. 带宽本地I/O的带宽是100MB/秒(SAN网络中),在I /O流量很大的情况下,如果与远程的I/O带宽相对“100MB/秒 = 800Mbit/秒”窄得多的话,如E1:2Mbit/秒;E3:45Mbit/秒,将会明显拖慢生产系统的I/O,从而影响系统性能。
2. 距离光和电波在线路上传输的速度是30万公里/秒,当距离很长时,这种线路上的延时将会变得很明显。
例如:一个异地容灾系统的距离是1000KM,其数据库写盘的数据块大小是8KB(一次I/O 的数据量),那么:* 本地I/O时(两中心距离在100米距离内):光电在线路上的延时= 0.1km/300,000km*2次/一个来回= 0.67 * 10-6 秒1秒钟内允许I/O次= 1/(0.67 * 10-6 )= 1.5 * 106 次1秒钟允许的I/O量= 8KB * 1.5 * 106 = 12GB此数字远远超过光纤通道带宽本身,也就是说,光电在100米距离的线路上的延时对性能的影响可以忽略不计。
* 异地I/O的(两中心距离在1000公里左右):光电在线路上的延时= 1000km/300,000km*2次= 1/150 秒1秒钟内允许I/O次= 1/(1/150 )= 150次1秒钟允许的I/O总量 = 8KB * 150 = 1.2MB此数据表明,在1000公里距离上,允许的最大I/O量在不存在带宽限制时,已经远远低于本地I/O的能力。
1.容灾备份的区别容灾(Disaster Tolerance):就是在灾难发生时,在保证生产系统的数据尽量少丢失的情况下,保持生存系统的业务不间断地运行。
容错(Fault Tolerance):指在计算机系统的软件、硬件发生故障时,保证计算机系统中仍能工作的能力。
区别:容错可以通过硬件冗余、错误检查和热交换再加上特殊的软件来实现,而容灾必须通过系统冗余、灾难检测和系统迁移等技术来实现。
当设备故障不能通过容错机制解决而导致系统宕机时,这种故障的解决就属于容灾的范畴。
什么是灾难恢复?(Disaster Recovery)指的是在灾难发生后,将系统恢复到正常运作的能力。
区别:容灾强调的是在灾难发生时,保证系统业务持续不间断地运行的能力,而灾难恢复强调的灾难之后,系统的恢复能力。
现在的容灾系统都包含着灾难恢复的功能,所以本文的讨论除了包括容灾方面的内容,还包括了灾难恢复的部分内容。
容灾系统在企业中给与数据安全系数相当高的保障,但是容灾系统倒是是什么,他们是什么意思?恐怕连正在使用容灾备份的网络管理人员都不能解释。
本文用最浅显的语言给大家解释容灾备份到底是什么。
2.容灾和备份的目的不同容灾系统的目的在于保证系统数据和服务的“在线性”,即当系统发生故障时,仍然能够正常地向网络系统提供数据和服务,以使系统不致停顿。
而容灾备份技术的目的与此并不相同,备份是“将在线数据转移成离线数据的过程”,其目的在于应付系统数据中的逻辑错误和历史数据保存。
所以,在各种容错技术非常丰富的今天,备份系统仍然是不可替代的。
3.备份是基石备份是指为防止系统出现操作失误或系统故障导致数据丢失,而将全系统或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。
备份是数据高可用的最后一道防线,其目的是为了系统数据崩溃时能够恢复数据。
4.容灾不可少那么建设了备份系统,是否就不需要容灾备份系统?这还要看业务部门对RTO(恢复所需的时间指标)/RPO(能够恢复到的最新状态)指标的期望值,如果允许1TB的数据库RTO=8小时,RPO=1天,那备份系统就能满足要求。
六种数据库容灾方案数据库容灾方案是指在数据库系统出现故障或灾难时,能够维持数据的完整性和可用性,保证业务的持续进行。
以下是六种常见的数据库容灾方案:1.数据备份与恢复:数据备份是最基础的容灾手段。
通过定期备份数据库的数据,并将备份数据存储在不同地点的存储设备中,以防止单一存储设备故障导致数据丢失。
当数据库出现故障时,可以通过恢复备份数据来恢复数据库系统。
2.数据复制与同步:数据复制是将数据库数据从主服务器复制到一个或多个备用服务器的过程,以达到数据的冗余和高可用性。
常见的数据复制方式包括主从复制和多主复制。
主从复制是指一个主数据库向一个或多个从数据库复制数据,当主数据库发生故障时,可以切换到从数据库继续提供服务。
多主复制是指多个数据库之间相互复制数据,当其中一个数据库发生故障时,其他数据库可以继续提供服务。
3.手动切换与自动切换:手动切换是指当主数据库发生故障时,管理员手动将备用数据库切换为主数据库继续提供服务。
这种方式需要管理员介入,操作复杂且耗时。
自动切换是通过监测主数据库的状态,当主数据库发生故障时自动将备用数据库切换为主数据库。
自动切换可以提高容灾的效率和可靠性。
4.数据中心冗余:数据中心冗余是通过在不同地点建立相互独立的数据中心来提供容灾保障。
当一个数据中心发生故障时,可以切换到其他数据中心继续提供服务。
数据中心冗余需要保证数据的同步和一致性,通常使用数据复制和同步技术。
5.虚拟化与云计算:虚拟化和云计算技术可以提供弹性扩展和动态调度的能力,可以将数据库部署在多个物理服务器或云服务器上,当一个服务器发生故障时,可以快速将数据库迁移到其他服务器上,实现容灾和高可用性。
6.数据库集群:数据库集群是将多个数据库服务器组成一个逻辑整体,提供数据的冗余和负载均衡的能力。
当一个数据库服务器发生故障时,其他服务器可以接管其工作,保证业务的连续性。
常见的数据库集群技术包括主备复制集群、共享存储集群和分布式数据库集群。
一、概述近几年来,容灾已经成为信息数据中心建设的热门课题。
很多容灾技术也快速发展起来,对用户来说也有很广阔的选择余地。
但由于容灾方案的技术复杂性和多样性,一般用户很难搞清其中的优劣以确定如何选择最适合自己状况的容灾解决方案。
本文我们就容灾建设中的备份及复制技术做一个初步探讨,希望能对客户的数据中心容灾建设提供一些参考。
目前有很多种容灾技术,分类也比较复杂。
但总体上可以区分为离线式容灾(冷容灾)和在线容灾(热容灾)两种类型。
二、离线式容灾所谓的离线式容灾主要依靠备份技术来实现。
其重要步骤是将数据通过备份系统备份到磁带上面,而后将磁带运送到异地保存管理。
离线式容灾具有实时性低、可备份多个副本、备份范围广、长期保存、投资较少等特点,由于是备份一般是压缩后存放到磁带的方式所以数据恢复较慢,而且备份窗口内的数据都会丢失,因此一般用于数据恢复的RTO(目标恢复时间)和RPO(目标恢复点)要求较低的容灾。
也有很多客户将离线式容灾和在线容灾结合起来增加系统容灾的完整性和安全性。
目前主流的备份软件主要有:l Symantec Veritas NetBackupl EMC Legato NetWorkerl IBM Tivoli Storage Managerl Quest BakBone NetVault三、在线容灾在线容灾要求生产中心和灾备中心同时工作,生产中心和灾备中心之间有传输链路连接。
数据自生产中心实时复制传送到灾备中心。
在此基础上,可以在应用层进行集群管理,当生产中心遭受灾难出现故障时可由灾备中心接管并继续提供服务。
因此实现在线容灾的关键是数据的复制。
和数据备份相比,数据复制技术具有实时性高、数据丢失少或零丢失、容灾恢复快、投资较高等特点。
根据数据复制的层次,数据复制技术的实现可以分为三种:存储系统层数据复制、操作系统数据复制和数据库数据复制。
1、存储系统层数据复制现在的存储设备经过多年的发展已经十分成熟。
特别是中高端产品,一般都具有先进的数据管理功能。
远程数据复制功能几乎是现有中高端产品的必备功能。
要实现数据的复制需要在生产中心和灾备中心都部署1套这样的存储系统,数据复制功能由存储系统实现。
如果距离比较近(几十公里之内)之间的链路可由两中心的存储交换机通过光纤直接连接,如果距离在100公里内也可通过增加DWDM等设备直接进行光纤连接,超过100公里的距离则可增加存储路由器进行协议转换途径WAN或INTERNET实现连接,因此从理论上可实现无限制连接。
存储系统层的数据复制技术对于主机的操作系统是完全透明的,是对于将来增加新的操作平台,可不用增加任何复制软件的投资,即可完成实现复制。
这样管理比较简单,最大程度保护了用户的投资,达到充分利用资源的目的。
基于存储的复制一般都是采ATM或光纤通道做为远端的链路连接,不仅可以做到异步复制,更可以做到同步复制,使两端数据可做到实时同步的目的,保证了数据的一致性。
缺点是由于基于存储是由存储硬件厂商提供的,在兼容性方面有局限性。
用户要使用同一厂商的devices,给用户造成的选择面太小,成本容易提高,并且对线路带宽的要求通常也较高。
对于预算充足,存储环境不是很复杂的企业来说,选择基于存储的技术比较适合。
存储系统层的数据复制基于同构的存储,各个存储厂商都有自己的复制软件,如IBM PPRC、EMC SRDF、HP Continues Access、HDS TrueCopy等,以下举例说明存储系统层的数据复制原理。
远程镜像(CA)介绍HP Continuous Access XP 通过向远地镜像复制数据来满足系统的高可用性和灾难恢复的需求。
它通过同步模式,将数据从一台XP磁盘阵列上拷贝到远端的另一台XP磁盘阵列上,从而实现容灾解决方案。
Continuous Access XP Extension 使Continuous Access XP能够以高性能的异步或同步方式进行远程XP磁盘阵列的拷贝。
根据标书中的要求,必须同时提供同步和异步的存储复制方式,CA完全满足。
CA是基于磁盘阵列的容灾方式。
其中,CA能够实现同步/异步、同城集群/洲际集群,以及Solaris、AIX、Windows各种OS集群扩展,还可以实现新XP到新XP、老XP到新XP 以及多中心容灾等功能,全面实现了可用性与可扩展性的结合。
CA同步加上CA异步,在本地和远程XP磁盘阵列之间实现高性能实时远程数据镜像,以及快速切换及回切,使用户能轻松管理,并实现高可用性。
CA同步方式的距离可以达到100公里,但是从性能的角度出发,一般都控制在50公里内。
可以建设同城容灾集群,消除计划宕机时间,降低非计划的宕机时间;异步方式的距离可以达到数千公里,可以集成远程数据镜像和异构服务器的集群,增强总体方式的可用性,在同城灾难发生的时候,保证连续运作。
其中,洲际集群没有距离的限制,对应用和数据完全透明,可实现全球范围的容灾方案。
同时,针对关键用户的特殊需求,CA可以实现多中心容灾解决方案,其中,同步容灾中心的距离可以达到50公里,异步中心可以在全球的任何一个地方,至少有三个中心有镜像的数据,而且三个中心之间可以实现远程容灾。
(1)CAXP磁盘卷组CAXP的磁盘卷组由不同的XP装置内或不同CLUSTER内命名为P-VOL和S-VOL的2个逻辑磁盘卷构成。
在具有CAXP磁盘卷组关系后:P-VOL被称为主磁盘卷。
P-VOL可被读/写。
S-VOL(远程磁盘卷)被称为副磁盘卷。
在XP内部的控制装置的作用下,P-VOL的内容和服务器来的写数据被拷贝到S-VOL(可采用同步或异步两种方式)。
CAXP卷组建立后,S-VOL为只读磁盘卷。
在一个XP里,既可有P-VOL,也可有S-VOL,这样可以实现双向数据境像。
CAXP的磁盘卷组,即P-VOL和S-VOL间,可以是相同的RAID类型,也可以是不同的RAID类型,具体的RAID级别配合表如下所示:CAXP的RAID级别(2)MCU和RCUMCU(主磁盘控制器)和RCU(远程磁盘控制器)分别和P-VOL,S-VOL相连,MCU控制由服务器来的写向P-VOL的数据的写操作,还控制P-VOL和S-VOL之间数据拷贝的操作,并且提供CAXP磁盘卷组的状态和构成的管理。
RCU执行由MCU发出的写命令操作。
写操作的执行方法和执行服务器来的写操作过程相同。
除此之外,RCU还具有管理一部分CAXP磁盘卷组的状态和构成信息的能力。
对于任何一个磁盘卷组,都需要定义MCU/RCU。
一个XP的磁盘控制装置在控制P-VOL 时,可作为MCU使用,当控制S-VOL的时侯,可作为RCU使用。
(3)CA的同步和异步复制基于存储的数据复制,主要有同步数据复制和异步数据复制两种。
同步数据复制,指通过将本地生产数据以完全同步的方式复制到异地,每一本地IO交易均需等待远程复制的完成方予以释放。
同步方式的数据复制同步复制方式的传输距离限制:l FC光纤通道最大传输距离为10KM;l ESCON通过中继方式最大可传输43KM;l DWDM方式最大传输距离为100KM。
异步数据复制则是指将本地生产数据以后台同步的方式复制到异地,每一本地IO交易均正常释放,无需等待远程复制的完成。
异步方式的数据复制同步复制实时性强,灾难发生时远端数据与本地数据完全同步。
但这种方式因为数据在网络中的传输延迟而影响主节点的应用性能。
异步复制则不然,但可能导致灾备点数据比主点数据有一定延迟,这些延迟的数据在灾难发生后将丢失。
由此可见,同步方式和异步方式实际上是各有千秋,需要依据具体的应用,在应用性能和潜在的可能丢失数据量之间作一个取舍和均衡。
(4)CAXP卷组的更新拷贝模式在组建灾难备份系统时,往往是假定正在使用的主中心的存储数据受到毁坏。
这时启动远程备份中心的备份存储系统,来接替主中心的工作或从备份存储设备中把数据恢复到主中心端,在主中心重新启动应用。
不论使用哪种方法,远程备份中心的备份数据与主中心端数据的一致性将会决定灾难恢复的时间。
在灾难发生后,为了尽可能减少花在数据一致性分析上的时间,以XP1024存储为例,XP1024提供用于灾难备份的CAXP磁盘卷组的拷贝模式的设定选择来加快事后分析数据的一致性。
远程数据拷贝操作更新拷贝模式(Fence Level)共有3种:Data、Status、Never。
CAXP卷组的状态在变为“Suspend”后,更新拷贝模式将会对P-VOL的写操作产生影响,在建立灾难备份系统方案时,应预先考虑好CAXP卷组的一致性要求,对应的拷贝模式可由下表选出:l 更新拷贝模式:Data——在这个模式下,P-VOL和S-VOL的一致性会完全被保证。
当两个卷组之间不能保证同步时,即当卷组状态变为Suspend时,MCU将会拒绝对服务器对P-VOL的写操作以保证两个磁盘卷的一致性。
这种模式在灾害发生时将会最大限度的减少数据一致性分析所花的时间。
(注:初期拷贝完成之前,如果灾害发生,将导致P-VOL和S-VOL的数据不一致,因此不能把S-VOL用于灾害恢复)。
在Data这种拷贝模式下,一旦FC线路或S-VOL出现故障,都将使P-VOL的写操作停止,并向系统发出写错误信息中断系统的应用。
l 更新拷贝模式:Status——当MCU检测出CAXP卷组之间失去同步后,且无法将S-VOL 的状态改变为Suspend时,MCU会拒绝服务器向P-VOL的写操作,并对服务器发出写错误的信息。
当FC链路失效时这种模式会起作用,如果客户认为S-VOL的偶尔失去同步是可容忍的,这种模式可被使用。
当S-VOL由于某种原因失效时,并且卷组状态成功地变为Suspend时,P-VOL的读写操作可继续进行,这时P-VOL里更新过的磁道会被记录下来,当S-VOL被恢复后,更新数据不会自动的被拷贝到S-VOL,而需要重新同步这个卷组,数据的更新拷贝才会被执行。
l 更新拷贝模式:Never——在CAXP卷组失去同步后,无论S-VOL的状态能否被改为Suspend,服务器对P-VOL的写操作不会被中止。
在这种模式下,只要P-VOL自己不出现故障,服务器传来的写操作就会被执行。
当FC Link或S-VOL由于某种原因失效后,P-VOL 的更新磁道将会被MCU记录下来。
故障排除后,用卷组激活命令可重新同步P-VOL和S-VOL,这时,只拷贝P-VOL里的更新磁道。
Data及Status模式对保持数据一致性非常有好处的,但在线路或远端XP1024故障时会对主服务器造成造成一定的影响,甚至导致应用系统挂起。
在这种拷贝模式下建立起来的CAXP镜像卷组,即使在光纤或S-VOL故障引起P-VOL和S-VOL镜象卷组失去同步后,只要P-VOL没有遭到损坏,MCU就不会据绝服务器对P-VOL 发出的写操作。