虚拟化系统高效数据保护技术

虚拟化系统的高效数据保护技术探讨摘要:近年来随着虚拟化技术在金融企业it基础架构中的推广,数据整合密度急剧膨胀,高效数据保护问题成为一大技术热点。

本文旨在借用vmware和avamar软件技术的结合,探讨虚拟化系统环境下,利用重复数据消除技术来实现高效数据保护的实现方法。

关键词:虚拟化数据备份重复数据消除技术绿色环保中图分类号:tp3 文献标识码:a 文章编号:1674-098x(2011)12(b)-0025-03关键数据保护一直都是金融企业所面临的一大难题。

随着数据信息量的激增,企业往往需要一些行之有效的解决方案来管理这些信息,同时依据金融行业监管机构规定和一些法律调查机构的要求往往使得传统数据保护解决方案在资源和容量上捉襟见肘,如果不能遵守这些法规或及时提供信息,就会带来巨额的成本开支甚至受到严厉的处罚。

据权威机构的分析表明,全球金融行业需要保护的数据量正以每年 60%左右的速度在递增,而传统的备份解决方案往往依据固定的策略模式不断地重复存储数据,从而使得需要管理的数据总存储量又徒增5至10倍,数据存储和数据备份的有效性和延续性的要求显得越来越高。

随着绿色环保运动在全球资源紧缺背景下的大力推广,虚拟化技术正在逐步被金融企业纳入it基础架构考虑的主要技术模式。

在数据分布密度不断提高的状态下,虚拟化系统下的数据保护有效性逐步成为摆在it主管面前的严峻问题之一。

本文旨在借用vmware虚拟化产品和avamar备份软件来讲解虚拟化基础架构组成,并讨论利用重复数据消除技术实现虚拟化环境下的“膨胀化”数据高效保护的完整技术方案和优势所在。

1 需求背景和问题现状在虚拟化部署架构环境下,存储数据存在数据量大、密度高、重复数据多的明显特征,传统备份解决方案每周都会产生大量需要移动的冗余数据,使得it数据运维部门常常会经常面临这样的问题:备份时间段并入生产时间中、网络存在局限性、集中备份管理的数据过多。

1.1 虚拟系统的数据分布密度提高随着企业it数据中心基础架构虚拟化模式推广趋势,由于虚拟机部署架构的特点,在服务器集成度大大提升的同时,存储数据的存放压力也随之增长,这使得数据存储和备份效率提升成为需要考虑的关键问题之一。

1.2 虚拟化系统的数据重复存储特性由于虚拟机的系统数据和业务应用数据都存放的存储介质上,在虚拟化环境下,存储数据中存在大量相同的数据元素。

同时依据传统数据备份策略,需要制定进行完整备份和增量备份的循环时间表,这样备份产生的冗余数据又会成倍产生,如何提升这些共享资源上的冗余数据的存放和备份效率,也成为一个关键考虑问题之一。

1.3 数据备份可用时间窗口缩短由于金融企业要实现7*24小时全天候的运营服务,为支撑业务系统的服务质量,满足企业客户的需求,业务运行的闲置时间越来越短。

按照通常的备份原则,往往将生产系统的备份时间安排在业务运行的闲暇时间,这也就意味可以用来实施备份的时间窗口被不断缩短,从而对于备份效率提出了更高的要求。

1.4 数据恢复时间要求提升由于金融企业对客户的利益承诺条款要求的提升,对业务运行的系统非宕机时间的要求也不断提高,从而要求系统恢复时间可以最大限度的缩短,所以备份数据的可恢复性和恢复的效率也愈加受到关注。

1.5 数据备份介质的成本效益考量出于成本费用的考虑,传统备份的主要介质来源于磁带介质,但是磁带介质常常会出现介质损坏、磁头污染、介质容量不足、磁带库硬件故障的各种出错风险。

随着业务系统对于多级数据存储的需求提升和数据恢复时效性的要求提高,数据备份介质的选择基准更多的偏向于成本效益的分析。

1.6 数据集中备份管理需求在金融行业综合业务大集中模式的形成下,业务数据的集中管理需求也随之提出,在考量备份方案时,由于传统备份介质(磁带、光盘等)存在异地传输易丢失或被盗的不安全性,逐步趋向于异地存放电子拷贝的共享管理模式。

虽然无需人员直接干预处理磁带介质,但是对于电子拷贝存放及恢复的可靠性和安全性要求又成为一大主要问题。

1.7 网络吞吐的压力问题随着集中存储数据密集度增大,重复数据元素增多,在有限的备份时间窗口中,完成数据备份的管理目标,网络压力成为不可忽视的问题之一,如何降低网络传输数据量也成为缓解问题的主要考虑方向。

近几年来,it部门往往会考虑使用磁盘存储介质作为传统备份方法的补充方案,但对于所面临的数据有效备份和保护的难题,旨在替代磁带库和磁带介质的磁盘解决方案却仅能解决其中一部分的问题。

数据备份容量、备份时间、备份数据保留时长,都成为企业it主管们在考虑高质量数据保护的重要环节,而消除重复数据技术随之成为提供高效数据保护解决方案的技术基础。

2 技术实现原理虚拟化架构体系下的数据冗余程度极高,在同一系统内和不同系统之间都存储着许多完全相同的文件或数据(例如,发送给多个虚拟终端的操作系统文件或文档)。

在传统的备份机制下,备份软件将一次次地重复得存储所有这些同源数据,导致数据冗余的成倍增长。

重复数据消除技术的推出,定义了可将重复数据标准化为单个共享数据对象以提高存储容量及备份效率的技术,高度冗余的数据保护尤其是备份数据在此获益最大。

avamar备份软件正是基于源位置全局数据消除技术达到it数据高效保护的目的。

2.1 在源位置全局消除冗余数据备份软件可以通过在源位置上实施消除文件和子文件数据段级别的冗余。

在备份操作期间,可以在源位置解决备份数据的冗余问题,然后才跨 lan 或 wan 传输数据。

将备份软件的代理端部署在需要保护的系统(如服务器、台式机和笔记本电脑)上,可识别并过滤掉单个系统内和多个系统之间的文件中随时间推移而重复存储的数据段。

这可确保每个具有唯一性的数据段仅在整个数据集内备份一次。

因此,拷贝或编辑的文件、共享的应用程序、嵌入的附件,甚至每天都在变化的数据库,都将只会产生少量的增量备份数据。

通过仅移动新的、具有唯一性的子文件数据段,可将每日所需的网络带宽和存储量减少到1/500。

通过在全局范围内只存储每个子文件数据段的单个实例,还可将总体后端磁盘存储量降低到1/50,从而实现经济高效的基于磁盘的长期存储和恢复可行性。

2.2 可变长度数据段与固定长度数据段重复数据消除技术对数据重复性的判断前期是数据分段,确定数据分段大小的方法是在数据段(或子文件)级别消除冗余数据的关键因素。

快照或复制技术通常采用固定块或固定长度数据段来定义数据源组成。

遗憾的是,即便对数据集只进行很小的改动(例如,在文件开头插入数据),尽管这样做对数据集的实际改动其实是极小的,但也会改变数据集中的所有固定长度数据段。

重复消除技术可以使用智能的方法来确定数据段的大小,例如对于word应用和数据库应用来说,数据段值特征将会不同,以这种方法通过观察数据本身来确定逻辑边界点,从而消除了重复数据字段存储和备份的低效现象。

2.3 确定逻辑数据段的技术重复数据消除技术采用的算法是对数据集的二进制结构(构成数据集的数字0和数字1)进行分析,以根据上下文确定数据段边界,所以无论数据集存储在企业中的什么位置,备份软件客户端代理都能够识别出任何数据集中完全相同的数据段。

avamar备份软件的数据段平均大小为24kb。

通过分析二进制结构的方法可适用于包括数据库在内的所有类型和大小的文件。

例如,如果在文本文件的开头和中间各添加一个段落,此算法将识别出新的、修改过的数据段,并只备份这些识别出来的唯一数据段,从而显著减少需要发送和存储的备份数据量。

对于每个24kb的数据段,avamar备份软件使用sha-1加密算法生成20个字节的唯一id,此唯一id就好像该数据段的指纹,成为数据段重复性判断的唯一标准。

备份软件将使用该唯一id来确定以前是否存储过某个数据段。

使用这些唯一id的分层图,可以快速高效地存储备份文件、目录、整个文件系统,甚至数据库。

利用全局重复数据消除技术在源位置识别冗余数据段,然后对消重后的唯一数据段通过网络传输到集中数据集,从而有效解决类似传统备份难以解决的数据高效保护和成本经济考虑的矛盾。

通过仅移动新的、具有唯一性的子文件数据段,将每日所需的网络带宽和存储量减少到1/500,无论网络和基础架构是如何缓慢或拥塞,企业都可以利用现有的网络带宽对数据中心和远程数据中心进行备份和灾难恢复。

为了提高安全性,也可对传输中以及静态的数据进行加密,可以有效地保护数百个远程分支节点的数据存储和备份需求。

2.4 虚拟化环境下的备份技术实现自2007年以来,金融行业在it基础架构中逐步引入了成熟的vmware虚拟化技术,形成集中管理、灵活调度、资源优化的高密度服务器整合平台。

随着虚拟化平台使用的规模化扩展,数据分布密度急剧增长,数据备份的容量压力愈发凸显,集成了源位置全局重复数据消除功能的avamar软件技术,恰好响应了在虚拟化系统下的高效数据备份和恢复需求。

2.5 vmware虚拟化架构体系(1)vmware vsphere虚拟数据中心操作系统vmware virtual infrastructure是业界一种云操作系统虚拟化套件,vmware vsphere虚拟数据中心操作系统将数据中心转变成“内部云”,将it部门从与硬件静态对应的系统程序约束中解放出来,可向独立于硬件和位置的所有应用程序保证适当级别的可用性、安全性和扩展性。

(2)vmware view虚拟终端随着使用多平台设备和移动办公模式的推广,it部门为跨各种web、桌面和服务器解决方案连接到数据中心和应用程序而绞尽脑汁。

将来的桌面将不会是单一物理设备,而是不同设备和环境的集合。

应用程序和数据可能位于许多不同的位置,例如运行于某台服务器上的虚拟桌面、家用笔记本电脑以及web邮件帐户,我们希望无论使用什么设备来连接到桌面,或者无论其应用程序及数据位于何处都能看到相同的视图界面。

同时it部门也希望简化企业终端管理,并经济高效地控制桌面和应用程序。

虚拟终端是包含虚拟桌面基础架构的桌面计算单元,它将应用程序、数据和操作系统与硬件分离,无论我们使用瘦客户端还是笔记本电脑、在办公室还是出差途中,都可以灵活的获得应用程序和数据的个性化视图。

智能后端系统可以向任何设备提供应用程序和数据,使我们能够将精力集中于业务工作而不是工具本身,应用程序和数据获取也将不需要跟随设备而移动,实现了用户桌面系统控制的灵活性、集中管理和有效保护。

随着企业it部门对于开发终端接入的安全性管理,虚拟终端的使用越来越广泛,成为虚拟化系统中vm组群一个相对具体独立特性的单元群体。

(3)vmware virtual infrastructure组件构成vmware esx server—vmware vsphere操作系统中的企业版虚拟化os,是运行在物理服务器上的经过生产验证的虚拟化层,将处理器、内存、存储和网络资源抽象化,是vm虚拟机的宿主平台。