云数据中心下重复数据删除技术研究
- 格式：pdf
- 大小：1022.56 KB
- 文档页数：5
收稿日期:2018-03-30摇摇摇摇摇摇修回日期:2018-07-11摇摇摇摇摇摇网络出版时间:2018-11-15基金项目:四川省2017年度教育科研计划项目(17ZB0059);成都理工大学工程技术学院院级基金项目(C122017024);成都理工大学工程技术学院教研项目(2016-YY-JG06)作者简介:杜摇华(1983-),男,硕士,副教授,研究方向为网络分布式计算、最优化算法分析、计算机应用技术。网络出版地址:http://kns.cnki.net/kcms/detail/61.1450.TP.20181115.1050.074.html
云数据中心下重复数据删除技术研究杜摇华1,2,刘华春2(1.核工业西南物理研究院,四川成都610000;2.成都理工大学工程技术学院,四川乐山614000)
摘摇要:云数据中心下企业数据量快速增长,使得数据中心面临严峻挑战。研究发现,存储系统中高达60%的数据是冗余的,因此云数据中心下的重复数据缩减受到越来越多的关注。以往单一存储结构模式下的存储性能评价指标(平均响应时间、磁盘I/O效率和数据冗余度),不但不能完全适应云数据这种以廉价设备为分布式存储结构的新变化,而且也难以较好地满足云服务提供商向用户做出的数据高可用性、高可靠性的SLA承诺。为此,在分析和总结云数据中心环境下数据存储的新特征之后,通过对单一存储结构下重复数据删除技术不足的剖析,提出了查询算法优化、基于SSD改进置换效率、改进的纠删码数据容错机制三条路径,以提高云数据中心下重删系统的工作效率和工作表现。最后,通过分析云服务下不同用户对IT资源需求的区别,有针对性地自动选择合适的去重时机,为从整体上改进云数据中心环境下重复删除系统操作效率指出了进一步研究的方向。关键词:重复数据删除;云数据中心;指纹;SSD;纠删码中图分类号:TP31摇摇摇摇摇摇摇文献标识码:A摇摇摇摇摇摇文章编号:1673-629X(2019)02-0157-05doi:10.3969/j.issn.1673-629X.2019.02.033
ResearchonDeduplicationofDatainCloudDataCenter
DUHua1,2,LIUHua-chun2(1.SouthwesternInstituteofPhysics,Chengdu610000,China;2.SchoolofEngineeringandTechnology,ChengduUniversityofTechnology,Leshan614000,China)
Abstract:Theclouddatacenterisfacingseverechallengeswiththerapidgrowthofthedatavolumefromenterprises.Studieshavefoundthatupto60%ofthedatainstoragesystemisredundant,soreducingtheredundantdataintheclouddatacenterispaidmoreandmoreattention.Thestorageperformanceevaluationindex(averageresponsetime,diskI/Oefficiencyanddataredundancy)intheprevioussinglestoragestructuremodenotonlyfailtoadapttothenewchangesofclouddatacompletelyinthedistributedstoragestructurewithcheapdevices,butalsobedifficulttomeetSLAcommitmentabouthighavailabilityandhighreliabilityofthedatamadebythecloudserviceproviderstousers.Therefore,weproposethreepathsincludingqueryalgorithmoptimization,improvedpermutationefficiencybasedonSSD,improvederasurecodedatatolerancemechanismafteranalyzingandsummarizingthenewfeaturesofdatastorageinclouddatacenterandshortcomingofrepeatdatadeletionundersinglestoragestructure,toenhancetheworkingefficiencyandperformanceofthesysteminclouddatacenter.Finally,byanalyzingthedifferencesbetweendifferentuser爷sdemandsforITresourcesincloudservices,theappropriatede-duplicationtimingisautomaticallyselectedinatargetedway,whichpointsoutthedirectionoffurtherresearchforim鄄provingtheefficiencyforthededuplicationsysteminclouddatacenter.Keywords:repeatdatadeletions;clouddatacenters;fingerprint;SSD;erasurecode
0摇引摇言重复数据删除技术是一种数据缩减技术,常用于基于磁盘的备份系统中,旨在减少存储系统中使用的存储容量。以往的重复数据删除系统往往采用单服务器结构,具有配置简单、易于管理的优点[1]。近年来,随着云计算、大数据技术的发展,企业数据中心存储的需求量日益庞大[2]。据国际数据公司
(IDC)统计[3],全球数据总量预计2020年达到44ZB,
第29卷摇第2期2019年2月摇摇摇摇摇摇摇摇摇摇计算机技术与发展COMPUTERTECHNOLOGYANDDEVELOPMENT摇摇摇摇摇摇摇摇摇摇Vol.29摇No.2Feb.摇2019中国数据量将达到8060EB,占全球数据总量的18%。因此,重复数据删除技术需要向分布式存储结
构转变[4],以适应云数据中心环境下的按需获取、弹性
增长、快速部署等多方面要求。
1摇重复数据删除技术综述重复数据删除技术是一种基于数据自身的冗余度来检测数据中是否有相同的对象,然后只传输和(或)存储唯一的数据对象副本的数据去冗余技术。根据不同的区分原则,一般可以把重复数据删除技术进行不同的分类。该技术的主要工作原理如图1所示。
datablock
computefingerprintFingerprintDBmaching?query
backupdataredundantdataEnd
NoYes
图1摇重复数据删除技术工作原理示意在单一存储结构形式下[5],平均响应时间、I/O吞
吐量和重复率是评价重复删除系统效率的三个重要指标。(1)平均响应时间:是指完成单位大小的数据块
重复删除操作所需要的平均延迟时间。这个时间包括对数据块指纹进行内存查询和磁盘查询的开销,以及查询失败之后的存储开销。平均响应时间越短,重复数据删除系统效率越高。(2)I/O吞吐率:是指单位时间内传输的数据量。
由于重复删除系统要在正常的数据读写时间之外,额外增加了重复删除的操作,因此比起单纯的磁盘数据传输,吞吐率会有所降低。吞吐率越高,重复数据删除系统效率越高。(3)冗余度:冗余度也称重复率,是指应该删除的
重复数据字节数与未删除之前的全部数据字节数的比值。一般来说,冗余度越高,重复数据删除的经济效益越好。2摇云存储环境下的重删系统在云数据中心存储环境下,数据存储有两个显著变化:第一,云存储是由大量的廉价存储设备构成的庞大存储中心,具有离散性和低可靠性的特点,需要依赖特别的方法将这些廉价设备聚合成一个高可靠性、高扩展性的资源池。因此,对单独某个廉价设备的评价指标,并不适合直接用于评价存储结构整体的存储性能表现。第二,云存储是直接面向用户评价的,挑剔的云用户要求云存储具备历史数据版本多、数据保存期延长、备份时间窗口缩短和实时故障恢复要求高四个特点[6],评价指标需要考虑这些新增的评价维度。单一存储和云存储的区别如表1所示。表1摇单一存储和云存储的区别指标单一存储结构云存储结构存储设备设备可靠性高,价格高,数量较少设备可靠性低,价格低廉,数量巨大数据量本地存储,数据量在TB级分布式存储,整体数据量可达PB级备份时间备份时间窗口较大,空闲时长相对较多备份时间窗口小,用户要求响应度高数据保存历史版本较少,仅看重最新数据数据历史版本非常多,且各个版本都需要保存故障恢复可以接受较长的故障恢复时间,一般可以分钟计不能接受故障恢复时间,要求做到“秒级恢复冶摇摇由此可见,云数据中心下的重复数据删除技术,必须在原有机制下进行改进,提高执行效率、缩短操作时间,并且保证数据可靠性。2.1摇指纹查询模式改进在云数据中心下,数据量大幅度提升,单一服务器下TB规模的数据量,在云数据中心下可能达到PB级别规模,直接导致指纹库的增大。从而对数据块指纹查询提出新的要求。以重复数据删除系统的指纹库设计为例。1TB数据量的单一服务器下,按照每个数据块固定大小为4MB进行切分,且每个数据块的数据指纹是64bit(8Byte),那么指纹库的大小只有2MB,这就可以将指纹库常驻内存中,从而减少平均响应时间。但是当数据量达到1PB规模时,同样的指纹库将达到2GB,如果继续将指纹库常驻内存,就必须占据较大的内存资源,影响云服务的SLA(servicelevela鄄greement,服务等级协议)。所以,为了保证云用户的SLA,提高服务响应速
·851·摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇计算机技术与发展摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇第29卷
