基于存储的数据保护方案
- 格式:docx
- 大小:439.94 KB
- 文档页数:18
数据库存储加密的常用技术方法1. 数据库加密技术:一种常用的数据库存储加密方法是使用数据库自带的加密功能,如SQL Server的Transparent Data Encryption (TDE)和Oracle的Transparent Data Encryption (TDE)。
这些工具可以对整个数据库进行加密,保护数据在磁盘上的存储安全。
2. 数据字段级加密:通过使用对称加密算法如AES或DES对数据库中的特定字段进行加密,可以在数据存储和传输过程中提供额外的安全保护。
3. 哈希加密:对于敏感数据,可以使用哈希加密(如SHA-256或SHA-512)将数据存储为哈希值,以保护数据的隐私和完整性。
4. 数据脱敏:对于不太敏感的数据,可以采用数据脱敏技术,通过对数据进行部分隐藏或替换,以保护隐私信息并保持数据的可用性。
5. 数据加密算法选择:在数据库存储加密过程中,需要仔细选择合适的加密算法和密钥长度,以确保数据的安全性和性能之间达到平衡。
6. 密钥管理:在数据库加密中,密钥管理是非常重要的一环,需要确保密钥的生成、存储和轮换过程都是安全可靠的。
7. 数据库访问控制:除了加密,对数据库访问进行严格的控制和审计也是保护数据安全的重要手段,可以通过权限管理等方式限制对敏感数据的访问。
8. 数据传输加密:除了存储加密,数据库还需要考虑数据在传输过程中的安全,可采用SSL/TLS协议对数据传输进行加密保护。
9. 数据备份加密:保护数据库备份文件的安全也是很重要的,可以使用特定的备份加密工具或数据库系统自带的备份加密功能。
10. 强制访问控制:采用强制访问控制机制,例如标签、多因素认证等手段保证数据存储安全。
11. 数据审计:建立完善的数据审计机制,记录所有对数据库的操作,及时发现异常行为并采取相应的防范措施。
12. 应用层加密:在数据库存储加密的也需要在应用层对数据进行加密处理,确保数据在传输和处理过程中都得到安全保护。
存储备份解决方案简介在当今信息化时代,数据成为了企业和个人最宝贵的资产之一。
因此,为了确保数据安全和可靠性,存储备份解决方案成为了企业和个人必须关注的重要问题。
本文将介绍存储备份解决方案的概念、重要性以及常见的存储备份解决方案。
一、存储备份解决方案的概念存储备份解决方案指的是一种将数据备份并存储在其他介质中的方法和技术,以便在原始数据丢失或损坏时能够恢复和访问数据。
存储备份解决方案可以保护数据免受硬件故障、自然灾害、人为错误和恶意攻击等各种风险的影响。
二、存储备份解决方案的重要性1. 数据丢失风险:硬件故障、病毒攻击、意外删除等都可能导致数据的丢失或损坏。
存储备份解决方案可以帮助企业和个人保护数据,避免不可挽回的损失。
2. 合规要求:一些行业或法规要求企业必须定期备份数据,以确保数据的可靠性和完整性。
存储备份解决方案可以帮助企业满足合规要求。
3. 数据恢复能力:当数据丢失或损坏时,存储备份解决方案可以快速恢复数据,最大限度地减少停机时间和业务损失。
三、常见的存储备份解决方案1. 本地备份本地备份是指将数据备份到本地设备或存储介质中,如外接硬盘、光盘、磁带等。
本地备份具有备份速度快、恢复速度快的优点,适合小规模的数据备份需求。
但是本地备份的缺点是容易受到硬件故障、物理损坏和盗窃等风险的影响。
2. 远程备份远程备份是指将数据备份到远程服务器或云存储中。
远程备份的优点是数据存储在安全的远程位置,避免了本地备份可能面临的风险。
同时,远程备份可以通过互联网进行自动化和定时备份,方便管理和操作。
然而,远程备份也存在网络延迟、带宽限制和数据安全性等方面的考虑。
3. 增量备份和全量备份增量备份是指只备份数据发生变化的部分,而全量备份是指备份整个数据集。
增量备份可以节省存储空间和备份时间,但在恢复数据时需要先进行全量备份的恢复,再应用增量备份进行增量恢复。
4. 冷备份和热备份冷备份是指备份数据时,需要停机或暂停系统的运行。
数据库存储加密的常用技术方法1. 数据库字段加密:对数据库中的敏感字段进行加密存储,例如用户的密码、身份证号等个人信息,常用的加密算法包括AES、RSA等。
2. 数据传输加密:在数据库与应用程序之间的数据传输过程中,需要采用加密传输协议,如SSL/TLS,以确保数据在传输过程中不被窃取或篡改。
3. 数据库连接加密:确保数据库连接是安全的,可以通过启用数据库连接的SSL选项或通过VPN隧道来保护数据库连接的安全性。
4. 数据脱敏:对一些不需要完整信息的数据进行脱敏处理,例如将手机号码、邮箱地址等个人信息部分隐藏或替换成通用信息,以减少敏感数据泄露的风险。
5. 数据字段级加密:使用字段级加密方法,将个别敏感字段进行加密处理,只有授权用户才能解密和查看原始数据,常用的方法有数据库自带的加密函数或专门的加密库来实现。
6. 数据备份加密:确保数据库备份文件的安全性,采用加密算法对备份文件进行加密存储,同时管理好加密密钥,以防止备份数据的泄露。
7. 数据访问控制:对数据库的访问进行细粒度的权限控制,通过数据库的用户角色管理、访问控制列表等机制,限制用户对敏感数据的访问权限。
8. 数据审计与监控:建立完善的数据审计系统,监控数据库的访问和操作情况,追踪敏感数据的访问者和使用情况,及时发现异常操作并采取相应的应对措施。
9. 数据加密算法选择:在选用数据加密算法时,要根据实际需求和敏感程度选择合适的算法,避免选用已经被破解或不安全的加密算法。
10. 数据加密密钥管理:严格管理数据加密所需的密钥,采用密钥轮换、密钥分割等技术手段,加强对密钥的管理和保护,防止密钥泄露导致数据遭到破解。
11. 数据加密性能优化:在数据库存储加密时,需要考虑加密性能对系统性能的影响,选择合适的加密方式和算法,以及进行优化和加速加密操作,以减少对数据库读写性能的影响。
12. 数据加密与索引:在进行加密字段上的查询时,要考虑加密字段对数据库索引的影响,可采用明文索引或HASH索引来避免因加密字段而导致的查询效率下降。
保障存储安全措施方案为保障存储安全,可以采取以下措施方案:1.数据备份:定期对重要数据进行备份,将数据存储到多个地点,以防止数据丢失。
备份数据可以存储在云端、外部硬盘或者其他存储介质中。
2.设备安全:对存储设备进行物理的保护和安全控制。
例如,使用安全锁柜或保险柜储存重要的存储设备,确保只有授权人员可以接触到设备。
3.数据加密:对存储的敏感数据进行加密处理,以防止数据在传输或存储过程中被非法获取。
可以使用加密软件或硬件来对数据进行加密。
4.访问权限控制:根据不同的用户角色和权限设置访问控制策略,限制用户对存储数据的访问权限。
只有授权用户才能查看、修改或删除数据。
5.网络安全防护:确保存储系统所在的网络环境安全,采用防火墙、入侵检测系统等安全设备进行网络防护。
定期进行系统安全检查,及时修补漏洞和更新软件补丁。
6.监控与报警系统:安装监控设备,对存储系统进行实时监控,及时发现异常行为。
设置报警功能,当存储系统出现异常或攻击时,立即通知管理员进行处理。
7.培训与管理:加强员工的安全意识,定期进行安全培训,教育员工关于存储安全的重要性和相关操作规范。
建立专门的安全管理团队,负责存储安全的规划、实施和监督。
8.灾备计划:制定灾备计划,确保数据在灾难发生时能够及时恢复。
备份数据应存储在不同地点,可以采用冷热备份策略,建立灾备中心,实现实时同步备份。
9.定期维护和更新:定期对存储设备进行维护,包括硬件检查、软件更新等。
尽可能保持存储系统的最新状态,以防止因为软硬件老化导致的系统故障。
10.合规与监管:了解并遵守相关的法规和政策,对存储系统进行合规性审查,确保存储数据的合法性和隐私保护。
定期接受第三方机构的安全审计,确保存储安全符合标准和准则。
以上是保障存储安全的措施方案,通过采取这些措施可以有效保护存储数据的安全性和完整性。
2021年第3期信China Computer&Communication信息歩金与管幾基于云存储的计算机阿络数据安全保护方法郭强(黄淮学院,河南驻马店463000)摘要:本文通过引入云存储技术设计一种基于云存储的计算机网络数据安全保护方法,首先从数据传输、审核、存储3个层面分析计算机网络数据面临的安全威胁,进而对网络敏感数据进行分类,最后对数据存储可能经过的节点进行加密处理,以此完成对网络数据的保护.实验结果表明,本文提出的保护方法拥有更高的安全性和市场应用价值.关键词:云存储;计算机网络数据;安全保护;数据存储中图分类号:C37文献标识码:A文章编号:1003-9767(2021)03-211-03Data Security Protection Method of Computer Network Based on Cloud StorageGUO Qiang(HuangHuai University,Zhumadian Henan463000,China)Abstract:This paper introduces cloud storage technology to design a computer network data security protection method based on cloud storage.First,it analyzes the security threats faced by computer network data from three levels of data transmission,audit, and storage,and then classifies network sensitive data,and finally The nodes through which data storage may pass are encrypted to complete the protection of network data.The experimental results show that the protection method proposed in this paper has higher security and market application value.Keywords:cloud storage;computer network data;security protection;data storage0引言云存储是面向信息数据的一种线上存储方式,在执行云端数据存储行为的过程中,将待存储的数据传递给第三方服务器,此时托管中心后端准备数据虚拟化空间,由资源池提取数据,将数据资源放置在虚拟空间中。
华为存储解决方案包括企业级数据备份解决方案、企业级数据容灾解决方案、广域网低带宽环境下的备份解决方案企业级数据备份解决方案随着信息技术的不断发展,计算机的存储信息量不断增长,数据备份变的越来越重要。
因而,如何保护好计算机系统里存储的数据,保证系统稳定可靠地运行,并为业务系统提供快捷可靠的访问,是系统建设中最重要的问题之一。
华为公司针对目前IT信息系统发展的现状,采用华为OceanStor系列存储产品和企业备份恢复领域处于领先的赛门铁克NetBackup平台,提供市场领先的数据备份解决方案。
通过对软硬件产品的整合,华为公司致力于向客户提供完备的、智能的、易管理的数据保护解决方案,全面解决客户因新业务的增长而带来的数据保护难题。
解决方案:华为针对目前企业客户复杂的IT应用特点,根据客户不同需求,定制客户备份策略,全面保护客户的应用,为客户业务系统的健康稳定运行,提供坚实的后盾。
主要可以实现以下功能:集中管理功能企业的小型机、服务器,工作站等常常分布在多个地点,通过华为的企业级备份方案,可以实现数据备份工作的远程集中管理和维护,并可以实现备份介质集中存放,自动管理,减少了管理维护的复杂度。
支持多种组网架构企业客户的业务系统,组网都比较复杂,而且对备份窗口的要求不尽相同。
华为企业级备份方案可实现数据LAN-Base、LAN-Free等的备份方式,为不同的数据制定不同的备份方式,不仅满足客户对备份窗口的需求,而且降低了客户总体成本。
全面保护客户数据•保护主流的数据库以及其他常用IT应用;•实现操作系统的快速的灾难恢复;•从桌面应用到数据中心应用提供端到端的数据保护•备份数据生命周期管理•确保数据在合适时间存储在恰当的位置;•将重要数据存储在磁盘上,而将不重要数据存储在磁带上;•确保从磁盘中删除数据之前,已将数据迁移到磁带;•利用生命周期策略自动执行数据管理方案特点:•华为提供软硬件结合的方案,提供包括备份服务器,软件,存储一体化的方案。
数据保护方案及措施摘要本文档旨在提出一份全面的数据保护方案及措施,以确保组织在处理和存储数据时符合相关的法律法规,并保护用户的数据安全和隐私。
背景随着信息技术的快速发展,数据保护成为一个越来越重要的议题。
对于组织来说,确保数据的安全和隐私对于保持竞争优势和树立良好的声誉至关重要。
因此,制定一份全面的数据保护方案及措施势在必行。
数据分类与风险评估首先,我们需要对组织的数据进行分类和评估风险。
根据敏感程度、可穿透性和法律要求等因素,将数据分为不同的等级。
然后,对每个等级的数据进行风险评估,以确定可能的威胁和漏洞。
数据访问和权限控制为了保护数据的安全性,我们将实施严格的访问和权限控制措施。
只有授权人员才能访问特定数据,并根据需要进行适当的访问级别设置。
此外,我们将定期审查和更新访问权限,以确保只有必要的人员能够访问数据。
加密与匿名化对于敏感数据,我们将采用加密技术,以防止数据在传输和存储过程中被未经授权的人员访问。
同时,我们还将探索匿名化的方法,以确保即使在被泄露的情况下,个人身份也无法被识别。
数据备份和恢复为了防止数据丢失或损坏,我们将建立定期的数据备份和恢复机制。
备份数据将存储在安全的地方,并进行定期的测试和验证,以确保在需要时能够及时恢复数据。
数据追踪和监控为了及时发现和应对数据安全问题,我们将实施数据追踪和监控措施。
通过使用安全日志、入侵检测系统和数据分析工具等技术手段,我们能够识别异常活动并采取适当的措施应对。
员工培训和合规审查为了确保数据保护策略的有效实施,我们将进行员工培训和合规审查。
通过提供相关培训和教育,我们可以提高员工的安全意识和合规意识。
此外,我们还将定期进行合规审查,以确保我们的数据保护措施符合法律法规的要求。
结论通过采取上述的数据保护方案及措施,我们能够最大限度地保护组织的数据安全和隐私。
持续的监控和审查将确保我们的数据保护措施与法律法规保持一致,并及时应对新的威胁和挑战。
关键基础数据保护实施方案在当前数字化时代,关键基础数据的保护显得尤为重要。
随着信息技术的飞速发展,大量的关键基础数据被数字化存储和传输,一旦泄露或遭受恶意攻击,将给国家安全、经济发展和社会稳定带来严重影响。
因此,制定和实施有效的关键基础数据保护方案显得尤为紧迫和必要。
首先,关键基础数据保护实施方案需要建立完善的法律法规体系。
通过立法的方式,明确关键基础数据的范围和分类,规定数据的收集、存储、传输和处理的标准和流程,明确相关主体的责任和义务,并规定违法行为的处罚和制裁措施。
同时,还需要建立健全的监管机制,加强对关键基础数据保护工作的监督和检查,确保法律法规的有效实施。
其次,关键基础数据保护实施方案需要加强技术手段的应用。
利用先进的信息安全技术,加密关键数据的存储和传输,建立安全可控的数据访问和使用机制,防范数据泄露和恶意攻击。
同时,加强对关键基础设施的安全保护,建立健全的网络安全防护体系,及时发现和应对安全威胁和风险,保障关键基础数据的安全可靠。
此外,关键基础数据保护实施方案还需要加强人员管理和培训。
建立健全的数据安全管理制度,规范数据的获取、使用和销毁流程,加强对数据安全意识和责任意识的培训,提高相关人员的安全意识和应对能力,防范人为因素对关键基础数据的威胁。
最后,关键基础数据保护实施方案需要加强国际合作和交流。
面对全球化的信息安全威胁,各国需要加强合作,共同应对跨国数据安全挑战,共同维护国际数据安全秩序,推动建立全球范围内的数据安全治理体系,共同构建安全、稳定、开放、合作的网络空间。
综上所述,关键基础数据保护实施方案是一项复杂而又紧迫的任务。
只有加强法律法规建设、技术手段应用、人员管理和培训以及国际合作,才能有效保护关键基础数据的安全,确保国家安全和社会稳定。
希望各国能够共同努力,共同应对全球化信息安全挑战,共同构建网络空间的和平、安全、开放、合作的新秩序。
存储解决方案概述:存储解决方案是一种专门针对数据存储需求的技术方案,旨在提供高效、可靠、可扩展的存储环境。
本文将详细介绍存储解决方案的基本原理、主要组成部分以及其在实际应用中的优势和适用场景。
一、基本原理:存储解决方案基于存储技术的基本原理,通过有效管理和组织数据,实现数据的高速读写、可靠存储和快速检索。
其核心原理包括数据存储、数据保护和数据管理。
1. 数据存储:存储解决方案通过使用高性能存储介质,如固态硬盘(SSD)和高速磁盘阵列(RAID),实现数据的快速读写。
同时,采用数据分层存储策略,将不同类型的数据存储在不同的存储介质上,以提高存储效率和降低成本。
2. 数据保护:存储解决方案采用多种数据保护技术,如数据备份、快照、镜像和冗余存储等,确保数据的安全性和可靠性。
通过实时备份和容灾技术,可以在硬件故障或自然灾害发生时快速恢复数据,保证业务的连续性。
3. 数据管理:存储解决方案提供灵活的数据管理功能,包括数据迁移、数据压缩和数据去重等。
通过数据迁移技术,可以将热数据(频繁访问的数据)存储在高性能存储介质上,将冷数据(不经常访问的数据)存储在低成本存储介质上,以实现存储资源的最优配置。
二、主要组成部分:存储解决方案由以下几个主要组成部分构成:1. 存储设备:存储设备是存储解决方案的核心组成部分,包括磁盘阵列、磁带库、网络存储设备等。
这些设备提供高速、可靠的数据存储和访问功能,满足各种应用场景的需求。
2. 存储管理软件:存储管理软件是存储解决方案的关键组成部分,用于管理和控制存储设备。
它提供数据管理、数据保护、性能优化等功能,帮助用户实现对存储资源的有效管理和利用。
3. 存储网络:存储网络是连接存储设备和主机的关键部分,包括光纤通道(FC)、以太网(Ethernet)等。
存储网络提供高带宽、低延迟的数据传输通道,确保数据在存储设备和主机之间的快速传输。
4. 存储管理策略:存储管理策略是存储解决方案的重要组成部分,包括数据分层、容量规划、备份策略等。
数据保护方案一、背景介绍随着信息技术的迅猛发展,数据在现代社会中扮演着越来越重要的角色。
数据是公司宝贵的资产,包含了客户信息、营销策略、研发成果等等,因此数据的保护变得尤为重要。
本文将就数据保护方案进行探讨。
二、数据分类与级别划分1.敏感数据:包括个人身份信息、银行账号、密码等,属于最高级别的数据,需要采取最严格的保护措施。
2.核心数据:包括公司财务数据、商业机密等,也需要高度保护。
3.一般数据:包括市场调研报告、员工培训资料等。
三、数据保护措施1.技术层面的保护:(1)访问控制:建立基于权限的访问控制系统,确保只有授权人员可以访问敏感数据。
(2)加密算法:对敏感数据进行加密,确保数据在传输和存储过程中不容易被窃取。
加密算法需要定期更新。
(3)网络安全:确保网络设备的安全性,如防火墙、入侵检测系统等。
(4)备份和恢复:制定定期备份计划,以应对数据丢失或损坏的情况,同时备份数据必须加密存储。
2.人员层面的保护:(1)培训与意识提升:定期对员工进行数据保护的培训,提醒他们数据保护的重要性,并教授安全使用数据的方法。
(2)权限管理:为员工分配访问权限,确保他们只能访问自己工作职责所需的数据。
(3)监控与审计:建立监控机制,记录员工对敏感数据的访问情况,并进行审计以及内部调查。
四、数据备份与恢复数据备份是防止数据丢失的重要手段,因此制定合适的数据备份计划至关重要。
备份应当存储在安全可靠的地方,并定期测试备份数据的还原性,以确保在数据丢失时能够快速恢复。
五、应急预案制定针对数据泄露、损坏等紧急情况的应急预案,明确责任人和应对步骤,做到事前有预案、事中有应对、事后有追踪。
六、定期演练与评估定期进行数据保护演练,检验数据保护方案的有效性;同时定期对数据保护方案进行评估,及时发现问题并进行改进。
七、结语数据保护方案是每个公司必备的重要部分,只有有效地保护好数据,企业才能够持续运营并取得成功。
随着技术的不断发展,数据保护方案也需要与时俱进,并不断提升保护水平,以确保数据的安全性和完整性。
基于存储的数据保护方案目录一.数据复制技术 (4)1.1.四种容灾复制技术说明 (4)1.1.1.基于应用层事务复制 (4)1.1.2.基于磁盘阵列复制 (5)1.1.3.基于逻辑卷层复制 (5)1.1.4.文件层复制 (5)1.2.容灾面对的核心问题——数据一致性 (6)1.2.1.保障容灾端数据一致性的意义 (6)1.2.2.应用层完全能保障容灾端的数据一致性 (6)1.2.3.其他三层保障数据一致性的难题 (6)1.2.4.非常繁忙的数据库的容灾挑战 (7)1.3.复制技术的发展趋势 (8)1.4.总结 (8)1.5.基于存储层面的数据复制技术 (10)二.快照技术 (12)2.1.快照的定义与作用 (12)2.2.写入即复制 (13)2.3.写入即转存 (13)2.4.分割镜像快照 (14)2.5.持续数据保护 (14)2.6.三种使用方法 (16)2.7.快照与镜像、复制的区别 (17)三.存储分层技术 (17)一.数据复制技术数据复制是构建容灾的基石,利用复制软件实时地将数据从一个主机(或磁盘)复制到另一个主机(磁盘),生成一个数据副本。
数据复制有多种分类方法,依据复制启动点的不同,可分为同步复制、异步复制。
同步复制,数据复制是在向主机返回写请求确认信号之前实时进行的;对于异步复制,数据复制是在向主机返回写请求确认信号之后实时进行的。
1.1.四种容灾复制技术说明根据操作系统的I/O(读写操作)路径以及复制对象划分为四大种类:基于应用层事务复制、基于文件层复制、基于逻辑卷层复制、基于磁盘阵列复制。
当然,目前出现了基于SAN交换机的复制,但是相对技术不太成熟,应用很少。
按照数据复制软件或硬件安装的位置又可划分为主机型复制和非主机型复制。
应用层、文件层、逻辑卷层的都属于主机型复制,主机型复制软件需安装在主机上,需要消耗一定的主机资源。
存储层属于非主机型复制,复制直接由磁盘阵列的内部组件完成,理论上无需消耗应用所在主机的资源。
一般而言,容灾要保护的数据是结构化数据,即存储在数据库的数据。
以下都用复制数据库来说明。
1.1.1.基于应用层事务复制基于应用层事务的复制,一般采用采用异步复制机制,复制对象为应用事务,其过程为:捕获应用系统的事务,例如SQLServer或Oracle数据库的事务,经由传输组件传输到目标服务器,然后目标装载进程按照数据库的关系原理排序事务,将事务保存到目标数据库。
这层的复制完全能保障数据库的一致性,且目标数据库处于在线运行状态。
当生产数据库发生故障时,直接使用目标数据库即可恢复业务,容灾的RTO指标趋于零。
但是支持的应用有限,一般为SQLServer、 Oracle、Sybase、DB2、MySQL等等数据库。
另外复制速度较慢,因为数据要通过数据库的装载接口才能写入数据库。
应用层代表厂商:浪擎、DSG、Goldengate、Quest、Oracle、微软等。
1.1.2.基于磁盘阵列复制基于磁盘阵列层的复制,磁盘阵列厂商的复制技术,其原理与逻辑卷层的相似,属于非主机型的复制。
但与硬件绑定,成本高昂,实施复杂。
基于磁盘阵列层的复制不能完全保障数据库一致性,目标数据库处于脱机状态。
当生产数据库发生故障时,需要启动数据库才能恢复业务,正是由于不能保障数据库一致性,很可能数据库不能正常启动。
尽管存在这样的缺陷,但这一层的复制对主机的影响极其轻微,所以还是可应用在一些非常大型、繁忙的数据库容灾,作为一种补充保护手段。
磁盘阵列层代表厂商:IBM、HP、EMC、HDS等。
1.1.3.基于逻辑卷层复制基于逻辑卷层的复制,一般采用采用同步复制机制,复制对象为逻辑卷层的变化Block,其过程为:捕获变化块,同步写入目标存储,等于在一个主机上将同一数据写入两个不同的逻辑磁盘。
这种复制方式对I/O性能影响很大。
另外,在实施时可能需要改造生产环境,例如VVR需要自身的卷管理格式才能支持复制,所以如果用于非新部署的业务系统其实施非常复杂。
基于逻辑卷层的复制不能完全保障数据库一致性,目标数据库处于脱机状态。
当生产数据库发生故障时,需要启动数据库才能恢复业务,正是由于不能保障数据库一致性,很可能数据库不能正常启动。
因此,这层复制技术很少用于大型数据库的容灾。
逻辑卷层代表厂商:赛门铁克、飞康等等。
1.1.4.文件层复制基于文件层的复制,一般采用采用异步复制机制,复制对象为文件I/O,其过程为:复制上层应用传递下来的I/O,然后缓存起来,再经由传输组件传输到目标服务器,再由目标服务器写入目标存储,完成一次复制。
基于文件层的复制不能保障数据库一致性,目标数据库处于脱机状态。
当生产数据库发生故障时,需要启动数据库才能恢复业务,正是由于不能保障数据库一致性,很可能数据库不能正常启动。
所以文件复制一般用于事务很少、数据量很小的数据库。
文件层复制技术代表厂商:赛门铁克的低端文件复制、国内一些小厂商。
四种复制技术各有优缺点。
一般而言,文件层复制技术主要采用异步复制原理,不能保障数据库的一致性,不能确保数据库是好的,很少用于大型数据库的容灾。
国内很多厂商都采用文件层复制,主要用于中小企业,适用于数据量不大、投入很小的场合。
1.2.容灾面对的核心问题——数据一致性1.2.1.保障容灾端数据一致性的意义容灾系统与生产系统的数据一致性考虑在容灾建设中极其重要。
什么叫数据一致性,这是个非常专业的问题。
简单的讲,就是要保证生产系统、容灾系统的数据相一致。
可以这样讲,如果各层不能保障复制过去的数据的一致性,那么容灾端的数据就不完整,整个应用系统就不可用,容灾完全失去意义。
而四种复制技术由于所属层次不一严,各层的数据一致性含义是不同的。
1.2.2.应用层完全能保障容灾端的数据一致性应用层的数据一致性是指容灾业务数据和生产端业务数据相同,例如股票交易业务,生产端交易了10000笔,如果容灾端只复制了9999笔,那么就产生了数据不一致的问题。
但是,应用层的数据不一致性相对应用程序而言是不致命的,甚至应用程序都无法感知,只有上层业务才能感知,就如同这个例子丢了一笔交易数据,那么此时需要人工干预补齐一下数据。
从这个角度讲只有应用层的复制才能确保应用程序的完整性和一致性。
1.2.3.其他三层保障数据一致性的难题其他三层的数据不一致性对应用程序而言是致命的,很可能导致应用程序无法启动。
其他三层的数据一致性比应用层的数据一致性含义复杂,这是由于复制所属层次和复制对象不一样导致的。
其他三层的数据一致性包含两方面的含义:一是在磁盘上或文件上的应用程序的数据一致性,这是因为每个应用程序对存在磁盘上的数据都有一个内在的组织结构和秩序,如果这种结构和秩序不完整或被破坏,那应用程序很可能就无法启动了;二是两端的数据一致性。
在I/O的路径上各层都有自己的缓存,很有可能会滞留一些I/O在自己的缓存中。
如果在系统发生故障时,仍有部分I/O“滞留”在I/O操作中,真正写到磁盘中的数据就会少于应用程序实际写出的数据,造成数据的不一致,从而导致结构和秩序不完整或被破坏。
异步复制顺序地将这些I/O复制到容灾端,故障发生时可能导致I/O复制不完整,从而也会导致这种情况发生,这就是文件层的复制不可靠的原因。
逻辑卷层和磁盘层采用同步复制,关闭各层缓存,这样的情况一般不会发生,但是由于应用程序和操作系统的复杂性,这种复杂性本身可能导致I/O的坏块。
同时,这两层还可能存在卷组一致性的问题,应用程序的数据存在多个逻辑卷或物理卷中,在这两层中很可能会出现应用程序串行写而这两层并行写的状况,从而导致磁盘上的数据的写秩序不一致,这是很可怕的。
存在这样的问题,需要在调研阶段搞清楚应用程序的存储状况的,从而有针对性的实施方案。
1.2.4.非常繁忙的数据库的容灾挑战在对数据库容灾研究过程中发现,当SQLServer数据库面对大量的事务时,采用非顺序写日志,这与一个空闲的数据库线性写日志完全不同,颠覆了先前对数据库线性写日志的认识。
有兴趣研究的同行,可以构造一个这样的测试场景,一直不断提交事务给数据库,然后监测数据库的日志I/O状况。
我们猜想可能是这样的原因:当日志缓存剧烈消耗时,数据库进程采用了多线程并行写日志,这样的好处可能加快写的速度,但是采用这样的写机制会导致一个乱序的日志文件来,对数据库在磁盘上的状态来说却是一个灾难;或是,数据库发出串行的异步写调用,但操作系统内部并行写,回复状态按照调用顺序而已,这个猜想可能是错误的,这需要很懂Windows操作系统I/O管理机构的技术高手来解释。
这样的SQLServer数据库写对其他三层的容灾技术来说,简直就是灾难,或许同步复制能保障,但是异步复制,例如文件层复制,却是不能保障容灾端数据库的一致性。
所以,文件层的复制不能确保容灾数据库是好的,只能通过其他机制来补偿缺陷,例如通过回滚。
正因如此,像医院、证券、海关、税务、电力、公安、社保、电商、交通、银行、电信等等提供公共服务的业务系统在工作时间都非常繁忙,这样的数据库采用文件复制来实现容灾是不可行的。
1.3.复制技术的发展趋势四层技术,各有优缺点。
就综合复制技术原理与优缺点、投入成本、资源消耗、实施工作量、维护工作量等等方面来说,应用层的复制和磁盘阵列的复制会成为主要的容灾技术,占据很大的容灾市场份额,且应用于关键的、重要的应用系统;文件复制主要用于一些非常低端的应用。
未来的复制技术发展不是依靠单一技术来解决自身的缺陷问题,应融合其他层的技术来发展。
应用层要解决复制速度较慢的问题,就是要解决在目标数据库上的数据装载效率或装载方式的问题。
解决了这一问题,应用层的复制还会得到更加广泛的应用。
存储层要克服数据不一致的问题,不能单纯依靠存储的复制,要结合应用层与数据库进行一定的交互才能解决。
1.4.总结从技术原理、实施、维护、资源消耗、适应场合等等总结四层技术。
1.5.基于存储层面的数据复制技术采用基于存储的容灾方案的技术核心是利用存储阵列自身的盘阵对盘阵的数据块复制技术实现对生产数据的远程拷贝,从而实现生产数据的灾难保护。
在主数据中心发生灾难时,可以利用灾备中心的数据在灾备中心建立运营支撑环境,为业务继续运营提供IT支持。
同时,也可以利用灾备中心的数据恢复主数据中心的业务系统,从而能够让企业的业务运营快速回复到灾难发生前的正常运营状态。
基于存储层复制的容灾方案示意图如下:采用基于存储的数据复制技术建设容灾系统是目前金融、电信企业、政府采用较多的容灾方案,有非常多的应用案例,是容灾备份建设可选择的技术方案之一。
基于存储的复制可以是如上示意图的“一对一”复制方式,也可以是“一对多或多对一”的复制方式,即一个存储的数据复制到多个远程存储或多个存储的数据复制到同一远程存储;而且复制可以是双向的。