当前位置:文档之家› 快照技术介绍

快照技术介绍

快照技术介绍
快照技术介绍

快照技术介绍及其在storage foundation中的应用

快照是一种基于时间点的数据拷贝技术,它的目的在于能够记录出某一个时刻的数据信息并将其保存,如果之后发生某些故障需要数据恢复的时候,可以通过快照来将数据恢复到之前时间点的状态,而该时间点之后的数据都会丢失。备份系统是快照技术的主要应用领域之一,当备份软件需要备份某些不能停止运行的关键业务的时候,利用快照技术可以将某时间点的所有数据信息保存并备份,不会影响到业务的正常运行。

快照技术分为两类:物理拷贝和逻辑拷贝,物理拷贝就是对原始数据的完全拷贝;逻辑拷贝就是只针对发生过改变的数据进行拷贝。两种拷贝技术虽然都能够将数据恢复到某一个时间点,但是其也各有有缺点:

物理拷贝的优点是管理简单,不需要监控目标数据的状态,直接将所有数据拷贝到另外一个地方,而且可以作为数据备份直接保存起来。它的缺点是需要最大的存储空间,需要和目标数据一样大的空间才能将其完全拷贝下来。

逻辑拷贝的优点就是节省空间,一般来说,经常发生改变的数据只占所有数据的20%-30%,这样逻辑备份可以节省出70%左右的存储空间。但是逻辑备份也有它的缺点,因为它只是保存了发生改变的数据,所以如果目标数据发生损坏的话,快照也无能为力。当前文件系统和备份软件流行的写入时拷贝技术(copy on write)就是属于逻辑拷贝。

虽然快照技术已经在存储行业中得到了广泛的应用,但是很多用户会对其产生误解,现在对于一些常见的问题进行解释:

快照和镜像是一样的吗?

物理拷贝快照和镜像的工作方式是一样的,都是将某个目标数据源的内容完整的拷贝到另外的地方,但是快照是在某个时刻点的拷贝,过后目标数据的变化将不再被记录,而镜像是时时刻刻都要保证目标数据和拷贝数据的一致性。两者的目的也不同,快照的目标是能够在系统发生错误的时候恢复到之前的,而镜像的目的是为了保证数据冗余,在数据源发生故障的时候迅速恢复。如果用户将某个文件误删除,那么如果用户之前做过快照,就可以回复出来;如果用户做的是镜像,那么镜像文件下的该文件也会丢失,无法恢复。反过来说,如果用户的目标数据源损坏,所有数据丢失,那么快照只能恢复到最近的一个快照上,会丢失最新修改的数据,而镜像可以迅速恢复出所有的数据,保证业务的连续性。

逻辑拷贝快照和镜像完全不同,没有可比性。

如果LUN损坏,可以利用对LUN的快照进行恢复吗?

回答这个问题需要先了解一下快照是基于逻辑拷贝的还是物理拷贝的,如果LUN损坏,物理拷贝的可以恢复,逻辑拷贝就不可以了。不同的存储设备厂商用的是不同的拷贝技术,需要查清楚自己使用的存储设备才能搞清楚这个问题。

IBM Flashcopy采用按需复制和虚拟映像;

Sun Instant image采用虚拟映像和按需复制;

EMC timefinder和HDS shadow Image采用中断镜像;

Compaq V olume replicator采用虚拟映像;

EMC Symmetrix系列和CLARiiON系列采用中断镜像和虚拟映像;1

1摘自网页:https://www.doczj.com/doc/d37634532.html,/viewthread.php?tid=249271&extra=page%3D2

在介绍了快照技术的基本原理之后,让我们来讲述一下如何在storage foundation中使用快照技术。

在storage foundation中有卷级别的快照和文件系统级别的快照,卷级别的有三种:分别是传统卷快照、完全即时卷快照(full size instant snapshot)和空间优化即时卷快照(space-optimized instant snapshot);文件系统级别的快照分为两种:文件系统快照和检查点快照(storage checkpoint)。它们的快照方式如下表所示:

表一:storage foundation快照类型

由该表可以看出,storage foundation为不同级别的快照提供了多种实现方式,用户可以根据自己的需求,选择适合自己的快照。现在我来介绍一个每一种快照的原理和使用方法:

1.传统卷快照

传统卷快照就是将storage foundation上面的某个卷或者卷中的某个字卷(plex)在某一时间点做一个镜像拷贝,将其数据拷贝到另一个同样大小的卷中。拷贝出来的卷可以单独保存以便恢复,也可以在不需要的时候被销毁重用。因为它是将目标数据完整的拷贝到另外的地方,所以其属于物理拷贝。

[用法]

1,创建一个数据卷:

# vxassist -g test make datavol 1g

2,为该数据卷创建一份镜像:

# vxassist -g test snapstart datavol

3,将该镜像拷贝到另外一个卷snapvol中

# vxassist -g test snapshot datavol snapvol

4,查看拷贝状态,如图所示,注意snapvol所写入的磁盘(sd)是datavol的一部分,其实就是datavol的镜像:

5,如果数据源损坏,需要恢复,只需要对快照做如下操作

# vxassist -g test snapback snapvol

然后snapvol的数据会恢复到datavol中,用户可以立刻访问到其中的数据。

6,如果需要将snap做成一个独立的卷,而不是datavol的快照

# vxassist -g test snapclear snapvol

7,如果需要删除快照卷:

# vxassist -g test remove volume snapvol

2.完全即时卷快照

完全即时卷快照和传统卷快照很相似,因为它也需要与目标卷同样大小的卷来保存数据。完全即时卷备份有两个优点:一是其快照卷不需要被初始化,在创建卷之后就可以使用;二是它利用了写入时拷贝技术,可以选择物理拷贝或者逻辑拷贝两种方式。

[用法]

1,为数据卷的镜像做好准备,包括提供存储空间,设置异步传输等等;

# vxsnap -g test prepare datavol

注意,这里使用的是vxsnap命令而不是上文的vxassist,因为这里使用的是SF特

有的特性,不再是传统的用法;

2,查看一下现在卷的状态

注意,这里SF为快照创建了一个空间,但是这里的大小是270k(544个存储单元,一个单元是512字节),这就说明该快照是逻辑快照,不是把全硬盘拷贝的物理快

照。

3,为改数据卷创建一个镜像:

# vxsnap -g test addmir datavol

4,查看一下现有卷的状态:

由图可知,SF为数据卷创建了两个子卷(plex),一个是datavol-02,一个是

datavol_dc1-02。

5,自己创建一个快照卷,并且同样初始化:

# vxassist -g test make snapvol 1g (注意,快照卷大小必须和数据卷相同,否则会失

败)

# vxsnap -g test prepare snapvol

6,将目标卷快照到快照卷:

# vxsnap -g test make source=datavol/snap=snapvol

7,查看一下现在的卷状态:

8,利用快照卷可以保证数据的安全:

# vxsnap -g test refresh snapvol source=datavol (从数据源更新快照)

# vxsnap -g test reattach snapvol source=datavol (将快照内容恢复数据源,快照被删

除)

# vxsnap -g test restore datavol source=snapvol (从快照内容恢复数据,快照不会被

删除。注意这里的源内容是snpavol了,说明是从snapvol恢复数据到数据卷datavol)#vxsnap -g test dis snapvol (将快照卷与数据卷分离,快照卷就可以独立使用,不再

保存数据卷的快照)

9,删除快照卷

# vxedit -g test -rf rm snapvol

3.空间优化即时卷快照

空间优化卷是利用写入时拷贝技术,将快照保存到磁盘组的缓冲存储中,因为存储缓冲的空间要求小于一个完整的卷,所以称为空间优化卷快照。如果缓冲区空间不足,可以利用storage foundion,在磁盘组中动态增大,而且多个卷快照可以共享同样的缓冲存储区。

[用法]

空间优化即时卷快照的用法和完全卷快照的用法非常相似,这里讲指出其中的不同之处即可。

1,在完全卷即时快照中,创建一个快照卷的命令是:

# vxsnap -g test make source=datavol/snap=snapvol

而在空间优化即时卷快照中,需要指定cache的大小:

# vxsnap -g test make source=datavol/snap=snapvol/cachesize=1g (这里指明cache的大小是1g)

2,在第九布删除快照的时候,需要多做两步去删除快照

1,# vxcache -g test stop cache (停止cache的运行)

2,# vxedit -g test -rf rm cache (删除cache)

4.文件系统快照

文件系统快照需要讲目标文件系统和快照文件系统同时挂载起来,利用写入时拷贝

技术,可以将目标文件系统发生改变的数据记录在快照文件系统,在以后恢复时使用。

因为它只是拷贝发生改变的数据,所以属于逻辑备份。

[用法]

文件系统的快照比卷的快照更为简单,只需要将快照文件系统挂载到新的目标点,就可以实现快照。

1,快照目标文件系统:

#/opt/VRTS/bin/mount -o snapof=/dev/vx/dsk/test/datavol /dev/vx/dsk/test/testvol /snapmnt/

该命令将快照文件系统testvol挂载到snapmnt目录,它监控的是datavol文件系统的改变。两个文件系统都可以访问。

2,将快照文件系统备份:

# vxdump -cf /dev/rmt/0 /snapmnt (最大化保护数据安全)

3,删除快照文件系统:

# umount /snapmnt/

5.检查点快照

检查点技术是SF的一个特性,它能够在某一个时刻迅速的在目标文件系统上创建出检查点文件。如果目标数据损坏,可以通过挂载检查点的数据来恢复。因为检查点是保存在文件系统上面的,所以再其没有被删除的情况下会一直存在。如果文件系统即将达到上限的时候,SF才会自动的清理检查点文件。

[用法]

1,创建一个检查点快照:

# fsckptadm -v create tax_12am /data (在上午12点为税务数据做了一个名为

tax_12am的检查点快照)

2,将快照挂载到其他的文件系统:

# /opt/VRTS/bin/mount -o ckpt=tax_12am /dev/vx/dsk/test/datavol:tax_12am /mnt

(注意在ckpt 和设备路径两个地方都要指明传见的检查点名字tax_12am)3,显示快照信息:

# fsckptadm -l list /mnt

通过该图可以看出,挂载点下由两个检查点,分别是11点和12点,现在是

12点的被挂载。另外那个unnamed的检查点是做文件系统快照时候留下的,

因为其没有固定的名称,所有再重启系统后会丢失,而检查点快照不会丢失。

4,备份改快照到磁带中:

# vxdump -cf /dev/rmt/0 /mnt

5,卸载文件系统:

# umount /mnt

检查点快照和文件系统快照看起来好像差不多,他们的差异在哪里呢?入下表所示:

通过本文,用户应该对各种快照技术有了比较清晰的了解,那么就可以根据您自己的需求,选择不同的快照系统了。请记住,快照是为了在不停止业务的情况下进行数据复制的,利用快照和备份技术,可以最大化的保护您的数据安全,以后即时丢了什么数据,也不用担心了。部署好一个快照系统,不能让你天天高枕无忧,但是至少可以让您不用天天如坐针毡了。呵呵。

RAID概念图解

RAID 技术白皮书 作为数据存储方面的专家,LaCie 意识到几乎所有计算机用户都需要存储或备份解决方案,而且他们的数据使用和存储方式也都不尽相同。根据各自的要求,有些人可能更看重性能和容量,而另外一些人则更在意安全性和速度。为满足各种用户的存储需要,LaCie 的专业存储设备采用了 RAID 技术。 RAID(独立冗余磁盘阵列)是一项能提升外部存储解决方案性能的简单技术。它能让您根据自己的需要选择最佳的设备使用方式。简单地说,RAID 技术可以将一个硬盘上的任务分散或复制到多个(少则两个)磁盘上,借此来提高性能或建立数据冗余以防驱动器发生故障。您可以通过设定设备的 RAID 模式来决定设备以何种方式处理数据。 本文将介绍 LaCie 专业存储设备中所使用的各种 RAID 级别,以及每种模式下为优化硬盘在 RAID 阵列中的速度、安全性或存储容量而使用的特性。 RAID 术语 为更好地了解 RAID 的工作方式,首先应熟悉以下术语: 条带化是指将数据分到多个驱动器上。条带 RAID 阵列通常用于将最大的容量合并到单个卷中。 ?镜像是指将数据复制到多个磁盘上。镜像 RAID 阵列通常能在阵列中有磁盘(至少一个)发生故障时确保数据不丢 ?失,具体取决于阵列的 RAID 级别。容错可让 RAID 阵列在磁盘发生故障时继续工作(即用户仍然可以使用阵列中存储的数据)。不过,并不是所有镜 ?像 RAID 阵列都是用户友好的。例如,有些 RAID 设备必须在关闭后才能更换发生故障的磁盘,而 LaCie RAID 设备重要信息 任何 RAID 配置都不能在软件或文件系统损坏的情况下确保数据的可靠性。因此,LaCie 建议定期进行备份,以便保护数据。

RoseHA-技术白皮书

RoseHA技术白皮书 RoseHA 技术白皮书 ? 2007 Rose Datasystems, Inc版权所有。所有商标均为相关公司所有。Rose Datasystems, Inc积极保护其商号、商标、专利、设计、版权及其他知识产权。除非另有特别指明,任何人均不得以任何形式拷贝、

信息高可用性 当前,企业的信息化已经非常普遍,众多的企业都建立了计算机网络系统,支持企业的生产、运营和管理工作。企业最关心的问题之一是如何建立并维持网络的稳定性和运行的持续性,于是,高可用性对于网络显得越来越重要。事实上,如果一些关键应用一旦停止下来,所造成的损失是难以估计的。由于网络瘫痪而影响了企业的信誉,致使客户对企业失去信任,所造成的危害是致命的。另一方面,计算机硬件与软件都不可避免地会发生故障,这些故障有可能给企业带来极大的损失,甚至整个服务的终止,网络的瘫痪。可见,对一些特别的企业或公司,系统的高可用性显得更为重要。因此,必须有适当的措施来确保计算机系统提供不间断的服务,以维护系统的可用性。 信息系统的可用性通常在两种情况下会受到影响,一种是系统当机、错误操作和管理引起的异常失败,另一种是由于系统维护和升级,需要安装新的硬件或软件而正常关机。高可靠性软件必须为这两种情况提供不间断的系统服务。 系统可用性基本类型 z通常可用性系统 通常可用性系统没有容错功能,也没有特殊的软件来作错误处理,系统的错误检查和恢复完全依靠系统管理员来完成。 z高可用性系统 高可用性系统是在冗余的通常可用性系统基础之上,运行高可靠性软件而构成。高可靠性软件用于自动检测系统的运行状态,在一台服务器出现故障的情况下,自动地设定的服务转到另一台服务器上。 z容错系统 容错系统是由专用昂贵的多机系统组成,错误处理能力是计算机硬件和操作系统本身提供。一般的应用软件也需要修改后方能在上面运行。 高可用性系统的功能 z软件故障监测与排除 z管理站能够监视各站点的运行情况,能随时或定时报告系统运行状况,故障能及时报告和告警,并有必要的控制手段 z实现错误隔离以及主、备份服务器间的服务切换 RoseHA的设计目标 ⑴可靠性: RoseHA是一可靠而又高效的系统。它可以减少系统运行过程中的宕机时间,提高数据和服务的可靠性,并防止虚假报警。 一般来说,恢复一个故障服务,RoseHA最多只需要几分钟的时间,因为在接管该

Oracle ZFS快照技术

An Oracle White Paper April 2010 Working with Oracle? Solaris ZFS Snapshots

Introduction..........................................................................................1?Oracle Solaris ZFS Snapshots: Overview...........................................2?Setting Up the File System..................................................................2?Taking a Snapshot...............................................................................3?Rolling Back a Snapshot.....................................................................3?Copying Individual Files From a Snapshot..........................................4?Storing a Snapshot on Your System...................................................5?Sending a Snapshot to Another System..............................................5?For More Information...........................................................................6?

EPSV3.0综合档案管理系统技术白皮书2013

EPS档案信息管理系统V3.0 技术白皮书 南京科海智博信息技术有限公司 2013年

目录 1.产品简介 (4) 1.1 文档信息化发展趋势 (4) 1.2 产品研发背景 (4) 1.3系统特点 (5) 2.总体架构 (5) 2.1 产品技术架构 (5) 2.2 产品业务架构 (6) 3.运行环境 (6) 3.1 硬件环境 (6) 3.1.1 服务器配置 (6) 3.1.2客户端配置 (6) 3.1.3存储设备 (7) 3.1.4网络环境 (7) 3.2软件环境 (7) 3.2.1 数据库支持 (7) 3.2.2中间件支持 (7) 3.2.3浏览器支持 (7) 3.2.4 容灾支持 (7) 4.基本功能 (7) 4.1系统管理 (8) 4.2业务管理 (13) 4.3文件收集 (13) 4.4文件整编 (14) 4.5档案管理 (15) 4.6库房管理 (16) 4.7统计信息 (16) 4.8档案利用 (17) 4.9档案编研 (18) 4.10光盘打包 (18)

5.扩展功能 (19) 5.1 企业档案门户集成 (19) 5.2企业年鉴展示 (19) 5.3照片档案展示 (20) 5.4 数据安全控制 (20) 5.5数据一体化接口 (20) 5.6信息提醒接口 (20) 6.技术创新 (21) 6.1文档安全控制 (21) 6.2 全文检索技术 (22) 6.3 光盘打包技术 (23) 6.4工作流技术 (23) 6.5 海量存储技术 (24) 6.6异构数据接口 (24) 6.7系统的可扩展性 (24) 6.8档案管理平台综合业务管理 (24) 7.公司简介 (24)

SureHA 技术白皮书

SureHA100G2 技术白皮书 摘要 本白皮书论述Lenovo SureHA 100G2高可 用软件的功能以及实现原理。 Lenovo 确信本出版物在发布之日内容准确无 误。如有更新,恕不另行通知。 Lenovo 对本出版物的内容不提供任何形式的 陈述或担保,明确拒绝对有特定目的适销性或 适用性进行默示担保。使用、复制或分发本出 版物所描述的任何SureHA 100G2软件都要 有相应的软件许可证。

第 1 章 SureHA100G2集群系统概览 2 目录 SureHA100G2 技术白皮书 .................................................................................................. 1 第 1 章 何谓集群系统 ..................................................................................................... 4 集群系统的概要 ................................................................................................................................... 4 HA (High Availability)集群 ................................................................................................................ 4 共享磁盘型 ....................................................................................................................................................... 5 镜像磁盘型 ....................................................................................................................................................... 7 系统构成 .............................................................................................................................................. 7 故障保护原理 ..................................................................................................................................... 10 共享磁盘的互斥控制 ....................................................................................................................................... 11 网络分区症状 (Split-brain-syndrome) ......................................................................................................... 11 集群资源的交接 ................................................................................................................................. 11 数据的交接 ..................................................................................................................................................... 11 IP 地址的交接 .................................................................................................................................................. 12 应用程序的交接 .............................................................................................................................................. 12 失效切换总结 .................................................................................................................................................. 14 Single Point of Failure 的排除 ......................................................................................................... 14 共享磁盘 ......................................................................................................................................................... 15 共享磁盘的访问路径 ....................................................................................................................................... 16 LAN ................................................................................................................................................................ 16 支持可用性的操作 ............................................................................................................................. 17 操作前测试 ..................................................................................................................................................... 17 故障的监视 ..................................................................................................................................................... 17 第 2 章 关于SureHA100G2......................................................................................... 19 SureHA100G2的产品结构 ................................................................................................................ 19 SureHA100G2的软件配置 ................................................................................................................ 19 SureHA100G2 的故障监视原理 ....................................................................................................... 20 何谓服务器监视 .............................................................................................................................................. 20 何谓业务监视 .................................................................................................................................................. 20 何谓内部监视 .................................................................................................................................................. 21 可监视的故障和无法监视的故障 ........................................................................................................ 21 通过服务器监视可以查出的故障和无法查出的故障 ........................................................................................ 21 通过业务监视可以查出的故障和无法查出的故障 ............................................................................................ 21 网络分区解析 ..................................................................................................................................... 22 失效切换的原理 ................................................................................................................................. 22 由SureHA100G2构建的共享磁盘型集群的硬件配置 ...................................................................................... 23 用SureHA100G2构建的镜像磁盘型集群的硬件配置 .. (24)

VMware快照优缺点分析2

VMware的虚拟机“快照”功能是对虚拟机磁盘文件VMDK的某个状态创建副本,当系统出现异常,可以通过恢复快照来保证系统的正常。VMwware的虚拟机快照技术是非常有用的,但是也有需要注意的局限性。 快照(Snapshot):虚拟机的救命稻草 硬盘快照(Snapshot)是当前数据中心最佳的数据保护机制之一。无论是基于SAN的快照技术,还是建立在文件系统或操作系统中的,快照技术能够在错误出现时让损失降到最低。但并不是所有的快照技术并非都是面向意外的数据丢失,比如VMware ESX服务器及桌面虚拟化平台上的快照技术。 与其他的快照技术不同,VMware的快照并不是非常适合用于数据保护,但它称得上是一个非常有用的工具,只要能够用得恰当。从根本上来说,VMware 的快照适合两种情况:1、将一个虚拟机的磁盘隔离,不再写入数据,这样可以进行备份;2、在打补丁和软件升级时提供一个短期的自动恢复功能。在开发环境中,可能经常会见到利用快照来保存一些实时状态的镜像,但是这样的方式在一个性能敏感的生产环境中是不可取的。

虚拟机快照结构,可以恢复到补丁前的状态 在一个典型的环境中,一个虚拟机的磁盘资源是由位于VMware独有的VMFS文件系统或NFS存储上的VMDK文件(virtual machine disk的缩写)组成,它的大小几乎等同于虚拟机的磁盘资源。所以如果你的Windows 2003 Server有15GB的系统硬盘,那么在VMFS卷上会出现一个15GB的VMDK 文件。 如果使用hypervisor对虚拟机进行快照,系统会创建第二个VMDK文件(有时叫做redo log),这个文件存储着进行快照后虚拟机所有写入的东西,这样的功能具有几个明显的优势:

存储快照技术详解

存储快照技术广泛的应用于在数据保护系统上。这项技术可以显著的缩短恢复时间对象RTO以及恢复目标对象RPO.本文将介绍不同的存储快照技术以及他们分别的优势和劣势。 如下是六种常见的存储快照技术: 写入即复制 写入即转存 克隆或者镜像剥离 后台复制下的写入即复制 增量 可持续性数据保护 写入即复制式快照 写入即复制式快照技术存储快照技术的一种,要求先预留足够的存储空间用做快照内容的存放,之后将会对卷进行快照操作然后存放在之前预留的空间里。在这个初始创建快照的操作中,写入即复制快照技术仅保存那些原始数据存放的位置,却不会拷贝那些真实的数据。这就能确保快照是实时的,且几乎不会对整个系统造成影响。 之后,快照和之前的卷进行比对,来定位那些内容做出改动的数据块。当数据库被改变的时候,原始数据先会被复制到特定的保留区用作快照使用,之后原始的数据才被覆盖。被快照的原始数据块仅当第一次做出更改的时候才会被复制。整个过程可以保证快照数据和快照发生时的时间戳是连续的,这也是为什么被称为写入即复制。 对于那些没用被改变数据的读请求会被直接重定向到原来的卷上。而对被改变后数据的读请求会被重定向到快照上的被复制的数据块上。每一份快照都包含了用于描述自从第一份镜像创建以来更改的数据块的信息。 存储快照技术中写入即复制式快照的主要优势是它的空间利用的效率。由于保留的快照存储空间仅仅是用于保存更改的数据,这样就大大的节省了空间。然而这项技术的很明显的一个缺点就是这会降低原始卷的性能。这样说是因为对原始卷的写请求需要先等待原始数据先被复制到快照后才能开始写入。这样以来,写入即复制机制的一个重要方面就是每份快照都需要一份可用的原始数据副本。 写入即转存式快照 写入即转存式快照存储快照技术的一种和写入即复制式快照相似,然而不同之处在于,它解决了双重写入导致的性能问题。写入即转存式快照同样也提供了和写入即复制式快照类似的较高空间利用率的快照服务。之所以写入即转存式快照方式会避免写入带来的性能问题是由于所有对原始卷的写入操作都会重定向到转为快照预留的存储空间上。写入即转存式快照方式将新的写入操作由两次压缩为一次。这样而来,写入操作就不必先将原始数据的一份拷贝写入磁盘存储空间,再写入另一份有变动的数据拷贝的两次操作,唯一需要做的就是对更改的数据作出写入操作。 随着写入即转存式快照方式的应用,原始拷贝都会包含一份及时的快照数据,有改动的数据也不再会存放在快照存储上。在快照删除的时候会稍显复杂。需要被删除的快照首先会被拷贝,以确保和原始卷的连续性。随着更多快照的创建,复杂的程度也呈指数上升。复杂程度不仅限于对原始数据访问上,对快照数据以及原始卷的追逐定位和快照删除上的复杂也是需要考虑的。如果快照依赖的原始数据受到损害,将会带来比较严重的后果。 以上就是本文对常见的存储快照技术以及优劣势的分析,希望对大家会有帮助。 磁盘 在磁盘硬件监测上,你也有类似的问题。磁盘存在一个通用的错误值集合,这些错误值由SMART 技术予以定义并加以搜集。如果你有JBOD(简单磁盘捆绑)或者低端的RAID(独立磁盘冗余阵列),那么你可以购买一个软件包来帮助你搜集SMART数据。 那么对于我们这些拥有来自大型厂商的大型RAID系统的用户来说又会怎样呢?所有这些厂商都会监测SMART统计数据,并根据它们所搜集的来自驱动器厂商的信息、历年来所搜集的统计信息,以

磁盘阵列的关键技术

磁盘阵列的关键技术 黄设星 存储技术在计算机技术中受到广泛关注,服务器存储技术更是业界关心的热点。一谈到服务器存储技术,人们几乎立刻与SCSI(Small Computer Systems Interface)技术联系在一起。尽管廉价的IDE硬盘在性能、容量等关键技术指标上已经大大地提高,可以满足甚至超过原有的服务器存储设备的需求。但由于Internet的普及与高速发展,网络服务器的规模也变得越来越大。同时,Internet不仅对网络服务器本身,也对服务器存储技术提出了苛刻要求。无止境的市场需求促使服务器存储技术飞速发展。而磁盘阵列是服务器存储技术中比较成熟的一种,也是在市场上比较多见的大容量外设之一。 在高端,传统的存储模式无论在规模上,还是安全上,或是性能上,都无法满足特殊应用日益膨胀的存储需求。诸如存储局域网(SAN)等新的技术或应用方案不断涌现,新的存储体系结构和解决方案层出不穷,服务器存储技术由直接连接存储(DAS)向存储网络技术(NAS)方面扩展。在中低端,随着硬件技术的不断发展,在强大市场需求的推动下,本地化的、基于直接连接的磁盘阵列存储技术,在速度、性能、存储能力等方面不断地迈上新台阶。并且,为了满足用户对存储数据的安全、存取速度和超大的存储容量的需求,磁盘阵列存储技术也从讲求技术创新、重视系统优化,以技术方案为主导的技术推动期逐渐进入了强调工业标准、着眼市场规模,以成熟产品为主导的产品普及期。 磁盘阵列又叫RAID(Redundant Array of Inexpensive Disks——廉价磁盘冗余阵列),是指将多个类型、容量、接口,甚至品牌一致的专用硬磁盘或普通硬磁盘连成一个阵列,使其能以某种快速、准确和安全的方式来读写磁盘数据,从而达到提高数据读取速度和安全性的一种手段。因此,磁盘阵列读写方式的基本要求是,在尽可能提高磁盘数据读写速度的前提下,必须确保在一张或多张磁盘失效时,阵列能够有效地防止数据丢失。磁盘阵列的最大特点是数据存取速度特别快,其主要功能是可提高网络数据的可用性及存储容量,并将数据有选择性地分布在多个磁盘上,从而提高系统的数据吞吐率。另外,磁盘阵列还能够免除单块硬盘故障所带来的灾难后果,通过把多个较小容量的硬盘连在智能控制器上,可增加存储容量。磁盘阵列是一种高效、快速、易用的网络存储备份设备。 回顾磁盘阵列的发展历程,一直和SCSI技术的发展紧密关联,一些厂商推出的专有技术,如IBM的SSA(Serial Storage Architecture)技术等,由于兼容性和升级能力不尽如人意,在市场上的影响都远不及SCSI技术广泛。由于SCSI技术兼容性好,市场需求旺盛,使得SCSI技术发展很快。从最原始5MB/s传输速度的SCSI-1,一直发展到现在LVD接口的160MB/s传输速度的Ultra 160 SCSI,320MB/s传输速度的Ultra 320 SCSI接口也将在2001年出现(见表1)。从当前市场看,Ultra 3 SCSI技术和RAID(Redundant Array of Inexpensive Disks)技术还应是磁盘阵列存储的主流技术。 1SCSI技术 SCSI本身是为小型机(区别于微机而言)定制的存储接口,SCSI协议的Version 1 版本也仅规定了5MB/s传输速度的SCSI-1的总线类型、接口定义、电缆规格等技术标准。随着技术的发展,SCSI协议的Version 2版本作了较大修订,遵循SCSI-2协议的16位数据带宽,高主频的SCSI存储设备陆续出现并成为市场的主流产品,也使得SCSI技术牢牢地占

RoseMirrorHA 4.4技术白皮书

RoseMirrorHA 技术白皮书 2013

目录 第一章 1.1 1.2 1.3第二章 2.1 2.2 2.3 2.4 第三章 3.1 3.2 3.3 3.4第四章 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 3333 4 4 44 4 555556666677 77信息系统高可用性------------------------------------- 系统可用性基本类型---------------------------------- 高可用性系统的功能----------------------------------- 服务器-----------------------------------------------Client (客户端)--------------------------------------通信连接---------------------------------------------按需复制性能资源最佳化-------------------------------多种数据传输模式-------------------------------------低资源消耗-------------------------------------------网路负载调节----------------------------------------- 强大的意外处理能力-----------------------------------多样化的报警方式-------------------------------------双机高可用性-----------------------------------------RoseMirrorHA 功能特点---------------------------------管理模块---------------------------------------------过滤驱动模块-----------------------------------------数据保护机制-----------------------------------------代理模块---------------------------------------------服务模块---------------------------------------------在线存储---------------------------------------------RoseMirrorHA 软件组成---------------------------------RoseMirrorHA 如何达到信息高可用?--------------------RoseMirrorHA 硬件组成--------------------------------- Active/Active 模式---------------------------------------Active/Standby 模式-------------------------------------人性化管理模式---------------------------------------RoseMirrorHA 高可用应用模式----------------------------自动的应用高可用策略--------------------------------- 4.9 4.10第五章 5.1 5.2第六章 结论---------------------------------------------------78支持目前流行的应用----------------------------------- 4.119 11111112 - 2 -

揭秘云计算习题库

单选题 1、单选-云计算的一大特征是(),没有高效的网络云计算就什么都不是,就不能提供很好的使用体验 A、按需自助服务 B、无处不在的网络接入 C、资源池化 D、快速弹性伸缩 2、单选-要使端口组到达其他VLAN上的端口组,必须将VLAN ID设置为() A、80 B、4095 C、8080 D、3306 3、单选-对于公有边缘节点,通常以()的形式部署于() A、小型数据中心,地市及以下的自有机房 B、大型数据中心,公有云机房 C、大型数据中心,私有云机房 D、大型数据中心,地市及以下的自有机房 4、单选-对于公有边缘节点,边缘连接网元和边缘云()置于同一机房,()放置于不同机房 A、不可以,可以

B、不可以,不可以 C、可以,可以 D、可以,不可以 5、单选-对ANSIBLE框架下包含的几个模块,说法不正确的是 A、connetcion plugins:负责和被监控端实现通信 B、playbook:剧本执行多个任务时,非必须可以让节点一次性运行多个任务 C、hosinventory:借助于插件完成记录日志邮件等功能 D、各种模块核心模块、command模块、自定义模块 6、单选-Saltstack 是基于什么语言开发 A、c++ B、java C、PHP D、Python 7、单选-Linux返回上一级目录使用那条命令(C) A、cd B、cd . C、cd .. D、cd …

8、单选-Nova-scheduler创建和迁移虚拟机时,通过两个步骤选择合适的节点创建和迁移虚拟机,这两步中第一步是过滤(filter),第二步是() A、随机选择(random) B、权重计算(weighting) C、选举(election) D、投票(vote) 9、单选-Raid5需要至少几个硬盘组成的磁盘阵列 A、1 B、2 C、3 D、4 10、单选-()指的是降低运维开销,实现IT的敏捷交付,实现企业业务的自动化交付,是IT可以更加关注业务的本身。 A、简单化 B、平台化 C、服务化 D、专一化

快照(计算机存储和备份)

快照(计算机存储) 来自维基百科,开放性的百科全书(译者:闫斌) 在计算机系统中,快照是系统在某个时间点的状态。该术语的产生源于类似摄影中的快照。它可以指系统状态的实际副本或由某些系统提供的功能。 目录 1.原理 2.实现 2.1卷管理器 2.2文件系统 2.3在数据库中的应用 2.4在虚拟化中的应用 2.5其他应用 3.参见 4.注意 5.外部链接 原理 要完成一份大数据集的完整备份可能会花去大量时间。在多任务或多用户系统中,当数据正在备份时,可能会有数据写入数据集。这就阻碍了备份的原子性,并引入了版本不一致,这可能会导致数据损坏。例如,如果一个用户移动一个文件到一个已经备份的文件夹中,那么这个文件在备份介质上会完全丢失,因为在添加文件前备份操作已经发生。 版本不一致也可能导致文件损坏,例如在读取文件时改变文件的大小和内容。

一个安全备份实时数据的方法是在备份过程中使写访问失效,或者停止正在访问数据的应用程序,或者使用操作系统提供的加锁应用程序接口(locking API)强制执行只读访问。 这对于低可用性系统(台式电脑和小型工作组服务器,常规的停机时间是可以接收的)可 以容忍。但是高可用性系统不能容忍业务停止。 为避免停机时间,高可用性系统可能转为采用执行基于快照(在某个时间点上数据集的只读副本)的备份,并允许应用程序继续写入数据。大多数快照实现是高效的,可以 在O(1)时间内创建快照。换句话说,创建快照所需要的时间和I/O不会随着数据集合的大 小而增加,而直接备份则会随着数据集合的大小按相应比例的增加备份时间和I/O。在某 些系统中,一旦数据集合进行了初始快照,随后的快照仅复制更改的数据,并使用系统初 始快照的指针引用。这种基于指针的机制比数据重复克隆消耗更少的磁盘容量。 读写快照有时也被称为分支快照,因为它们隐式地创建了数据集的分支版本。除了备份和 数据恢复,由于读写快照在管理大的文件集合变更方面的非常有用,它经常用在虚拟化、 沙盒以及虚拟主机安装领域。 实现 卷管理器 一些Unix系统具有快照功能的逻辑卷管理器,这些逻辑卷管理器通过复制更改的块—在这些块被重写前—到其他存储位置—实现写时复制,从而保留了一个自身一致的过去的块 设备镜像。镜像上的文件系统可以在之后被装载,就像在只读介质上一样。 文件系统 一些文件系统,例如 WAFL[note 1] , Plan 9 from Bell Labs(是一个免费的软件分布式操作系统)的fossil文件系统,ODS-5(即Files-11, Hewlett-Packard’s OpenVMS 操作系统使用的文 件系统),从内部跟踪文件的旧版本,并通过一个特殊的命名空间使快照可以使用。其他 的文件系统,像UFS2,提供一个操作系统应用程序接口(API)访问文件历史记录。NTFS

快照技术原理

随着存储应用需求的提高,用户需要在线方式进行数据保护,快照就是在线存储设备防范数据丢失的有效方法之一,越来越多的设备都开始支持这项功能。 越来越多的存储设备支持快照功能,在这些产品的资料中宣传了各自快照技术的优势,有的是快照数量多,有的是占用空间小。那么,究竟什么是快照技术?主要有哪些类型?接下来我们深入了解一下。 快照的定义与作用 SNIA(存储网络行业协会)对快照(Snapshot)的定义是:关于指定数据集合的一个完全可用拷贝,该拷贝包括相应数据在某个时间点(拷贝开始的时间点)的映像。快照可以是其所表示的数据的一个副本,也可以是数据的一个复制品。 而从具体的技术细节来讲,快照是指向保存在存储设备中的数据的引用标记或指针。我们可以这样理解,快照有点像是详细的目录表,但它被计算机作为完整的数据备份来对待。 快照有三种基本形式:基于文件系统式的、基于子系统式的和基于卷管理器/虚拟化式的,而且这三种形式差别很大。市场上已经出现了能够自动生成这些快照的实用工具,比如有代表性的有NetApp的存储设备基于文件系统实现,高中低端设备使用共同的操作系统,都能够实现快照应用;HP的EVA、HDS通用存储平台以及EMC的高端阵列则实现了子系统式快照;而Veritas则通过卷管理器实现快照。 快照的作用主要是能够进行在线数据恢复,当存储设备发生应用故障或者文件损坏时可以进行及时数据恢复,将数据恢复成快照产生时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道,当原数据进行在线应用处理时,用户可以访问快照数据,还可以利用快照进行测试等工作。 因此,所有存储系统,不论高中低端,只要应用于在线系统,那么快照就成为一个不可或缺的功能。 两种类型 目前有两大类存储快照,一种叫做即写即拷(copy-on-write)快照,另一种叫做分割镜像快照。 即写即拷快照可以在每次输入新数据或已有数据被更新时生成对存储数据改动的快照。这样做可以在发生硬盘写错误、文件损坏或程序故障时迅速地恢复数据。但是,如果需要对网络或存储媒介上的所有数据进行完全的存档或恢复时,所有以前的快照都必须可供使用。 即写即拷快照是表现数据外观特征的“照片”。这种方式通常也被称为“元数据”拷贝,即所有的数据并没有被真正拷贝到另一个位置,只是指示数据实际所处位置的指针被拷贝。在使用这项技术的情况下,当已经有了快照时,如果有人试图改写原始的LUN上的数据,快照软件将首先将原始的数据块拷贝到一个新位置(专用于复制操作的存储资源池),然后再进行写操作。以后当你引用原始数据时,快照软件将指针映射到新位置,或者当你引用快照时将指针映射到老位置。 分割镜像快照引用镜像硬盘组上所有数据。每次应用运行时,都生成整个卷的快照,而不只是新数据或更新的数据。这种使离线访问数据成为可能,并且简化了恢复、复制或存档一块硬盘上的所有数据的过程。但是,这是个较慢的过程,而且每个快照需要占用更多的存储空间。 分割镜像快照也叫作原样复制,由于它是某一LUN或文件系统上的数据的物理拷贝,有的管理员称之为克隆、映像等。原样复制的过程可以由主机(Windows上的MirrorSet、Veritas 的Mirror卷等)或在存储级上用硬件完成(Clone、BCV、ShadowImage等)。 三种使用方法 具体使用快照时,存储管理员可以有三种形式,即冷快照拷贝、暖快照拷贝和热快照拷贝。冷快照拷贝

宏杉CRAID3.0技术白皮书-20170401

MacroSAN CRAID3.0 技术白皮书 杭州宏杉科技股份有限公司

1.概述 RAID(Redundant Array of Independent Disks,独立磁盘冗余阵列)技术于1988年美国加州大学伯克利分校的D.A.Patterson 教授等首次在论文“A Case of Redundant Array of Inexpensive Disks”中提出,其基本原理是由多个独立的高性能硬盘驱动器组成的硬盘系统,从而提供比单个硬盘更高的存储性能和数据冗余的技术。 作为一种成熟、可靠的硬盘系统数据保护标准,RAID技术自诞生以来一直作为存储系统的基础技术而存在,但是近年整个社会信息化水平不断提高,数据呈现出爆炸式增长趋势,数据取代计算成为信息计算的中心。这促使人们对数据愈加重视,不断追求海量存储容量、高性能、高安全性、高可用性、可扩展性、可管理性等等,因此传统RAID 逐渐暴露出越来越多的问题。 为了满足数据增长的需求,硬盘设备制造商不断地提升技术来增加硬盘单位存储密度,如今,高容量硬盘企业和消费市场已经非常普遍。那么当这些高容量硬盘出现硬盘故障而需要进行数据重构时,传统RAID会有哪些缺点? 硬盘故障导致数据丢失时,RAID组通过异或算法,通过校验数据和其他数据盘数据得到丢失的数据的过程为数据重构。在这里以7.2K RPM 4TB硬盘为例,在传统的RAID5(8D+1P)中,其重构时间在40个小时左右(无流量压力情况下)。重构的进程会占用系统的资源,导致应用系统整体性能下降,而当用户为了保证应用的及时响应来降低重构的优先级时,重构的时间还将进一步延长。此外,在漫长的数据重构过程中,繁重的读写操作可能引起RAID组中其他硬盘也出现故障或错误,导致故障概率大幅提升,极大地增加数据丢失的风险。 另一方面,传统RAID受限于硬盘数量,在数据容量剧增的年代无法满足企业对资源统一灵活调配的需求,同时数据重构时影响数据的读写性能,那么怎么来提供数据的读写性能呢? 针对传统RAID的以上问题,宏杉科技提出了全新的CRAID技术。 2.技术实现 CRAID技术是宏杉科技针对传统RAID的缺陷,在传统RAID技术之上的革新。CRAID1.0技术提升了故障硬盘的重建效率,CRAID2.0技术允许RAID组中任意坏三块盘,数据不丢失,而CRAID3.0技术则提升了数据读写性能和缩短重建时间。

相关主题
文本预览
相关文档 最新文档