RAID5结构剖析及其数据恢复策略研究
- 格式:pdf
- 大小:106.65 KB
- 文档页数:3
最近,由于服务器机房搬迁,管理员在搬迁过程中清理了服务器和磁盘阵列设备。
连接新机房的线路后,服务器无法识别raid,也没有启动raid。
工程师对设备进行了简单的初步检查,发现数据丢失的原因是raid信息丢失。
采用双周期验证方法验证了raid中的冗余性。
那么,如何恢复RAID5数据呢?跟小编学
方法/步骤
1首先将SCSI硬盘柜直接连接到无RAID功能的SCSI扩展卡上,然后在专用(Windows 2003修改版)维修平台上以单盘模式连接服务器阵列中的所有硬盘。
如何恢复RAID5数据
2为了保护RAID5的原始数据,避免由于数据恢复操作而改变原始数据,在所有数据恢复过程中,所有硬盘都必须以只读模式完全镜像,并且图像也以以下方式存储在设备上:冗余保护。
如何恢复RAID5数据
三。
然后从图像文件中分析原始团队的双环检测参数,构建虚拟团队平台。
如何恢复RAID5数据
4在虚拟RAID平台中,删除脱机磁盘并解释文件系统。
此时,可以导出raid数据。
如何恢复RAID5数据
5将磁盘阵列连接到安装了RAID5阵列的服务器,然后重新配置RAID。
最后,所有数据通过网络DD、NFS、samba、FTP、SSH和其他数据传输方法传输回新的RAID。
RAID5扩容与数据还原RAID 5使用至少三块硬盘来实现阵列,它既能实现RAID 0的加速功能也能够实现RAID 1的备份数据功能,在阵列当中有三块硬盘的时候,它将会把所需要存储的数据按照用户定义的分割大小分割成文件碎片存储到两块硬盘当中,此时,阵列当中的第三块硬盘不接收文件碎片。
RAID 5也被叫做带分布式奇偶位的条带。
每个条带上都有相当于一个“块”那么大的地方被用来存放奇偶位。
与RAID 3不同的是,RAID 5把奇偶位信息也分布在所有的磁盘上,而并非一个磁盘上,大大减轻了奇偶校验盘的负担。
尽管有一些容量上的损失,RAID 5却能提供较为完美的整体性能,因而也是被广泛应用的一种磁盘阵列方案。
它适合于输入/输出密集、高读/写比率的应用程序,如事务处理等。
RAID 5使用至少三块硬盘来实现阵列,它既能实现RAID 0的加速功能也能够实现RAID 1的备份数据功能,在阵列当中有三块硬盘的时候,它将会把所需要存储的数据按照用户定义的分割大小分割成文件碎片存储到两块硬盘当中,此时,阵列当中的第三块硬盘不接收文件碎片,它接收到的是用来校验存储在另外两块硬盘当中数据的一部分数据,这部分校验数据是通过一定的算法产生的,可以通过这部分数据来恢复存储在另外两个硬盘上的数据。
另外,这三块硬盘的任务并不是一成不变的,也就是说在这次存储当中可能是1号硬盘和2好硬盘用来存储分割后的文件碎片,那么在下次存储的时候可能就是2号硬盘和3号硬盘来完成这个任务了。
可以说,在每次存储操作当中,每块硬盘的任务是随机分配的,不过,肯定是两块硬盘用来存储分割后的文件碎片另一块硬盘用来存储校验信息。
这个校验信息一般是通过RAID控制器运算得出的,通常这些信息是需要一个RAID控制器上有一个单独的芯片来运算并决定将此信息发送到哪块硬盘存储。
RAID 5同时会实现RAID 0的高速存储读取并且也会实现RAID 1的数据恢复功能,也就是说在上面所说的情况下,RAID 5能够利用三块硬盘同时实现RAID 0的速度加倍功能也会实现RAID 1的数据备份功能,并且当RAID 5当中的一块硬盘损坏之后,加入一块新的硬盘同样可以实现数据的还原。
RAID5的数据恢复(Windows)
应用场景:服务器的阵列信息丢失,如RAID控制器故障,服务器意外掉电,RAID成员盘物理故障或离线,人为误操作等导致的RAID 信息错误。
该数据恢复技术的市场价格:
一家数据恢复公司的报价(2020年8月10日)
我使用了四个600G磁盘,RAID5崩溃恢复的价格为4×1500 = 6000,而没有考虑其他情况。
希望这个市场价格能使您更有耐心地阅读本文。
本文需要使用以下四个知识点:
1. raid的基本概念(简单)
2. Windows下的文件系统结构(耗时)
3. Winhex的一些基本用法(简单)
4. RAID5重组需要手动计算以下信息(常规)
突袭起始扇区,磁盘顺序,条带大小,检查方向和数据方向。
实验场景:
将公司服务器与四个硬盘一起使用以形成RAID5。
安装系统后,在D 和E盘中存储一些文件后删除阵列,或者在服务器工作时拔出两个硬盘,可以实现RAID5崩溃。
恢复过程:服务器的RAID崩溃。
正常过程的第一步是删除RAID,即删除硬盘并将其与PC连接,然后对其进行分析。
但是,实验条件不允许这样做。
我是一台来自远程公司的服务器,在这种情况下,我不允许将硬盘移至其他计算机上进行分析。
在服务器阵列崩溃的前提下,我首先删除服务器的阵列信息,然后将所有四个硬盘的工作状态更改为JBOD。
此方法等效于对RAID使用软方法,其目的是检测PE下的四个硬盘。
(由远程强制,无奈。
此方法仅用于测试,请勿模仿)
重点是RAID5的数据恢复。
为了创建RAID5并重新安装系统,我将使用一些图片跳过它。
RAID5磁盘阵列数据恢复作者:李清来源:《中国新通信》2013年第10期【摘要】当只有一块磁盘损坏时,RAID5磁盘阵列能通过其它正常运行的磁盘进行异或运算换算出故障磁盘的数据信息,从而保证磁盘阵列存贮信息的完整。
通过研究RAID5结构和数据重组的规律,发现两个以上磁盘同时出现故障或RAID卡失效,也可以恢复故障磁盘阵列的数据。
本文尝试了将RAID5故障磁盘阵列中的磁盘分别制作为磁盘镜像文件,对有故障的磁盘镜像文件进行数据恢复后,按照数据重组原理将这些磁盘镜像文件重组为RAID5镜像盘,成功恢复了图书馆文献管理服务器RAID5故障磁盘阵列中的数据。
【关键词】RAID5数据重组磁盘镜像数据恢复RAID5是一种存储性能、数据安全和存储成本兼顾的存储解决方案,被广泛应用于较重要数据存贮。
RAID5校验位算法原理为:假设RAID5由以块磁盘组成,那么校验位P=D1 XOR D2 XOR D3…XOR Dn(D1,D2,D3…Dn为数据块,P为校验块,XOR为异或运算),如果i号磁盘失效,也就是Di数据块的数据丢失,则通过D1,D2,D3…P,Dn它们之间的异或运算重新计算出来,即Di=D1 XOR D2 XOR D3…XOR P XOR Dn一1[1]。
该原理论证了一个驱动器失效状态下,RAID5磁盘阵列的数据是可以恢复的。
为了挽救数据,对RAID5的结构和数据重组原理进行了深入研究,发现以扇区为单位来描述磁盘数据时,同一扇区的错误小于或等于1,该扇区的完整信息可以通过数据重组和异或运算得以恢复。
据此原理,采用磁盘镜像技术将RAID5故障阵列的磁盘分别制作为磁盘镜像文件,利用磁盘恢复软件对有故障的磁盘镜像文件进行扇区故障修复,最后根据数据重组原理将磁盘镜像文件重组为RAID5镜像盘,可以恢复两个以上驱动器同时出现故障或RAID卡失效的原阵列数据。
一、RAID5结构和数据重组1.1RAID5结构RAID5阵列中的数据是分布到每块硬盘上,RAID5中每个条带组中总有一个条带是校验块[2]。
RAID5数据恢复 step by step一、准备知识RAID-5是数据和奇偶校验间断分布在三个或更多物理磁盘上的、具有容错功能的阵列方式。
如果物理磁盘的某一部分失败,您可以用余下的数据和奇偶校验重新创建磁盘上失败的那一部分上的数据。
对于多数活动由读取数据构成的计算机环境中的数据冗余来说,RAID-5是一种很好的解决方案。
有一些服务器或者磁盘阵列柜会将RAID信息存储在磁盘的某些地方,一般是阵列内每块磁盘的最前面的一些扇区或者位于磁盘最后的一些扇区内。
当RAID信息存储在每块磁盘的前面的扇区时,在分析与重组RAID的时候就需要人为的去掉这些信息,否则就会得到错误的结果。
在做RAID5的数据恢复的时候,除了需要知道RAID内数据的起始扇区,还需要了解(数据)块大小(也称深度,depth)、数据与校验的方式等。
在实际应用中,阵列控制器一般要先把磁盘分成很多条带(Stripe,如图1上绿色线框起来的部分就是一个条带),然后再对每组条带做校验。
每个条带上有且仅有一个磁盘上存放校验信息,其他的磁盘上均存放数据。
数据被控制器划分为相等的大小,分别写在每一块硬盘上面。
每一个数据块的长度或者说数据块的容量就被称为块大小或者叫(条带)深度。
在阵列内,条带大小一般是相同的,即在每个磁盘内的数据块的大小和校验块的大小是一致的。
图1每一个条带内的校验盘上的内容是通过这个条带上其他磁盘上的数据做异或而来,如P1=D1 XOR D2 XOR D3(见图2)。
一般来说,在盘序是正确的情况下,校验块在RAID5内每块磁盘的写入顺序都是从第一块盘到最后一块盘或者从最后一块盘到第一块盘(如图2)。
从图上看,校验的排列总是从图的左上角到右下角,或者从图的有上角到左下角。
这就为我们判断磁盘的顺序提供了依据。
如果考虑上数据写入磁盘的顺序(这个就是所谓的校验旋转方式,以下简称旋转方式),我们便得到了如图2所示的4种数据与校验的排列形式:forward 123(右不对称)、forward dyn(右对称)、backward 321(左不对称)、backward dyn(左对称)。
【北亚数据恢复】服务器中Raid5磁盘阵列重建后数据丢失的数据恢复故障:服务器raid5磁盘阵列中的5块硬盘中有1块硬盘掉线,服务器管理员请外部公司对服务器进⾏维护,外部公司⼈员在没有了解具体情况下⽤服务器内另外4块正常硬盘重建了⼀组新的raid5阵列,导致服务器原有数据全部丢失。
服务器管理员联系北亚数据恢复中⼼寻求帮助。
故障分析:原服务器上的阵列是raid5,即使有⼀块硬盘掉线的情况下也不会影响服务器的使⽤和数据完整性。
但外部公司⼈员对其中的4块硬盘重建了raid5阵列,导致全盘重建校验块,原有的数据肯定会被破坏。
经北亚数据恢复⼯程师初步分析,外部公司⼈员通过4块硬盘新组建的raid5是按照双循环策略⽣成,块⼤⼩为64;条带换校验次数为16。
原服务器内的5块硬盘组成的raid阵列也是双循环;块⼤⼩128;条带换校验次数为16。
由此可以推断:经过重建raid的服务器内尚可识别的4块硬盘中每隔3M的数据将出现1M的原始数据被破坏。
想要恢复服务器内的数据,需要对掉线的硬盘进⾏分析,通过对⽐5个盘的raid阵列和4个盘的raid阵列的差异,北亚数据恢复⼯程师利⽤掉线硬盘⾥的数据对每⼀块硬盘中被破坏的原始数据进⾏补缺,最后重组raid解释⽂件系统,然后导出⽂件即可。
因此最终恢复的数据完整度取决于掉线硬盘内的数据量多少。
raid阵列数据恢复过程:1、北亚数据恢复⼯程师对原服务器内的所有数据进⾏镜像备份。
2、分析镜像⽂件,获取数据被破坏前后的raid结构。
3、对⽐数据被破坏前后的raid阵列结构,分析raid结构差异,然后由北亚数据恢复⼯程师编写修正程序,利⽤程序提取数据。
同时按照原始服务器内的5盘阵列结构虚拟重组raid5阵列,⽣成⼀组重组后的镜像⽂件。
4、提取掉线硬盘内的数据,对虚拟重组的raid阵列数据进⾏补全,修正⽂件系统错误。
5、把修复后的数据导⼊到新的空间进⾏验证,验证⽆误后交付服务器管理员验证数据。
raid5数据恢复Raid 5是最常见的raid方式之一,它本身也具有一定的数据保护机制,如果其中的一块盘坏了,插上新磁盘后,将会自动通过其他磁盘上的校验码实现数据恢复。
但是,这样的机制对于数据保护机制是不够的,万一出现下面这些情况怎么办呢?依次或同时出现多个磁盘的失败引电压的不稳定造成了系统的故障由于过大温差引起的硬件故障RAID数据被删除或格式化在服务器和NAS的固件上发送故障RAID控制器发生故障新初始化RAID 5需要恢复数据德国的一家专门进行raid 5数据恢复的公司总结了一些常见的raid5恢复问题三个硬盘中有两个坏了,是从RAID 5中恢复数据的可能吗?在大多数情况下,在两个有缺陷的磁盘上可以恢复数据。
但是,至少需要清洁室中的两个故障硬盘驱动器中的一个被恢复。
之后,可以从碎片和奇偶校验数据中挽回剩余的RAID 5数据。
我们尽可能使用手动和专有的半自动程序保存数据。
这使得恢复的数据质量非常高。
RAID 5数据恢复有多昂贵?RAID 5数据恢复的成本取决于RAID 5配置(标准或特定)有缺陷的硬盘(或SSD)已经执行数据恢复尝试(通常会导致更多的努力)是数据覆盖,例如重建失败?经过RAID 5分析后,我们可以确定需要多少努力来恢复数据。
同时,您将收到RAID 5数据恢复的固定价格。
哪些文件系统允许RAID 5数据恢复?在RAID 5阵列发生故障的情况下,使用操作系统(Windows,Linux,MacOS等)和RAID卷上使用的文件系统在数据恢复中起初不起决定性作用。
所以这是可能的所有文件系统。
当涉及到删除数据,格式化的RAID驱动器和其他逻辑损坏(快照删除等)时,所使用的文件系统与数据恢复工作以及成功的可能性相关得多。
这些文件系统通常是RAID 5数据恢复NTFS(Windows)FAT32(Windows)Ext3,Ext4BtrFS(各种NAS制造商,Windows,Linux)HFS / HFS +(苹果/ Mac)APFS(也是Mac)vmFS(vmWare文件系统)RAID 5消失了,我可以交换磁盘进行测试吗?在很多情况下,任意更换RAID 5中的磁盘顺序都会导致RAID数据的大量恶化。
RAID 5:RAID 5 是一种存储性能、数据安全和存储成本兼顾的存储解决方案。
RAID 5可以理解为是RAID 0和RAID 1的折中方案。
RAID 5可以为系统提供数据安全保障,但保障程度要比Mirror低而磁盘空间利用率要比Mirror高。
RAID 5具有和RAID 0相近似的数据读取速度,只是多了一个奇偶校验信息,写入数据的速度比对单个磁盘进行写入操作稍慢。
同时由于多个数据对应一个奇偶校验信息,RAID 5的磁盘空间利用率要比RAID 1高,存储成本相对较低,是运用较多的一种解决方案。
RAID5数据恢复技术:RAID5 是一种存储性能、数据安全和存储成本兼顾的存储解决方案,被广泛应用于较重要数据存贮。
当只有一块磁盘损坏时,RAID5 磁盘阵列能通过其它正常运行的磁盘进行异或运算换算出故障磁盘的数据信息,从而保证磁盘阵列存贮信息的完整。
通过研究RAID5 结构和数据重组的规律,发现两个以上磁盘同时出现故障或RAID 卡失效,也可以恢复故障磁盘阵列的数据。
RAID结构:RAID5 阵列中的数据是分布到每块硬盘上,RAID5中每个条带组中总有一个条带是校验块[2]。
根据RAID5 校验位算法原理,校验位P0=A XOR B XOR C,如果硬盘C失效,也就是C 数据块的数据丢失,则通过A,B,P0 它们之间的异或运算重新计算出来,即C=AXOR B XOR P0。
同理通过异或运算算出P1、H、K 等等硬盘2 的所有存贮信息。
因此RAID5 磁盘阵列在一块驱动器失效的情况下,仍能保证数据完整和工作正常。
如果有两块或两块以上硬盘同时离线,将会出现RAID控制器物理故障、RAID信息出错、RAID5成员盘物理故障、人为误操作、RAID 控制器的稳定性变化等故障,阵列便会失效,造成磁盘阵列结构的毁坏,盘序的混乱,处理不当将会丢失数据。
这时如果要恢复RAID5 故障磁盘阵列中数据就需要对阵列中的磁盘数据进行重组。
raid5数据恢复方法第一部分:数据恢复方案【故障描述】:某公司的一台服务器组了一个raid5磁盘阵列有两块磁盘先后掉线,服务器崩溃。
故障服务器的操作系统为linux redhat 5.3,应用系统为构架于oracle的一个oa,数据重要,时间很急。
因oracle已经不再对本oa系统提供后续支持,用户要求尽可能数据恢复+操作系统复原。
【初检结论】:热备盘完全无启用,硬盘无明显物理故障,无明显同步表现。
数据通常可恢复【恢复方案】:1、保护原环境,关闭服务器,确保在恢复过程中不再开启服务器。
2、将故障硬盘标好序号,确保在拿出槽位后可以完全复原。
3、将故障硬盘挂载至只读环境,对所有故障硬盘做完全镜像(参考<如何对磁盘做完整的全盘镜像备份>)。
备份完成后交回原故障盘,之后的恢复操作直到数据确认无误前不再涉及原故障盘。
4、对备份盘进行RAID结构分析,得到其原来的RAID级别,条带规则,条带大小,校验方向,META区域等。
5、根据得到的RAID信息搭建一组虚拟的RAID5环境。
6、进行虚拟磁盘及文件系统解释。
7、检测虚拟结构是否正确,如不正确,重复4-7过程。
8、确定数据无误后,按用户要求回迁数据。
如果仍然使用原盘,需确定已经完全对原盘做过备份后,重建RAID,再做回迁。
回迁操作系统时,可以使用linux livecd或win pe(通常不支持)等进行,也可以在故障服务器上用另外硬盘安装一个回迁用的操作系统,再进行扇区级别的回迁。
9、数据移交后,由北亚数据恢复中心延长保管数据3天,以避免可能忽略的纰漏。
【恢复周期】:备份时间,约2小时。
解释及导出数据时间,约4小时。
回迁操作系统,约4小时。
第二部分:数据恢复及系统复原过程1、对原硬盘进行完整镜像,镜像后发现2号盘有10-20个坏扇区,其余磁盘,均无坏道。
2、分析结构:得到的最佳结构为0,1,2,3盘序,缺3号盘,块大小512扇区,backward parity(Adaptec),结构如下图:3、组好后数据验证,200M以上的最新压缩包解压无报错,确定结构正确。