Windows Server 2012重复数据删除七项注意

Windows Server 2012课程介绍：Windows server 2012是一款全新的产品，是基于Windows 8基础上开发出来的服务器版系统，同样引入了Metro界面，增强了存储、网络、虚拟化、云等技术的易用性，让管理员更容易地控制服务器，能够快速适应企业变化不断的业务需求与各种场景的应用。

对应证书：Microsoft Certified Solutions Expert (MCSE)考试代号：70-410 Installing and Configuring Windows Server 201270-411 Administering Windows Server 201270-412 Configuring Advanced Windows Server 2012 Services70-413 Designing adn Implementing a Server Infrastructure70-414 Implementing an Advanced Server Infrastructure培训课时：102课时课程大纲:第一天：◆Windows Server 2012最新认证体系介绍（MCSA,MCSE,MCSM）◆微软产品介绍( OS, SQL Server, Forefront, Exchange, Lync , SharePoint, System Center, Virtualization )◆使用Windows Server 2012下的Hyper-v 3.0第二天：◆Windows Server 2012新功能介绍,版本介绍，系统安装◆Windows Server 2012平台常用操作介绍◆管理Windows Server 2012中的用户账号◆管理Windows Server 2012中NTFS权限，EFS加密，磁盘配额◆Windows Server 2012中Bitlocker介绍第三天：◆Windows Server 2012批量激活服务◆Windows Server 2012文件服务器管理概要◆重复删除数据介绍和功能演示◆iSCSI Target SoftWare介绍◆配置Windows Server 2012的文件服务器（DFS, 高级磁盘配额，使用ADRMS加密Office文档，权限迁移等）◆磁盘管理：基本磁盘和动态磁盘的介绍和管理，介绍常用的存储方案(DAS,NAS,SAN) ,如何使用软件来实现SAN第四天：◆Windows Server 2012的备份和恢复：NTBackup介绍，Windows Server Backup的使用，Symantec BE 2012的部署和管理◆DHCP: 运行原理，DHCP安装和基本管理，实现DHCP Relay Agent，DHCP数据库的迁移◆DNS: DNS案例分析，DNS解析原理分析，DNS的安装和管理，DNS的高级管理◆WINS: 和DNS的区别，WINS的案例分析第五天:◆把Windows Server 2012配置成一个路由器，◆VPN配置和管理，VPN案例分析（实现Client-to-Site VPN和Site-to-Site VPN）◆在Windows Server 2012部署和配置WDS架构：微软架构中批量安装系统的反感讨论，WDS部署和基本配置，使用WDS安装Windows 8◆案例：如何使用WDS分发Windows XP第六天：◆管理Windows Server 2012证书服务：加密的方式，Windows Server 2008 R2中证书服务类型, 证书信任，证书的申请方式(工作组和域)◆案例：使用证书加密远程桌面连接◆案例：实现SSTP VPN◆BranchCache功能介绍和两种模式介绍◆演示：Branchcache功能演示第七天：◆DirectAcess 功能介绍和基本原理介绍◆演示：DirectAccess在公司内部的部署和应用◆把Windows Server 2012 R2配置成一个Web Server :挂载网站，挂载虚拟目录，地址重定向，实现Web服务器HTTPS访问◆案例：如何保证单服务器多网站公用80端口访问◆案例：如果企业内部多个Web Server，如果保证共用公网80端口第八天：◆管理Windows Server 2012远程桌面服务：基本操作和介绍，实现RD RemoteAPP, 实现RD Web Access, 实现RD Gateway, 实现RD Session Broker.◆实现Windows Server 2012 RDS NLB◆实现Windows Server 2012下的VDI第九天：◆Hyper-v的高级管理：实现Hyper-v的实时迁移，SCVMM介绍和安装，常用的功能介绍和演示◆案例：实现P2V◆案例：实现V2V◆案例：配置和管理SCVMM的Portal第十天：◆NAP(网络访问保护)：NAP介绍，NAP处理过程。

重复数据删除技术重复数据删除技术当前，不管是权威机构，还是众厂商，都非常看好重复删除技术。

重复数据删除通过有效地减少数据，消除备份成为降低数据存储成本的重要技术，成为大家关注的焦点。

然而，重复数据删除是否可以在你的存储设备下工作？你如何在海量的数据中应用重复数据删除技术？本专题深入探讨重复数据删除技术，针对各种重复数据删除产中提出评估建议。

为什么需要重复数据删除？随着企业的数据量不断增长，大量的重复数据给存储带来严峻的挑战。

重复数据删除带来了多种好处。

存储量减少，从而降低了存储成本。

这意味着只需更少的磁盘和更低频率的磁盘采购。

更少的数据同时也意味着备份更小。

•重复数据删除迅猛发展•如何通过重复数据删除降低存储成本什么是重复数据删除？重复数据删除，也被称为智能数据压缩或单一实例存储。

它是一种可以减小数据存储需求的手段。

本系列文章将介绍重复数据删除是如何工作的，重复数据删除技术的基本原则和具体实现等相关问题，并列举一些该技术在实际应用中的例子。

•重复数据删除是如何工作的？•确保重复数据删除的高可用性•重复数据删除技术如何缓解存储需求重复数据删除有哪些产品？重复数据删除还是一个新的市场，不同的厂商为客户提供了不同的产品，这也使得实现重复数据删除的方式变得多样化，而客户面临的则是困难的抉择。

让我们来看一下不同的重复数据删除产品及如何评估基于硬件的重复数据删除产品。

•重复数据删除产品一览•如何评估基于硬件的重复数据删除产品•如何评估基于软件的重复数据删除产品重复数据删除技术比较重复数据删除和其他技术有很多相似点和不同点，在这一系列中我们将深入探讨CAS 和重复数据删除，讨论它们的用途并总结这两种技术的优缺点；介绍压缩、重复数据删除和加密的区别，比较和对照in-band(带内)和out-of-band(带外)两种重复数据删除方式，以及它们各自存在的利弊。

•CAS和重复数据删除：归档双雄•压缩、重复数据删除和加密的区别•重复数据删除in-band VS out-of-band重复数据删除迅猛发展存储经理们已经意识到了重复数据删除技术的诸多优点。

Windows2012文件服务器之重复数据删除Windows Server 2012文件服务器有一个新重复数据删除功能，可以帮助用户节约可用磁盘空间。

“重复数据删除”是指发现并删除数据内的重复信息而不损失数据的精确性或完整性的操作。

一、“重复数据删除”功能，它具有如下优点：1、容量优化：“重复数据删除”使得Windows Server 2012 能够在更少的物理空间中存储更多的数据，并获得比以前版本的Windows 操作系统明显更高的存储效率。

以前版本的Windows 操作系统使用单实例存储(SIS) 或NTFS 文件系统压缩。

“重复数据删除”使用可变分块大小和压缩，常规文件服务器的优化率为 2:1，而虚拟数据的优化率最高可达 20:1。

2、伸缩性和性能： Windows Server 2012 中的“重复数据删除”具有高度的可伸缩性，能够有效利用资源，并且不会产生干扰。

它可以同时对多个大容量主数据运行，而不会影响服务器上的其他工作负载。

通过控制 CPU 和内存资源的消耗，保持对服务器工作负载的较低影响。

此外，用户可以灵活设置何时应该运行“重复数据删除”、指定用于消除重复的资源并为“重复数据删除”创建有关文件选择的策略。

3、可靠性和数据完整性：在对数据应用“重复数据删除”时，保持数据的完整性。

Windows Server 2012 利用校验和值、一致性和身份验证来确保数据的完整性。

此外，Windows Server 2012 中的“重复数据删除”会为所有元数据和最常引用的数据保持冗余，以确保这些数据可以在发生损坏时进行恢复。

4、与 BranchCache 相结合提高带宽效率：通过与BranchCache 进行集成，同样的优化技术还可应用于通过WAN 传输到分支机构的数据。

这会缩短文件下载时间和降低带宽占用。

二、实现重复数据删除的要求：1）服务器：1、服务器硬件应满足运行 Windows Server? 2012 的最低要求重复数据删除功能专用于支持最低配置，如配有4GB RAM 和一个SATA 硬盘驱动器的单处理器系统。

查询及删除重复记录的方法(一)1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断select * from peoplewhere peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)2、删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid 最小的记录delete from peoplewhere peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)3、查找表中多余的重复记录（多个字段）select * from vitae awhere (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)4、删除表中多余的重复记录（多个字段），只留有rowid最小的记录delete from vitae awhere (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)5、查找表中多余的重复记录（多个字段），不包含rowid最小的记录select * from vitae awhere (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)(二)比方说在A表中存在一个字段“name”，而且不同记录之间的“name”值有可能会相同，现在就是需要查询出在该表中的各记录之间，“name”值存在重复的项；Select Name,Count(*) From A Group By Name Having Count(*) > 1如果还查性别也相同大则如下:Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1(三)方法一declare @max integer,@id integerdeclare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) >； 1open cur_rowsfetch cur_rows into @id,@maxwhile @@fetch_status=0beginselect @max = @max -1set rowcount @maxdelete from 表名 where 主字段 = @idfetch cur_rows into @id,@maxendclose cur_rowsset rowcount 0方法二有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。

选择重复数据删除应注意的五个问题作者：张智鸿来源：《中国计算机报》2009年第29期重复数据删除(Data Deduplication)无疑是近年来存储行业最受人关注的技术,甚至有分析师认为,重复数据删除是近十年来最重要的存储技术创新。

重复数据删除技术之所以能在短时间内蹿红,主要原因在于其诉求点非常清楚——消除传统备份技术衍生出的重复储存数据的问题,进而为企业节省成本,而这些诉求又正好符合现今IT 行业大力提倡的节能环保理念。

然而,今天的企业面临的数据保护问题相当复杂,备份数据重复储存的问题仅仅是冰山一角。

重复数据删除在某些厂商的华丽包装下,似乎成了解决所有数据保护问题的万能药,导致用户对重复数据删除产品存在过高的期望,在对技术本身了解不够、欠缺全盘考虑的情况下便部署了重复数据删除方案,结果往往不如预期。

用户在选择具备重复数据删除技术的产品时,不妨参考以下几项建议。

不要陷入重复删除比的谜局几乎所有厂商都会强调,自己的产品可以达到更高的重复数据删除比,有些厂商甚至宣称可以达到500∶1这样不可思议的重复数据删除比。

事实上,重复数据删除比率取决于数据的类型和备份策略,与重复数据删除技术本身关联不大。

举例来说,如果数据的类型为Office文件或电子邮件,由于数据结构本身的重复性较高,能被删除的部分自然就比较多;如果是已经压缩过的影音、图片等文件,重复数据删除的效果则相当有限。

采用全备份方式时的重复数据删除比远大于采用增量或差量备份时的重复数据删除比。

因此,比较不同产品之间的重复数据删除比率是没有意义的,更不能以此来判别重复数据删除产品的优劣。

不能影响服务器性能某些采用资源端重复数据删除技术的解决方案,必须在生产服务器上安装代理程序来执行重复数据删除,因此不可避免地给生产服务器造成了相当大的性能负担。

任何改变传统的数据保护方式,都必须建立在不影响系统运行的前提下,换句话说,服务器的性能绝不能受到数据保护方案的影响。

配置重复数据删除最常见的四个问题作者：郭涛来源：《中国计算机报》2011年第26期NetApp公司的工程师Keith Aasen介绍说：“NetApp的一个客户将600多台虚拟机（VM）从具有11.9TB容量的磁盘阵列迁移到一个新的NetApp存储阵列上。

通过采用重复数据删除技术，新的NetApp存储阵列的容量只需3.2TB即可，存储空间的节省高达73％。

”但是也有人向Keith Aasen抱怨，他们的存储系统的重复数据删除比率很低。

配置重复数据删除时应该注意哪些问题呢？问题1：没有立即启动重复数据删除功能如果用户将NetApp的虚拟存储控制台（VSC）插件用于VMware vCenter，那么使用该插件创建VMware的数据存储时会导致重复数据删除功能的启动。

在这种情况下，NetApp建议客户立即启用重复数据删除功能。

在NetApp的存储系统卷上启用重复数据删除功能后，存储控制器将跟踪写入该卷的新数据块。

在定期删除重复数据的过程中，存储控制器会查看这些新的数据块，并消除所有重复数据。

如果在启用重复数据删除功能之前，卷里已经有了一些虚拟机，又该如何处理呢？除非客户明确地指示NetApp的存储系统扫描现有数据，否则NetApp的存储系统不会检查虚拟机，更不会对虚拟机执行重复数据删除。

这导致重复数据删除的比率会比较低。

幸好有个很简单的办法可以解决这个问题。

用户只要启用Scan选项中的VSC，就可以开启重复数据删除功能。

问题2：LUN的保留NetApp可以根据客户的需求提供多种级别的数据保留功能。

NetApp在卷中为VMware创建了LUN。

用户也可以选择为LUN保留空间，并将此空间从可用卷的空间中删除。

这随之产生了两个问题：首先，客户已经使用卷保留方式保留了所需的空间，所以没必要使用LUN保留方式再次保留空间；其次，为LUN保留空间意味着LUN未使用的空间将占用已保留的空间。

例如，用户有一个100GB的卷，其中有一个90GB的LUN，并且对LUN实现了空间保留。

重复数据删除技术简介这篇文章基于现有的SNIA材料，描述了重复数据删除流程可以进行的几个不同的地方；探讨了压缩与单实例文件以及重复数据删除之间的不同点；研究了次文件层重复数据删除执行的几个不同方式。

它同时还解释了哪种类型的数据适合重复数据删除，以及哪些不适合。

介绍重复数据删除已经成为存储行业非常热门的话题和一大类商业产品。

这是因为重复数据删除可以大幅减少购置和运行成本，同时提高存储效率。

随着数据量的爆炸性增长，接近一半的数据中心管理员都将数据增长评为三大挑战之一。

根据最近的Gartner调查结果，重复数据删除可以减轻存储预算的压力并帮助存储管理员应对数据的增长。

虽然重复数据删除主要被视为一种容量优化技术，不过该技术也可以带来性能上的好处--随着所需存储的数据的减少，系统所需迁移的数据也减少。

重复数据删除技术可以应用在数据生命周期上的不同点上：从来源端重复数据删除，到传输中重复数据删除，一直到存储目标端重复数据删除。

这些技术还可以应用在所有的存储层上：备份、归档和主存储。

重复数据删除的解释无论使用哪种方式，重复数据删除就是一个在不同层次的粒度性上识别重复数据并将重复数据替代为指向共享复件的指针的过程，这样可以节约存储空间和迁移数据所需的带宽。

重复数据删除流程包括跟踪并识别那些被删除的重复数据，以及识别和存储那些新的和独一无二的数据。

数据的终端用户完全不会感到这些数据可能已经被执行重复数据删除流程并已经在其数据生命周期中被重建许多次。

对数据进行重复数据删除操作有几种不同的方式。

单实例存储（SIS）是在文件或块层次上进行重复数据删除。

重复副本会被一个带着指针的实例所取代，而指针则指向原始文件或对象。

次文件层重复数据删除的操作粒度则比文件或对象更小。

这种技术有两种常见的方式：固定块重复数据删除--数据被分解成固定长度的部分或块；可变长度重复数据删除--数据根据一个滑行的窗口进行重复数据删除。

数据压缩是对数据进行编码以减小它的大小；它还可以用于那些已经被重复数据删除的数据以进一步减少存储消耗。

（一）、PowerShell安装与配置重复数据删除功能安装：1、启动 Windows PowerShell。

在任务栏上，右键单击 Windows PowerShell 图标，然后单击“以管理员身份运行”。

运行以下 Windows PowerShell 命令：C:\> Import-Module ServerManagerC:\> Add-WindowsFeature -name FS-Data-DeduplicationC:\> Import-Module Deduplication启用重复数据删除功能：若要在卷上启用重复数据删除，请在服务器上运行以下 Windows PowerShell 命令。

卷 E 上启用了重复数据删除。

C:\> Enable-DedupVolume E:设置最少保留天数：设置文件进行重复数据删除前，应保留的最少天数。

C:\> Set-Dedupvolume E: -MinimumFileAgeDays 20如果将 MinimumFileAgeDays 设为 0，那么重复数据删除将处理所有文件，不论其留存时间有多久。

这适合于测试环境，在这种环境中你想要进行最大限度的重复数据删除。

但是，在生产环境中，最好是等待几天（默认为 3 天），因为在更改率减缓前，文件往往会在短时间内改变很多。

这允许对服务器资源进行最有效的使用。

清理日志存放地点：清理作业在位于此处的 Windows 事件日志中输出一个摘要报告：事件查看器\应用程序和服务日志\Microsoft\Windows\删除重复\清理数据清理作业：虽然重复数据删除默认值以每周一次（周六）的频率创建数据完整性清理作业，但你也可以使用以下命令，按照需要触发这种清理作业：C:\> Start-DedupJob E: –Type Scrubbing垃圾回收作业：重复数据删除包含了垃圾回收作业，来处理卷上已删除或已修改的数据，这样任何不再访问的数据区块都被清理。

WindowsServer2012R2文件服务器安装与配置01 文件服务器配置的相关目录02 基础说明与安装一、文件服务器的基础说明文件服务器是企业里面用的最多的服务器之一,它主要用于提供文件共享。

为了配合文件服务器的权限管理,从WindowsServer2008新增了文件服务器资源管理器,其实在WindowsServer2003里面也有文件服务器资源管理器的功能,只是放于DFS功能模块里面了。

文件服务器资源管理器是一组可让你对文件服务器上存储的数据进行管理和分类的功能。

文件服务器资源管理器包括以下功能：文件分类基础结构文件分类基础结构通过分类流程的自动化提供对数据的洞察力,从而让你更有效地管理数据。

你可以基于此分类对文件进行分类并应用策略。

示例策略包括限制访问文件的动态访问控制、文件加密和文件过期。

可以使用文件分类规则自动分类文件,也可以修改所选文件或文件夹的属性手动分类文件。

文件管理任务文件管理任务可让你基于分类对文件应用有条件的策略或操作。

文件管理任务的条件包括文件位置、分类属性、创建文件的数据、文件的上一次修改日期或上一次访问文件的时间。

文件管理任务可以采取的操作包括使文件过期、加密文件的功能,或运行自定义命令的功能。

配额管理配额允许你限制卷或文件夹可拥有的空间,并且它们可自动应用于卷上创建的新文件夹。

你还可以定义可应用于新卷或文件夹的配额模板。

文件屏蔽管理文件屏蔽可帮助控制用户可存储在文件服务器上的文件类型。

你可以限制可存储在共享文件上的扩展名。

例如,你可以创建文件屏蔽,不允许包含MP3扩展名的文件存储在文件服务器上的个人共享文件夹上。

存储报告存储报告可用于帮助你确定磁盘使用的趋势以及数据分类的方式。

你还可以监视尝试要保存未授权文件的一组所选用户。

通过使用文件服务器资源管理器Microsoft管理控制台<MMC>或使用WindowsPowerShell,可以配置和管理文件服务器资源管理器包含的功能。