Isilon技术白皮书 :集群存储革命
“集群存储正在逐步普及，并成为以前多代存储产品的主要转变趋势，这与 CD 淘汰唱片十分相似。”
——Tony Asaro，Enterprise Strategy Group，2005 年10 月
1962 年，Thomas Kuhn 出版了一部极具开创性的名为《科学革命的结构》的专著。他指出，科学进步不是渐进式的，而是呈现为一种伴有划时代变革的断续性平衡，这与我们所理解的生物进化颇为相似。1981 年，当 IBM 推出 IBM 个人计算机的标准化架构时，计算机行业便经历了这样的一场革命。与以往的行业惯例背道而驰，IBM 选择了使用现成组件来构建其计算机。结果，IBM 个人计算机架构最后成为了行业标准。这种架构体不仅取代了其他个人计算机设计，而且在以后几十年里，微型计算机和大型机也经历了这种变化，以适应IBM 标准并开始使用现成组件构建。
本白皮书的目的是向您介绍目前数据存储行业正在发生的新思维转变：转向集群存储架构。数据存储行业的分布式存储集群与 IBM 在 1981 年的处境大致相同，后者准备改变计算机行业的规则。集群存储架构正在改变数据的存储和访问规则。在本白皮书中，我们将讨论一些趋势，这些趋势明确地将集群存储架构定义为数据存储的未来。我们将详细说明这一新存储类别的要求，并介绍率先这一思维转变的Isilon? IQ 集群存储解决方案。
1 推动集群存储革命的三大宏观趋势
三大宏观趋势推动了向集群存储架构的转换：
——非结构化数据和数字内容(数字图像、计算机模型、数字视频、数字音频、计算机模拟、扫描文档、参考信息)的爆炸性增长
——向集群计算的思维转换
——更廉价、更快的行业标准企业级硬件的激增
宏观趋势 1：非结构化数据和数字内容的爆炸性增长
今天参与竞争的企业都面临着用于执行日常业务的数据的急剧增加，这在很大程度是由于非结构化数据爆炸性增长造成的。IT管理人员知道，使用并存储视频、音频、图像、研究数据及其他大型数字文件和非结构化数据的应用程序正在挑战传统存储系统的容量和性能禁区。
Pratt & Whitney 对非结构化数据的爆炸性增长深有体会。作为全球先进的商用和军用飞机以及宇宙飞船引擎的领先设计、制造和支持供应商，它所进行的详尽测试生成了许多TB 量级的引擎测试数据，其中每项高带宽测试每秒将记录 100,000 多个样本。
Cedars-Sinai 肿瘤研究中心位于加利福尼亚的洛杉矶市；该肿瘤研究中心整理从多种渠道收集的数据，包括临床质谱分析和基因组数据，他们也知道存储大量研究数据时会遇到的一些难题。对 Cedars–Sinai 而言，一滴血将生成超过 60 GB 的非结构化数据供蛋白质组学研究使用。用这个数字乘以从研究中心的患者身上采集的数百个（如果不是上千个）血液标本，非结构化数据的急剧增加是显而易见的。最后，Sports Illustrated（体育画报）于2004 年在雅典夏季奥运会上率先开创了一个百分之百的数字化工作流。这一工作流在为期17 天的赛事中生成了 250,000 多张数字图像（图像平均大小为 18 至 24 MB）。这一数字化趋势扩展到了所有使用非结构化数据和数字内容的行业领域，包括传媒娱乐业、数字成像、生命科学、石油和天然气、制造业以及政府，而且非结构化数据的迅速增长非常明显。
据企业战略集团 (ESG) 预测，到 2006 年底，参考信息将占企业和政府新信息的58％。ESG 将参考信息定义为“为随时参考和创造价值而保留的数字资产”。这些信息包括但不限于电子文档、CAD/CAM 设计、历史文献、医学影像、生物信息学、地球物理数据和语音数据。ESG 预计，参考信息将以 92％的复合年增长率(CAGR) 增长。同时，ESG 还预计，在此期间迁移参考资产（即从磁带迁移到基于磁盘的存储资源的数据）会额外占用 420 PB 的容量。
那么，对 IT 管理人员来说这意味着什么呢？由于非结构化内容的存储规模和复杂程度不断提高，它们使得传统存储系统捉襟见肘，因为这些系统主要是为含有小型文件和高级别事务（例如关系数据库和电子邮件服务器）的结构化数据设计的。另一方面，非结构化数据具有传统存储系统在设计时并未考虑到的独特特征，包括大型文件和数据量、高吞吐量要求、读取密集型访问方式以及大量并行文件访问。
由于缺乏更好的替代方案，许多公司曾尝试通过拓展专为结构化事务数据或文本数据而设计的传统存储系统，以此来满足他们的非结构化数据需求。甚至最新的 NAS 和 SAN 系统也采用了存在先天不足的架构，造成了管理的极度复杂。这都是由于它们的“存储孤岛”、可扩展性限制、性能瓶颈和可用性问题造成的，而且将此类系统用于非结构化数据还会造成高额成本。这些限制也激发了企业对新存储架构的需求——一个完全为非结构化数据和数字内容专门设计并经过优化的存储架构。
宏观趋势 2：向集群计算的思维转变
第二个宏观趋势是集群计算的广泛应用。企业数据中心已经从“大型”专有主机和对称式多处理(SMP) 服务器时代发展到运行 Linux 或 indows 的基于标准（使用行业标准硬件）的集群设备时代。这一趋势的最有力证据是全球服务器收入的变化。自二十世纪九十年
代中期起，这个年收益 500 亿美元的市场约有四分之一或更大的比例从每台价格几万或几十万美元的中端服务器转向了每台 2,000 到 3,000美元的小型服务器。
IT 管理人员的首要动机是，采用具有更高性能、可靠性、可扩展性以及整体工作负荷管理的服务器集群架构。这可以通过集合行业标准服务器来实现，而所有这些只有传统大型设备解决方案成本的一小部分。企业不再在一个拥有 200 个处理器的大型机上部署大型数据库。今天，IT 管理人员可以购买一组现成的服务器，并将其组合成一个可无缝扩展的大型系统。
网络服务器库便是集合优点的一个例证。通过服务器集群，最佳地实现了因特网全天候实时在线所需的可用性、可靠性和性能，同时也采用了经济合理的解决方案。服务器集群库通过在服务器库的各个组件之间分配工作负荷来简化内部流程率，并利用多台服务器的功能加快计算过程。
如果一台服务器发生故障，其他服务器可以介入并承担该工作负荷。将服务器和处理功能组合到一个实体中在以前只是研究和学术机构的一种做法，但它现在也广泛深入到了企业市场中。今天，越来越多的企业使用服务器集群方法来处理大量计算机化的关键任务和服务。
集群存储革命将这一集群趋势从服务器应用领域扩大到了数据存储领域。出于同样的原因，服务器应用领域正在以同样的方式向集群架构转变，而存储领域也已开始转向这一主流架构。
宏观趋势 3：更廉价、更快的行业标准企业级硬件的激增
推动转向集群存储的第三个宏观趋势是行业标准硬件组件的性价比曲线明显下降。这一趋势是摩尔定律所预示的持续运动的一部分：随着时间的推移，企业将以更低的成本获得更高的计算能力，并实现商品硬件的经济效应。商品硬件组件的低成本造就了集群架构经济实惠的优点。集群如何利用行业标准硬件的性价比曲线，以传统定制系统的小部分成本来实现行业领先的性能和可靠性的呢，Google 便是一个主要例子。平均而言，Google 的一次查询会读取数百 MB 的数据，占用几百亿个 CPU 周期。为了处理这一“高性能计算”工作负荷，Google 的架构采用了数千个商品级PC、现成组件以及容错软件的集群。该集群架构实现了卓越的性能，而其成本远远低于使用数量更少但更昂贵的高端服务器打造的系统。
企业级行业标准硬件的利用直接产生了转向集群存储解决方案的趋势。根据存储磁盘产品（即SATA）的价格历史和密度，过去 5 年每 MB 的单价降低了 100 多倍。（见下图）加上处理器、内存和带宽成本的显著下降，IT 管理人员现在可以通过商品化的存储组件实现集群的全部价值。
这些宏观趋势说明了三个基本意义：
——存储行业正在经历一场革命
——集群存储正成为新的主流存储架构
——用户将从集群存储中收获巨大的业务价值和好处
从大型单片机到集群架构，存储领域正在跟随服务器应用领域业已发生的思维转换步伐。集群存储是一种迅速崛起的新存储架构，它由智能软件驱动，并基于行业标准硬件打造。客户知道，集群架构能够处理企业迅速增长的非结构化数据，最好地提供前所未有的性价比、可靠性和可扩展性，从而满足他们的需求，而这一切的运营成本明显更低。集群存储革命已经开始！
2 一个新的存储类别：集群存储
直接连接存储 (DAS)、存储区域网络 (SAN) 和网络连接存储 (NAS) 都是典型的存储方法，大多数 IT 管理人员在谈到存储架构时都会想到它们。今天，第四种存储方式——集群存储出现了。
集群存储架构可以将两个或多个存储设备集结到一起，使其在行为上表现得像一个实体。集群存储可以细分为三种类型：
——双向简单故障转移集群
——命名空间聚合
——带有分布式文件系统 (DFS) 的集群存储
双向简单集群：过去在存储行业中，“集群”是指在一对冗余节点（“节点”定义为服务器/控制器磁头和磁盘）之间的主动故障转移。尽管更准确的说这种方式是一种冗余技术而非集群技术，但 NAS供应商通常称其为“双向集群”。双向集群激起了继续改进旧式和传统单头存储架构的容错和冗余性能的需求。通常，这些解决方案能使一个控制器磁头接替故障控制器磁头，并允许新控制器磁头继续访问和写入故障控制器的数据卷。内在的限制性能和可扩展性、小型文件系统规模、管理复杂性以及实现高可用性的相对较高的成本是这一方式的主要制约因素。加上非结构化数据的迅速增长，这些解决方案明显不能满足企业发展的未来需求。
命名空间聚合：实质上，这些类型的集群存储解决方案构成了将存储管理连为一体的一块玻璃或薄板。这些解决方案完全基于软件（即软件虚拟化）或是软件与硬件的组合（即设备和开关），并创建了存储资源的单一命名空间和集群，它们看起来像一个大型数据管理池。一般来说，这些解决方案会启用包括 NAS 服务器或存储设备集群的“综合树”，把各存储仓库向网络用户呈现为一个整体（一个统一的命名空间），并将数据归到任何既定仓库中。换句话说，通过它们创建的网关，可以重新定向几种不同文件和异构系统以便从公共点进行访问。此类解决方案能够把横跨不同磁盘卷的文件布局（块级拆分数据）控制在某个特定仓库——而不是构成集群的所有仓库，同时仍然允许不同存储层之间的数据移动，且客户端中断有限。尽管从最初成本角度来看，这种架构方法有时不乏吸引力，但 IT 管理员仍在管理、发展和配置“存储孤岛”（异构型存储仓库），不过现在他们又多了一个虚拟化层。最终，这种解决方案会带来更高的复杂性、更重的管理负担以及更高的长期运营成本。
带有 DFS 的集群存储 :第三种类型是分布式集群存储，它是超越 N 向简单集群和命名空间聚合的自然发展。分布式集群存储是一种网络存储系统，它允许用户组合和添加存储节点，所有这些节点皆访问同一个数据池。这些解决方案直接驻留在存储层上，其中文件系统可以完全分布在任意数量的节点/存储控制器。由于软件驻留在存储层上，因此它可以完全控制数据在构成集群的所有存储节点中的布局（数据块级拆分），乃至每个数据块的 ECC 纠错水平。这与命名空间聚合/虚拟化产品形成了对比，后者只控制特定存储仓库写入哪些数据。智能软件可以使节点对称和分布均衡，从而使集群作为一个统一的智能团队协同工作，同时每个节点可以独立运行，并与其他节点进行通信以传输文件，从而满足用户的需求。集群中的每个节点都是一个连贯的对等体，也就是说每个节点都了解对方的一切信息。由于分布式集群存储的这些特征，与上述任何其他解决方案相比，它的可用性、可靠性、可扩展性、总吞吐量以及易管理性最高。
三种集群存储解决方案在数据控制方式上的差异
3 集群存储的定义
定义集群存储解决方案时，我们会发现六个共性：
——对称的集群架构
——可扩展的分布式文件系统
——固有的高可用性
——单一管理层
——线性性能特征
——企业就绪性
对称的集群架构：分布式集群存储解决方案背后的关键设计原理是节点之间的对称性，所谓的节点可以是独立的存储控制器磁头、磁盘、CPU、内存和网络连接。集群必须执行的任务在其成员中均匀分配，与采用基于主服务器方法的传统存储架构相比增强了可扩展性、数据访问、性能和可用性，后者的存储节点并不对称，而且可扩展性和性能受到限制。
即使在集群中添加更多节点，它仍然有一个逻辑控制中心。不管解决方案中的节点数量是多少，仍然只有一个逻辑系统。完全对称的集群架构可以无缝扩展资源，并能实现存储系统的模块化扩展或“按需购买，渐进升级”的优点。如果需要更多内存、带宽、容量或驱动器，只要向集群添加更多节点便可以使集群得以扩展，同时通过一个可动态扩展的逻辑系统来保持它的连贯性。
可扩展的分布式文件系统：实现这种架构方法的是分布式文件系统，它可以扩展成为一个特大存储池或单个网络驱动器。分布式文件系统保持对节点之间的文件和数据布局的控制，并采用在集群范围内全面分配并保持一致性的元数据和锁定语意，因而可以创建一个很大的全局存储池。单个网络驱动器和单个文件系统可以无缝扩展到数百 TB。
在下图中，完全分布式的文件系统通过在集群中的所有节点中分配操作，来处理元数据操作、文件锁定和缓存管理任务。分布式文件系统无需依靠主服务器便可确保恰当的锁定行为——通过消除专用元数据服务器消除了性能瓶颈，并使所有节点的缓存完全保持一致，从而确保每次读写都能检索最新的数据。
固有的高可用性：顾名思义，分布式集群架构具有高可用性，因为每个节点都是另一个节点的对等体。如果任何节点或组件发生故障，仍可通过任何其他节点来访问数据，而且由于整个集群的文件系统状态得到维护，因此不会出现单一故障点。事实上，完全分布式集群架构可以同时承受多个驱动器和节点故障，而且仍能恢复并继续操作。另外，分布式集群架构的高可用性是“固有的”，也就是说与传统存储系统不同，集群存储解决方案依靠全对称架构性质便可实现高可用性。而对于传统存储系统，IT 管理人员必须购买额外的软件和昂贵的冗余硬件才能实现高可用性。
集群存储架构带来了独特的可靠性难题：由于这些解决方案使用了广泛的行业标准硬件组件，一个文件系统中有数百甚至上千个磁盘在运转，因而要达到企业的可靠性标准需要新的创新技术。为了解决这一难题，整个集群存储解决方案必须能够快速重建驱动器，从而尽可能减少风险窗口；必须提供积极的“自愈”功能，以确保所有数据始终可用，并确保分布式文件系统完整记录操作的所有状况（即防止整个集群在写操作过程中发生故障）。
单一管理层：无论文件系统大小以及添加到集群的存储节点数量是多少，分布式集群架构解决方案只单层管理，这使得管理几个节点的集群与管理数百个节点的集群一样简单。在向集群添加新节点以扩展容量和性能时，整个集群存储解决方案可以自动处理以往的手动任务，包括跨集群节点的客户端连接负载均衡，从而确保最优的性能和内容的自动重新均衡。
横跨整个集群的单一文件系统简化了环境的管理，并通过许多驱动器名以及将应用程序映射到许多独立的“存储孤岛”而消除了导航任务。对系统管理员而言，这解决了客户端管理问题，因为所有文件皆隶属于一个驱动器名或安装点。
性能的线性可扩展性：分布式集群存储解决方案具有一种独特的功能，即以近线方式扩展所有性能元素。在添加更多节点/内存控制器、处理、磁盘主轴和带宽时，集群会以
一个逻辑系统来保持其一致性，并能够集合所有资源，从而实现每个新增节点的线性性能扩展。为了实现这种线性性能扩展，集群内的每个节点与所有其他节点保持同步至关重要。因此，更强健的解决方案通常采用速度极高的集群内部互连，以确保节点之间的低延迟和集群的实时同步。
企业就绪性：分布式集群存储解决方案必须具备可供企业随时使用的就绪性。历史上，集群架构最早主要部署在非商业性的研究实验室，而不是主流商业企业。但是，为了成为思维转换的一部分，集群架构必须做好在商业企业数据中心实施的准备。尤其是，该解决方案必须支持标准网络协议并提供 IT 管理人员一直期望得到的工具。
集群存储是存储自然发展的结果，旨在满足现代企业不断变化的需求及其非结构化数据增长的需要。下表概括了当今市场上全面上市的集群存储解决方案类型之间的不同：
4 Isilon Systems: 集群存储的领先者
Isilon Systems? 目前提供了第四代完全分布式的集群存储解决方案，并且无疑是这一新兴类别的领先者。Isilon 屡获殊荣的 Isilon IQ 产品家族包括高性能的集群存储系统，这些系统将智能分布式文件系统与模块化行业标准硬件结合起来，提供无与伦比的简单性和可扩展性。Isilon IQ是为非结构化数据设计的，专用于数据密集型市场，例如传媒娱乐业、数字成像、生命科学、石油和天然气、制造业以及政府。
Isilon IQ: 可扩展的分布式文件系统
Isilon 集群存储解决方案的核心是 Isilon 享有专利的OneFS? 分布式文件系统。它将三个传统存储架构层——文件系统、卷管理器和 RAID——组合成一个统一的软件层，从而创建了一个智能的完全对称文件系统，该系统横跨集群内的所有节点。OneFS 为大型内容存储提供单一的管理点，更快的大型内容文件访问速度，与生俱来的高可用性，轻松扩展单个集群的容量，最高可达每秒 10 GB 的总吞吐量以及数百 TB 的容量，所有这一切都来自单个网络文件系统。
OneFS 只对横跨集群内多个存储节点的文件和元数据进行块级拆分，较之对横跨单一存储设备或卷内的单个磁盘对内容进行块级拆分的传统方法而言，这是一个改进。
这种完全分布式方法使 Isilon能够提供前所未有的性能、可扩展性、可用性和可管理性。
OneFS 使每个节点知道整个文件系统的布局以及每个文件和文件不同部分的驻留位置。访问任何独立节点都可以让用户获取某个统一命名空间中的所有内容。
这意味着没有卷和共享，没有硬性的卷大小限制，重新配置或扩展存储时不会停机，而且无需管理多个网络驱动器。相反，OneFS 为用户提供了管理单一 NAS 存储的便利性和简单性，而且其可扩展性、性能和灵活性都要胜过 SAN 系统。
Isilon IQ: 对称架构
每个 Isilon IQ 集群包括 3 到 96 个 Isilon IQ 节点。每个模块化的独立 Isilon IQ 节点包括磁盘容量以及强大的存储服务器、CPU、内存和网络，所有这些都在一个独立、小巧的 2U 架装式系统中。在向集群添加其他的 Isilon IQ 节点时，集群的所有方面都会对称扩展，包括容量、吞吐量、内存、CPU 和网络连接。Isilon IQ 节点自动配合工作，利用它们的合力形成一个统一的存储系统。该系统可以承受任何硬件组件故障，包括磁盘、交换机甚至整个节点。
在完全分布式架构中，各节点与集群中的所有其他节点保持同步非常关键。 Isilon IQ 存储节点使用千兆以太网或高速低延迟 Infiniband 交换结构，进行集群内通信、同步和所有集群内部操作。这使得每个节点都能与系统中的所有其他节点共享信息，因此每个存储节点都是一个完全连贯的对等体，完全了解其他节点正在做什么。
OneFS 使用分布式锁定管理器、连贯缓存和远程数据块管理器使节点保持同步，其中远程数据块管理器可在整个集群中保持全局连贯性。正是各节点的这种全局连贯性消除了访问文件系统时会遇到的任何单点故障。集群中的任何节点都可以接受读/写请求，而每个节点都将呈现整个文件系统的相同统一视图。集群中的所有节点均为“对等体”，因此系统完全对称，消除了层次结构和内在瓶颈。
Isilon IQ: 固有的高可用性
传统文件系统利用主从关系来管理多个存储资源。这些关系具有内在的相关性，并形成了存储系统内的故障点。确保数据完整性和消除单点故障的唯一正确方法是使集群中的所有节点成为对等体。由于 Isilon IQ 中的每个节点都是一个对等体，因此任何节点都可以处理任何应用服务器发出的请求，从而提供所请求的内容。如果任何一个节点发生故障，其他任何节点都可以替代它，因而消除了所有单点故障。
多故障支持；使用 Isilon IQ，即使损失多个磁盘或整个节点，客户仍不会失去对任何内容的访问权。OneFS 独一无二的 FlexProtect-AP 功能采用了 Reed Solomon ECC（纠错码）、奇偶校验块级拆分（从 n+1 到 n+4）以及横跨集群内多个节点的镜像文件块级拆分（从 2x 到 8x）。这些策略可以在任何层面上设置，包括集群、目录、子目录甚至单个文件。此外，还可以随时通过简单的Web 用户界面更改这些策略——即使系统正处于工作过程并完全可用时。使用 Isilon，所有文件皆在集群内的多个节点中进行块级拆分，没有一个节点会存储任何文件的全部内容，并且如果某个节点发生故障，集群中的其他所有节点仍可以提供该文件的全部内容，而不会中断。
举例来说，Isilon 的“n+2”双 ECC 纠错在单一集群和文件系统内最多允许磁盘或整个节点同时出现两个故障。每个文件皆在集群内的多个节点中进行块级拆分，其中每个数据块有两个奇偶校验块级拆分。与“n+1”单奇偶校验不同，如果此次重建过程中出现了第二个故障，所有数据仍全部可用，因为最初已通过双重 ECC 保护对数据进行了块级拆分。相反，如果同样的情形发生在使用RAID5 的传统系统中，则将造成数据丢失，而且无法恢复。Isilon 工程师估计，n+2 RAID 的平均故障间隔时间 (MTBF) 比单奇偶校验 RAID 的长 100 倍。现在，想一想 Isilon Systems 的这种功能最高达到“n+4”，使得任何集群存储系统均可以承受驱动器或整个节点的四个同时故障，这是史无前例的，由此你就会明白 Isilon Systems 为何被视为市场上可用性最高的解决方案了。
Isilon IQ 是为集群架构中的单一文件系统提供这种数据保护水平的唯一集群存储解决方案。
业界领先的驱动器重建：如果出现故障，OneFS 会自动横跨集群中的所有现有分布式可用空间并行重建文件，这样便无需使用大多数传统存储架构所要求的专用“奇偶校验驱动器”。OneFS利用集群内所有节点中的全部可用空间来重建数据，从而充分利用集群的优点。通过利用这些可用空间以及集群的多个处理器和计算能力，数据重建速度可比传统架构加快五到十倍。
对存储系统的数据可靠性而言，存储系统从故障磁盘驱动器重建数据所需的时间非常关键。对于传统存储系统，重建过程已经占用了很多时间；随着硬盘密度进一步提高（目前每个驱动器为500GB），这一态势不断恶化。随着 TB 级磁盘的出现（预计在接下来的 24 个月内）以及所创建的单个卷/文件系统越来越大，传统存储系统最多将需要 24 小时或更长时间才能从磁盘故障中恢复。在此期间，此类传统存储系统很容易出现其他的磁盘故障，这将造成数据丢失和停机。
由于 Isilon IQ 是以分布式架构为基础构建的，因此它可以充分利用集群内的所有磁盘和硬件，以便重建故障磁盘的数据。由于 Isilon IQ 不受任何特定磁盘的速度约束，因此 Isilon 的系统可以极快地从磁盘故障中恢复。
Isilon IQ 集群内的磁盘故障可在一两个小时内重建，具体取决于驱动器密度。要重建单个故障磁盘驱动器，光纤通道和 SCSI 磁盘需要花费 8 个多小时，其他 ATA磁盘驱动器则需要 8 到 24 小时不等。与它们相比，Isilon 架构的优势显而易见。通过提供行业领先的驱动器重建时间，Isilon IQ 提供了更可靠的存储系统，同时该系统更灵活，并且不易发生多故障情形。
自我修复功能：OneFS 持续监控所有文件和磁盘的运行状况，并在每个驱动器上保存可用智能统计信息（例如可恢复的读错误）的记录，以预测该驱动器会在什么时候发生故障。如果OneFS 发现有风险的组件，它会抢先将数据迁出“有风险的”磁盘，并以自动且对客户透明的方式将数据移到集群中的可用自由空间。数据重建后，在实际故障发生之前，通知用户维修可疑驱动器。客户可以放心，使用此功能，今天写入的数据将百分百可靠地进行存储，每个位都是正确的，且在需要时随时可用。目前，没有任何其他集群解决方案能够提供这种水平的数据保护可靠性。
Isilon IQ: 单一管理层；Isilon IQ 为集群内的所有内容创建了一个共享池，因而为用户提供了一个访问点，为管理员提供了一个管理点。如今，Isilon 已经过测试，能够支持高达 1,000TB (1PB) 的单个网络驱动器。Isilon IQ 集群一旦建立，用户便能够连接任何存储节点，并安全地访问集群内的所有内容。这意味着要连接的所有应用程序之间只有一种关系，每个应用程序均能了解并访问整个文件系统中的每个文件。
作为一个分布式文件系统，OneFS 消除了自产自用的服务器连接存储，使资源的高效查看、共享和分配有了显著改善。用户对之前不可访问的内容享有即时访问权，而当容量需要增加时，管理员能够以动态方式添加和重新分配内容。其结果是，新业务应用的部署速度更快，并能访问和共享网络中任何地方的任何内容。
OneFS 的主要优点之一是：有了它，用户可以轻松增加 Isilon 集群的性能和容量，而无需停机或更改应用程序。系统管理员只需要插入新的 Isilon IQ 存储节点，然后连接网络电缆并将其打开即可。集群会自动检查新添加的存储节点，并开始将其配置为集群的一员。在不到 60 秒内，用户便可以增加可用容量并把单个文件系统扩展数 TB。
Isilon 的独特模块化方法提供了一个模块化的“按需购买，渐近升级”解决方案，这样客户就不用被迫预先购买大于需求的存储容量。与现有系统不同，Isilon IQ 的模块化设计还使客户得以将新技术纳入同一集群，例如为节点添加高密度的磁盘驱动器或更多的千兆以太网端口，以实现更高的性能。
最后，OneFS 能够自动执行多个高级功能，而在传统存储解决方案中，这些功能需要大量的手动操作。Isilon 的 AutoBalance 和 SmartConnect 功能便是其中的两个高级功能。
AutoBalance：在系统管理员添加新的存储资源后，下一个步骤通常是将现有存储设备中的内容手动迁移到新设备中，以便均衡资源之间的容量。Isilon IQ 在扩展时自动迁移内容，彻底消除了中断企业应用程序的必要性。使用其 AutoBalance 功能，可在 60 秒内将新的存储节点添加到Isilon IQ 集群。节点打开、网络电缆连接后，AutoBalance 通过集群的互连后端交换机，立即着手将现有存储节点中的内容移至新添加的节点，在集群的所有节点中重新平衡全部内容并实现最大的利用率。
SmartConnect：OneFS 的另外一个自动功能是 SmartConnect。SmartConnect 功能支持存储节点间的客户端连接负载均衡、动态 NFS 故障转移和客户端连接故障恢复，以最佳地利用集群资源。由于无需安装客户端驱动器，管理员能够轻松管理庞大而且数量不断增加的客户端，即使遇到系统故障也可以放心，读写操作将会成功完成，且不会失败。通过提供单一虚拟主机名，SmartConnect 使 IT 管理员能够轻松管理客户端连接。SmartConnect 采用智能策略（即 CPU使用率、连接数、吞吐率）来简化连接管理任务，方法是根据已定义的策略在集群内自动分布客户端连接，从而实现性能的最大化。
Isilon IQ：线性性能可扩展性
OneFS 的主要优点之一是：有了它，用户可以近线方式轻松增加 Isilon 集群的性能和容量。见下图。与从物理磁盘层面上在 RAID之下进行通信的其他存储系统不同，OneFS 直接控制文件在磁盘上的最佳布局，并显著改善了磁盘子系统在传输数据时的性能。每增加一个 Isilon IQ 存储节点或Accelerator 均可以增加内存。
数据中心交换机 buffer 需求分析白皮书
目录 1引言 (3) 1.1DC 的网络性能要求 (3) 1.2国内OTT 厂商对设备Buffer 的困惑 (4) 1.3白皮书的目标 (4) 2Buffer 需求的经典理论 (5) 2.11BDP 理论 (5) 2.2Nick Mckeown 理论 (6) 2.3经典理论的适用性 (6) 3基于尾丢弃的buffer 需求 (9) 3.1丢包的影响 (9) 3.1.2丢包对带宽利用率的影响 (9) 3.1.3丢包对FCT 的影响 (12) 3.2大buffer 的作用 (13) 3.2.1吸收突发，减少丢包，保护吞吐 (13) 3.2.2带宽分配均匀 (14) 3.2.3优化FCT (15) 3.3DC 内哪需要大buffer (15) 3.4需要多大buffer (17) 3.5带宽升级后，buffer 需求的变化 (19) 3.6 小结 (19) 4基于ECN 的buffer 需求 (21) 4.1ECN 的作用 (21) 4.2ECN 水线设置 (23) 4.3基于ECN 的buffer 需要多大 (24) 5基于大小流区分调度的buffer 需求 (27) 5.1大小流差异化调度 (27) 5.2大小流差异化调度如何实现大buffer 相当甚至更优的性能 (27) 5.3基于大小流差异化调度的buffer 需要多大 (28) 6 总结 (28) 7 缩略语 (29)
1 引言 1.1DC 的网络性能要求 近几年，大数据、云计算、社交网络、物联网等应用和服务高速发展，DC 已经成为承 载这些服务的重要基础设施。 随着信息化水平的提高，移动互联网产业快速发展，尤其是视频、网络直播、游戏等行业的爆 发式增长，用户对访问体验提出了更高的要求；云计算技术的广泛应用带动数据存储规模、 计算能力以及网络流量的大幅增加；此外，物联网、智慧城市以及人工智能的发展也都对DC 提出了更多的诉求。 为了满足不断增长的网络需求，DC 内的网络性能要求主要体现在： ?低时延。随着深度学习、分布式计算等技术的兴起和发展，人工智能、高性能计算等时延敏感型业务增长迅速。计算机硬件的快速发展，使得这些应用的瓶颈已经逐渐由计 算能力转移到网络，低时延已经成为影响集群计算性能的关键指标。因此，时延敏感型 应用对DC 网络时延提出了更高的要求。目前DC 内，端到端5-10 微秒时延已经成为 主流的目标要求。 ?高带宽高吞吐。数据时代的到来，产生了海量的数据，如图1-1。基于数据的应用（如图像识别）的推广，使得网络数据呈爆发式增长，小带宽已经无法满足应用对传输 速率的需求。部分应用场景下，带宽成为制约用户体验的瓶颈。高带宽高吞吐对于提升大 数据量传输的应用性能有着至关重要的影响。为了应对大数据量传输的 应用需求，目前，百度、腾讯、阿里巴巴等互联网企业的DC 都已经全面部署100GE 网络，阿里巴巴更是规划2020 年部署400GE 网络。 图1-1 数据中心内存储的实际数据 数据来源：中国IDC 圈
计算虚拟化的发展历程 1 早期的虚拟化技术雏形 上世界60年代开始，美国的计算机学术界就开始了虚拟技术的萌芽。1959年6月在国际信息处理大会上，克里斯托弗的一篇《计算机分时应用》的论文，被认为是虚拟化技术的最早论述。 1960年美国的Atlas计算机项目，以及1965年IBM公司按照以上论述进行的一些列计算机项目试验，其中的M44/44X计算机项目，定义了虚拟内存管理机制，用户程序可以运行在虚拟的内存中，对于用户来说，这些虚拟内存就好像一个个“虚拟机”。 IBM提出的虚拟机技术，使一批新产品涌现了出来，比如：IBM360/40，IBM360/67，以及VM/370，这些机器在当时都具有虚拟机功能，通过一种叫VMM（虚拟机监控器）的技术在物理硬件之上生成了很多可以运行独立操作系统软件的虚拟机实例。 2 虚拟化技术的推广 很早以前，商业Unix厂商就在他们的企业级产品中加入了虚拟化的功能，这就是当时为什么大型主机卖得如此之火的原因了。但由于虚拟化的门槛很高，而且应用也很有限。虚拟化技术始终没有得到有力的推广。 随着x86平台上虚拟化技术的实现，首次向人们展示了虚拟化应用的广阔前景，因为x86平台可以提供便宜的、高性能和高可靠的服务器。更重要的是，一些用户已经开始配置虚拟化的生产环境，他们需要得到新的管理工具，从而随着虚拟化技术的发展而得到更大的收益。 3 计算虚拟化成为流行趋势 用户对虚拟化感兴趣的底线是希望把成本降低，这是中型企业采用虚拟化架构的驱动力。许多小型企业开始进入数年前部署的Windows 2000/2003的更新期，有两种选择：买一或两台高性能的服务器或者购买6、7台普通的服务器。前者采用虚拟化技术就能达到后者所能提供的性能和存储容量，但占用的空间更小，成本也不高。 对于大型企业，虚拟化技术更吸引人。他们的数据中心往往由数十台甚至上百台机架式服务器组成，功耗很大。然而，大量服务器的CPU被闲置着。在大量调研后得出的结论：只有15%左右的资源在被充分利用。 CPU在高速发展，但操作系统却相对滞后，应用就更不用说了。这使得用户花大量的钱买新的服务器，运行的却是老的应用。那些已经运行数年的应用可能并不需要更大容量的内存和最新的CPU，但为了保证系统的可靠和对新硬件的支持，用户别无选择。
网络功能虚拟化 ----概念、益处、推动者、挑战及行动呼吁 目标 本文是由网络运营商撰写的无版权白皮书。 本文的主要目标是概要的描述网络功能虚拟化（不同于云和软件定义网络SDN）的益处，推动者及面临的挑战，以及为什么要鼓励国际间的合作，来加速推动基于高市场占有率的行业标准服务器通信解决方案的开发和部署。 推动组织和作者 AT&T: Margaret Chiosi. BT: Don Clarke, Peter Willis, Andy Reid. CenturyLink: James Feger, Michael Bugenhagen, Waqar Khan, Michael Fargano. China Mobile: Dr. Chunfeng Cui, Dr. Hui Deng. Colt: Javier Benitez. Deutsche Telekom: Uwe Michel, Herbert Damker. KDDI: Kenichi Ogaki, Tetsuro Matsuzaki. NTT: Masaki Fukui, Katsuhiro Shimano. Orange: Dominique Delisle, Quentin Loudier, Christos Kolias. Telecom Italia: Ivano Guardini, Elena Demaria, Roberto Minerva, Antonio Manzalini. Telefonica: Diego López, Francisco Javier Ramón Salguero. Telstra: Frank Ruhl. Verizon: Prodip Sen. 发布日期 2012年10月22至24日，发布于软件定义网络（SDN）和OpenFlow世界大会, Darmstadt-德国。
社会医疗保险数据中心管理平台 技术白皮书 创智和宇
目录 1简介 (4) 1.1应用背景 (4) 1.2范围 (4) 1.3参考资料 (4) 2系统概述 (5) 2.1医疗保险数据中心管理平台概述 (5) 2.2总体结构图 (5) 2.2.1医疗保险数据中心管理平台的的总体结构 (6) 2.2.2医疗保险数据中心管理平台的逻辑结构 (6) 2.2.3医疗保险数据中心管理平台的的网络拓扑结构 (7) 2.3.1数据库内部组成 (7) 2.3.2生产库定义（地市级） (7) 2.3.3交换库定义（地市级） (7) 2.3.4决策分析库（地市级） (8) 2.3.5决策分析库（省级） (8) 2.4 医疗保险数据中心管理平台与其他系统关系 (8) 2.4.1与本公司开发的社保产品关系及实现接口 (8) 2.4.2与其它公司开发的社保产品关系及实现接口 (8) 2.4.3与全国联网软件关系 (9) 3业务逻辑的总体设计 (9) 3.1数据抽取建立交换数据库 (9) 3.2数据分析与决策 (9) 3.3数据交换服务 (10) 4系统采用的关键技术 (11) 4.1数据抽取 (11) 4.2增量更新 (11) 4.2.1增量更新实现步骤 (11) 4.2.3 历史数据变化情况记录 (12) 4.3数据展现 (12) 4.4数据传输 (12) 4.4.1数据传输涉及的三大元素及关系 (12) 4.4.2数据传输策略总体设计思路. (12) 4.4.3数据传输策略总体设计方案图 (12) 4.4.4数据传输策略实现概要. (14) 4.4.5打包数据的来源 (14) 4.4.6传输策略的维护 (14) 5系统开发平台和运行平台 (14) 5.1开发平台 (14) 5.2运行平台 (14) 6医疗保险数据中心管理平台功能介绍 (15) 6.1参保情况管理 (16)
一张图读懂工业大数据 1. 工业大数据 工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。 工业大数据的主要来源有三类： 第一类是生产经营相关业务数据。主要来自传统企业信息化范围，被收集存储在企业信息系统内部。此类数据是工业领域传统的数据资产，正在逐步扩大范围。 第二类是设备物联数据。主要指工业生产设备和目标产品在物联网运行模式下，实时产生收集的涵盖操作和运行情况、工况状态、环境参数等体现设备和产品运行状态的数据。此类数据是工业大数据新的、增长最快的来源。 第三类是外部数据。指与工业企业生产活动和产品相关的企业外部互联网来源数据。 2. 工业大数据的地位 2.1 在智能制造标准体系中的定位 工业大数据位于智能制造标准体系结构图的关键技术标准的左侧，属于智能制造标准体系五大关键技术之一。
2.2与大数据技术的关系 工业领域的数据累积到一定量级，超出了传统技术的处理能力，就需要借助大数据技术、方法来提升处理能力和效率，大数据技术为工业大数据提供了技术和管理的支撑。 首先，工业大数据可以借鉴大数据的分析流程及技术，实现工业数据采集、处理、存储、分析、可视化。其次，工业制造过程中需要高质量的工业大数据，可以借鉴大数据的治理机制对工业数据资产进行有效治理。 2.3与工业软件和工业云的关系 工业软件承载着工业大数据采集和处理的任务，是工业数据的重要产生来源，工业软件支撑实现工业大数据的系统集成和信息贯通。 工业大数据技术与工业软件结合，加强了工业软件分析与计算能力，提升场景可视化程度，实现对用户行为和市场需求的预测和判断。 工业大数据与工业云结合，可实现物理设备与虚拟网络融合的数据采集、传输、协同处理和应用集成，运用数据分析方法，结合领域知识，形成包括个性化推荐、设备健康管理、物品
华为FusionSphere 6.5.0虚拟化套件存储虚拟化技术白皮书
目录 1简介/Introduction (3) 2解决方案/Solution (4) 2.1 FusionSphere 存储虚拟化解决方案 (4) 2.1.1架构描述 (4) 2.1.2特点描述 (5) 2.2存储虚拟化的磁盘文件解决方案 (6) 2.2.1厚置备磁盘技术 (6) 2.2.2厚置备延时置零磁盘技术 (6) 2.2.3精简置备磁盘技术 (6) 2.2.4差分磁盘技术 (7) 2.3存储虚拟化的业务管理解决方案 (7) 2.3.1磁盘文件的写时重定向技术 (7) 2.3.2磁盘文件的存储热迁移 (8) 2.3.3磁盘文件高级业务 (8) 2.4存储虚拟化的数据存储扩容解决方案 (9) 2.4.1功能设计原理 (9) 2.5存储虚拟化的数据存储修复解决方案 (10) 2.5.1功能设计原理 (10)
1 简介/Introduction 存储设备的能力、接口协议等差异性很大，存储虚拟化技术可以将不同存储设备进行格式化，将各种存储资源转化为统一管理的数据存储资源，可以用来存储虚拟机磁盘、虚拟机配置信息、快照等信息。用户对存储的管理更加同质化。 虚拟机磁盘、快照等内存均以文件的形式存放在数据存储上，所有业务操作均可以转化成对文件的操作，操作更加直观、便捷。 基于存储虚拟化平台提供的众多存储业务，可以提高存储利用率，更好的可靠性、可维护性、可以带来更好的业务体验和用户价值。 华为提供基于主机的存储虚拟化功能，用户不需要再关注存储设备的类型和能力。存储虚拟化可以将存储设备进行抽象，以逻辑资源的方式呈现，统一提供全面的存储服务。可以在不同的存储形态，设备类型之间提供统一的功能。
华为F u s i o n S p h e r e6.0 云套件安全技术白皮书(云 数据中心) -标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
华为FusionSphere 云套件 安全技术白皮书（云数据中心） 文档版本 发布日期 2016-04-30 华为技术有限公司
华为FusionSphere 云套件安全技术白皮书 (云数据中心) Doc Number:OFFE00019187_PMD966ZH Revision:A 拟制/Prepared by: chenfujun ; 评审/Reviewed by: huangdenghui 00283052;zouxiaowei 00348656;pengzhao jun 00286002;youwenwei 00176512;yanzhongwei 00232184 批准/Approved by: youwenwei 00176512 2015-12-29 Huawei Technologies Co., Ltd. 华为技术有限公司 All rights reserved 版权所有侵权必究
版权所有 ?华为技术有限公司 2016。保留一切权利。 非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。 商标声明 和其他华为商标均为华为技术有限公司的商标。 本文档提及的其他所有商标或注册商标，由各自的所有人拥有。 注意 您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。除非合同另有约定，华为公司对本文档内容不做任何明示或暗示的声明或保证。 由于产品版本升级或其他原因，本文档内容会不定期进行更新。除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。 华为技术有限公司 地址：深圳市龙岗区坂田华为总部办公楼邮编：518129 网址：
华为FusionSphere 6.5.0 虚拟化套件分布式虚拟交换机技术白皮书
目录 1 分布式虚拟交换机概述 (1) 1.1 产生背景 (1) 1.2 虚拟交换现状 (2) 1.2.1 基于服务器CPU实现虚拟交换 (2) 1.2.2 物理网卡实现虚拟交换 (2) 1.2.3 交换机实现虚拟交换 (3) 2 华为方案简介 (5) 2.1 方案是什么 (5) 2.2 方案架构 (7) 2.3 方案特点 (7) 3 虚拟交换管理 (8) 3.1 主机 (8) 3.2 分布式虚拟交换机 (8) 3.3 端口组 (8) 4 虚拟交换特性 (9) 4.1 物理端口/聚合 (9) 4.2 虚拟交换 (9) 4.2.1 普通交换 (9) 4.2.2 SR-IOV直通 (10) 4.2.3 用户态交换 (10) 4.3 流量整形 (11) 4.3.1 基于端口组的流量整形 (11) 4.4 安全 (11) 4.4.1 二层网络安全策略 (11) 4.4.2 广播报文抑制 (12) 4.4.3 安全组 (12) 4.5 Trunk端口 (12) 4.6 端口管理 (13) 4.7 存储面三层互通 (13) 4.8 配置管理VLAN (13)
4.9 业务管理平面 (13) 5 虚拟交换应用场景 (14) 5.1 集中虚拟网络管理 (14) 5.2 虚拟网络流量统计功能 (14) 5.3 分布式虚拟端口组 (14) 5.4 分布式虚拟上行链路 (14) 5.5 网络隔离 (14) 5.6 网络迁移 (15) 5.7网络安全 (15) 5.8 配置管理VLAN (15) 5.9 业务管理平面 (15) 6 缩略语 (16)
互联网数据中心交换网络的设计 1 引言 互联网数据中心(internet data center，IDC)是指拥有包括高速宽带互联网接入、高性能局域网络、提供安全可靠的机房环境的设备系统、专业化管理和完善的应用级服务的服务平台。在这个平台上，IDC服务商为企业、ISP、ICP和ASP等客户提供互联网基础平台服务以及各种增值服务。 作为业务承载与分发的基础网络系统，就成为IDC平台的动脉。随着中国IDC产业不断发展和业务需求多样化，基础网络逐步发展出一套相对比较通用和开放的方案架构。 2 当前主要的IDC基础网络架构 虽然各IDC机房各有度身定制的业务需求，网络设计也有各自的关于带宽、规模、安全和投资的考虑因素，但最基本的关注点仍然集中在高可靠、高性能、高安全和可扩展性上。 2.1 通用的IDC架构 在整体设计上，层次化和模块化是IDC架构的特征，如图1，这种架构设计带来了整体网络安全和服务部署的灵活性，给上层应用系统的部署也提供了良好的支撑。 图1IDC层次化&模块化设计架构 分区结构采用模块化的设计方法，它将数据中心划分为不同的功能区域，用于部署不同的应用，使得整个数据中心的架构具备可伸缩性、灵活性和高可用性。数据中心的服务器根据用户的访问特性和核心应用功能，分成不同组，并部署在不同的区域中。由于整个数据中心的很多服务是统一提供的，例如数据备份和系统管理，因此为保持架构的统一性，避免不必要的资源浪费，功能相似的服务将统一部署在特定的功能区域内，例如与管理相关的服务器将被部署在管理区。 分区结构另一个特点是以IDC的客户群为单位进行划分，将具体客户应用集中在一个物理或逻辑范围内，便于以区域模块为单位，提供管理和其它增值服务。 层次化是将IDC具体功能分布到相应网络层、计算层和存储层，分为数据中心前端网络和后端管理等。网络本身根据不同的IDC规模，可以有接入层、汇聚层和核心层。一般情况下，数据中心网络分成标准的核心层、汇聚层和接入层三层结构。1）核心层：提供多个数据中心汇聚模块互联，并连接园区网核心；要求其具有高交换能力和突发流量适应能力；大型数据中心核心要求多汇聚模块扩展能力，中小型数据中心共用园区核心；当前以10G 接口为主，高性能的将要求4到8个10GE端口捆绑。2）汇聚层：为服务器群（server farm）提供高带宽出口；要求提供大密度GE/10GE 端口，实现接入层互联；具有较多槽位数提供增值业务模块部署。3）接入层：支持高密度千兆接入和万兆接入；接入总带宽和上行带宽存在收敛比和线速两种模式；基于机架考虑，1RU 更具灵活部署能力；支持堆叠，更具扩展能力；上行双链路冗余能力。
IDC：提出中国虚拟化技术发展路线图 2008-04-15 04:05:24 通过多年以来对中国服务器市场的跟踪研究，IDC认为虚拟化技术--尤其是基于x86服务器平台的虚拟化技术在近年来已经逐渐成为市场的热点。IDC进一步提出了中国虚拟化技术发展的路线图，并认为虚拟化技术将在目前的基础上有更深远的发展空间。 IDC中国计算机系统研究部，高级分析师周震刚观点：目前中国仍然处于虚拟化1.0时代，绿色IT将推动虚拟化进程——通过多年以来对中国服务器市场的跟踪研究，IDC认为虚拟化技术--尤其是基于x86服务器平台的虚拟化技术在近年来已经逐渐成为市场的热点。IDC进一步提出了中国虚拟化技术发展的路线图，并认为虚拟化技术将在目前的基础上有更深远的发展空间。 IDC认为，虚拟化技术的发展会经历四个阶段，在2000年左右开始兴起的服务器集中化可以被看作是虚拟化发展的准备阶段，可称作虚拟化0.5时代。而从2005年开始持续至今的虚拟化热则可以被看作虚拟化的起步阶段。在这个阶段中，企业将计算资源的动态集中和共享作为实施虚拟化的主要任务。从2007年开始，在一些信息化水平较高的国家，虚拟化技术已经发展到了一个新的阶段，这时虚拟化实施的重点已经转移到了灾备、迁移以及负载均衡上。IDC预测，在2010年左右，虚拟化将达到成熟阶段。这时的虚拟化实施，将形
成以服务为导向、成本可控、基于策略且能够实现自动控制的数据中心，IDC把这个阶段称作虚拟化3.0时代。 中国虚拟化技术发展路线图 根据IDC对虚拟化发展进程的划分和对中国相关市场的研究，周震刚指出目前中国市场仍然处于虚拟化的起步阶段，即虚拟化1.0时代。在虚拟化的普及程度上也印证了这一点。IDC在北美市场的研究表明，在大型企业中，虚拟化应用的普及程度达到了67%以上。而在中国市场的调研显示，即使在信息化水平较高的发达城市，应用虚拟化技术的大型企业仍然不超过22%。 但是，随着中国政府“节能减排”的政策出台，建设“绿色IT”成为各地企业和政府关注的重点。这将带动虚拟化技术在未来几年中
H3C大数据产品技术白皮书杭州华三通信技术有限公司 2020年4月
目录 1 H3C大数据产品介绍 (1) 1.1产品简介 (1) 1.2产品架构 (1) 1.2.1 数据处理 (2) 1.2.2 数据分层 (3) 1.3产品技术特点 (4) 先进的混合计算架构 (4) 高性价比的分布式集群 (4) 云化ETL (5) 数据分层和分级存储 (5) 数据分析挖掘 (6) 数据服务接口 (6)
可视化运维管理 (7) 1.4产品功能简介 (7) 管理平面功能： (12) 业务平面功能： (14) 2DataEngine HDP核心技术 (15) 3DataEngine MPP Cluster核心技术 (16) 3.1MPP + Shared Nothing架构 (16) 3.2核心组件 (16) 3.3高可用 (17) 3.4高性能扩展能力 (18) 3.5高性能数据加载 (18) 3.6OLAP函数 (19) 3.7行列混合存储 (19)
1H3C大数据产品介绍 1.1产品简介 H3C大数据平台采用开源社区Apache Hadoop2.0和MPP分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算存储能力。H3C大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以及可视化等全系列功能，并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统帮助用户构建海量数据处理系统，发现数据的内在价值。 1.2产品架构 H3C大数据平台包含4个部分： 第一部分是运维管理，包括：安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。 第二部分是数据ETL，即获取、转换、加载，包括：关系数据库连接Sqoop、日志采集Flume、ETL工具 Kettle。
华为FusionSphere 6.5.0 虚拟化套件技术白皮书 pg. i
1 摘要 云计算并不是一种新的技术，而是在一个新理念的驱动下产生的技术组合。这个理念就是—敏捷IT。在云计算之前，企业部署一套服务，需要经历组网规划，容量规划，设备选型，下单，付款，发货，运输，安装，部署，调试的整个完整过程。这个周期在大型项目中需要以周甚至月来计算。在引入云计算后，这整个周期缩短到以分钟来计算。 IT业有一条摩尔定律，芯片速度容量每18个月提升一倍。同时，IT行业还有一条反摩尔定律，所有无法追随摩尔定律的厂家将被淘汰。IT行业是快鱼吃慢鱼的行业，使用云计算可以提升IT设施供给效率，不使用则会拖慢产品或服务的扩张脚步，一步慢步步慢。 云计算当然还会带来别的好处，比如提升复用率缩减成本，降低能源消耗，缩减维护人力成本等方面的优势，但在反摩尔定律面前，已经显得不是那么重要。 业界关于云计算技术的定义，是通过虚拟化技术，将不同的基础设施标准化为相同的业务部件，然后利用这些业务部件，依据用户需求自动化组合来满足各种个性化的诉求。云着重于虚拟化，标准化，和自动化。 FusionSphere是一款成熟的Iaas层的云计算解决方案，除满足上面所述的虚拟化，标准化和自动化诉求外，秉承华为公司二十几年电信化产品的优秀基因，向您提供开放，安全可靠的产品。 本文档向您讲述华为FusionSphere解决方案中所用到的相关技术，通过阅读本文档，您能够了解到： ?云的虚拟化，标准化，自动化这些关键衡量标准是如何在FusionSphere解决方案中体现的； ?FusionSphere解决方案是如何做到开放，安全可靠的；
数据中心空调系统节能技术白皮书目录 1. 自然冷却节能应用 3 概述 3 直接自然冷却 3 中国一些城市可用于直接自然冷却的气候数据: 8间接自然冷却 8 中国一些城市可用于间接自然冷却的气候数据: 16 2. 机房空调节能设计 17 动态部件 17 压缩机 17 风机 18 节流部件 19 加湿器 19 结构设计 21 冷冻水下送风机组超大面积盘管设计 21 DX型下送风机组高效后背板设计 22 控制节能 22
主备智能管理 22 EC风机转速控制 23 压差控制管理 23 冷水机组节能控制管理 26 1.自然冷却节能应用 概述 随着数据中心规模的不断扩大，服务器热密度的不断增大，数据中心的能耗在能源消耗中所占的比例不断增加。制冷系统在数据中心的能耗高达40%，而制冷系统中压缩机能耗的比例高达50%。因此将自然冷却技术引入到数据中心应用，可大幅降低制冷能耗。 自然冷却技术根据应用冷源的方式有可以分为直接自然冷却和间接自然冷却。直接自然冷却又称为新风自然冷却，直接利用室外低温冷风，作为冷源，引入室内，为数据中心提供免费的冷量；间接自然冷却，利用水（乙二醇水溶液）为媒介，用水泵作为动力，利用水的循环，将数据中心的热量带出到室外侧。 自然冷却技术科根据数据中心规模、所在地理位置、气候条件、周围环境、建筑结构等选择自然冷却方式。 直接自然冷却 直接自然冷却系统根据风箱的结构，一般可分为简易新风自然冷却新风系统和新风自然冷却系统。 简易新风直接自然冷却系统主要由普通下送风室内机组和新风自然冷却节能风帽模块组成。节能风帽配置有外部空气过滤器，过滤器上应装配有压差开关，并可以传递信号至控制器，当过滤器发生阻塞时，开关会提示过滤器报警。该节能风帽应具备新风阀及回风阀，可比例调节风阀开度，调节新风比例。 该系统根据检测到的室外温度、室内温度以及系统设定等控制自然冷却的启动与停止。
桌面虚拟化技术发展分析-标准化文件发布号：（9456-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
桌面虚拟化技术（VDI）发展分析
目录 1.1 桌面虚拟化现状与发展 (3) 1.1.1 虚拟桌面简介 (3) 1.1.2 虚拟化技术 (4) 1.1.3 虚拟桌面/应用的优势 (19) 1.1.4 常用三维虚拟桌面平台分析 (20) 1.1.5 虚拟桌面需求分析 (23) 1.1.6 桌面虚拟化安全需求分析 (26)
1.1桌面虚拟化现状与发展 1.1.1虚拟桌面简介 桌面虚拟化“Desktop Virtualization (或者成为虚拟桌面架构“Virtual Desktop Infrastructure”) 是一种基于服务器的计算模型，VDI概念最早由桌面虚拟化厂商VMware提出，目前已经成为标准的技术术语。虽然借用了传统的瘦客户端的模型，但是让管理员与用户能够同时获得两种方式的优点：将所有桌面虚拟机在数据中心进行托管并统一管理；同时用户能够获得完整PC的使用体验。 在后端，虚拟化桌面通常通过以下两种方式之一来实现： 运行若干Windows虚拟机的Hypervisor，每个用户以一对一的方式连接到他们的VM （虚拟机）。 安装Windows系统的服务器，每个用户以一对一的方式连接到服务器。（这种方法有时被称作bladed PC（刀片PC）） 无论何种方式，都是让终端用户使用他们想使用的任何设备。他们可以从任何地方连接到他们的桌面，IT人员可以更易于管理桌面，数据更安全，因为它位于数据中心之内。 VDI方式最有趣的是，虽然这些技术是新兴的，但把桌面作为一种服务来提供的概念在十多年前就已经被提出了。与传统的基于服务器计算的解决方案最主要的区别是，基于服务器计算的解决方案在于为Windows的共享实例提供个性化的桌面，而VDI的解决方案是为每个用户提供他们自己的Windows桌面机器。 能提供虚拟桌面的厂商有国外的VMware，Citrix和微软Hyper-v，的自己研制的Cloudview，集成了虚拟桌面和云计算的功能，包括对外提供云桌面、云应用和云服务等。 将桌面操作系统虚拟化带来很多好处，包括： ●数据更安全，通过策略配置，用户无法将机密数据保存在本地设备上，只能在数据 中心进行存储，备份，保证数据的安全性和可用性； ●提高网络安全，由于只使用需要开放有限几个端口，所以可以实现网络的逻辑隔离 和严格控制，在不影响应用的前提下，全面提升网络安全性； ●用户可以随时随地，通过网络，访问到被授权的桌面与应用； ●终端设备支持更广泛，可以通过PC，瘦客户端、甚至是手机来访问传统PC上才
华为FusionSphere 虚拟化套件安全技术白皮书
目录 1虚拟化平台安全威胁分析 (1) 1.1概述 (1) 1.2云安全威胁分析 (1) 1.2.1传统的安全威胁 (1) 1.2.2云计算带来的新的安全威胁 (3) 1.3云计算的安全价值 (4) 2 FusionSphere安全方案 (6) 2.1 FusionSphere总体安全框架 (6) 2.2网络安全 (7) 2.2.1网络平面隔离 (7) 2.2.2 VLAN隔离 (8) 2.2.3防IP及MAC仿冒 (9) 2.2.4端口访问限制 (9) 2.3虚拟化安全 (10) 2.3.1 vCPU调度隔离安全 (10) 2.3.2内存隔离 (11) 2.3.3内部网络隔离 (11) 2.3.4磁盘I/O隔离 (11) 2.4数据安全 (11) 2.4.1 数据加密 (11) 2.4.2用户数据隔离 (12) 2.4.3数据访问控制 (12) 2.4.4剩余信息保护 (12) 2.4.5数据备份 (13)
2.4.6软件包完整性保护 (14) 2.5运维管理安全 (14) 2.5.1管理员分权管理 (14) 2.5.2账号密码管理 (14) 2.5.3日志管理 (14) 2.5.4传输加密 (15) 2.5.5数据库备份 (15) 2.6基础设施安全 (15) 2.6.1操作系统加固 (16) 2.6.2 Web安全 (16) 2.6.3数据库加固 (17) 2.6.4 Web容器加固 (17) 2.6.5安全补丁 (17) 2.6.6防病毒 (18)
1 虚拟化平台安全威胁分析 1.1 概述 云计算虚拟化平台作为一种新的计算资源提供方式，用户在享受它带来的便利性、低 成本等优越性的同时，也对其自身的安全性也存在疑虑。如何保障用户数据和资源的 机密性、完整性和可用性成为云计算系统急需解决的课题。本文在分析云计算带来的 安全风险和威胁基础上，介绍了华为云计算虚拟化平台针对这些风险和威胁所采取策 略和措施，旨在为客户提供安全可信的服务器虚拟化解决方案。 1.2 云安全威胁分析 1.2.1 传统的安全威胁 来自外部网络的安全威胁的主要表现 ?传统的网络IP攻击 如端口扫描、IP地址欺骗、Land攻击、IP选项攻击、IP路由攻击、IP分片报 文攻击、泪滴攻击等。 ?操作系统与软件的漏洞 在计算机软件（包括来自第三方的软件，商业的和免费的软件）中已经发现了 不计其数能够削弱安全性的缺陷（bug）。黑客利用编程中的细微错误或者上下 文依赖关系，已经能够控制操作系统，让它做任何他们想让它做的事情。常见 的操作系统与软件的漏洞有：缓冲区溢出、滥用特权操作、下载未经完整性检 查的代码等。 ?病毒、木马、蠕虫等。 ?SQL注入攻击
各种虚拟化技术总结 《各种虚拟化技术总结》是一篇好的范文，好的范文应该跟大家分享，这 里给大家转摘到。篇一：主流的四大虚拟化架构对比分析 主流四大虚拟化架构对比分析 云计算平台需要有资源池为其提供能力输出，这种能力包括计算能力、存 储能力和网络能力，为了将这些能力调度到其所需要的地方，云计算平台还需要对能力进行调度管理，这些能力均是由虚拟化资源池提供的。 云计算离不开底层的虚拟化技术支持。维基百科列举的虚拟化技术有超过 60种，基于X86(CISC)体系的超过50种，也有基于RISC体系的，其中有 4 种虚拟化技术是当前最为成熟而且应用最为广泛的，分别是：VMWARE的ESX、微软的Hyper-V、开源的XEN和KVM。云计算平台选用何种虚拟化技术将是云计算建设所要面临的问题，文章就4种主流虚拟化技术的架构层面进行了对比分析。 形成资源池计算能力的物理设备，可能有两种，一种是基于RISC的大小型机，另一种是基于CISC的 X86服务器。大小型机通常意味着高性能、高可靠性 和高价格，而X86服务器与之相比有些差距，但随着Inter和AMD等处理器厂商技术的不断发展，原本只在小型机上才有的技术已经出现在了X86处理器上，如64位技术、虚拟化技术、多核心技术等等，使得X86服务器在性能上突飞猛进。通过TPC组织在20XX年3月份所公布的单机计算机性能排名中可以看出，4路32核的X86服务器性能已经位列前10名思想汇报专题，更重要的是X86服务器的性价比相对小型机有约5倍的优势。因此，选择X86服务器作为云计算资源池，更能凸显出云计算的低成本优势。 由于单机计算机的处理能力越来越大，以单机资源为调度单位的颗粒度就 太大了，因此需要有一种技术让资源的调度颗粒更细小，使资源得到更有效和充分
虚拟实验室 技术白皮书 上海庚商网络信息技术有限公司 2015年9月
目录 1 产品概述 (3) 1.1 云教育基础架构分类 (5) 1.1.1 服务器虚拟化 (5) 1.1.2 桌面虚拟化 (6) 1.2 教育虚拟技术应用分类 (7) 1.1.1 模拟 (7) 1.1.2 仿真 (8) 1.1.3 虚拟现实 (8) 1.1.4 增强现实 (9) 1.1.5 远程实验 (9) 2 总体设计 (13) 2.1 系统架构 (13) 2.2 系统说明 (13) 3 系统功能 (17) 3.1开放管理 (17) 3.2知识地图 (18) 3.3二维码 (20) 3.4微课与实验支架 (21) 3.5虚拟实验 (22) 3.6 可视化环境监控 (23) 3.7 电流检测 (23) 3.8 科研协同 (24) 3.9 云桌面 (26) 4 预算清单 (28)
1 产品概述 随着计算机技术和网络技术的迅速发展，以及科学研究进一步深入的需要，虚拟仿真实验技术日渐成熟和完善，虚拟实验作为继理论研究和实验研究之后的第三种科学研究方法，对社会发展和科技进步起到了越来越重要的作用，代表着科学研究方法的重要发展方向。 虚拟实验是指以计算机为控制中心，利用软件技术，构建系统的逻辑结构模型，基于模块化和层次化的设计思想，采用软硬件相结合的方式，协调相关硬件和效应设备，形成虚拟实验系统，并利用网络技术，实现虚拟实验系统的网络化，形成运行在个人计算机上、实现自行设计与开发，以及远程控制与协作的实验方式。
庚商虚拟实验室作为实验资源综合服务平台，不同于传统的虚拟平台，割裂实体资源与在线资源的联系，而是面向最终实践教学、科研与管理活动，对数据与应用资源的整合与开发，是实体资源的延伸与增强。同时，通过对实践教学、科研等核心活动数据的采集，为管理活动提供第一手的信息，有效辅助管理决策。系统建设目标如下： 1）提供良好实验平台，提高实验教学水平 传统教学中，理论教学与实验教学是分开的。理论课上没有实验，建设虚拟实验室，借助虚拟仿真实验，就可以将实验带进理论课。 2）整合实验教学资源，实现实验室的真正开放 虚拟实验室可以提供开放式实验环境，真正实现实验室向学生开放。学生可以打破时间和地域的限制完成相关的教学实验。由于虚拟仪器系统的支持，学生可以自拟、自选实验题目，自行组织实验，使用现成的仪器为开发自己的仪器进行实验，摒弃传统的灌输式教学方式，让学生自主参与到教学中来，最大限度地发挥学生的主动性和创造性。
2008年9月，红帽收购了一家名叫Qumranet的以色列小公司，由此入手了一个叫做KVM的虚拟化技术（KVM，全称Kernel-based Virtual Machine，意为基于内核的虚拟机）。当时的虚拟化市场上主要以VMware为主，而KVM只是在Ubuntu 等非商用发行版上获得了一些关注。 2009年9月，红帽发布其企业级Linux的5.4版本（RHEL 5.4），在原先的Xen 虚拟化机制之上，将KVM添加了进来。 2010年11月，红帽发布其企业级Linux的6.0版本（RHEL 6.0），这个版本将默认安装的Xen虚拟化机制彻底去除，仅提供KVM虚拟化机制。 2011年初，红帽的老搭档IBM找上红帽，表示KVM这个东西值得加大力度去做。于是到了5月，IBM和红帽，联合惠普和英特尔一起，成立了开放虚拟化联盟（O pen Virtualization Alliance），一起声明要提升KVM的形象，加速KVM投入市场的速度，由此避免VMware一家独大的情况出现。联盟成立之时，红帽的发言人表示，“大家都希望除VMware之外还有一种开源选择。未来的云基础设施一定会基于开源。……我们想要营造一个小厂商们可以轻松加入的生态环境。” 于是，开放虚拟化联盟红红火火的成立了。从5月到8月这短短3个月间，开放虚拟化联盟的成员已经增加到将近300个，联盟发展的速度十分可观。IBM现在全线硬件都对红帽Linux和KVM进行了大量的优化，有60多名开发者专门开发KVM 相关的代码。 原本采用Xen技术的红帽，为什么会想要再去搞一个KVM？而在虚拟化方面一直以来和Vmware、思杰、微软都有着紧密合作的IBM，为什么会对红帽的KVM展现出这样大的兴趣？这一切，还需要从整个虚拟化，乃至云计算市场的发展说起…… 虚拟化发展简史 虚拟化技术最早出现在大型机时代。上世纪60年代，IBM开始在其CP-40大型机系统中尝试虚拟化的实现，后来在System/360-67中采用，并衍生出VM/CMS到后来的z/VM等产品线。大型机上的虚拟化技术在之后20多年的发展中愈发成熟，但随着小型机以及x86的流行，大型机在新兴的服务器市场中已经失去了影响力。 由于处理器架构的不同，在大型机上已经成熟的虚拟化技术却并不能为小型机及 x86所用。直到2001年，VMware发布了第一个针对x86服务器的虚拟化产品。之后的几年间，英国剑桥大学的一位讲师发布了同样针对x86虚拟化的开源虚拟化项目Xen，并成立XenSource公司；惠普发布了针对HP-UX的Integrity虚拟机；Sun跟Solaris 10一同发布了同时支持x86/x64和SPARC架构的Solaris Zone；而
深信服服务器虚拟化产品技术白皮书 深信服科技
声明 市深信服电子科技所有，并保留对本文档及本声明的最终解释权和修改权。 本文档中出现的任何文字叙述、文档格式、插图、照片、方法、过程等容，除另有特别注明外，其著作权或其它相关权利均属于市深信服电子科技。未经市深信服电子科技书面同意，任何人不得以任何方式或形式对本文档的任何部分进行复制、摘录、备份、修改、传播、翻译成其他语言、将其全部或部分用于商业用途。 免责条款 本文档仅用于为最终用户提供信息，其容如有更改，恕不另行通知。 市深信服电子科技在编写本文档的时候已尽最大努力保证其容准确可靠，但市深信服电子科技不对本文档中的遗漏、不准确、或错误导致的损失和损害承担责任。 信息反馈 如果您有任何宝贵意见，请反馈： 信箱：省市学苑大道1001号南山智园A1栋邮编：518055 电话：09 传真：09 您也可以访问深信服科技：https://www.doczj.com/doc/9e10854107.html,获得最新技术和产品信息
缩写和约定 英文缩写英文全称中文解释 Hypervisor Hypervisor 虚拟机管理器（和VMM同 义） VMM VMM Virtual Machine Manager 虚拟机监视器 HA HighAvailability 高可用性 vMotion vMotion 实时迁移 DRS Distributed Resource Scheduler 分布式资源调度程序 FC Fibre Channel 光纤通道 HBA Host Bus Adapter 主机总线适配器 RAID Redundant Arrays of Independent Disks 磁盘阵列 IOPS Input/Output Operations Per Second 每秒读写（I/O）操作的次数VM Virtual Machine 虚拟机 LUN Logical Unit Number 逻辑单元号
数据中心空调系统节能技术白皮书 数据中心空调系统节能技术白皮书
目录 1.自然冷却节能应用 (3) 1.1概述 (3) 1.2直接自然冷却 (3) 1.2.1简易新风自然冷却系统 (3) 1.2.2新风直接自然冷却 (5) 1.2.3 中国一些城市可用于直接自然冷却的气候数据: (8) 1.3间接自然冷却 (8) 1.3.1间接自然冷却型机房精密空调解决方案 (8) 1.3.2风冷冷水机组间接自然冷却解决方案 (12) 1.3.3水冷冷水机组间接自然冷却解决方案 (15) 1.3.4 中国一些城市可用于间接自然冷却的气候数据: (16) 2.机房空调节能设计 (17) 2.1动态部件 (17) 2.1.1压缩机 (17) 2.1.2风机 (18) 2.1.3节流部件 (19) 2.1.4加湿器 (19) 2.2结构设计 (21) 2.2.1冷冻水下送风机组超大面积盘管设计 (21) 2.2.2DX型下送风机组高效后背板设计 (22) 2.3控制节能 (22) 2.3.1主备智能管理 (22) 2.3.2EC风机转速控制 (23) 2.3.3压差控制管理 (23) 2.3.4冷水机组节能控制管理 (26)
1.自然冷却节能应用 自然冷却节能应用 概述 1.1概述 随着数据中心规模的不断扩大，服务器热密度的不断增大，数据中心的能耗在能源消耗中所占的比例不断增加。制冷系统在数据中心的能耗高达40%，而制冷系统中压缩机能耗的比例高达50%。因此将自然冷却技术引入到数据中心应用，可大幅降低制冷能耗。 自然冷却技术根据应用冷源的方式有可以分为直接自然冷却和间接自然冷却。直接自然冷却又称为新风自然冷却，直接利用室外低温冷风，作为冷源，引入室内，为数据中心提供免费的冷量；间接自然冷却，利用水（乙二醇水溶液）为媒介，用水泵作为动力，利用水的循环，将数据中心的热量带出到室外侧。 自然冷却技术科根据数据中心规模、所在地理位置、气候条件、周围环境、建筑结构等选择自然冷却方式。 直接自然冷却 1.2直接自然冷却 直接自然冷却系统根据风箱的结构，一般可分为简易新风自然冷却新风系统和新风自然冷却系统。 简易新风自然冷却系统 1.2.1简易新风自然冷却系统 1.2.1.1简易新风自然冷却系统原理 简易新风自然冷却系统原理 简易新风直接自然冷却系统主要由普通下送风室内机组和新风自然冷却节能风帽模块组成。节能风帽配置有外部空气过滤器，过滤器上应装配有压差开关，并可以传递信号至控制器，当过滤器发生阻塞时，开关会提示过滤器报警。该节能风帽应具备新风阀及回风阀，可比例调节风阀开度，调节新风比例。