下载文档原格式
在云计算的领域离不开存储，那么云计算使用的存储包括三种类型：虚拟化的存储（虚拟化存储、非虚拟化存储、裸设备映射，一般用于虚拟化场景）和分布式存储（存储池和存储卷，一般用于私有云场景和虚拟化场景）、集中式传统存储（FC-SANIP-SANNAS，一般用于虚拟化和私有场景）。
虚拟化存储架构:虚拟磁盘：由存储池提供给虚拟机使用的磁盘，后缀名为VHD。
虚拟化存储：由SAN和NAS提供的存储空间，需要添加一层文件系统（VIMS）屏蔽底层差异，性能较差。
支持更多的虚拟化特性如迁移、快照等等。
有文件系统。
非虚拟化存储：由分布式存储提供的存储空间，没有添加文件系统，性能较好，无法支持一些高级虚拟化特性。
没有文件系统。
虚拟化存储和非虚拟化存储都是两种不同类型的数据存储，都可以给虚拟机使用。
区别：1、底层提供者不一样。
2、性能不一样。
3、特性不一样。
4、文件系统不一样。
总结：虚拟化存储：在存储空间上添加了一层文件系统，支持高级特性如迁移。
但是性能差。
非虚拟化存储：在存储空间上没有一层文件系统，无法支持高级特性如迁移，但是性能好。
集中式存储讲磁盘组成磁盘阵列，完成集中式的存储，并通过映射给主机使用。
1、通过奇偶校验算法（XOR）的方式保存数据，相同为0，不同为1。
2、RAID分类RAID0：读取数据快，但是没有数据保护机制。
RAID1：2块磁盘组成一个RAID组，性能一般，安全性较高，磁盘利用率不高。
RAID3：使用单独的磁盘做校验，磁盘利用率较高，读数据性能高，写时会产生抢占。
ARID5：将校验值放入整个阵列中，缓解了抢占问题。
读写性能一般。
至少要3块磁盘。
RAID10：组合RAID，性能提升较快。
RAID50：组合RAID，提供了存储的利用率。
磁盘阵列主要采用RAID技术来保护数据，还可以提供并行读写。
热备盘技术：将快要损坏的磁盘上的数据移动到热备盘进行数据保护。
传统存储网络类型：1、SAN存储区域网络：利用磁盘阵列、网络设备组成专业化的存储网络。
华为虚拟化技术方案设计引言：虚拟化技术是以软件的方式实现硬件资源的虚拟化，使得多个虚拟机实例可以在同一台物理服务器上运行。
虚拟化技术可以提高硬件资源的利用率、降低运维成本，并且增加业务的灵活性和可扩展性。
华为作为一家全球领先的通信技术解决方案供应商，通过自己的技术实力和经验，为客户提供创新的虚拟化技术方案，帮助客户实现数字化转型。
方案设计：1.虚拟化平台选择：华为可以提供多个虚拟化平台选择，以满足不同客户的需求。
其中主要包括华为FusionSphere和华为CloudEngine。
- FusionSphere是华为自主研发的基于开源虚拟化技术的云平台，可以提供高性能、高可靠性、高可用性的虚拟化环境。
FusionSphere支持KVM、Xen和VMware等多种虚拟化技术，能够在不同的硬件架构上实现虚拟化。
- CloudEngine是华为提供的云操作系统平台，可以帮助企业快速构建私有云、混合云和公共云。
CloudEngine提供了虚拟化管理、网络管理和安全管理等功能，可以有效地管理虚拟化环境。
2.虚拟化存储技术：华为提供了多种虚拟化存储技术，以满足不同客户的需求。
- FusionStorage是华为自主研发的分布式存储系统，可以提供高性能、高可靠性的存储服务，支持多种协议和多种存储介质，能够满足不同应用场景的需求。
- FusionCube是华为提供的一体化存储服务器，集合了计算、存储和网络资源，可以实现高效的虚拟化存储。
3.虚拟化网络技术：华为提供了多种虚拟化网络技术，可以实现虚拟机之间的网络互通，提供安全、可靠的网络连接。
-SDN技术：华为提供了SDN控制器，并与虚拟化平台集成，可以实现虚拟网络的自动化管理和灵活配置。
-VxLAN技术：VxLAN是一种虚拟化扩展局域网技术，可以将虚拟机的数据包封装在扩展的IP包中进行传输，提供更大的网络隔离和更高的可扩展性。
4.虚拟化管理工具：华为提供了一系列虚拟化管理工具，可以帮助企业有效地管理和监控虚拟化环境。
华为FusionStorage配置手册目录1 概述 (1)1.1 目的 (1)1.2 FusionStorage产品简介 (1)2 FusionStorage销售形态 (2)2.1 销售版本 (2)2.2 销售版本升级 (3)2.3 扩容 (3)2.4 SA&S (4)2.5 “软件订阅”配置原则 (4)2.6 发布版本升级 (5)2.7 发布版本差异 (5)2.8 SBOM清单 (6)2.9 扩容升级操作顺序 (7)3 FusionStorage软件配置规格 (8)3.1 FusionStorage逻辑架构 (8)3.2 FusionStorageManager配置规格 (9)3.3 计算和存储节点配置规格 (9)3.4 MDC配置原则 (11)3.5 配置约束条件 (12)3.6 软件编码和License配置原则 (13)3.6.1 永久license+SA&S方式 (13)3.6.2 订阅方式： (16)3.7 附录-成套配置原则 (17)4 FusionStorage硬件配置指导 (18)4.1 服务器硬件部件选型 (18)4.2 FusionStorage ServerSAN (19)4.2.1 自定义配置部署 (19)4.2.2 FusionStorage Node (22)4.3 服务器虚拟化 (24)4.3.1 Fusionsphere + FusionStorage (24)4.3.1.1 融合部署方式： (25)4.3.1.2 分离部署方式： (28)4.3.2 VMware + FusionStorage (32)4.3.2.3 融合部署 (32)4.3.2.4 分离部署 (33)4.4 其它场景 (33)5 配置详细计算过程 (34)5.1 FusionStorage有效容量计算 (34)1 概述1.1 目的本文档用于介绍FusionStorage 产品的组成，配置约束以及系统资源开销，硬件配置指导等，便于指导开发配置报价器以及市场项目的配置报价。
分布式存储系统简介从以下三个⽅⾯对分布式存储系统进⾏简单介绍：1.⾸先，什么是分布式存储系统呢？简单的说，就是将⽂件存储到多个服务器中。
2.其次，为什么需要分布式存储系统？因为单机存储资源和计算资源已经不能满⾜⽤户的需求。
3.最后，如何实现⼀个分布式存储系统或者说实现⼀个分布式存储系统需要做哪些⼯作？（1）既然是将⽂件存储到多个服务器中那就需要确定将⽂件具体存储到哪些服务器⾥，两种⽅式，⼀种是通过控制服务器，由这个控制服务器负责统⼀调度，客户端请求存储⼀个⽂件时，⾸先与控制服务器交互，控制服务器返回需要保存到服务器的地址，读取⽂件时也需要与控制服务器交互，获取存储位置信息，其中HDFS、GFS等分布式存储使⽤此种技术，namenode就类似于控制服务器⾓⾊。
另外⼀个⽅式是，不需要控制服务器，客户端⾃⼰计算需要存储到哪⾥，最简单的⽅式是直接取hash，⽐如有8台存储服务器，只需要把⽂件内容或者⽂件名取hash模8即可计算出应该存储到哪台存储服务器。
但有个问题是，当服务器数量增减时，hash就失效了，⼏乎需要重排迁移所有数据，根本没有办法实现⽔平扩展，这在分布式系统中是⽆法忍受的。
为了避免出现这种情况，引⼊了⼀致性hash算法，⼜称为环哈希，其中OpenStack Swift、华为FusionStorage就是使⽤的该⽅法。
除了环hash，当然还有其他的类hash算法，⽐如CRUSH算法，其中开源分布式存储系统Ceph就是使⽤的该⽅法。
需要注意的是虽然基于hash的⽂件分布映射⽅法不需要控制节点计算需要存储的位置，但仍然需要控制服务器保存⼀些集群元数据，⽐如集群的成员信息、映射规则、监控等等，如Ceph的mon服务。
（2）但是，如果只有⼀个控制服务，则存在单点故障，挂掉了就会导致服务不可⽤。
为了避免单点故障，具备⾼可⽤特点，必然需要同时启动多个控制服务，有多个控制服务就必须区分谁是leader，谁是slave，因此需要分布式⼀致性来协调选主，可以基于现有的分布式协调系统实现，如Zookeeper、Etcd服务等，也可以直接基于Paxos、Raft算法实现。
华为FusionStorage技术白皮书1 执行摘要/Executive Summary本文从存储技术的发展趋势为切入点，结合用户需求，从高性能、高可靠、高扩展、易管理、兼容性等方面详细介绍了华为公司FusionStorage产品的功能及特点，旨在突出FusionStorage 产品独有的亮点、应用场景以及为客户带来的价值。
2 简介/Introduction虚拟化与云计算技术正在引领IT技术的发展方向，越来越多的企业采用虚拟化与云计算技术来构建新一代IT系统，以提升IT系统的资源利用率，并在保证服务级别水平的前提下降低成本；同时帮助业务更加具有敏捷性，加速新业务的上线时间。
然而，虚拟化与云计算技术的广泛应用也给后端的存储系统提出更加严峻的挑战。
如：需要存储系统能够承载更多的业务、更高的性能与可靠性、更好的扩展性、保证关键业务服务级别水平并降低成本等。
华为分布式存储软件FusionStorage采用创新的分布式软件架构，以高性能、高可靠、高扩展为其设计理念，充分满足企业未来业务需求，帮助其IT系统转型以更快更好地应对日益激烈的竞争环境，实现与客户的共同成长。
3 解决方案/Solution随着企业面临的竞争环境越来越激烈、新业务上线时间要求越来越短，其IT系统需要从传统的成本中心转变为提升企业竞争力的利器，帮助企业提升竞争力并实现商业成功。
作为存放企业数据资产的存储系统，不但要满足业务所需要的高性能、高可靠等基本诉求，更要满足未来业务的发展、提升业务的敏捷性，帮助业务更快更好地适应竞争环境的需要。
从IT业界发展来看，以下技术趋势正在影响存储行业的发展：l 虚拟化技术的广泛应用虚拟机技术给服务器带来更高的利用率、给业务带来更便捷的部署，降低了TCO，因而在众多行业得到了广泛的应用。
与此同时，虚拟机应用给存储带来以下挑战：第一，相比传统的物理服务器方式，单个存储系统承载了更多的业务，存储系统需要更强劲的性能来支撑；第二，采用共享存储方式部署虚拟机，单个卷上可能承载几十或上百的虚拟机，导致卷IO呈现更多的随机特征，这对传统的Cache技术提出挑战；第三，单个卷承载多个虚拟机业务，要求存储系统具备协调虚拟机访问竞争，保证对QoS要求高的虚拟机获取到资源实现性能目标；第四，单个卷上承载较多的虚拟机，需要卷具有很高的IO性能，这对传统受限于固定硬盘的RAID技术提出挑战；第五，虚拟机的广泛使用，需要更加高效的技术来提高虚拟机的部署效率，加快新业务的上线时间。
FusionStorage 技术白皮书FusionStorage 8.0 技术白皮书目录目录1概述 (1)2产品价值 (2)2.1分布式存储，随需而用 (2)2.2以弹性高效满足关键业务数据存储需求 (3)2.3丰富的企业级特性，助您构建高可用数据中心 (3)2.4开放兼容，下一代云基础设施的理想选择 (3)2.5智能数据服务与系统运维管理 (3)3产品架构 (5)3.1相关概念 (5)3.2软件架构 (6)3.3硬件架构 (7)3.4网络架构 (8)3.4.1以太网组网方案 (8)3.4.1.1部署方式 (8)3.4.1.2计算和存储分离部署 (8)3.4.1.3计算和存储融合部署 (11)3.4.2InfiniBand 组网方案 (13)3.4.2.1部署方式 (13)3.4.2.2计算和存储分离部署 (13)3.4.2.3计算和存储融合部署 (15)3.4.3RoCE 组网方案 (17)3.4.3.1部署方式 (17)3.4.3.2计算和存储分离部署 (17)3.4.3.3计算和存储融合部署 (19)3.5关键服务流程 (21)3.5.1组件描述 (21)3.5.2访问协议 (22)3.5.3数据路由 (23)3.5.4读IO 流程 (24)3.5.5写IO 流程 (24)4块存储特性 (26)4.1精简配置 (26)4.2重删压缩 (26)4.3多资源池 (28)4.4数据加密 (29)4.5QoS (30)4.6 快照 (32)4.7 克隆 (34)4.8异步复制 (34)4.9AA 双活 (35)5弹性扩展 (37)5.1DHT 算法 (37)5.2平滑扩容 (39)5.3性能扩展 (40)6高性能 (42)6.1分布式存储优化算法 (42)6.1.1动态智能分区和静态选盘算法 (42)6.1.2快速编码快速重构的弹性EC 算法 (43)6.2分布式SSD Cache 加速 (45)6.2.1Write Cache (46)6.2.2Read Cache (47)6.2.3大IO Pass Through (48)6.2.4动态Cache 调整 (49)7安全性 (50)7.1安全框架 (50)7.2设备安全 (51)7.3网络安全 (51)7.4业务安全 (52)7.5管理安全 (52)8可靠性 (53)8.1硬件可靠性 (53)8.2软件可靠性 (54)8.2.1节点冗余设计 (54)8.2.2网络链路聚合 (54)8.2.3亚健康管理 (55)8.2.3.1硬盘亚健康管理 (55)8.2.3.2网络亚健康管理 (56)8.2.3.3服务亚健康管理 (56)8.2.3.4快速换路重试 (56)8.3数据可靠性 (56)8.3.1数据保护 (56)8.3.1.1多副本 (57)8.3.1.2纠删码 (57)8.3.1.3多故障域 (58)8.3.1.4掉电保护 (59)8.3.1.5快速数据重建 (59)8.3.2数据一致性 (60)8.3.2.1强一致性复制协议 (60)8.3.2.2读修复技术 (60)8.3.2.3数据完整性保护 (60)8.4解决方案可靠性 (61)8.4.1本地数据保护 (61)8.4.2业务连续性保护 (62)8.4.2.1AA 双活 (62)8.4.2.2异步复制 (62)9开放兼容性 (64)9.1存储协议兼容性 (64)9.2虚拟化平台兼容性 (64)9.3云管平台兼容性 (65)9.3.1OpenStack 云管平台 (65)9.3.2非OpenStack 云管平台 (65)9.4综合网管平台兼容性 (65)9.5软件兼容性 (66)9.5.1操作系统兼容性 (66)9.5.2数据库软件兼容性 (66)9.5.3大数据应用兼容性 (66)9.6硬件兼容性 (66)9.6.1服务器硬件 (66)9.6.2存储介质兼容性 (67)9.6.3IO 板卡兼容性 (67)10存储永新 (68)10.1存储服务更新 (68)10.2系统滚动升级 (69)10.3新硬件替换 (69)10.3.1老平台纳管 (69)10.3.2新硬件加入 (70)11存储管理 (71)11.1块存储服务 (71)11.2块存储集群管理 (72)11.3eSight 数据中心级管理 (72)11.4eService 云化管理 (73)11.5SmartKit 智能巡检 (73)12缩略语 (74)1 概述随着数据不断增长以及互联网业务的兴起，新兴应用对存储需求的快速变化以及不确定性成为主要挑战，在金融行业，银行要抓住互联网、特别是移动互联网金融崛起带来的机遇，同时也不得不迎接由此带来的挑战：新业务天级甚至小时级上线；更精准的用户需求分析等。
以弹性高效满足关键业务数据存储需求FusionStorage 将HDD 、SSD 等存储介质通过分布式技术组织成大规模存储资源池，为上层应用和客户端提供工业界标准接口，消除传统数据中心烟囱式存储系统构建导致的硬件资源利用不均问题，实现存储资源的按需服务能力。
支持初始小规模部署，横向扩展至数千节点的大规模存储集群，提供性能容量的线性增长能力。
FusionStorage 采用独有的FlashLink®性能加速技术，通过智能分条聚合、I/O 优先级智能调度、智能Cache 算法、智能数据识别与处理等系列关键技术，结合NVMe SSD 介质，即使在开启数据缩减功能的情况下，也能提供低至1毫秒的稳定时延，更好地支撑关键业务云化。
无论您的数据中心在未来需要扩展I/O 密集型、时延敏感型或大容量需求业务，FusionStorage 提供的分布式块存储系统都可以应需承载。
丰富的企业级特性，助您构建高可用数据中心FusionStorage 采用端到端数据完整性校验（Data Integrity Field ，简称DIF ）、多类型数据冗余保护、全面的系统亚健康检测与自一个数据中心一套存储一个数据中心一套存储存储系统永新，数据免迁移实现数据智能产品特性双活、异步远程复制、快照、华为FusionStorage 新一代智能分布式存储提供数据缩减、Active-Active QoS 等丰富的企业级数据服务特性，助您轻松应对业务快速变化时的数据灵活、可靠存取需求；同时，兼容容器、各类主流虚拟化及云平台，提供基于标准接口协议的开放API ，支持融入OpenStack 云基础架构。
FusionStorag e广泛适用于金融、运营商、政府公共事业等行业云资源池、关键业务数据库等场景。
华为FusionStorage 是一款可大规模横向扩展的智能分布式存储产品，是既具备云基础架构的弹性按需服务能力、又满足企业级关键业务需求的全自研存储系统。
争议这些分布式存储产品谁更胜⼀筹？FusionStorage、XSKY、Ceph、vSAN。
来⾃twt社区同⾏交流，欢迎更多同⾏参与交流想了解关于FusionStorage、Ceph、vSAN、SmartX等分布式存储产品优劣对⽐，以及未来的技术演进趋势如何？FusionStorage在对象存储这块和C系的XSKY的⽐较？FusionStorage与Ceph、vSAN、SmartX的对⽐，包括块、⽂件、对象详细的对⽐？问题来⾃@csj11341 北明项⽬经理，下⽂来⾃twt社区众多同⾏实践经验分享，欢迎⼤家参与交流，各抒⼰见。
@刘东东软集团 IT技术咨询顾问：FusionStorage可以⽀持基于X86服务器的分布式对象存储，⽽XSKY⽀持对象存储的组件叫做XEOS或者可以使⽤ XEDP统⼀存储组件来做，除了⽀持 X86服务器服务器以外，还⽀持基于POWER芯⽚的服务器，⽀持更⼴泛，⽣态建设的⽐较好。
1、FusionStorage与Ceph对⽐块存储⽅⾯：FusionStorage与Ceph在⽀持块存储⽅⾯都⽐较好，⽽且块存储也是 Ceph的主要⽀持优势， FusionStorage也做了块存储⽀持的加强，毕竟是商业版本，性能优化上⽐较好。
⽽且还通过了Oracle RAC的认证，这个是为数不多的可以⽀持Oracle RAC的分布式块存储，可以⽀持在分布式存储上更好的部署Oracle 群集环境。
⽂件存储⽅⾯：Ceph在⽀持⽂件存储上相对较弱，不直接⽀持 scsi，需要⾃⼰⾃⼰搭建scst或lio服务端来⽀持 scsi接⼝，⽽且没有⾼可⽤。
FusionStorage可以让每个iscsi ⽬标端部署所有的主机节点上，⽀持虚拟IP地址配置，可实现⾼可⽤对接vmware，winserver和数据库等等。
对象存储⽅⾯：对象存储Ceph是最⼤的⼀个优势，因为它的本质上就是⼀个“对象存储”，其块和⽂件服务都是基于对象提供的，因此对象的性能上是最优的> ceph 块> ceph ⽂件。
华为FusionStorage分布式存储技术建议书Huawei Technologies Co., Ltd.华为技术有限公司All rights reserved版权所有侵权必究Revision record 修订记录为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。
它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，具有计算存储高度融合。
FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。
FusionStorage功能架构图如下所示：FusionStorage功能模块:存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。
存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。
存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。
存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。
FusionStorage系统软件架构：FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥到极致。
FusionStorage分布式存储系统包含三个子系统：无状态机头无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。
系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。
在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。
无状态机头提供多种接口支持，其中包括本地SCSI，ISCSI。
本地SCSI支持主流的linux 操作系统，其他操作系统可以通过ISCSI接口提供块存储服务。
