下载文档原格式
招行北京分行FusionStorage分布式存储技术建议书文档版本01发布日期2014-9-15华为技术有限公司版权所有© 华为技术有限公司2014。
保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
商标声明和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标，由各自的所有人拥有。
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束，本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定，华为公司对本文档内容不做任何明示或默示的声明或保证。
由于产品版本升级或其他原因，本文档内容会不定期进行更新。
除非另有约定，本文档仅作为使用指导，本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司地址：深圳市龙岗区坂田华为总部办公楼邮编：518129网址：support@客户服务邮箱：4008302118客户服务电话：Table of Contents 目录Table of Contents 目录 (3)1项目概述 (4)1.1项目背景 (4)1.2项目需求 (5)2项目技术方案 (5)2.1方案整体架构 (5)2.1.1软硬件部署图 (5)2.1.2硬件平台 (8)2.1.3FusionStorage分布式存储系统概述 (8)2.1.4FusionStorage分布式存储系统详细描述 (10)2.1.4.1分布式机头 (11)2.1.4.2分布式缓存 (11)2.1.4.3集群元数据管理 (11)2.1.4.4多数据副本 (11)2.1.4.5数据一致性 (12)2.1.4.6快速数据重建 (12)2.1.4.7掉电保护 (13)2.1.5云管理平台 (13)2.1.5.1基于角色访问控制 (14)2.1.5.2物理资源管理 (16)2.1.5.3物理设备接入协议 (16)2.1.5.4虚拟化资源管理 (17)2.1.5.5资源集群管理 (19)2.1.5.6虚拟负载均衡管理 (20)2.1.5.7自动化运维 (20)2.1.5.8监控管理 (22)2.1.5.9计量管理 (23)2.1.5.10安全管理 (24)2.2系统部署方案 (26)2.2.1总体组网方案 (26)2.2.2与客户网络对接 (27)2.2.3一体机2层模式连接用户网络 (28)2.3系统可靠性分析 (29)2.3.1数据持久度分析 (29)2.3.2可靠性场景分析 (29)2.4系统关键数据备份 (30)3系统软硬件配置清单及说明 (31)1项目概述1.1 项目背景招行北京分行准备采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率，但是传统SAN在企业基础设施池化、云化中面临的主要问题：☐存储资源弹性问题：多业务负载、资源的动态需求变化☐存储扩展的问题：共享、扩展面临了诸多的瓶颈和问题（机头、前后端网络、CPU/Cache与HDD不同步问题）☐形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）☐容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨room），硬盘重建的时间问题针对上述问题，建议使用FusionStorage 分布式存储产品解决上述问题，为满足业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。
ServerSAN解析(四)：FusionStorage存储与计算分合灵活部署FusionStorage也是款可以部署在X86服务器上的种分布式块存储软件，利用服务器的本地HDD、SSD等介质组织成一个大规模存储资源池，对上层的应用和虚拟机提供标准的iSCSI块存储接口。
FusionStorage软件支持主流的服务器产品，包括华为的服务器和HP DL380S，DELL、IBM多款服务器等。
FusionStorage架构类似与Nutanix（支持多种虚拟化平台，如FusionSphere、VMware、Xen等），但也有明显不同，如FusionStorage 只能支持SAN不支持NAS、对象，FusionStorage基于DHT技术实现Key-Value存储系统，并没有像Nutanix类似的DFS。
FusionStorage架构FusionStorage最明显的一个特点就是支持存储和计算分开部署，而vSAN、Nutanix等ServerSAN一般只支持计算和存储系统部署在一起。
计算和存储分开部署可以给客户一种基于应用对计算和存储的不同要求来灵活部署。
在VMware虚拟化平台上，计算和存储模块分离部署关系图如下，CVM控制虚拟机提供存储服务，VMs通过iSCSI启动器访问存储资源。
FusionStorage存储和计算融合部署，VBS和OSD部署在一起向本地VMs提供存储服务。
在做VMware计算和存储融合部署的时候，主机RAID卡所带的硬盘，可以通过PCIE直通（Pass-Through）到CVM中被控制虚拟机接管，给VMs提供存储服务。
同时需ESXi虚拟化层和CVM控制虚拟机也需要安装在这些硬盘上。
FusionStorage技术特点FusionStorage集群管理FusionStorage采用集群管理方式，一个节点或者一块硬盘故障，会自动从集群内隔离出来，不影响整个系统业务的使用。
强一致性复制协议当应用程序成功写入一份数据时，后端的几个数据副本必然是一致的，当应用程序再次读时，无论在哪个副本上读取，都是之前写入的数据。
存储方案建议书
尊敬的领导：
随着信息化时代的到来，企业的数据量不断增加，对数据的存储需求也越来越高。
为了更好地管理和保护企业的数据资产，我们建议对企业的存储方案进行优化和升级。
首先，我们建议采用云存储技术。
云存储具有高可靠性、高安全性、高灵活性和低成本的特点，能够帮助企业降低存储成本，提高数据的可靠性和安全性。
同时，云存储还能够实现数据的远程备份和恢复，确保数据不会因为意外事件而丢失。
其次，我们建议采用分布式存储技术。
分布式存储能够将数据分散存储在多个节点上，提高数据的访问速度和可用性。
同时，分布式存储还能够实现数据的自动备份和恢复，确保数据不会因为硬件故障而丢失。
最后，我们建议对企业的存储设备进行升级。
采用高性能的存储设备能够提高数据的读写速度，加快数据的处理和分析。
同时，高性能的存储设备还能够支持更多的并发访问，满足企业日益增长
的存储需求。
综上所述，我们建议对企业的存储方案进行优化和升级，采用云存储技术、分布式存储技术和高性能的存储设备，以提高数据的可靠性、安全性和访问速度，满足企业日益增长的存储需求。
谢谢！。
华为FusionStorage配置手册目录1 概述 (1)1.1 目的 (1)1.2 FusionStorage产品简介 (1)2 FusionStorage销售形态 (2)2.1 销售版本 (2)2.2 销售版本升级 (3)2.3 扩容 (3)2.4 SA&S (4)2.5 “软件订阅”配置原则 (4)2.6 发布版本升级 (5)2.7 发布版本差异 (5)2.8 SBOM清单 (6)2.9 扩容升级操作顺序 (7)3 FusionStorage软件配置规格 (8)3.1 FusionStorage逻辑架构 (8)3.2 FusionStorageManager配置规格 (9)3.3 计算和存储节点配置规格 (9)3.4 MDC配置原则 (11)3.5 配置约束条件 (12)3.6 软件编码和License配置原则 (13)3.6.1 永久license+SA&S方式 (13)3.6.2 订阅方式： (16)3.7 附录-成套配置原则 (17)4 FusionStorage硬件配置指导 (18)4.1 服务器硬件部件选型 (18)4.2 FusionStorage ServerSAN (19)4.2.1 自定义配置部署 (19)4.2.2 FusionStorage Node (22)4.3 服务器虚拟化 (24)4.3.1 Fusionsphere + FusionStorage (24)4.3.1.1 融合部署方式： (25)4.3.1.2 分离部署方式： (28)4.3.2 VMware + FusionStorage (32)4.3.2.3 融合部署 (32)4.3.2.4 分离部署 (33)4.4 其它场景 (33)5 配置详细计算过程 (34)5.1 FusionStorage有效容量计算 (34)1 概述1.1 目的本文档用于介绍FusionStorage 产品的组成，配置约束以及系统资源开销，硬件配置指导等，便于指导开发配置报价器以及市场项目的配置报价。
华为FusionSphere云数据中心方案建议书目录1概述 (5)1.1项目背景 (5)1.2面临的风险和挑战 (5)1.3项目需求 (7)1.4项目建设目标 (8)2总体解决方案设计 (10)2.1设计原则 (10)2.1.1统一规划和建设 (10)2.1.2统一平台 (10)2.1.3承前与启后相结合 (10)2.1.4技术的先进性和成熟性并重 (10)2.1.5高可靠性 (10)2.1.6安全性 (10)2.1.7灵活性及可扩展性 (10)2.2总体解决方案架构 (10)2.2.1云数据中心总体架构 (11)2.2.2解决方案优势 (12)3云数据中心建设方案详细设计 (12)3.1云数据中心网络方案设计 (12)3.1.1云数据中心网络总体方案 (13)3.1.2云数据中心存储网络方案一(E9000+FusionStorage，可选) (14)3.1.3云数据中心存储网络方案二（可选） (17)3.1.4网络配置 (18)3.2云平台系统设计 (19)3.2.1虚拟化平台设计 (19)3.2.2资源管理和监控 (21)3.2.3关键特性 (24)3.3计算资源方案设计 (25)3.3.1服务器选型规划 (25)3.3.2服务器利旧分析规划 (25)3.3.3服务器数量规划 (26)3.4存储资源方案设计 (28)3.4.1存储需求 (28)3.4.2存储选型 (29)3.4.3存储容量规划 (31)3.5可靠性设计 (32)3.5.1OpenStack HA (32)3.5.2虚拟化可靠性 (32)3.5.3管理可靠性 (33)3.5.4服务器可靠性 (33)3.5.5存储可靠性设计 (33)3.5.6网络可靠性设计 (34)3.6安全方案设计（可选） (34)3.6.1安全框架 (34)3.6.2网络安全 (36)3.6.3虚拟化安全 (39)3.6.4数据安全 (40)3.6.5维护管理安全 (41)3.7备份方案设计（可选） (42)3.7.1eBackup备份方案介绍 (42)3.7.2备份容量设计 (45)3.8异构虚拟化管理（可选） (46)3.9多数据中心管理（可选） (47)4配置清单 (48)XXX云数据中心技术建议书Confidentiality Level机密1概述1.1项目背景[提示]介绍虚拟化数据中心项目背景[样例]过去几十年，信息化经历了大型机时代的终端-主机模式（T-S模式），个人PC时代的客户机-服务器模式（C-S模式），发展到互联网时代的浏览器-服务器模式（B-S模式）。
以弹性高效满足关键业务数据存储需求FusionStorage 将HDD 、SSD 等存储介质通过分布式技术组织成大规模存储资源池，为上层应用和客户端提供工业界标准接口，消除传统数据中心烟囱式存储系统构建导致的硬件资源利用不均问题，实现存储资源的按需服务能力。
支持初始小规模部署，横向扩展至数千节点的大规模存储集群，提供性能容量的线性增长能力。
FusionStorage 采用独有的FlashLink®性能加速技术，通过智能分条聚合、I/O 优先级智能调度、智能Cache 算法、智能数据识别与处理等系列关键技术，结合NVMe SSD 介质，即使在开启数据缩减功能的情况下，也能提供低至1毫秒的稳定时延，更好地支撑关键业务云化。
无论您的数据中心在未来需要扩展I/O 密集型、时延敏感型或大容量需求业务，FusionStorage 提供的分布式块存储系统都可以应需承载。
丰富的企业级特性，助您构建高可用数据中心FusionStorage 采用端到端数据完整性校验（Data Integrity Field ，简称DIF ）、多类型数据冗余保护、全面的系统亚健康检测与自一个数据中心一套存储一个数据中心一套存储存储系统永新，数据免迁移实现数据智能产品特性双活、异步远程复制、快照、华为FusionStorage 新一代智能分布式存储提供数据缩减、Active-Active QoS 等丰富的企业级数据服务特性，助您轻松应对业务快速变化时的数据灵活、可靠存取需求；同时，兼容容器、各类主流虚拟化及云平台，提供基于标准接口协议的开放API ，支持融入OpenStack 云基础架构。
FusionStorag e广泛适用于金融、运营商、政府公共事业等行业云资源池、关键业务数据库等场景。
华为FusionStorage 是一款可大规模横向扩展的智能分布式存储产品，是既具备云基础架构的弹性按需服务能力、又满足企业级关键业务需求的全自研存储系统。
争议这些分布式存储产品谁更胜⼀筹？FusionStorage、XSKY、Ceph、vSAN。
来⾃twt社区同⾏交流，欢迎更多同⾏参与交流想了解关于FusionStorage、Ceph、vSAN、SmartX等分布式存储产品优劣对⽐，以及未来的技术演进趋势如何？FusionStorage在对象存储这块和C系的XSKY的⽐较？FusionStorage与Ceph、vSAN、SmartX的对⽐，包括块、⽂件、对象详细的对⽐？问题来⾃@csj11341 北明项⽬经理，下⽂来⾃twt社区众多同⾏实践经验分享，欢迎⼤家参与交流，各抒⼰见。
@刘东东软集团 IT技术咨询顾问：FusionStorage可以⽀持基于X86服务器的分布式对象存储，⽽XSKY⽀持对象存储的组件叫做XEOS或者可以使⽤ XEDP统⼀存储组件来做，除了⽀持 X86服务器服务器以外，还⽀持基于POWER芯⽚的服务器，⽀持更⼴泛，⽣态建设的⽐较好。
1、FusionStorage与Ceph对⽐块存储⽅⾯：FusionStorage与Ceph在⽀持块存储⽅⾯都⽐较好，⽽且块存储也是 Ceph的主要⽀持优势， FusionStorage也做了块存储⽀持的加强，毕竟是商业版本，性能优化上⽐较好。
⽽且还通过了Oracle RAC的认证，这个是为数不多的可以⽀持Oracle RAC的分布式块存储，可以⽀持在分布式存储上更好的部署Oracle 群集环境。
⽂件存储⽅⾯：Ceph在⽀持⽂件存储上相对较弱，不直接⽀持 scsi，需要⾃⼰⾃⼰搭建scst或lio服务端来⽀持 scsi接⼝，⽽且没有⾼可⽤。
FusionStorage可以让每个iscsi ⽬标端部署所有的主机节点上，⽀持虚拟IP地址配置，可实现⾼可⽤对接vmware，winserver和数据库等等。
对象存储⽅⾯：对象存储Ceph是最⼤的⼀个优势，因为它的本质上就是⼀个“对象存储”，其块和⽂件服务都是基于对象提供的，因此对象的性能上是最优的> ceph 块> ceph ⽂件。
华为FusionStorage分布式存储技术建议书Huawei Technologies Co., Ltd.华为技术有限公司All rights reserved版权所有侵权必究Revision record 修订记录//在提供给客户前需删除本页“修订记录”。
本文档只是供内部参考使用，禁止将本文档原封不动发给客户或代理商。
请结合实际项目需要进行必要增删调整。
Table of Contents 目录Revision record 修订记录....................................... Table of Contents 目录.......................................1 项目概述..................................................1.1 项目背景 ..................................................1.2 项目需求 ..................................................1.3 功能需求 ..................................................2 项目技术方案..............................................2.1 FusionStorage总体架构 .....................................2.2 FusionStorage优点概述 .....................................2.3 FusionStorage应用场景 .....................................2.3.1 FusionStorage与FusionSphere融合场景...............2.3.2 FusionStorage与VMware融合场景.....................2.3.3 FusionStorage与OpenStack融合场景..................3 FusionStorage应用中典型硬件平台...........................3.1 FusionStorage在机架式服务器上使用 .........................3.2 FusionStorage在刀片式服务器上使用 .........................4 FusionStorage应用中网络设计方案...........................4.1 总体组网方案 ..............................................4.2 在机架式服务器上使用组网方案 ..............................4.2.1 单柜10GE组网......................................4.2.2 单柜IB存储组网....................................4.3 在刀片服务器上使用组网方案 ................................4.3.1 虚拟化10GE 刀片服务器组网.........................4.3.2 虚拟化IB+SSD组网..................................5 服务器数量规划............................................5.1 FusionStorage按容量和性能计算服务器数量 ...................6 FusionStorage产品特性介绍.................................6.1 性能卓越 ..................................................6.2 高可靠 ....................................................6.3 弹性扩展 ..................................................6.4 管理简便 ..................................................6.5 兼容性 ....................................................7 FusionStorage典型应用案例.................................7.1 浙江电信选择FusionStorage建设存储资源池 ...................7.2 华为公司计算云-单资源池5K VM ..............................7.3 FusionStorage帮助江苏移动CRM系统建设高性能数据库平台 ......7.4 华为携手沃达丰打造分布式数据中心 ..........................7.5 华为FusionStorage助力深圳海关加速大数据分析 ...............7.6 FusionStorage：汇港资讯高效证券交易数据发布云平台建设 .....7.7 华为FusionStorage助力BME高效交付股票交易系统 ..............8 系统软硬件配置清单及说明..................................8.1 软件配置 ..................................................8.2 硬件配置 ..................................................9 缩略语....................................................1项目概述1.1 项目背景XXX单位准备采用虚拟化与云计算技术来构建IT系统，提升IT系统的资源利用率，但是传统SAN在企业基础设施池化、云化中面临的主要问题：存储资源弹性问题：多业务负载、资源的动态需求变化存储扩展的问题：共享、扩展面临了诸多的瓶颈和问题（机头、前后端网络、CPU/Cache与HDD不同步问题）形态和实施的成本、复杂性问题：独立的存储网络，建设成本高、实施复杂（初始实施、扩减容等）容错和可靠性问题：大规模集群中容忍的故障域问题（跨机柜、跨机房），硬盘重建时间长问题针对上述问题，建议使用FusionStorage 分布式存储产品解决上述问题，为满足业务平台日益增长的存储需求，为业务平台提供高安全性、高可靠性、高可用性和开放性的存储服务。
FusionStorage分布式存储系统基于分布式处理技术、虚拟化技术和集群技术实现，作为云计算资源池存储资源池的一部分，为计算资源池提供高速、可靠、安全的块存储服务。
1.2 项目需求XXX单位，对存储需求如下，需要根据具体的项目进行修改：1.3 功能需求XXX单位，对功能需求如下，需要根据具体的项目进行修改：1、无性能下降智能精简配置2、基于快照的高性能链接克隆3、高性能增量快照技术4、高可靠---多重数据安全保障机制5、高性能、低时延---支持全SSD 存储6、高性能、低时延---支持Infiniband网络互联7、FusionStorage --- 全分布式平滑扩展2项目技术方案2.1 FusionStorage总体架构分布式存储FusionStorage是华为公司设计,完全自主产权的分布式存储架构.作为一种存储与计算高度融合的存储软件，通过突破性的架构和设计，达到高性能、高可靠、高性价比。
它具有一致的、可预测的性能及可扩展性，具有高弹性和自愈能力，具有计算存储高度融合。
FusionStorage采用分布式集群控制技术和分布式Hash数据路由技术，提供分布式存储功能特性。
FusionStorage功能架构图如下所示：FusionStorage功能模块:存储接口层：通过SCSI驱动接口向操作系统、数据库提供卷设备。
存储服务层：提供各种存储高级特性，如快照、链接克隆、精简配置、分布式cache、容灾备份等。
存储引擎层：FusionStorage存储基本功能，包括管理状态控制、分布式数据路由、强一致性复制技术、集群故障自愈与并行数据重建子系统等。
存储管理层：实现FusionStorage软件的安装部署、自动化配置、在线升级、告警、监控和日志等OM功能，同时对用户提供Portal界面。
FusionStorage系统软件架构：FusionStorage通过分布式架构把分散的、低速的SATA/SAS机械硬盘组织成一个高效的虚拟化SAN存储池设备，提供比SAN设备更高的IO能力，把性能发挥到极致。
FusionStorage分布式存储系统包含三个子系统：无状态机头无状态机头对外提供本地SCSI接口或者ISCSI服务接口，可以部署在存储节点，也可以灵活部署在计算节点。
系统启动时，无状态机头会从元数据集群获取最新的数据分布视图。
在IO过程中，无状态机头会将数据均衡的分发到各个存储节点。
无状态机头提供多种接口支持，其中包括本地SCSI，ISCSI。
本地SCSI 支持主流的linux操作系统，其他操作系统可以通过ISCSI接口提供块存储服务。
存储集群在IO读写过程中，存储集群接收到无状态机头分发的IO请求，会根据副本策略，将IO分发到其他服务器或者机柜上的存储节点；同时存储节点会将每台服务器上的缓存设备划分成读写缓冲区，IO直接写到cache中就向主节点返回。
当缓冲区达到一定的水位后，存储节点会自动将缓冲区的数据刷到主存设备（机械硬盘/SSD）上。
分布式机头FusionStorage采用无状态的分布式软件机头，机头部署在各个服务器上，无集中式机头的性能瓶颈。
单个服务器上软件机头只占用较少的CPU 资源，提供比集中式机头更高的IOPS。
分布式缓存FusionStorage实现了计算和存储的融合，缓存和带宽都均匀分布到各个服务器节点上。
FusionStorage支持将服务器SSD卡用作读、写缓存，对于数据的写操作，系统数据首先写到SSD的写缓存中，所有副本（三个副本）写缓存成功后，IO立即返回。
同时IO也会将数据缓存均匀分布到各个节点上，所有服务器的缓存总容量远大于采用外置独立存储的方案。
