下载文档原格式
资料编码OceanStor T 系列技术白皮书文档版本V3.1 发布日期201307目录1执行摘要/Executive Summary (4)2简介/Introduction (5)3解决方案/Solution (6)4推广/Experience (21)5结论/Conclution (27)6缩略语表/Acronyms and Abbreviations (28)第3 页, 共28 页1 执行摘要/Executive Summary本文从存储技术的发展趋势为切入点，结合用户需求，从融合统一、高性能、高可靠、高扩展及绿色节能等方面详细介绍了华为公司OceanStor T 系列统一存储产品的功能及亮点，旨在突出T 系列产品独有的功能点以及为客户带来的价值。
2 简介/Introduction随着IT 技术的发展，IT 系统的数据量也随之日益增大，而异构多样的网络、割裂林立的部门和庞大冗杂的业务系统，造成了IT 总体架构的复杂性，设备管理和维护也面临着巨大的挑战。
权威机构调查表明，当前IT 运维日益复杂，IT 预算中运维成本占到了IT 总投资的72%，而仅有28%的投资用于基础架构的投资。
复杂的网络环境，单台存储系统遭遇的性能瓶颈，成本与性能需求的平衡以及客户对于混合型存储的强烈需求等等问题被抛出，如何解决这些问题成为IT 业界关注的重中之重。
华为技术有限公司全力打造的OceanStor T系列存储产品正是以统一存储为主打，高性能、高可靠、可扩展以及绿色节能为其设计理念，充分满足用户需求，保护用户投资，最大化提升用户价值。
3解决方案/Solution随着信息产业的发展，存储逐渐从计算机中独立出来，成为IT 产业中的一个大类。
在计算技术迅速发展的今天，技术的进步必然引起相关产业的发展，存储也不例外。
技术发展首先会产生新概念、新标准，这些都会直接影响相关产业的发展趋向，据业内专家分析，存储行业正在朝以下几方面发展：统一存储成为趋势随着信息化进程的加快，数据急速增长，非结构化数据的增长速度更是远超预期。
华为OceanStor 2100 V3存储系统技术白皮书目录1 概述 (3)2 “经济高效、丰富精巧” (4)3 架构介绍 (5)4 自动数据分级55 自动精简配置 (8)6 小结 (10)7 缩略语表 (11)概述信息技术从诞生发展到在生活和工作中无处不在，经历了大型机萌芽，小型机应用，个人电脑普及和桌面互联网，如今正在逐步步入移动互联的时代。
应用环境的变化催生了数据的大爆炸。
根据权威机构的统计结果，在小型机应用阶段，全世界大约生产了2.6EB的数据量；到个人电脑普及阶段，数据量增长到15.8EB；而上一个桌面互联网阶段，数据量几乎翻了3倍，达到了54.5EB；现在的移动互联时代，将会产生高达1800EB的数据。
一个问题不禁摆在了人们的面前：爆炸的仅仅是容量吗？首先，数据的来源更加的多样化。
云会逐渐打破个人电脑和消费电子两强的局面，成为最大的数据产生源。
未来数据来源的预计参考图表1-1图表1-1 数据应用来源预测产生数据的应用在不断变化，带来数据类型随之变化。
关键业务数据（如数据库等）量持续增长，但在整个数据容量的比例却急剧减小；企业办公数据迅速增长，电子邮件、大媒体文件等数据一度暂居整个数据容量的最大比例；随着个人数据迅猛增长，媒体娱乐等消费产生的数据迅速替代了企业办公数据在整个数据容量比例中的老大位置。
1993年，关键业务和企业办公产生的数据各占50%，个人数据几乎为零；2002年左右，企业办公产生的数据占有70%，关键业务数据占有20%；而到了2010年后，个人数据占据50%的比例，企业办公占有40%，关键业务数据所占比例仅有10%。
这些来自不同数据源的不同类型数据，对数据存储介质的性能、可靠性、成本等要求是多种多样的。
关键业务要求的是高性能、高可靠的存储设备，而个人娱乐数据强调的却是低成本。
如此矛盾的需求却常常要求在同一套存储设备中得到满足。
这些新的趋势对统一存储提出了新的挑战。
新一代的统一存储需要具备以下新的特质，才能不断跟上信息时代的脚步：1.具备融合、简约、智能的高性价比系统架构2.满足用户多变的存储使用需求3.灵活数据规划与管理4.实用多样的功能特性1 “经济高效、丰富精巧”华为OceanStor 2100 V3是面向企业级应用的新一代入门级存储产品。
数据中心解决方案技术白皮书Huawei-3Com Technologies Co., Ltd. 华为3Com技术有限公司All rights reserved 版权所有 侵权必究Catalog 目 录1 技术应用背景 ......................................................................................................................... 2 2 技术特色 ................................................................................................................................ 3 3 技术实现方案 ......................................................................................................................... 5 3.1 高性能.............................................................................................................................. 5 3.2 高可靠.............................................................................................................................. 5 3.2.1 设备的可靠 ................................................................................................................. 6 3.2.2 网络的可靠 ................................................................................................................. 6 3.3 高安全............................................................................................................................ 16 3.3.1 基于端口隔离方式的服务器接入实现服务器的二层隔离,保障数据安全..................... 17 3.3.2 基于Root/BPDU Guard方式的二层连接保护保证STP/RSTP稳定,防止攻击,保障可靠 的二层连接..................................................................................................................... 18 3.3.3 端口镜像将数据流进行端口的镜像，可以根据需要对报文分析、统计...................... 20 3.3.4 基于用户接入访问控制AAA，Tacacs+，SSH提高网络的安全性 ............................. 22 3.4 高扩充............................................................................................................................ 23 3.5 高管理............................................................................................................................ 23 4 典型应用组网 ....................................................................................................................... 24Figure List 图目录图1 网络模型决定数据中心成为网络核心 ..................................................................................... 2 图2 数据中心系统结构 ................................................................................................................. 3 图3 数据中心解决方案实现 .......................................................................................................... 5 图4 高性能的网络设计 ................................................................................................................. 5 图5 端口捆绑实现......................................................................................................................... 7 图6 聚合技术层次结构 ................................................................................................................. 7 图7 聚合子层模块......................................................................................................................... 8 图8 MSTP实现 ............................................................................................................................. 9 图9 VRRP实现 ........................................................................................................................... 12 图10 Load Balance实现四、七层负载均衡................................................................................. 13 图11 IRF实现 ............................................................................................................................. 15 图12 Isolated VLAN方式实现二层安全隔离 ............................................................................... 17 图13 Root Guard/BPDU Guard方式保护二层STP稳定 .............................................................. 18 图14 (远程)端口镜像实现 ........................................................................................................... 20 图15 远程端口镜像功能 ............................................................................................................. 21 图16 基于用户接入访问控制 ...................................................................................................... 22 图17 以太网数据中心典型组网................................................................................................... 24数据中心解决方案技术白皮书关键词：以太网，数据中心 摘 要：本文对以太网数据中心解决方案中的关键技术进行介绍，包括实现数据中心高性能、高 可靠、高安全、高可扩充以及高管理性的技术实现方案。
H3C云安全服务技术白皮书Copyright © 2016 杭州H3C技术有限公司版权所有，保留一切权利。
非经本公司书面许可，任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部，并不得以任何形式传播。
本文档中的信息可能变动，恕不另行通知。
目录1 概述 (1)2 云安全架构与模型 (1)2.1 云数据中心安全访问控制需求 (1)2.2 云安全总体架构 (2)2.3 基于租户的安全隔离 (3)2.4 安全架构的两种模型 (4)3 嵌入式安全 (5)3.1 安全组ACL功能 (5)3.2 分布式状态防火墙功能 (6)4 云服务链 (6)5 基于SDN和服务链的云安全组网方案 (8)5.1 VSR做网关的服务链方案 (8)5.2 物理交换机做网关的服务链方案 (9)5.3 服务链和第三方安全设备对接 (10)5.4 服务链支持东西向和南北向安全的总结 (12)6 安全资源池化 (12)6.1 网络服务资源虚拟化和池化 (12)6.2 多资源池支持 (14)6.3 安全资源池之大规模租户技术 (15)6.3.1 硬件资源池支持大规模租户 (15)6.3.2 软件资源池支持大规模租户 (16)6.4 云安全微分段服务 (17)6.5 安全资源池之高可靠性技术 (17)7 多层次安全防护体系 (18)7.1 异构设备组成的统一安全资源池 (18)7.2 多层次的安全体系 (19)8 安全功能通过云服务部署 (19)9 H3C云安全优势总结 (21)1 概述云计算技术的发展，带来了新一轮的IT技术变革，但同时也给网络与业务带来巨大的挑战。
网络服务模式已经从传统的面向连接转向面向应用，传统的安全部署模式在管理性、伸缩性、业务快速升级等方面已经无法跟上步伐，需要考虑建设灵活可靠，自动化快速部署和资源弹性可扩展的新安全防护体系。
同时，按照云计算等保规范《信息系统安全等级保护第二分册云计算安全要求》草案7.1.2网络安全章节的描述，对云网络安全也有下述要求：•保证云平台管理流量与云租户业务流量分离；•根据云租户的业务需求自定义安全访问路径；•在虚拟网络边界部署访问控制设备，并设置访问控制规则；•依据安全策略控制虚拟机间的访问。
H3C大数据产品技术白皮书杭州华三通信技术有限公司2020年4月1 H3C大数据产品介绍 (1)1.1 产品简介 (1)1.2 产品架构 (1)1.2.1 数据处理 (2)1.2.2 数据分层 (3)1.3 产品技术特点 (4)先进的混合计算架构 (4)高性价比的分布式集群 (4)云化ETL (4)数据分层和分级存储 (5)数据分析挖掘 (5)数据服务接口 (5)可视化运维管理 (5)1.4 产品功能简介 (6)管理平面功能： (7)业务平面功能： (8)2 DataEngine HDP 核心技术 (9)3 DataEngine MPP Cluster 核心技术 (9)3.1 MPP + SharedNothing 架构 (9)3.2 核心组件 (10)3.3 高可用 (11)3.4 高性能扩展能力 (11)3.5 高性能数据加载 (12)3.6 OLAP 函数 (13)3.7 行列混合存储 (13)1 H3C大数据产品介绍1.1 产品简介H3C大数据平台采用开源社区Apache Hadoop2.0和MPP分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算存储能力。
H3C大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以及可视化等全系列功能，并广泛地用于支撑各类数据仓库系统、BI系统和决策支持系统帮助用户构建海量数据处理系统，发现数据的内在价值。
1.2 产品架构第一部分是运维管理，包括：安装部署、配置管理、主机管理、用户管HSCZEFKfl上連平frKB笹堆芒12i』」Rt巽^jpRctiuce Spjrk siremCRM SGM生产记〒曲.M-噸Hadaap2.0■1 j jET辛SEmifiKettleH3C大数据平台包含4个部分:理、服务管理、监控告警和安全管理等。
第二部分是数据ETL,即获取、转换、加载，包括：关系数据库连接Sqoop、日志采集Flume、ETL工具Kettle 。
OceanStor V1000系列存储系统白皮书华为技术有限公司版权所有侵权必究目录1综述........................................................................................................................2 2 领先的体系架构. (3)2.1先进的多核处理芯片.........................................................................................3 2.2领先的总线技术................................................................................................3 2.3独立的操作系统存储空间..................................................................................3 2.4 全冗余的双控互连通道设计...............................................................................4 3 多方位的数据安全保护.. (4)3.1 Active-Active 双控制器技术 (4)3.1.1 全冗余通道设计 (4)3.1.2 Cache 镜像技术 (5)3.2 数据保险箱技术3.3双保险硬盘预拷贝技术3.4 全局热备盘.....................................................................................................10 4 倡导节能设计 (11)4.1精心设计，提升空间利用率.............................................................................11 4.2一体化UPS 模块............................................................................................12 4.3一体化控制器与硬盘框设计.............................................................................12 4.4 智能化硬盘加电技术5关注您的用电环境6 缩略语 (13)1 综述经过多年的持续投入和潜心研究，华为技术有限公司在存储领域积累了比较深厚的经验，通过同步跟踪存储技术的发展动态和IT行业的发展趋势，充分分析用户对存储的需求，华为采用成熟的IT技术架构，融入节能、高可靠、高可用、易管理等设计理念，成功推出新的存储系列产品――OceanStorV1000系列存储系统。
华为OceanStor 5000 系列混合闪存存储系统技术白皮书华为OceanStor 5000 V5 系列混合闪存存储系统技术白皮书目录目录1摘要 (1)2简介 (2)2.1产品系列 (2)2.2客户价值 (3)3系统架构 (5)3.1硬件架构 (5)3.1.1多控Scale-out. (5)3.1.2硬件全冗余 (6)3.1.3门卫式数据加密（国内适用） (7)3.1.4SED 数据加密（国外适用） (7)3.2软件架构 (8)3.2.1块级虚拟化 (9)3.2.2SAN/NAS 一体化 (11)3.2.3负载均衡 (12)3.2.4数据缓存 (12)3.2.5端到端数据完整性保护 (13)3.2.6丰富软件特性 (13)3.2.7面向闪存的系统优化 (14)4精简高效Smart 特性系列 (15)4.1异构虚拟化（SmartVirtualiztaion） (15)4.2数据迁移（SmartMigration） (17)4.3数据重删压缩（SmartDedupe&SmartCompression） (18)4.4智能数据分级（SmartTier） (21)4.4.1块数据分级（SmartTier for Block） (21)4.4.2文件数据分级（SmartTier for File） (22)4.5智能精简配置（SmartThin） (23)4.6智能服务质量控制（SmartQoS） (23)4.7智能缓存分区（SmartPartition） (25)4.8SSD 智能缓存（SmartCache） (27)4.9LUN 销毁（SmartErase） (27)4.10多租户（SmartMulti-Tenant） (28)华为OceanStor 5000 V5 系列混合闪存存储系统技术白皮书目录4.11智能配额（SmartQuota） (29)4.12智能数据迅移（SmartMotion） (30)5数据保护Hyper 特性系列 (31)5.1快照（HyperSnap） (31)5.1.1LUN 快照（HyperSnap For Block） (31)5.1.2FS 快照（HyperSnap For File） (32)5.2克隆（HyperClone） (34)5.2.1LUN 克隆（HyperClone For Block） (34)5.2.2FS 克隆（HyperClone For File） (36)5.3远程复制（HyperReplication） (37)5.3.1LUN 同步远程复制（HyperReplication/S For Block） (38)5.3.2LUN 异步远程复制（HyperReplication/A For Block） (40)5.3.3FS 异步远程复制（HyperReplication/A For File） (41)5.4阵列双活（HyperMetro） (43)5.4.1阵列双活（HyperMetro For Block） (43)5.4.2阵列双活（HyperMetro For File） (45)5.5一体化备份（HyperVault） (47)5.6LUN 拷贝（HyperCopy） (47)5.7卷镜像（HyperMirror） (49)5.8WORM（HyperLock） (51)5.9两地三中心（3DC） (53)6最佳实践 (55)A 附录 (56)A.1更多参考信息 (56)A.2如何反馈意见 (56)A.3缩略语表 (57)技术白皮书 1 摘要1摘要华为OceanStor 5000 V5系列混合闪存存储系统（以下简称OceanStor V5中端存储系统）是面向企业级应用的新一代统一存储产品。
H3C大数据产品技术白皮书杭州华三通信技术有限公司2019年8月目录1 H3C大数据产品介绍 (1)1.1 产品简介 (1)1.2 产品架构 (1)1.2.1 数据处理 (2)1.2.2 数据分层 (3)1.3 产品技术特点 (4)先进的混合计算架构 (4)高性价比的分布式集群 (4)云化ETL (4)数据分层和分级存储 (5)数据分析挖掘 (5)数据服务接口 (5)可视化运维管理 (5)1.4 产品功能简介 (6)管理平面功能： (6)业务平面功能： (6)2 DataEngine HDP核心技术 (8)3 DataEngine MPP Cluster核心技术 (8)3.1 MPP + Shared Nothing架构 (8)3.2 核心组件 (9)3.3 高可用 (10)3.4 高性能扩展能力 (10)3.5 高性能数据加载 (11)3.6 OLAP函数 (12)3.7 行列混合存储 (12)1H3C大数据产品介绍1.1产品简介H3C大数据平台采用开源社区Apache Hadoop2.0和MPP分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算存储能力。
H3C大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以及可视化等全系列功能，并广泛地用于支撑各类数据仓库系统、BI系统和决策支持系统帮助用户构建海量数据处理系统，发现数据的内在价值。
1.2产品架构H3C大数据平台包含4个部分：第一部分是运维管理，包括：安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。
第二部分是数据ETL，即获取、转换、加载，包括：关系数据库连接Sqoop、日志采集Flume、ETL工具 Kettle。
第三部分是数据计算。
MPP采用分析型分布式数据库，存储高价值密度的结构化数据；Hadoop存储非结构化/半结构化数据和低价值密度结构化数据。
--.俨-----------------..、- -华为OceanStor 2200 V3是新一代面向全闪存设计的企业级入门存储产品。
OceanStor 2200 V3具备卓越经济、丰富精巧、传承创新的特性，能够满足中小型企业数据库OLTP/OLAP、Exchange、服务器虚拟化和视频监控等各种应用需求，广泛适用千政府、医疗、教育、能源、制造等行业。
OceanStor 2200 V3有效保证用户数据安全，为用户提供卓越的存储服务，是中小企业IT应用的最佳选择。
产品特点卓越经济•全面领先的性能和规格：OceanStor 2200 V3采用全新多核处理器，支持16Gbps FC等主机接口，内部采用新—代PCI- E 3.0总线，并采用12Gbps SAS 3.0离速硬盘接口，性能及规格全面领先同级产品。
•业界独有的Smart lO卡：单张接口卡可根据用户需求设定不同的接口协议，支持8Gbps FC、16GbpsFC、10Gbps Ethernet等协议类型。
丰富精巧•丰富的数据服务功能：OceanStor 2200 V3存储通过丰富的Smart系列软件( Smart T ier/Smart-Cache/SmartThin/SmartMotion/SmartM i gration/SmartErase/ SmartQos ) 为中低端用户提供更加高效的存储资源使用效率，通过Hyper系列数据保护软件( HyperSnap/HyperCopy/Hyper-Clone/HyperM irror/HyperReplication )满足用户本地、异地以及多地数据保护需求，最大程度保障用户业务连续性和数据可用性。
•精巧的系统设计：OceanStor 2200 V3小巧的机身设计、更低的运行噪音和能耗最大限度的降低环境门槛，通过华为独特的易用性软件Smart C onfig极大简化了传统存储复杂配置的过程，只需 3 步，分钟级可轻松完成存储资源配置，解决了传统存储IT 运维人员需要专业技能的瓶颈，满足了中小企业对IT简单易用的关键需求。
华为OceanStor 5300F, 5500F, 5600F, 5800F, 6800F, 18000F V5 全闪存存储系统技术白皮书目录1闪存的演进及挑战 (1)1.1SSD 的产生与优势 (1)1.2SSD 的架构与现状 (2)1.3当前SSD 在企业级存储阵列使用中存在的问题 (3)1.3.1针对HDD 设计的存储阵列软件无法发挥SSD 的性能优势 (3)1.3.2针对HDD 设计的存储阵列软件无法保证SSD 的可靠性 (5)1.4 华为对SSD 在存储产品中应用的构想 (6)2华为OceanStor F V5 全闪存存储系统 (7)3OceanStor F V5 全闪存存储技术原理 (8)3.1华为在闪存领域的技术储备 (8)3.2面对未来全闪存数据中心的存储架构设计 (9)3.2.1华为SSD (9)3.2.2全新的Smartmatix2.0 架构 (10)3.2.2.1SAS 3.0 后端全互连 (10)3.2.2.2缓存持续镜像 (11)3.2.34S 弹性扩展 (12)3.2.4华为针对SSD 优化的RAID2.0 技术 (13)3.2.4.1数据动态负载均衡 (14)3.2.4.2快速精简重构，改善双盘失效率 (15)3.3 深度优化的全闪存阵列 (15)3.3.1 优化IO 流程降低存储阵列的处理时延 (15)3.4针对闪存架构的增值业务优化 (20)3.4.1服务质量分级（QoS） (20)3.4.2虚拟机优化，提升华为全闪存存储效率 (21)4OceanStor F V5 丰富的企业级特性 (23)5平滑的迁移到OceanStor F V5 全闪存阵列 (24)5.1老存储性能优化迁移（SmartMigration） (24)5.1.1LUN 迁移 (24)5.2异构迁移 (26)5.2.1存储异构虚拟化 (26)5.2.2从异构存储在线迁移到华为OceanStor F V5 全闪存存储系统 (27)6缩略语表 (29)1 闪存的演进及挑战1.1 SSD 的产生与优势计算、网络、存储是现代IT 系统的基本组成单元。
H3C ONEStor存储技术白皮书目录1 ONEStor概述 (1)2 ONEStor存储系统介绍 (2)2.1 技术特点 (2)2.1.1 领先的分布式架构 (2)2.1.2 线性扩展能力 (6)2.1.3 高可靠性 (7)2.1.4 良好的性能 (10)2.1.5 统一的存储业务 (11)2.2 典型应用场景 (12)2.2.1 使用场景 (12)2.2.2 典型组网架构 (15)2.3 ONEStor对硬件设备要求 (16)2.3.1 硬件要求 (16)3 ONEStor管理系统 (18)3.1 管理系统的特点 (18)3.1.1 无中心管理架构设计 (18)3.1.2 场景化设计 (19)3.2 管理系统的主要功能 (20)4 规格参数 (22)5 缩略语表 (22)i1 ONEStor概述云计算、移动计算、社交媒体以及大数据的发展，使得数据爆炸式增长。
一方面，企业要存储这些数据，以便对数据进行利用；另一方面，相比于数据中心的计算模块和网络模块，存储模块在近三十年虽然一直发展，但发展缓慢，并未出现技术革命带来存储领域的翻天覆地的变化。
现实的情况是：传统的存储系统已经很难满足爆炸增长的数据需求，急需要新的存储技术进行变革。
数据的激增对存储的需求主要体现在：（1）可扩展性：存储集群可以根据用户需求线性扩展，并且数据会自动均衡，无需人工干预。
（2）低成本：和传统的SAN/NAS相比，在性价比上具有明显的优势。
（3）高性能：存储集群架构具有灵活的扩展能力，集群性能随着规模的增长线性增长。
（4）高可靠性：集群中的每个数据至少保存两份副本，且集群会自动将数据分布在不同的存储单元上，硬件损坏的情况下依然可以获取一份完整的数据，并且丢失的数据会自动重构。
（5）高可用性：存储集群提供多副本机制，当某个故障单元发生故障后，整个集群依然可以对外提供服务。
（6）易用性：提供方便易用的管理界面，实现存储集群的灵活部署和监控运维。
可以灵活的增加和删除节点，集群的故障恢复、数据均衡等集群系统自动可以实现，不需要人工干预。
（7）业务灵活性：既可以以传统的存储集群形式为计算节点服务提供块存储或者文件存储甚至对象存储，又可以和计算节点紧密结合，提供计算存储的融合方案。
为满足以上需求，业界在近年提出了Server SAN存储解决方案。
按照Wikibon的定义，Server SAN是由多个独立的服务器所带的存储组成的一个存储资源池。
H3C ONEStor Server SAN解决方案基于Ceph开发，并在Ceph的基础上做了二次开发和优化。
ONEStor系统由分布式存储软件(包括存储集群软件和存储集群管理软件)和x86服务器构成，x86服务器可以选择H3C自研服务器或者经过H3C认证的其他厂家的服务器。
122 ONEStor 存储系统介绍2.1 技术特点H3C ONEStor 存储系统采用分布式设计，可以运行在通用x86服务器上，在部署该软件时，会把所有服务器的本地硬盘组织成一个虚拟存储资源池，对上层应用提供块存储功能。
H3C ONEStor 分布式存储软件系统具有如下特点：2.1.1 领先的分布式架构H3C ONEStor 存储软件的采用全分布式的架构：分布式管理集群，分布式哈希数据分布算法，分布式无状态客户端、分布式Cache 等，这种架构为存储系统的可靠性、可用性、自动运维、高性能等方面提供了有力保证。
其系统架构组成如下图所示：上图中，ONEStor 逻辑上可分为三部分：OSD 、Monitor 、Client 。
在实际部署中，这些逻辑组件可灵活部署，也就是说既可以部署在相同的物理服务器上，也可以根据性能和可靠性等方面的考虑，部署在不同的硬件设备上。
下面对每一部分作一简要说明。
OSD ：Object-based Storage DeviceOSD 由系统部分和守护进程（OSD deamon ）两部分组成。
OSD 系统部分可看作安装了操作系统和文件系统的计算机，其硬件部分包括处理器、内存、硬盘以及网卡等。
守护进程即运行在内存中的程序。
在实际应用中，通常将每块硬盘（SSD 或HDD ）对应一个OSD ，并将其视为OSD的硬盘部分，其余处理器、内存、网卡等在多个OSD之间进行复用。
ONEStor存储集群中的用户都保存在这些OSD 中。
OSD deamon负责完成OSD的所有逻辑功能，包括与monitor和其他OSD（事实上是其他OSD的deamon）通信以维护更新系统状态，与其他OSD共同完成数据的存储和维护，与client通信完成各种数据对象操作等等。
Monitor：Monitor是集群监控节点。
Monitor持有cluster map信息。
所谓Cluster Map，粗略的说就是关于集群本身的逻辑状态和存储策略的数据表示。
ONEStor Cluster Map包括Monitor map、osd map、pg map、crush map等，这些map构成了集群的元数据。
总之，可以认为Monitor持有存储集群的一些控制信息，并且这些map信息是轻量级的，只有在集群的物理设备（如主机、硬盘）和存储策略发生变化时map信息才发生改变。
Client：这里的Client可以看出外部系统获取存储服务的网关设备。
client通过与OSD或者Monitor 的交互获取cluster map，然后直接在本地进行计算，得出数据的存储位置后，便直接与对应的OSD 通信，完成数据的各种操作。
在此过程中，客户端可以不依赖于任何元数据服务器，不进行任何查表操作，便完成数据访问流程。
这一点正是ONEStor分布式存储系统可以实现扩展性的重要保证。
客户的数据到达Client后，如何存储到OSD上，其过程大致如下图所示：3首先对上图中的一些名词进行简要描述：File：此处的file是对用户或者应用而言的，指用户或者应用需要存储或者访问的文件。
如果将ONEStor作为对象存储的后端，这个file也就对应于应用中的“对象”，也就是用户直接操作的“对象”。
Object：此处的object是ONEStor内部定义的“对象”。
object的大小用户可以自行配置（在配置文件中设置，通常为2MB或4MB）。
当上层应用向ONEStor集群存入size较大的file时，需要将file切分成统一大小的一系列 object（最后一个的大小可以不同）进行存储。
为避免混淆，在本文中将尽量避免使用中文的“对象”这一名词，而直接使用file或object进行说明。
PG：（Placement Group）PG是一个逻辑概念，其作用是对object的存储进行组织和位置映射。
这样便在object和osd之间提供一个中间映射层，即object->pg->osd。
某个object通过算法映射到某个确定的pg，这个pg再通过某种算法映射到一组确定的osd（其个数和副本或纠删码配置有关，具体见后面章节描述）。
从数量上看，一般object数量远大与pg数量，pg数量（一般比osd 大两个数量级）远大于osd数量。
PG的概念类似于一致性哈希算法中的虚拟节点，引入PG后，可以在总体上大大减少每个osd相关的元数据的数量。
下面对上图中的寻址流程进行简要说明。
1， File->Object映射：（ino,ono）->oid这个映射比较简单，就是将用户要操作的file，映射为ONEStor能够处理的object。
其本质就是按照配置文件定义的object大小对file进行切分，相当于RAID中的条带化过程。
这种切分的好处有二：一是让大小不限的file变成size一致、可以被存储集群高效管理的object；二是让对单一file实施的串行处理变为对多个object实施的并行化处理，以提高读写性能。
对于要操作的File，Client将会从Monitor获得全局唯一的inode number，即ino。
File切分后产生的object将获得唯一（在File的范围内）的object number，即ono。
Ono的编号从0开始，依次累加。
oid就是将ono连缀在ino之后得到的。
容易看出，由于ino的全局唯一性（通过Monitor获得），oid同样具备全局唯一性。
2， Object -> PG映射在file被映射为一个或多个object之后，就需要将每个object独立地映射到一个PG中去。
这个映射过程也很简单，其计算公式是：4hash(oid) & mask -> pgid或者更加明显的表示成：hash(oid) mod (pgno) -> pgid上式中，pgno表示配置的pg数量，一般为2的整数次幂。
整个计算由两步组成。
首先是使用ONEStor系统指定的一个特定的哈希函数计算oid的哈希值（这个值将具备近似均匀分布的特性）。
然后，将这个伪随机值对pgno取模，就得到了pgid。
这样，pgid的取值范围是从0到pgno-1。
由哈希函数的伪随机特性，容易想见，大量的oid将近似均匀地映射到不同的pgid上。
3， PG -> OSD映射第三次映射就是将作为object的逻辑组织单元的PG通过CRUSH算法映射到一组OSD集合。
集合中具体的OSD个数一般为数据副本的个数。
比如，用户配置了3副本，那么每个pg将映射到3个osd。
多副本可以大大提高数据的可靠性（具体可见后面相关章节的说明）。
相比于“object -> PG”映射过程，CRUSH算法要复杂的多。
通常情况下，一个好的分布式算法至少满足如下的要求：1，数据的放置位置是Client计算出来的，而不是向Server查出来的2，数据在存储体上满足概率均匀分布3，存储体动态变化时数据重分布时引入的数据迁移量达到最优或者次优除了这3点基本要求外，一个好的算法还应该满足:4，可以基于指定的策略放置副本: 用于故障域隔离或其它要求5，在存储体引入权“weight”的概念,以便对磁盘容量/速度等进行区分CRUSH算法是ONEStor的核心算法，完全满足上面提到的5点要求，限于篇幅，此处不对算法本身进行描述。
当系统中的OSD状态、数量发生变化时，cluster map亦随之变化，而这种变化将会影响到PG与OSD之间的映射，从而使数据重新再OSD之间分布。
由此可见，任何组件，只要拥有cluster map，都可以独立计算出每个object所在的位置(去中心化)。
而对于cluster map，只有当删除添加设备或设备故障时，这些元数据才需要更新，更新的cluster map会及时更新给client和OSD，以便client和OSD重新计算数据的存储位置。
52.1.2 自动化运维自动化运维主要体现在如下几个方面：（1）存储集群快速部署，包括批量部署、单节点增减、单磁盘增减等。
