FusionCube数据库超融合平台技术白皮书
- 格式:docx
- 大小:908.16 KB
- 文档页数:20
华为FusionSphere 6.0云套件安全技术白皮书(云数据中心)文档版本V1.0 发布日期 2016-04-30华为技术华为FusionSphere 6.0云套件安全技术白皮书 (云数据中心)Doc Number:OFFE00019187_PMD966ZHRevision:A拟制/Prepared by: chenfujun 90002776;评审/Reviewed by: huangdenghui 00283052;zouxiaowei 00348656;pengzhao jun 00286002;youwenwei 00176512;yanzhongwei 00232184批准/Approved by: youwenwei 001765122015-12-29Huawei Technologies Co., Ltd.华为技术All rights reserved所有侵权必究所有©华为技术 2016。
保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档容的部分或全部,并不得以任何形式传播。
商标声明和其他华为商标均为华为技术的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用围之。
除非合同另有约定,华为公司对本文档容不做任何明示或暗示的声明或保证。
由于产品版本升级或其他原因,本文档容会不定期进行更新。
除非另有约定,本文档仅作为使用指导,本文档中的所有述、信息和建议不构成任何明示或暗示的担保。
华为技术地址:市龙岗区坂田华为总部办公楼邮编:518129网址:enterprise.huawei.目录1 云计算平台安全威胁分析 (1)1.1 概述 (1)1.2 云安全威胁分析 (1)1.2.1 传统的安全威胁 (1)1.2.2 云计算带来的新的安全威胁 (3)1.3 云计算的安全价值 (3)2 FusionSphere安全方案 (5)2.1 FusionSphere总体安全框架 (5)2.2 FusionSphereOpenstack安全框架 (6)2.3 网络安全 (6)2.3.1 网络平面隔离 (6)2.3.2 VLAN隔离 (7)2.3.3 安全组 (8)2.3.4 防IP及MAC仿冒 (8)2.3.5 DHCP隔离 (8)2.4 虚拟化安全 (8)2.4.1 vCPU调度隔离安全 (9)2.4.2 存隔离 (9)2.4.3 部网络隔离 (9)2.4.4 磁盘I/O隔离 (10)2.5 数据安全 (10)2.5.1 数据访问控制 (10)2.5.2 剩余信息保护 (10)2.5.3 数据备份 (10)2.5.4 控制台登录虚拟机支持密码认证 (10)2.6 运维管理安全 (10)2.6.1 管理员分权分域管理 (11)2.6.2 账号密码管理 (11)2.6.3 日志管理 (11)2.6.4 传输加密 (11)2.6.5 数据库备份 (11)2.7 基础设施安全 (12)2.7.1 操作系统加固 (12)2.7.2 Web安全 (12)2.7.3 数据库加固 (12)2.7.4 安全补丁 (13)2.7.5 防病毒 (13)1 云计算平台安全威胁分析1.1 概述云计算平台作为一种新的计算资源提供方式,用户在享受它带来的便利性、低成本等优越性的同时,也对其自身的安全性也存在疑虑。
华为FusionCloud 桌面云解决方案5.3 系统高可用性白皮书文档版本01 发布日期 2015-06-23华为技术有限公司版权所有© 华为技术有限公司2015。
保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。
商标声明和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定,华为公司对本文档内容不做任何明示或默示的声明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。
除非另有约定,本文档仅作为使用指导,本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司地址:深圳市龙岗区坂田华为总部办公楼邮编:518129网址:客户服务邮箱:support@客户服务电话:4008302118目录1 华为桌面云解决方案............................................................................................................. - 5 -2 系统可用性指标..................................................................................................................... - 5 -3 系统软硬件可靠性................................................................................................................. - 6 -3.1 机柜..................................................................................................................................................... - 6 -3.2 服务器 ................................................................................................................................................. - 7 -3.2.1 内存可靠性................................................................................................................................. - 7 -3.2.2 硬盘可靠性................................................................................................................................. - 7 -3.2.3 支持磁盘在线定时故障检测和预警........................................................................................... - 7 -3.2.4 电源可靠性................................................................................................................................. - 8 -3.2.5 系统监控..................................................................................................................................... - 8 -3.2.6 板载软件可靠性 ......................................................................................................................... - 8 -3.3 存储设备 ............................................................................................................................................. - 8 -3.4 网络设备 ............................................................................................................................................. - 9 -3.4.1 网卡负荷分担............................................................................................................................. - 9 -3.4.2 交换机堆叠............................................................................................................................... - 10 -3.4.3 交换机互连冗余 ....................................................................................................................... - 10 -3.4.4 虚拟路由冗余保护 ................................................................................................................... - 11 -3.4.5 网络分平面通信 ....................................................................................................................... - 11 -3.5 云平台软件........................................................................................................................................ - 11 -3.5.1 管理节点HA ............................................................................................................................ - 11 -3.5.2 管理节点数据备份 ................................................................................................................... - 12 -3.5.3 虚拟机备份............................................................................................................................... - 13 -3.5.4 虚拟机HA ................................................................................................................................ - 13 -3.5.5 虚拟机故障检测和处理............................................................................................................ - 14 -3.5.6 虚拟机热迁移........................................................................................................................... - 15 -3.5.7 存储迁移................................................................................................................................... - 16 -3.5.8 虚拟机负载均衡 ....................................................................................................................... - 16 -3.5.9 黑匣子 ...................................................................................................................................... - 17 -3.5.10 数据一致性保证 ..................................................................................................................... - 17 -3.5.11 健康检查工具及故障信息收集工具 ....................................................................................... - 17 -3.6 FusionAccess桌面接入系统可用性 ................................................................................................... - 17 -3.6.1 FusionAccess服务的高可用性 .................................................................................................. - 17 -3.6.2 桌面接入的高可用性................................................................................................................ - 19 -3.6.3 FusionAccess管理数据备份...................................................................................................... - 20 -3.6.4 上电恢复可靠性设计................................................................................................................ - 20 -4 虚拟机桌面业务可靠性....................................................................................................... - 21 -5 术语表.................................................................................................................................. - 21 -1 华为桌面云解决方案桌面云解决方案的架构组件部署在云计算提供的虚拟机中,对外提供桌面服务,结构图如下图所示。
华为FusionSphere 5.1虚拟数据中心技术白皮书文档版本V1.0发布日期2015-04-30版权所有© 华为技术有限公司2014。
保留一切权利。
非经本公司书面许可,任何单位和个人不得擅自摘抄、复制本文档内容的部分或全部,并不得以任何形式传播。
商标声明和其他华为商标均为华为技术有限公司的商标。
本文档提及的其他所有商标或注册商标,由各自的所有人拥有。
注意您购买的产品、服务或特性等应受华为公司商业合同和条款的约束,本文档中描述的全部或部分产品、服务或特性可能不在您的购买或使用范围之内。
除非合同另有约定,华为公司对本文档内容不做任何明示或暗示的声明或保证。
由于产品版本升级或其他原因,本文档内容会不定期进行更新。
除非另有约定,本文档仅作为使用指导,本文档中的所有陈述、信息和建议不构成任何明示或暗示的担保。
华为技术有限公司地址:深圳市龙岗区坂田华为总部办公楼邮编:518129网址:前言概述本文档介绍FusionSphere产品的虚拟数据中心能力。
读者对象本文档主要适用于以下工程师:公司MKT、行销、渠道商在项目拓展中使用符号约定在本文中可能出现下列标志,它们所代表的含义如下。
用于警示紧急的危险情形,若不避免,将会导致人员死亡或严重的人身伤害。
用于警示潜在的危险情形,若不避免,可能会导致人员死亡或严重的人身伤害。
用于警示潜在的危险情形,若不避免,可能会导致中度或轻微的人身伤害。
用于传递设备或环境安全警示信息,若不避免,可能会导致设备损坏、数据丢失、设备性能降低或其它不可预知的结果。
“注意”不涉及人身伤害。
用于突出重要“说明”信息。
修改记录修改记录累积了每次文档更新的说明。
最新版本的文档包含以前所有文档版本的更新内容。
文档版本V1.0 (2014-09-05)第一次正式发布。
目录前言 (ii)1 什么是虚拟数据中心 (1)1.1 用户故事 (1)1.2 用户痛点 (1)1.3 什么是虚拟数据中心技术 (2)2 虚拟数据中心技术概览 (3)2.1 虚拟数据中心技术都虚拟化了哪些网络设备 (3)2.2 不同的部门间的网络是怎么隔离的 (4)2.3 使用负载均衡进行流量分发 (5)2.4 管理资源配额 (6)2.5 如何从I nternet访问VPC (7)2.5.1 弹性IP地址 (8)2.5.2 NAPT (8)2.5.3 SNAT (9)2.5.4 VPN (9)2.5.5 VNC (10)2.6 确定需要创建哪些网络资源 (11)3 怎么使用虚拟数据中心技术 (13)3.1 典型三层网站 (13)3.2 约束与限制 (14)3.2.1 创建约束 (14)3.2.2 删除约束 (17)4 强大的小功能 (19)4.1 Internet直通网络 (19)4.2 Super VLAN (19)4.3 安全组 (20)4.4 浮动IP地址 (21)4.5 双线机房 (21)5 资源出租 (23)5.1 北向接口 (23)5.2 计量 (23)5.3 Qos (23)5.4 出租模式 (24)5.4.1 利用虚拟私有云作出租 (24)5.4.2 利用虚拟数据中心作出租 (24)5.4.3 虚拟主机出租 (24)6 附录 (26)6.1 支持的网络设备 (26)6.2 支持静态注入的OS列表 (26)1 什么是虚拟数据中心1.1 用户故事王总,42岁,某中小型互联网公司IT部门主管。
FusionInsight LibrA 技术白皮书目录1 FusionInsight LibrA产品简介 (1)1.1 产品定位 (1)1.2 应用场景 (2)1.3 技术特点 (3)2 FusionInsight LibrA软件架构 (4)3 FusionInsight LibrA支持平台和技术指标 (6)3.1 软件要求 (6)3.2 硬件及本地PC要求 (9)3.3 技术指标 (11)4 FusionInsight LibrA核心技术 (12)4.1 Share-nothing架构 (12)4.2 数据分布式存储 (13)4.3 数据分区 (14)4.4 数据并行导入 (15)4.5 全并行的数据查询处理 (17)4.6 向量化执行和行列混合引擎 (18)4.7 工作负载管理 (21)4.8 高可靠事务处理 (22)4.9 线性扩容 (23)4.10 分析查询HDFS数据 (25)4.11 三方工具兼容 (27)4.12 跨集群数据处理 (27)5 FusionInsight LibrA工具 (29)5.1 客户端工具 (29)5.1.1 Data Studio (29)5.1.2 gsql (30)5.2 管理、监控工具 (30)5.3 备份恢复工具 (32)6 FusionInsight Libra对外接口 (36)1 FusionInsight LibrA产品简介1.1 产品定位1.2 应用场景1.3 技术特点1.1 产品定位FusionInsight LibrA是企业级的大规模并行处理关系型数据库。
FusionInsight LibrA采用MPP(Massive Parallel Processing)架构,支持行存储与列存储,提供PB(Petabyte,2的50次方字节)级别数据量的处理能力。
FusionInsight LibrA在核心技术上跟传统数据库相比有巨大优势,可以解决很多行业用户的数据处理性能问题,可以为超大规模数据管理提供高性价比的通用计算平台,并可用于支撑各类数据仓库系统、BI(Business Intelligence)系统和决策支持系统,统一为上层应用的决策分析等提供服务。
FusionCube数据库超融合平台技术白皮书目录2.1系统架构 (2)2.1.1统一管理 (3)2.1.2深度融合 (4)2.1.3弹性扩容 (5)2.1.4预集成 (5)2.2分布式存储软件 (5)2.2.1分布式机头 (6)2.2.2分布式缓存 (6)2.2.3精简配置 (7)2.3高性能SSD存储 (8)2.4高速IB交换网络 (9)2.5可靠网络设计 (9)3.1 E9000机框 (10)3.2 E9000刀片 (11)3.3 10GE交换 (14)3.4 InfiniBand交换 (15)4.1数据库基础设施配置规格指标 (17)4.2 HANA一体机配置规格指标 (18)1 引言当今世界,越来越多的企业采用虚拟化与云计算技术来构建IT系统,提升IT系统的资源利用率,但同时面临如下挑战:●基础设施平台部署和管理复杂,运维费用仍然维持增长趋势●安装部署复杂,硬软件来自多厂商,规划、部署、调优需要丰富的经验支撑●多厂商设备,售后支持界面多,解决问题慢●维护体系庞大(不同厂商硬件设备维护、虚拟平台管理)●小规模数据中心优势不明显(人员要求高,上规模才有优势)●扩充不灵活,业界数据库一体机大多采用固定规格配置,不能按业务需求灵活部署计算和存储资源,不能支持多种数据库。
客户越来越关注成本控制、业务敏捷、风险管控几方面,希望能拥有总成本低、新业务的上线时间快、资源可弹性伸缩、安全可靠、高性能的IT系统。
华为公司全力打造的华为FusionCube数据库超融合基础设施(HuaweiFusionCubeHyper-Converged Infrastructure for Database)正是以计算/存储/网络融合、预集成、高性能、高可靠、高安全、业务快捷部署、统一运维管理、资源水平扩展为其设计理念,充分满足企业未来业务需求,帮助其IT系统转型以更快更好地应对日益激烈的竞争环境,实现与客户的共同成长。
华为FusionCube超融合解决方案1超融合概述超融合崛起CPU SSD HDDCPUSSDHDDCPUSSDHDD....SDSSDC10GE RoCE/InfinibandStorageNetworkX86 #1X86 #2X86 #NCompute智能进化之道:☐更快速的SDS☐更线性的性能☐更简单的管理☐更快速的交付☐更紧凑的空间颠覆传统的新趋势2021年9.3B$其他集成系统总和10.7B$HCI市场空间12108642020142015201620172018201920202021Integrate Infra HCIIntegrate Stack Reference ArchitectureOutlook for Integrated System MarketGartner 预测,2022年,超融合市场份额将超过其他集成系统市场份额的总和HCI 17.0%SDS22.1%传统存储…IDC 2018年中国区存储市场HCI SDS 传统存储2FusionCube总体介绍Any Workload, Any Site, One SystemAny WorkloadAny Site中心站点FusionCube•预安装预集成•统一管理•一键升级•一键日志收集•一键扩容•支持双活•异步复制•QoS•亚健康检测•EC简单高效安全可靠•自研NVMe SSD •支持IB 网络•单柜720W IOPS •1T 数据重构15Min极致性能FusionCube DB开放兼容•兼容主流数据库•混合负载FusionCube ROBO即插即用•全栈边缘DC •整柜交付•快速初始化无需值守•远程统一管理分支设备与资源•多种接入方式监控分支状态云边协同•应用批量从中心部署至分支•边缘智能站点对接华为云IEF 平台分支和边缘站点虚拟化支持FusionSphere 和VMWare 虚拟化,满足客户多样需求私有云打造一体化云平台、支持一体化交付,高效部署数据库Oracle开放兼容业界主流数据库桌面云以个人为中心的数字化办公空间混合负载一套系统承载数据库和虚拟化应用One SystemFusionCube 超融合基础设施VDI 一体机数据库一体机ROBOHCI 私有云HOP 桌面协议端到端交付兼容主流数据库对标Exadata 快速部署即插即用无人值守应用&办公企业虚拟化云平台统一云平台业务协同0102030405FusionCube 应用场景FusionCube 中国市场占有率第一Gartner MQ 2018.11FusionCube 跃升Gartner 挑战者象限MicrosoftVMwareDell EMCNutanix Scale Computing DataCoreRedhat Pivot3CiscoHPEHuaweiMaxtaStorMagic StarWindChallengersLeadersNiche Players VisionariesHuawei 23.2%H3C19.3%SANGFOR 15.5%Le …QingClo …Dell …Nutanix …Cisco 2.1%SmartX …Others …China HCI Market Overview, 2018$716.华为超融合市场分析010203简——最简运维简易部署简易运维一键式巡检升级扩容15min 预装交付业务发放90%部署时间虚拟化计算存储200%运维效率1024节点统一管理优——最优性能业界最优性能HCI 场景,单节点IOPS 开启重删压缩后,性能损失业界最高磁盘利用率 业界最强自愈能力1TB 数据恢复时间FusionCube150KVS N 100KFusionCube <15%VSN >30%90%磁盘利用率性能无损EC Turbo 专利FusionCube <30minVSN>60minV>60minVS 省——因为灵活所以最省TCO节省TCO60%TCO50%运维人力58%能耗75%空间传统方案友商FusionCube 超融合平台的特点FusionAccessFusionCube 超融合基础设施SAPCRM桌面虚拟化VDI 应用虚拟化SBCLinux VMWindows VM Windows VM 卓越体验自研HDP 桌面协议构筑业界最佳的显示画质和音视频,桌面使用清晰流畅1安全可靠数据不落地,全系统端到端安全智能防护。
华为FusionCube HCI超融合平台技术白皮书前言概述本文档介绍了华为FusionCube 3.2 虚拟化超融合基础设施(FusionCube Hyper-converged Virtualization Infrastructure,以下简称FusionCube 3.2 HCI)的产品价值、产品架构、高性能、线性扩展、系统安全以及系统可靠性。
借助本手册,您可以全面了解FusionCube 产品。
读者对象本文档主要适用于以下工程师:●营销工程师●技术支持工程师●维护工程师符号约定在本文中可能出现下列标志,它们所代表的含义如下。
“注意”不涉及人身伤害。
目录前言 (ii)1产品概述 (1)2产品价值 (2)3产品架构 (4)3.1FusionSphere 场景架构 (5)3.1.1架构 (5)3.1.2典型配置 (6)3.1.3组网 (9)3.1.4工作原理 (9)3.2 Vmware 场景架构 (10)3.2.1 架构 (11)3.2.2 典型配置 (11)3.2.3 组网 (14)3.2.4 工作原理 (15)4分布式存储 (16)4.1架构概述 (17)4.2关键业务流程 (20)4.2.1数据路由 (20)4.2.2IO 路径 (21)4.2.3Cache 机制 (23)4.3存储管理 (25)4.3.1存储集群管理 (25)4.3.2存储服务化 (26)4.4数据冗余 (26)4.4.1多副本 (26)4.4.2Erasure Code (27)4.5特性介绍 (28)4.5.1SCSI/iSCSI 块接口 (28)4.5.3 快照 (31)4.5.4共享卷快照 (32)4.5.5一致性快照 (32)4.5.6链接克隆 (33)4.5.7多资源池 (34)4.5.8QoS (35)4.5.9存储双活 (35)4.5.10存储异步复制 (36)5硬件设备平台 (38)5.1机架服务器平台 (38)5.1.1RH1288 V3 机架服务器 (38)5.1.2RH2288H V3 机架服务器 (39)5.1.3RH5885H V3 机架服务器 (40)5.1.4 1288H V5 机架服务器 (41)5.1.5 2288H V5 机架服务器 (42)5.1.6 2488 V5 机架服务器 (43)5.1.7 2488H V5 机架服务器 (44)5.2 E9000 刀片服务器平台 (44)5.2.1 E9000 机框 (44)5.2.2 E9000 刀片 (45)5.2.3 高性能交换板 (50)5.3 高密服务器平台X6800/X6000 (53)5.3.1 X6800 机框 (53)5.3.2 X6800 服务器节点 (54)5.3.3 X6000 机箱 (58)5.3.4 X6000 服务器节点 (59)6安装部署和运维管理 (61)6.1自动化部署 (61)6.1.1FusionCube Builder (61)6.1.2系统初始化 (63)6.1.3设备自动发现 (64)6.2统一运维管理 (65)6.2.1业务发放管理 (66)6.2.2一键式运维 (67)6.2.3Call Home (70)7性能和可扩展性 (72)7.1系统高性能 (72)7.1.2分布式SSD Cache 加速 (73)7.1.2.1Read/Write Cache (74)7.1.2.2大块Pass Throught (76)7.1.3硬件加速 (77)7.2线性扩展 (77)7.2.1存储平滑扩容 (78)7.2.2性能线性扩展 (78)7.2.3一键式扩容 (79)7.3FusionCube 分布式存储相对于传统SAN 的性能优势 (80)7.3.1更高的性能 (80)7.3.2线性Scale-up/Scale-out (81)7.3.3大池POOL (83)7.3.4SSD Cache vs SSD Tier (84)8系统可靠性 (86)8.1数据可靠性 (86)8.1.1块存储集群可靠性 (86)8.1.2数据一致性 (87)8.1.3数据冗余保护 (87)8.1.4快速数据重建 (88)8.1.5数据存储多路径 (88)8.2硬件可靠性 (89)8.3系统亚健康增强 (89)8.4备份与恢复 (93)8.5容灾恢复 (95)8.5.1双活解决方案 (96)8.5.2异步复制解决方案 (97)9系统安全 (98)9.1系统安全威胁 (98)9.2总体安全框架 (99)9.2.1网络安全 (100)9.2.2应用安全 (101)9.2.2.1权限管理 (101)9.2.2.2Web 安全 (101)9.2.2.3数据库加固 (102)9.2.2.4日志管理 (102)9.2.3 主机安全 (103)9.2.3.1 操作系统加固 (103)1 产品概述随着数据不断增长以及互联网业务的兴起,新兴业务的激增、业务数据呈现几何倍数增加,传统服务器+存储的架构已经无法很好满足业务发展需求,分布式、云化技术应运而生。
超融合技术白皮书深信服超融合架构技术白皮书文档密级:内部深信服超融合架构技术白皮书深信服超融合架构技术白皮书文档密级:内部深信服科技有限公司修订记录深信服超融合架构技术白皮书文档密级:内部深信服超融合架构技术白皮书文档密级:内部第1章、第2章、前言................................................. ............................................ 8 IT时代的变革 ................................................ ............................ 8 白皮书总览................................................. ................................ 9 深信服超融合技术架构........................................................... 11 超融合架构概述................................................. ...................... 11 超融合架构的定义................................................. .................. 11 深信服超融合架构组成模块................................................. .. 11系统总体架构................................................. ................... 11 aSV计算虚拟化平台 ................................................ . (12)概述 ................................................ ............................. 12 aSV技术原理 ................................................ .. (13)aSV的Hypervisor架构...............................................14 Hypervisor虚拟化实现 ................................................17aSV的技术特性 ................................................ . (25)内存NUMA技术 ................................................ . (25)SR-IOV ............................................ .. (26)Faik-raid ......................................... (27)虚拟机生命周期管理 ................................................ ..... 28 虚拟交换机 ................................................ ..................... 29 动态资源调度 ................................................ .. (30)aSV的特色技术 ................................................ . (30)快虚 ................................................ (30)深信服超融合架构技术白皮书文档密级:内部虚拟机热迁移 ................................................ ................. 31 虚拟磁盘加密 ................................................ ................. 32 虚拟机的HA ................................................ .................. 33 多USB映射 ................................................ . (33)aSAN存储虚拟化 ................................................ (35)存储虚拟化概述 ................................................ (35)虚拟后对存储带来的挑战 (35)分布式存储技术的发展 .................................................35 深信服aSAN概述................................................. .. (36)aSAN技术原理 ................................................ .. (36)主机管理 ................................................ ......................... 36 文件副本 ................................................ ......................... 37 磁盘管理 ................................................ . (38)SSD读缓存原理 ................................................ ............. 39 SSD写缓存原理 ................................................ . (45)磁盘故障处理机制 ................................................ (49)深信服aSAN功能特存储精简配置 ................................................ .. (60)aSAN私网链路聚合 ................................................ (61)数据一致性检查 ................................................ . (61)aNet网络虚拟化 ................................................ . (61)网络虚拟化概述 ................................................ (61)深信服超融合架构技术白皮书文档密级:内部aNET网络虚拟化技术原理 (62)SDN ............................................... . (62)................................... 63 aNet底层的实现 ................................................ (64)功能特性 ................................................ (68)aSW分布式虚拟交换机.................................................68aRouter ........................................... .. (68)vAF ............................................... (69)vAD ............................................... .. (69)深信服aNet的特色技术 (69)网络探测功能 ................................................ ................. 69 全网流量可视 ................................................................. 70 所画即所得业务逻辑拓扑 (70)第3章、第4章、深信服超融合架构产品介绍................................................. .. 71产品概述................................................. ........................... 71 产品定位................................................. ........................... 71 深信服超融合架构带来的核心价值 (73)可靠性:............................................... .................................... 73 安全性................................................. ...................................... 73 灵活弹性................................................. .................................. 73 易操作性................................................. .................................. 73 超融合架构最佳实践................................................. .. (74)深信服超融合架构技术白皮书文档密级:内部深信服超融合架构技术白皮书文档密级:内部第1章、前言 IT时代的变革20 世纪 90 年代,随着 Windows 的广泛使用及 Linux 服务器操作系统的出现奠定了 x86服务器的行业标准地位,然而 x86 服务器部署的增长带来了新的 IT 基础架构和运作难题,包括:基础架构利用率低、物理基础架构成本日益攀升、IT 管理成本不断提高以及对关键应用故障和灾难保护不足等问题。
深信服超融合架构技术白皮书深信服科技修订记录第1章、前言 (6)1.1IT时代的变革 (6)1.2白皮书总览 (7)第2章、深信服超融合技术架构 (8)1.1超融合架构概述 (8)1.1.1超融合架构的定义 (8)1.2深信服超融合架构组成模块 (8)1.2.1.1系统总体架构 (8)1.2.1.2aSV计算虚拟化平台 (8)1.2.1.2.1概述 (8)1.2.1.2.2aSV技术原理 (9)1.2.1.2.2.1 aSV的Hypervisor架构 (10)1.2.1.2.2.2 Hypervisor虚拟化实现 (12)1.2.1.2.3aSV的技术特性 (16)1.2.1.2.3.1 存NUMA技术 (16)1.2.1.2.3.2 SR-IOV (17)1.2.1.2.3.3 Faik-raid (17)1.2.1.2.3.4 虚拟机生命周期管理 (18)1.2.1.2.3.5 虚拟交换机 (18)1.2.1.2.3.6 动态资源调度 (19)1.2.1.2.4aSV的特色技术 (19)1.2.1.2.4.1 快虚 (19)1.2.1.2.4.2 虚拟机热迁移 (20)1.2.1.2.4.3 虚拟磁盘加密 (20)1.2.1.2.4.4 虚拟机的HA (21)1.2.1.2.4.5 多USB映射 (21)1.2.1.3aSAN存储虚拟化 (22)1.2.1.3.1存储虚拟化概述 (22)1.2.1.3.1.1 虚拟后对存储带来的挑战 (22)1.2.1.3.1.2 分布式存储技术的发展 (22)1.2.1.3.1.3 深信服aSAN概述 (22)1.2.1.3.2aSAN技术原理 (23)1.2.1.3.2.1 主机管理 (23)1.2.1.3.2.2 文件副本 (23)1.2.1.3.2.3 磁盘管理 (24)1.2.1.3.2.4 SSD读缓存原理 (25)1.2.1.3.2.5 SSD写缓存原理 (30)1.2.1.3.2.6 磁盘故障处理机制 (33)1.2.1.3.3深信服aSAN功能特性 (43)1.2.1.3.3.1 存储精简配置 (43)1.2.1.3.3.2 aSAN私网链路聚合 (44)1.2.1.3.3.3 数据一致性检查 (44)1.2.1.4aNet网络虚拟化 (44)1.2.1.4.1网络虚拟化概述 (44)1.2.1.4.2aNET网络虚拟化技术原理 (45)1.2.1.4.2.1 SDN (45)1.2.1.4.2.2 NFV (46)1.2.1.4.2.3 aNet底层的实现 (46)1.2.1.4.3功能特性 (48)1.2.1.4.3.1 aSW分布式虚拟交换机 (48)1.2.1.4.3.2 aRouter (48)1.2.1.4.3.3 vAF (48)1.2.1.4.3.4 vAD (49)1.2.1.4.4深信服aNet的特色技术 (49)1.2.1.4.4.1 网络探测功能 (49)1.2.1.4.4.2 全网流量可视 (49)1.2.1.4.4.3 所画即所得业务逻辑拓扑 (49)1.2.2深信服超融合架构产品介绍 (50)1.2.2.1产品概述 (50)1.2.2.2产品定位 (50)第3章、深信服超融合架构带来的核心价值 (51)1.1可靠性: (51)1.2安全性 (51)1.3灵活弹性 (51)1.4易操作性 (51)第4章、超融合架构最佳实践 (52)1.1 IT时代的变革20 世纪90 年代,随着Windows 的广泛使用及Linux 服务器操作系统的出现奠定了x86服务器的行业标准地位,然而x86 服务器部署的增长带来了新的IT 基础架构和运作难题,包括:基础架构利用率低、物理基础架构成本日益攀升、IT 管理成本不断提高以及对关键应用故障和灾难保护不足等问题。
华为FusionSphere 技术白皮书目录1 摘要 (1)2 FusionSphere产品概述 (3)2.1 本章摘要 (3)2.2 产品组合及功能 (3)2.3 FusionSphere技术地图 (4)3 云平台提供的标准化原子能力 (6)3.1 FusionCompute提供的标准化原子能力 (6)3.1.1 虚拟机 (6)3.1.2 虚拟存储 (7)3.1.3 虚拟网络 (7)3.1.4 虚拟DHCP (7)3.1.5 虚拟网关服务 (8)3.1.6 虚拟负载均衡服务 (8)3.2 FusionManager提供的标准化原子能力 (9)3.2.1 虚拟防火墙 (9)3.2.2 虚拟VPN (9)3.2.3 虚拟负载均衡 (9)3.2.4 虚拟数据中心 (10)3.2.5 虚拟私有云 (10)3.2.6 虚拟应用 (11)3.3 FusionStorage提供的原子能力 (12)3.3.1 虚拟存储 (12)3.4 UltraVR提供的原子能力 (12)3.4.1 虚拟主机容灾 (12)3.5 其他原子能力 (13)3.5.1 备份 (13)4 自动化能力 (15)4.1 概述 (15)4.2 基础设施管理 (15)4.3 标准化部件发放及使用 (16)4.4 质量保证 (16)4.4.1 主动管理 (16)4.4.2 被动管理 (18)4.4.3 计量 (18)4.5 小结 (19)5 标准化和自动化背后的关键技术 (20)5.1 计算虚拟化 (20)5.2 存储虚拟化 (20)5.3 分布式虚拟交换机 (21)5.4 Anywhere USB (21)5.5 备份方案 (22)5.6 容灾方案 (22)5.7 虚拟数据中心 (23)5.8 虚拟应用 (24)6 开放性,安全可靠 (26)6.1 开放性 (26)6.1.1 开放API (26)6.1.2 基础设施 (26)6.1.3 虚拟化平台 (26)6.1.4 云存储平台 (26)6.1.5 负载均衡器 (27)6.2 安全性 (27)6.3 可靠性 (28)6.3.1 架构可靠性 (28)6.3.2 FusionCompute可靠性 (29)6.3.3 FusionStorage可靠性 (29)6.3.4 FusionManager可靠性 (30)6.3.5 网络可靠性 (30)6.4 硬件可靠性 (31)7 总结 (33)8 缩略语/Acronyms and Abbreviations (34)1 摘要云计算并不是一种新的技术,而是在一个新理念的驱动下产生的技术组合。
深信服超融合架构技术白皮书深信服科技有限公司年201510月版权声明深圳市深信服电子科技有限公司版权所有,并保留对本文档及本声明的最终解释权和修改权。
本文档中出现的任何文字叙述、文档格式、插图、照片、方法、过程等内容,除另有特别注明外,其著作权或其它相关权利均属于深圳市深信服电子科技有限公司。
未经深圳市深信服电子科技有限公司书面同意,任何人不得以任何方式或形式对本文档内的任何部分进行复制、摘录、备份、修改、传播、翻译成其他语言、将其全部或部分用于商业用途。
免责条款本文档仅用于为最终用户提供信息,其内容如有更改,恕不另行通知。
深圳市深信服电子科技有限公司在编写本文档的时候已尽最大努力保证其内容准确可靠,但深圳市深信服电子科技有限公司不对本文档中的遗漏、不准确、或错误导致的损失和损害承担责任。
信息反馈如果您有任何宝贵意见,请反馈至:信箱:广东省深圳市学苑大道1001号南山智园A1栋邮编:518055电话:9传真:9您也可以访问深信服科技网站:获得最新技术和产品信息缩写和约定修订记录修订版本号作者日期备注2015-10肖先东目录深信服超融合架构技术白皮书1前言 ................................................. 错误!未定义书签。
未定义书签。
错误!时代的变革 .................................................. IT未定义书签。
错误!白皮书总览 ....................................................2深信服超融合技术架构 ................................. 错误!未定义书签。
未定义书签。
错误!超融合架构概述 ................................................未定义书签。
错误!超融合架构的定义 ..............................................未定义书签。
华为FusionSphere 6.5.0虚拟化套件存储虚拟化技术白皮书目录1简介/Introduction (3)2解决方案/Solution (4)2.1 FusionSphere 存储虚拟化解决方案 (4)2.1.1架构描述 (4)2.1.2特点描述 (5)2.2存储虚拟化的磁盘文件解决方案 (6)2.2.1厚置备磁盘技术 (6)2.2.2厚置备延时置零磁盘技术 (6)2.2.3精简置备磁盘技术 (6)2.2.4差分磁盘技术 (7)2.3存储虚拟化的业务管理解决方案 (7)2.3.1磁盘文件的写时重定向技术 (7)2.3.2磁盘文件的存储热迁移 (8)2.3.3磁盘文件高级业务 (8)2.4存储虚拟化的数据存储扩容解决方案 (9)2.4.1功能设计原理 (9)2.5存储虚拟化的数据存储修复解决方案 (10)2.5.1功能设计原理 (10)1 简介/Introduction存储设备的能力、接口协议等差异性很大,存储虚拟化技术可以将不同存储设备进行格式化,将各种存储资源转化为统一管理的数据存储资源,可以用来存储虚拟机磁盘、虚拟机配置信息、快照等信息。
用户对存储的管理更加同质化。
虚拟机磁盘、快照等内存均以文件的形式存放在数据存储上,所有业务操作均可以转化成对文件的操作,操作更加直观、便捷。
基于存储虚拟化平台提供的众多存储业务,可以提高存储利用率,更好的可靠性、可维护性、可以带来更好的业务体验和用户价值。
华为提供基于主机的存储虚拟化功能,用户不需要再关注存储设备的类型和能力。
存储虚拟化可以将存储设备进行抽象,以逻辑资源的方式呈现,统一提供全面的存储服务。
可以在不同的存储形态,设备类型之间提供统一的功能。
2 解决方案/Solution2.1 FusionSphere 存储虚拟化解决方案FusionSphere存储虚拟化平台能够屏蔽存储设备差异,统一封装为文件级操作接口,并在虚拟化层提供了丰富的存储业务功能。
FusionCube数据库超融合平台技术白皮书目录2.1系统架构 (2)2.1.1统一管理 (3)2.1.2深度融合 (4)2.1.3弹性扩容 (5)2.1.4预集成 (5)2.2分布式存储软件 (5)2.2.1分布式机头 (6)2.2.2分布式缓存 (6)2.2.3精简配置 (7)2.3高性能SSD存储 (8)2.4高速IB交换网络 (9)2.5可靠网络设计 (9)3.1 E9000机框 (10)3.2 E9000刀片 (11)3.3 10GE交换 (14)3.4 InfiniBand交换 (15)4.1数据库基础设施配置规格指标 (17)4.2 HANA一体机配置规格指标 (18)1 引言当今世界,越来越多的企业采用虚拟化与云计算技术来构建IT系统,提升IT系统的资源利用率,但同时面临如下挑战:●基础设施平台部署和管理复杂,运维费用仍然维持增长趋势●安装部署复杂,硬软件来自多厂商,规划、部署、调优需要丰富的经验支撑●多厂商设备,售后支持界面多,解决问题慢●维护体系庞大(不同厂商硬件设备维护、虚拟平台管理)●小规模数据中心优势不明显(人员要求高,上规模才有优势)●扩充不灵活,业界数据库一体机大多采用固定规格配置,不能按业务需求灵活部署计算和存储资源,不能支持多种数据库。
客户越来越关注成本控制、业务敏捷、风险管控几方面,希望能拥有总成本低、新业务的上线时间快、资源可弹性伸缩、安全可靠、高性能的IT系统。
华为公司全力打造的华为FusionCube数据库超融合基础设施(HuaweiFusionCubeHyper-Converged Infrastructure for Database)正是以计算/存储/网络融合、预集成、高性能、高可靠、高安全、业务快捷部署、统一运维管理、资源水平扩展为其设计理念,充分满足企业未来业务需求,帮助其IT系统转型以更快更好地应对日益激烈的竞争环境,实现与客户的共同成长。
本文档描述了FusionCube数据库超融合基础设施的架构、软硬件及其配置形态。
本文档供销售工程师,渠道商,高级业务经理以及希望用FusionCube部署数据库相关IT设施的客户。
2 FusionCube数据库超融合基础设施2.1 系统架构如下是FusionCube数据库超融合基础设施的总体架构图:E9000华为FusionCube数据库基础设施是华为公司IT产品线的旗舰产品。
FusionCube遵循开放架构标准,于12U机框中融合刀片服务器、分布式存储及网络交换机为一体,无需外置存储、交换机等设备,并集成了分布式存储引擎和管理软件,资源可线性扩展、平滑扩容。
FusionCube Center:负责FusionCube的资源管理及操作维护等综合管理功能,提供Web方式的统一维护界面;整个系统的业务集中呈现,提供用户管理、统一硬件监控、告警,存储资源配置等功能。
FusionStorage:使用分布式云存储技术,将多个刀片服务器的本地硬盘虚拟成共享存储池,Scale-Out 架构水平扩展,提供高性能高可靠的块存储业务。
硬件平台:使用E9000硬件平台,支持计算、存储、交换、电源模块化设计,都在E9000框内部署完成,计算和存储节点按需混配,支持SAS硬盘和PCIe SSD卡,支持10GE和InfiniBand交换网络。
华为FusionCube基于华为自研的硬件平台,自研的分布式存储软件,并进行了深度的集成和优化,具有如下特点:●高性能◆硬件平台:提供高密度计算节点与框内高速交换板,12U支持32CPU/8T内存计算能力,背板交换能力达15.6Tbps,单框出口带宽可达160Gbps。
◆高速InfiniBand网络:计算和存储节点之间可通过56 Gbps 高速InfiniBand网络交互,保证了数据库节点之间的高速Cache同步和存储面网络的高速IO访问。
◆高性能SSD存储:存储节点支持使用SSD卡替代传统的机械硬盘做为存储设备,获得比硬盘高30倍以上的IOPS能力。
◆分布式存储:华为自研FusionStorage分布式存储软件,Scale-Out架构水平扩展,采用NVDIMM 或SSDCache加速,消除系统磁盘IO瓶颈。
●高可靠◆计算可靠性:数据库应用组成集群,单个计算节点故障不影响业务的正常使用。
◆存储可靠性:数据支持两副本或三副本,任意节点故障都不影响系统中存储数据的访问。
节点或存储磁盘故障后后系统会进行数据重构,恢复成多副本,1T数据重构时间<30分钟。
强一致性协议,确保副本数据完全相同,支持数据掉电保护。
◆网络可靠性:10GE网络和IB网络均采用双平面冗余架构。
●统一管理◆计算、存储、网络资源统一管理,单一用户界面。
◆自动监控IT资源和系统运行状态,告警统一呈现,支持告警转Email。
◆支持计算和存储节点按需扩容,支持扩盘,扩刀片,扩框。
2.1.1 统一管理FusionCube数据库基础设施的统一运维管理系统是通过FusionCube Center实现。
FusionCube Center 提供硬件管理、用户管理等功能。
作为数据库基础设施的统一Portal,完成全系统各种资源的生命周期维护。
FusionCube Center提供了如下主要功能:统一资源管理:通过将不同系统的资源对象采集到一起,建立统一的资源管理模型对使用者提供统一的、一体化的资源管理体验,包括各种资源的监控和告警。
告警统一监控:有别于传统的参考架构,服务器,存储,交换机的告警是各自厂家的监控系统分别呈现,FusionCube统一监控所有部件的状态和告警,简化运维,并且告警支持转邮件。
基于角色的访问控制:基于角色的访问控制(RBAC)是实施面向企业安全策略的一种有效的访问控制方式。
其基本思想是,对系统操作的各种权限不是直接授予具体的用户,而是在用户集合与权限集合之间建立一个角色集合。
每一种角色对应一组相应的权限。
一旦用户被分配了适当的角色后,该用户就拥有此角色的所有操作权限。
这样做的好处是,不必在每次创建用户时都进行分配权限的操作,只要分配用户相应的角色即可,而且角色的权限变更比用户的权限变更要少得多,这样将简化用户的权限管理,减少系统的开销。
硬件自动发现与扩容:系统会自动发现一体机内部的所有硬件并扫描硬件的规格信息。
用户可以在创建资源池的时候直接选择系统发现的硬件,系统自动完成这些硬件的软件安装、网络配置并将硬件加入资源池。
系统扩容的时候也可以自动发现新加入的硬件,并且用户将硬件加入资源池的时候自动化完成所有的配置工作。
2.1.2 深度融合以下示例说明了FusionCube数据库基础设施的融合硬件形态:华为FusionCube数据库基础设施采用业界一流的模块化设计的组件,提供多种产品规模的组合,并提供单一厂家服务,满足各种业务范围的需求。
华为FusionCube使用的计算/存储/网络都是华为自身的设备,使用计算,存储,网络垂直整合的融合架构硬件平台,高带宽低时延多协议交换能力,NoSAN,内置分布式存储软件,提升应用性能。
华为FusionCube实现软硬件深度的整合,是真正的一体化的数据库基础设施。
2.1.3 弹性扩容FusionCubes数据库基础设施可按全网容量设计一次性方案规划,在局点交付上线后可根据业务需要实现弹性扩容、按需扩容,不影响已有业务的连续性。
●当服务器资源不足时,可增加集群内计算刀片。
●当存储资源不足时,可以增加计算存储刀片或单独增加存储硬盘。
●当一框资源不够时,简单叠加机框和布线即可。
FusionCube集群的扩展是线性扩展,在线扩容,各个集群计算、存储资源独立,运维管理仍然通过同一套管理系统来实现。
2.1.4 预集成华为FusionCube依托华为高效的端对端交付能力,能从用户报价开始,根据用户业务需求,直接交付给用户预集成的产品,极大地简化了用户的安装、调测时间,从几周甚至数月的调测时间缩减到几天之内。
预集成包括的内容:●硬件预安装:设备上柜、线缆预绑●带柜运输:立柜运输●自动化配置部署:上电硬件自动发现,快速初始化,存储集群自动创建以及自动配置基础网络等。
2.2 分布式存储软件高性能是企业级存储系统需要满足的关键需求。
但是,在最近几年,持续为所有的应用长期提供高性能支持变成了尤其艰巨的挑战。
这是因为屡经证实,传统的存储系统架构无法通过成功扩展性能来跟上前所未有的存储数据增长步伐。
另外高端存储作为独立网元,不但需要专门管理和维护,而且价格昂贵,让一般企业望而却步。
分布式存储FusionStorage作为一种与计算融合的存储软件,通过在FusionCube上部署该软件,可以将所有服务器或刀片的本机磁盘组织成一个虚拟存储资源池,在某些使用场景下完全替换外置SAN。
FusionStorage使计算和存储高度融合,达到高性能、高可靠、高性价比。
●领先的分布式架构:FusionStorage存储软件的创新设计采用全分布式的架构:分布式管理集群,分布式哈希数据路由算法,分布式无状态机头、分布式智能Cache等,这种架构使得整个存储系统没有单点故障。
●高性能和高可靠性:FusionStorage存储软件在所有磁盘中实现负载的均衡,数据打散存放,不会出现热点,高效的路由算法和分布式Cache技术(可以将服务器内存用作读写Cache)保证了高性能。
FusionStorage支持多个数据副本,每个副本分配在不同服务器/不同磁盘上,单个硬件设备的故障不影响业务,3副本情况下数据可用性达到11个9。
同时FusionStorage的强一致性复制协议确保各个数据副本的一致性,一个副本写入,多个副本读取,写数据采用掉电保护Cache。
●并行快速故障重建:数据分片在资源池内打散,硬盘故障后,可在全资源池范围内自动并行重建,1TB数据重建< 30分钟,CPU占用率小于10%。
●易扩展和超大容量:FusionStorage的分布式无状态机头可横向扩展,存储与计算同步平滑扩容,支持非烟囱式超大容量扩展。
●计算存储深度融合:FusionStorage存储软件部署在挂载本地硬盘的服务器上,把各服务器的本地硬盘组织成一个虚拟的资源池,替代外置的存储设备,天然支持计算和存储设备的高度融合,节省外置存储的购置成本并且统一维护。
2.2.1 分布式机头FusionStorage采用无状态的分布式软件机头,机头程序部署在各个服务器上,无集中式机头的性能瓶颈。
单个服务器上软件机头只占用较少的CPU资源,提供比集中式机头更高的IO处理能力,当扩充存储刀片资源时,机头随之也扩充,彻底消除IO瓶颈。
2.2.2 分布式缓存FusionStorage实现了计算和存储的融合,缓存和带宽都均匀分布到各个服务器节点上。