FusionSphere虚拟化套件分布式虚拟交换机技术白皮书
- 格式:docx
- 大小:445.84 KB
- 文档页数:19
华为FusionSphere虚拟化套件GPU直通技术白皮书目录1 简介 (1)1.1 背景简介 (1)1.2 方案简介 (1)2 技术和方案介绍 (2)2.1 PCI直通方案 (2)2.1.1 方案概述 (2)2.1.2 适用场景 (3)2.1.3 方案特点 (3)2.2 GPU资源组方案 (4)2.2.1 方案概述 (4)2.2.2 适用场景 (4)2.2.3 方案特点 (6)3 术语 (6)1 简介1.1 背景简介随着信息化社会的飞速发展,大数据分析、深度学习等新技术的不断涌现,高性能计算不仅应用在石油勘探、地震分析、流体力学计算、分子运力学等传统领域,互联网、金融、政府信息化、教育等领域对高性能计算的需求也飞速增长。
GPU在高性能计算领域的使用,使得CPU不再是计算芯片的唯一选择。
与CPU相比,GPU具备更强大的计算能力以及更简单的任务处理模式,在高性能计算领域扮演者越来越重要的角色。
与此同时,在传统的图形渲染领域,包括虚拟桌面、游戏、工业设计、影视渲染等场景中,GPU也扮演者不可替代的角色。
GPU直通方案,为虚拟机提供接近于物理GPU能力的GPU设备。
1.2 方案简介华为FusionSphere虚拟化套件针对不同的业务场景及对GPU资源的使用情况,提供以下两种有针对性的解决方案:•主机PCI设备直通•GPU资源组FusionSphere 虚拟化套件使用PCI 直通技术将GPU 设备直通给虚拟机,即将GPU 在计算节点中呈现的PCI 设备直接绑定给虚拟机以呈现成为虚拟机的一个PCI 设备。
Virtual Machine Virtual Machine Hypervisor Graphics Driver GuestOSApplicationGuestOS Application Graphics DriverGPUGPUGPU GPU2技术和方案介绍2.1 PCI 直通方案2.1.1 方案概述 FusionSphere 虚拟化套件在主机(计算节点)启动等时机主动发现其以装配的GPU 设备,这些GPU 设备可直接绑定给虚拟机。
华为FusionSphere 虚拟化套件安全技术白皮书目录1虚拟化平台安全威胁分析 (1)1.1概述 (1)1.2云安全威胁分析 (1)1.2.1传统的安全威胁 (1)1.2.2云计算带来的新的安全威胁 (3)1.3云计算的安全价值 (4)2 FusionSphere安全方案 (6)2.1 FusionSphere总体安全框架 (6)2.2网络安全 (7)2.2.1网络平面隔离 (7)2.2.2 VLAN隔离 (8)2.2.3防IP及MAC仿冒 (9)2.2.4端口访问限制 (9)2.3虚拟化安全 (10)2.3.1 vCPU调度隔离安全 (10)2.3.2内存隔离 (11)2.3.3内部网络隔离 (11)2.3.4磁盘I/O隔离 (11)2.4数据安全 (11)2.4.1 数据加密 (11)2.4.2用户数据隔离 (12)2.4.3数据访问控制 (12)2.4.4剩余信息保护 (12)2.4.5数据备份 (13)2.4.6软件包完整性保护 (13)2.5运维管理安全 (13)2.5.1管理员分权管理 (13)2.5.2账号密码管理 (14)2.5.3日志管理 (14)2.5.4传输加密 (14)2.5.5数据库备份 (14)2.6基础设施安全 (15)2.6.1操作系统加固 (15)2.6.2 Web安全 (15)2.6.3数据库加固 (16)2.6.4 Web容器加固 (16)2.6.5安全补丁 (17)2.6.6防病毒 (17)1 虚拟化平台安全威胁分析1.1 概述云计算虚拟化平台作为一种新的计算资源提供方式,用户在享受它带来的便利性、低成本等优越性的同时,也对其自身的安全性也存在疑虑。
如何保障用户数据和资源的机密性、完整性和可用性成为云计算系统急需解决的课题。
本文在分析云计算带来的安全风险和威胁基础上,介绍了华为云计算虚拟化平台针对这些风险和威胁所采取策略和措施,旨在为客户提供安全可信的服务器虚拟化解决方案。
华为FusionSphere虚拟化套件SSD直通技术白皮书目录1NVMe SSD直通 (1)1.1概述 (1)1.2原理 (1)1.2.1PCI直通 (1)1.2.2NVMe SSD (3)2华为方案 (4)2.1方案简介 (4)2.2方案特点 (4)2.3方案约束 (4)3NVMe SSD直通应用场景 (5)4缩略语表 (6)1N VMe SSD直通1.1概述存储虚拟化让IT管理员可以通过一种便利的方式管理数据中心的存储设备,简化管理。
通过精简卷提高了资源利用率,但虚拟化技术增加了虚拟机IO访问路径长度、主机上用户态与内核态切换次数,同一设备上的资源竞争,导致IO性能有所损失。
设备直通技术为虚拟机提供了一种机制来直接访问物理设备,以减小虚拟化带来的开销,使虚拟机有接近物理设备的性能。
随着计算机能力的不断增强,存储技术也在不断的发生变化,SSD的出现,摆脱了传统HDD的磁头、盘片及电机等机械部件,不会出现任何机械故障,相对于HDD而言,SSD在性能、可靠性、能耗方面都有着绝对的优势,基于NVME协议标准的SSD相比使用SATA接口与AHCI标准的SSD大幅的降低了延迟、提升了IOPS,使得SSD的随机性能得到了极大的提升。
虚拟化环境下在对IO性能有极致需求的场景下面临着极大的挑战,基于普通存储设备提供的存储虚拟化能力根本无法满足诉求,NVMe SSD直通可以完美的解决这一问题,直通技术解决了虚拟化带来的开销,NVMe SSD提供最强的硬件能力。
1.2原理1.2.1PCI直通SSD直通是将SSD设备作为PCI设备通过PCI直通技术完成,当前有两种直通设备实现方式:kvm pci-assign和VFIO。
在虚拟机看来,直通设备是物理上连接在PCI或者PCI-E总线上的,虚拟机对该设备的I/O交互操作和实际的物理设备操作完全一样。
1.2.1.1PCI-ASSIGN使用pci-assign方式时,通过硬件虚拟化技术将宿主机中的物理PCI 设备直接分配给虚拟机,虚拟机以独占方式访问宿主机的PCI/PCI-E 设备,这种方式存在一些缺陷, KVM 是hypervisor并不是设备驱动,资源访问方式与安全启动并不兼容,仅支持PCI设备、X86平台、KVM虚拟化引擎。
华为FusionSphere 6.5.0 虚拟化套件分布式虚拟交换机技术白皮书目录1 分布式虚拟交换机概述 (1)1.1 产生背景 (1)1.2 虚拟交换现状 (2)1.2.1 基于服务器CPU实现虚拟交换 (2)1.2.2 物理网卡实现虚拟交换 (2)1.2.3 交换机实现虚拟交换 (3)2 华为方案简介 (5)2.1 方案是什么 (5)2.2 方案架构 (7)2.3 方案特点 (7)3 虚拟交换管理 (8)3.1 主机 (8)3.2 分布式虚拟交换机 (8)3.3 端口组 (8)4 虚拟交换特性 (9)4.1 物理端口/聚合 (9)4.2 虚拟交换 (9)4.2.1 普通交换 (9)4.2.2 SR-IOV直通 (10)4.2.3 用户态交换 (10)4.3 流量整形 (11)4.3.1 基于端口组的流量整形 (11)4.4 安全 (11)4.4.1 二层网络安全策略 (11)4.4.2 广播报文抑制 (12)4.4.3 安全组 (12)4.5 Trunk端口 (12)4.6 端口管理 (13)4.7 存储面三层互通 (13)4.8 配置管理VLAN (13)4.9 业务管理平面 (13)5 虚拟交换应用场景 (14)5.1 集中虚拟网络管理 (14)5.2 虚拟网络流量统计功能 (14)5.3 分布式虚拟端口组 (14)5.4 分布式虚拟上行链路 (14)5.5 网络隔离 (14)5.6 网络迁移 (15)5.7网络安全 (15)5.8 配置管理VLAN (15)5.9 业务管理平面 (15)6 缩略语 (16)1 分布式虚拟交换机概述1.1 产生背景图1-1网络虚拟化的发展计算虚拟化驱动网络虚拟化的发展。
传统数据中心,一台服务器运行一个操作系统,通过物理网线与交换机相连,由交换机实现不同的主机的交换、流量控制、安全控制等功能。
在计算虚拟化后,一台服务器虚拟化成多台的虚拟的主机,每个虚拟主机有自己的CPU、内存和网卡。
华为FusionSphere 虚拟化套件容灾技术白皮书目录1容灾简介 (1)1.1 云计算容灾概述 (1)1.1.1容灾简介 (1)1.1.2容灾系统的评价指标 (1)1.1.3容灾系统建设过程 (2)1.2 FusionSphere容灾方案简介 (3)2 FusionSphere容灾方案介绍 (5)2.1基于存储远程复制容灾方案 (5)2.1.1方案概述 (5)2.1.2适用场景 (7)2.1.3方案组网 (10)2.1.4方案特点 (13)2.2城域双活容灾方案 (14)2.2.1方案概述 (14)2.2.2适用场景 (15)2.2.3方案组网 (16)2.2.4方案特点 (19)2.3两地三中心容灾方案 (19)2.3.1方案概述 (19)2.3.2适用场景 (20)2.3.3方案组网 (21)2.3.4方案特点 (22)2.4 FusionStorage Block复制容灾 (23)2.4.1方案概述 (23)2.4.2适用场景 (25)2.4.3方案组网 (27)2.4.4方案特点 (29)3综述:FusionSphere容灾方案对比分析 (30)4术语 (33)1 容灾简介1.1 云计算容灾概述随着云计算的蓬勃发展,越来越多重要的计算机信息系统出现在云计算中。
由于各行业的用户和企业对网络应用和数据信息的依赖日益强烈,使得突发性灾难如火灾、洪水、地震、区域电力中断或者人为破坏对整个企业的数据和业务生产会造成重大影响,如重要信息丢失、服务中断、经济损失、客户流失等。
因此,为了保证云计算中计算机信息系统的业务连续性和数据可靠性,华为提供了针对云计算的容灾解决方案,保证灾难发生时关键数据不丢失,系统服务尽快恢复运行。
1.1.1 容灾简介容灾系统是指在相隔较远的异地,建立两套或多套功能相同的系统,系统之间可以相互进行健康状态监视和功能切换,当一处系统因意外(如火灾、洪水、地震、人为蓄意破坏等)停止工作时,整个应用系统可以切换到另一处,使得该系统功能可以继续正常工作。
华为FusionSphere存储虚拟化技术白皮书目录1 执行摘要/Executive Summary (1)2 简介/Introduction (2)3 解决方案/Solution (3)3.1 FusionSphere 存储虚拟化解决方案 (3)3.1.1 架构描述 (3)3.1.2 特点描述 (4)3.2 存储虚拟化的磁盘文件解决方案 (4)3.2.1 固定磁盘技术 (4)3.2.2 动态磁盘技术 (5)3.2.3 差分磁盘技术 (5)3.3 存储虚拟化的业务管理解决方案 (6)3.3.1 磁盘文件的写时重定向技术 (6)3.3.2 磁盘文件的存储热迁移 (6)3.3.3 磁盘文件高级业务 (7)3.4 存储虚拟化的数据存储扩容解决方案 (7)3.4.1 功能设计原理 (7)3.5 存储虚拟化的数据存储修复解决方案 (8)3.5.1 功能设计原理 (8)1 执行摘要/Executive Summary华为提供基于主机的存储虚拟化功能,用户不需要再关注存储设备的类型和能力。
存储虚拟化可以将存储设备进行抽象,以逻辑资源的方式呈现,统一提供全面的存储服务。
可以在不同的存储形态,设备类型之间提供统一的功能。
2 简介/Introduction存储设备的能力、接口协议等差异性很大,存储虚拟化技术可以将不同存储设备进行格式化,将各种存储资源转化为统一管理的数据存储资源,可以用来存储虚拟机磁盘、虚拟机配置信息、快照等信息。
用户对存储的管理更加同质化。
虚拟机磁盘、快照等内存均以文件的形式存放在数据存储上,所有业务操作均可以转化成对文件的操作,操作更加直观、便捷。
基于存储虚拟化平台提供的众多存储业务,可以提高存储利用率,更好的可靠性、可维护性、可以带来更好的业务体验和用户价值。
3 解决方案/Solution3.1 FusionSphere 存储虚拟化解决方案FusionSphere存储虚拟化平台能够屏蔽存储设备差异,统一封装为文件级操作接口,并在虚拟化层提供了丰富的存储业务功能。
华为FusionSphere 6.5.0 虚拟化套件技术白皮书pg. i1 摘要云计算并不是一种新的技术,而是在一个新理念的驱动下产生的技术组合。
这个理念就是—敏捷IT。
在云计算之前,企业部署一套服务,需要经历组网规划,容量规划,设备选型,下单,付款,发货,运输,安装,部署,调试的整个完整过程。
这个周期在大型项目中需要以周甚至月来计算。
在引入云计算后,这整个周期缩短到以分钟来计算。
IT业有一条摩尔定律,芯片速度容量每18个月提升一倍。
同时,IT行业还有一条反摩尔定律,所有无法追随摩尔定律的厂家将被淘汰。
IT行业是快鱼吃慢鱼的行业,使用云计算可以提升IT设施供给效率,不使用则会拖慢产品或服务的扩张脚步,一步慢步步慢。
云计算当然还会带来别的好处,比如提升复用率缩减成本,降低能源消耗,缩减维护人力成本等方面的优势,但在反摩尔定律面前,已经显得不是那么重要。
业界关于云计算技术的定义,是通过虚拟化技术,将不同的基础设施标准化为相同的业务部件,然后利用这些业务部件,依据用户需求自动化组合来满足各种个性化的诉求。
云着重于虚拟化,标准化,和自动化。
FusionSphere是一款成熟的Iaas层的云计算解决方案,除满足上面所述的虚拟化,标准化和自动化诉求外,秉承华为公司二十几年电信化产品的优秀基因,向您提供开放,安全可靠的产品。
本文档向您讲述华为FusionSphere解决方案中所用到的相关技术,通过阅读本文档,您能够了解到:●云的虚拟化,标准化,自动化这些关键衡量标准是如何在FusionSphere解决方案中体现的;●FusionSphere解决方案是如何做到开放,安全可靠的;●FusionSphere解决方案所包含的部件,所涉及的主要技术领域,使用的主要单点技术;●针对FusionSphere提供的各种技术选择,您怎样使用它们来满足您的业务诉求;本书分为如下章节:第一章,就是本章,给您对云计算,云平台有一个概括性的认识,并对本文档的阅读给出指导。
华为FusionSphere 虚拟化套件备份技术白皮书目录1备份简介 (1)1.1云计算备份概述 (1)1.1.1为什么需要备份 (1)1.1.2备份系统设计原则 (1)1.1.3备份系统的定位(与容灾的关系) (3)1.1.4备份系统的组成 (3)1.2云计算备份典型需求描述 (4)1.3 FusionSphere备份方案简介 (5)2 FusionSphere备份方案介绍 (7)2.1 eBackup虚拟机备份方案 (7)2.1.1方案概述 (7)2.1.2适用场景 (9)2.1.3方案组网 (11)2.1.4方案特点 (12)2.2用户数据备份到第三方备份服务器方案 (13)2.2.1方案概述 (13)2.2.2适用场景 (13)2.2.3方案组网 (14)2.2.4方案特点 (15)3综述:FusionSphere备份方案对比分析 (16)4术语 (17)1 备份简介1.1 云计算备份概述随着云计算的蓬勃发展,越来越多重要的计算机信息系统出现在云计算中。
由于各行业的用户和企业对网络应用和数据信息的依赖日益强烈,使得突发性灾难如火灾、洪水、地震、区域电力中断或者人为破坏对整个企业的数据和业务生产会造成重大影响,如重要信息丢失、服务中断、经济损失、客户流失等。
因此,为了保证云计算中计算机信息系统的业务连续性和数据可靠性,华为提供了针对云计算的备份解决方案,保证灾难发生时关键数据不丢失,系统服务尽快恢复运行。
1.1.1 为什么需要备份虽然计算机技术的发展给人们的日常生活提供了很多便利,然而,人为的操作错误,系统软件或应用软件的缺陷、硬件的损毁、电脑病毒、骇客攻击、自然灾难等等诸多因素都有可能造成计算机中数据的丢失,从而给企业造成无可估量的损失。
为了保护业务系统的关键业务数据,必须对这些数据进行有效的保护,并支持快速恢复。
所有的备份都是为发生灾难时作恢复而准备的,一个自动备份系统的优劣标准不仅仅在于它的备份模式/备份速度等,需要慎重衡量的还有另一个标准---可恢复性。
虚拟交换技术白皮书系统架构设计一目录1概述 (2)1.1产生背景 (2)1.2技术特点 (3)2系统架构 (4)2.1概述 (4)2.1.1VST硬件 (5)2.1.2VST软件 (5)2.2基本概念 (6)2.2.1虚拟交换域 (6)2.2.2成员编号 (6)2.2.3虚拟交换链路 (7)2.2.4VSL物理端口 (7)2.2.5设备角色 (7)2.2.6成员优先级 (8)2.2.7工作模式 (8)2.2.8VST分裂 (8)2.2.9VST合并 (9)2.3VST的形成 (9)2.3.1VSL物理连接 (9)2.3.2配置基本参数 (10)2.3.3模式切换 (14)2.3.4VST初始化 (14)2.3.5VSL链路管理 (15)2.3.6拓扑发现 (16)2.3.7角色选举 (16)2.4VST数据转发 (17)虚拟交换技术白皮书摘要:虚拟交换技术是将多台交换机设备虚拟成一台交换设备来使用,从而增强设备可靠性、简化网络结构、提供网络稳定性。
本技术白皮书将介绍迈普虚拟交换技术的技术背景、技术架构、技术特点和典型应用。
关键词:虚拟交换技术、堆叠技术、虚拟交换机、虚拟交换链路、跨设备链路聚合、高可靠性、网络稳定性缩略语1 概述1.1 产生背景长期以来,交换机在组网应用中多采用层次化的网络结构,网络一般分为核心层、汇聚层和接入层。
为了增强网络的可靠性,通常在核心层部署两台核心交换机,然后所有的汇聚层交换机都通过两条链路分别“双归”到两台核心交换机,如图1所示。
图1-1 传统网络组网结构当这种网络结构采用二层技术实现,由于冗余链路的存在,导致网络出现环路问题,不得不配臵STP/RSTP/MSTP协议来消除环路。
而实际应用中往往由于设备故障或链路中断等原因,可能导致STP/RSTP/MSTP拓扑振荡,而STP/RSTP/MSTP的收敛时间又比较长,从而影响网络的正常运行。
同时,生成树协议为了消除环路,需要把一些链路阻塞,没有利用这些链路的带宽,造成带宽资源浪费。
1 系统架构说明1.1 华为FusionSphere解决方案总览图1-1华为FusionSphere解决方案总览华为FusionSphere解决方案对业务系统的多个应用整合后,提高了服务器利用率和系统可靠性,降低采购成本,提高维护效率。
通过弹性主机基本服务提供方便快捷按需使用的优质弹性服务;自助申请调度资源、查询,无需人工服务;成本低,体验好:低于传统业务模式,自动服务显著提高响应速度。
2 架构可靠性架构可靠性关注的主要内容是当前解决方案是如何保证数据中心间和数据中心内各个子系统间的业务可靠性和公共平台的可靠性。
2.1 网络路径全冗余FusionSphere解决方案的网络按照层次划分,可以分为核心层、汇聚层、接入层和虚拟网络层。
核心层交换设备主要完成各数据中心之间的通信互联,同时提供FusionSphere对外网络出口。
可通过使用S93xx交换机集群,保证对外与防火墙/NAT和对内各数据中心汇聚交换机连接的冗余。
汇聚层交换设备位于各个数据中心机房内部,完成本数据中心内各接入层交换机的流量汇聚,对外与核心层交换机通过三层互通,同时对接入层交换机提供二层接入功能。
通过使用S93xx交换机集群,保证了对外与核心层交换设备和数据中心内接入层交换机连接的冗余。
接入交换机位负责本机柜内部的服务器接入。
可通过使用S53xx交换机堆叠,保证对外与汇聚层交换设备和对内虚拟网络层连接的冗余。
虚拟网络层位于服务器内部,负责服务器内部的虚拟机之间以及对外通信功能。
通过采用多网卡绑定,避免单个网卡故障引发的业务中断。
图2-1网络路径全冗余的配置示意图2.2 网络分平面通信整个云计算系统逻辑上可以分为三个平面:管理平面、存储平面和业务平面。
为了保证各种网络平面数据的可靠和安全,FusionSphere采用分网络平面的架构方案,不同平面间采用VLAN进行隔离,单个平面的故障不影响其他平面继续工作。
例如当管理平面暂时故障时,业务平面还能够用于继续访问虚拟机。
华为FusionSphere虚拟化套件可靠性技术白皮书目录1系统架构说明 (1)1.1华为FusionSphere解决方案总览 (1)2系统可靠性 (2)2.1网络路径全冗余 (2)2.2网络分平面通信 (2)2.3管理节点HA (3)2.4进程僵死保护 (4)2.5流量控制 (4)2.6故障检测 (5)2.7数据一致性审计 (5)2.8管理数据备份与恢复 (5)2.9全局时间同步 (6)3 FusionCompute可靠性 (7)3.1虚拟机热迁移 (7)3.2存储冷热迁移 (8)3.3虚拟机HA (9)3.4虚拟机故障隔离 (10)3.5虚拟机OS故障检测 (11)3.6黑匣子 (12)3.7管理节点虚拟化部署 (12)3.8主机故障恢复 (12)4 FusionStorage可靠性 (13)4.1数据存储冗余设计 (13)4.2多故障域设计 (14)4.3数据安全级设计 (14)4.4数据强一致性 (16)4.5元数据高可靠性 (16)5网络可靠性 (17)5.1存储多路径访问 (19)5.2虚拟化网络流量控制 (20)5.3网卡负荷分担 (20)5.4交换机堆叠 (20)5.5交换机互连冗余 (21)5.6虚拟路由冗余保护 (21)6硬件可靠性 (23)6.1内存可靠性 (23)6.2硬盘可靠性 (23)6.3支持磁盘在线定时故障检测和预警 (24)6.4电源可靠性 (24)6.5系统检测 (25)6.6板载软件可靠性 (25)1 系统架构说明1.1 华为FusionSphere解决方案总览图1-1华为FusionSphere解决方案总览华为FusionSphere解决方案对业务系统的多个应用整合后,提高了服务器利用率和系统可靠性,降低采购成本,提高维护效率。
通过弹性主机基本服务提供方便快捷按需使用的优质弹性服务;自助申请调度资源、查询,无需人工服务;成本低,体验好:低于传统业务模式,自动服务显著提高响应速度。
华为FusionSphere 6.5.0 虚拟化套件技术白皮书pg. i1 摘要云计算并不是一种新的技术,而是在一个新理念的驱动下产生的技术组合。
这个理念就是—敏捷IT。
在云计算之前,企业部署一套服务,需要经历组网规划,容量规划,设备选型,下单,付款,发货,运输,安装,部署,调试的整个完整过程。
这个周期在大型项目中需要以周甚至月来计算。
在引入云计算后,这整个周期缩短到以分钟来计算。
IT业有一条摩尔定律,芯片速度容量每18个月提升一倍。
同时,IT行业还有一条反摩尔定律,所有无法追随摩尔定律的厂家将被淘汰。
IT行业是快鱼吃慢鱼的行业,使用云计算可以提升IT设施供给效率,不使用则会拖慢产品或服务的扩张脚步,一步慢步步慢。
云计算当然还会带来别的好处,比如提升复用率缩减成本,降低能源消耗,缩减维护人力成本等方面的优势,但在反摩尔定律面前,已经显得不是那么重要。
业界关于云计算技术的定义,是通过虚拟化技术,将不同的基础设施标准化为相同的业务部件,然后利用这些业务部件,依据用户需求自动化组合来满足各种个性化的诉求。
云着重于虚拟化,标准化,和自动化。
FusionSphere是一款成熟的Iaas层的云计算解决方案,除满足上面所述的虚拟化,标准化和自动化诉求外,秉承华为公司二十几年电信化产品的优秀基因,向您提供开放,安全可靠的产品。
本文档向您讲述华为FusionSphere解决方案中所用到的相关技术,通过阅读本文档,您能够了解到:⚫云的虚拟化,标准化,自动化这些关键衡量标准是如何在FusionSphere解决方案中体现的;⚫FusionSphere解决方案是如何做到开放,安全可靠的;⚫FusionSphere解决方案所包含的部件,所涉及的主要技术领域,使用的主要单点技术;⚫针对FusionSphere提供的各种技术选择,您怎样使用它们来满足您的业务诉求;本书分为如下章节:第一章,就是本章,给您对云计算,云平台有一个概括性的认识,并对本文档的阅读给出指导。
FusionStor 产品白皮书V1.0.32 2016年9月目录1 前言 (3)1.1 存储行业的挑战 (3)1.2 FusionStor简介 (3)2 主要功能特性 (4)2.1 无中心架构 (4)2.2 裸金属性能 (4)2.3 保护域 (4)2.4 故障域 (5)2.5 服务质量保证(QoS) (5)2.6 即时快照 (6)2.7 持续数据保护 (6)2.8 一致性快照组 (6)2.9 存储分层 (6)2.10 冗余链路保障 (7)2.11 自动精简配置 (7)2.12 全局的监控展示 (7)2.13 统一管理平台 (8)3 客户价值 (8)3.1 广泛的硬件支持 (8)3.2 更稳定的连续服务能力 (8)3.3 更低的总拥有成本(TCO) (8)3.4 更灵活的弹性扩展 (9)3.5 超融合完美支持 (9)4 产品规格 (10)1 前言1.1 存储行业的挑战我们目前处在一个信息爆炸的时代,随着各种社交媒体兴起,影音文件品质越来越高,数据量呈指数级增长,对存储设备的需求与日俱增。
在云计算概念的深入人心,虚拟化技术的不断发展前提下,越来越多的企业在选择自己的基础平台时,会考虑建设一个基于云架构的IT平台。
而传统的存储架构和存储设施当前已无法能满足上层应用越来越多样化的软件定义需求,同时性能也无法跟上大数据分析或数据库分析等密集计算型业务对IO性能的高要求。
随着数据量地不断增长,传统存储设施的扩展能力的限制及运维人员精力的限制都逐渐成为影响企业发展的障碍。
1.2 FusionStor简介华云网际在多年的存储市场的实践中积极发现用户痛点,紧跟先进的技术潮流,推出针对解决上述问题的FusionStor 产品。
FusionStor (当前V4.0) 是一款完全自主知识产权的存储系统软件。
能够将分布在不同服务器中的不同介质磁盘通过以太网或Infiniband网络组成一个可通过上层应用定义语义的分布式、高可用、易管理、易扩展、高性能的整个存储资源,可提供iSCSI协议、NBD协议、QEMU driver、Sheepdog、Cinder等接口划分存储资源给上层应用。
华为FusionSphere 存储直通技术白皮书目录1 存储直通技术 (1)1.1 概述 (1)1.2 原理 (1)1.3 应用场景 (2)2 华为方案 (3)2.1 方案简介 (3)2.2 方案约束 (6)3 缩略语表 (7)1 存储直通技术1.1 概述存储直通技术(又称裸设备映射,RDM)为虚拟机提供了一种机制来直接访问物理存储子系统(IPSAN或FCSAN)上的LUN,因此虚拟机中的业务能够直接访问存储设备或直接对存储设备下发控制命令。
通过使用裸设备映射,可以让虚拟机识别SCSI磁盘,实现在虚拟机内部下发SCSI命令,交给主机然后透传给存储设备进行处理,最后将应答返回。
裸设备映射能够很好地支撑集群业务在虚拟机上的正常运行,降低大量使用物理服务器的成本,如OracleRAC和MSCS1.2 原理裸设备映射,作为一个整体特性,将LUN映射到虚拟机中,支持虚拟机业务的正常运行。
真正实现裸设备映射特性完整功能,PVSCSI是其最重要的关键技术。
PVSCSI(准虚拟SCSI)技术,可以分为两部分。
一部分为SCSI前端驱动,它通过PVDriver安装在虚拟机内部。
另一部分为SCSI后端驱动,作为linux内核模块运行在主机系统中。
当虚拟机部署集群业务后,一些磁盘控制类操作需要通过SCSI命令发送到存储侧以及获取相应处理结果,PVSCSI实现了该通道:当业务对SCSI磁盘下发SCSI命令时,SCSI前端驱动将SCSI命令交给后端,后端SCSI驱动再将SCSI命令透传给实际的物理存储设备,并将物理存储设备的应答返回。
PVSCSI原理流程图如下图所示:1.3 应用场景●应用于集群中一个或多个CNA节点上运行了集群业务的虚拟机。
●用户划分好独立的LUN,然后配置好带SCSI磁盘的配置文件,在虚拟机启动或者挂载磁盘的过程中,给虚拟机配置SCSI磁盘,让虚拟机能够使用SCSI磁盘。
SCSI磁盘仅可以配置成虚拟机数据盘使用。
华为FusionSphere 6.5.0 虚拟化套件分布式虚拟交换机技术白皮书目录1 分布式虚拟交换机概述 (1)1.1 产生背景 (1)1.2 虚拟交换现状 (2)1.2.1 基于服务器CPU实现虚拟交换 (2)1.2.2 物理网卡实现虚拟交换 (2)1.2.3 交换机实现虚拟交换 (3)2 华为方案简介 (5)2.1 方案是什么 (5)2.2 方案架构 (7)2.3 方案特点 (7)3 虚拟交换管理 (8)3.1 主机 (8)3.2 分布式虚拟交换机 (8)3.3 端口组 (8)4 虚拟交换特性 (9)4.1 物理端口/聚合 (9)4.2 虚拟交换 (9)4.2.1 普通交换 (9)4.2.2 SR-IOV直通 (10)4.2.3 用户态交换 (10)4.3 流量整形 (11)4.3.1 基于端口组的流量整形 (11)4.4 安全 (11)4.4.1 二层网络安全策略 (11)4.4.2 广播报文抑制 (12)4.4.3 安全组 (12)4.5 Trunk端口 (12)4.6 端口管理 (13)4.7 存储面三层互通 (13)4.8 配置管理VLAN (13)4.9 业务管理平面 (13)5 虚拟交换应用场景 (14)5.1 集中虚拟网络管理 (14)5.2 虚拟网络流量统计功能 (14)5.3 分布式虚拟端口组 (14)5.4 分布式虚拟上行链路 (14)5.5 网络隔离 (14)5.6 网络迁移 (15)5.7网络安全 (15)5.8 配置管理VLAN (15)5.9 业务管理平面 (15)6 缩略语 (16)1 分布式虚拟交换机概述1.1 产生背景图1-1网络虚拟化的发展计算虚拟化驱动网络虚拟化的发展。
传统数据中心,一台服务器运行一个操作系统,通过物理网线与交换机相连,由交换机实现不同的主机的交换、流量控制、安全控制等功能。
在计算虚拟化后,一台服务器虚拟化成多台的虚拟的主机,每个虚拟主机有自己的CPU、内存和网卡。
同一服务器上的不同主机之间既需要维持原有的通信,同时由于共享物理设备,引出了新的安全隔离、以及对流控的更高的需求,对虚拟交换技术的诉求由此产生为统一和简化对各台主机的虚拟交换机的配置管理,业界引入分布式虚拟交换机。
分布式虚拟交换机一方面可以对多台服务器的虚拟交换机统一配置、管理和监控,另一方面也可以保证虚拟机在服务器之间迁移时网络配置的一致性。
1.2 虚拟交换现状虚拟交换分为基于服务器来实现虚拟二层交换的功能和基于交换机实现虚拟交换功能两类实现方式。
其中服务器实现虚拟交换又分为服务器CPU实现虚拟交换和在服务器网卡上实现虚拟交换的两种方式。
总结来说,虚拟交换的实现形式一般分为三种:1)在服务器CPU上实现虚拟交换;2)在服务器网卡上实现虚拟交换;3)在物理交换机上实现虚拟交换。
1.2.1 基于服务器CPU实现虚拟交换在服务器CPU中实现虚拟交换是目前较为成熟且产品化较好的技术方案。
在服务器的CPU中实现完整的虚拟交换的功能,虚拟机的虚拟网卡对应虚拟交换的一个虚拟端口,服务器的物理网卡作为虚拟交换的上行链路端口。
虚拟机的报文接收流程如下:虚拟交换机首先从虚拟端口/物理端口接收以太网报文,之后根据虚拟机MAC、VLAN,查找二层转发表,找到对应的虚拟端口/物理端口,然后按照具体的端口,转发报文。
该方案的特点:1) 服务器内部的通信性能:同一服务器上的虚拟机间报文转发性能好,时延低。
虚拟交换机实现虚拟机之间报文的二层软件转发,报文不出服务器,转发路径短,性能高;2) 跨服务器通信性能:跨服务器,需要经物理交换机进行转发,相比物理交换机实现虚拟交换,由于虚拟交换模块的消耗,性能稍低于物理交换机实现虚拟交换;3) 扩展灵活:服务器实现虚拟交换,由于采用纯软件实现,相比采用L3芯片的物理交换机,功能扩展灵活、快速,可以更好的满足云计算的网络需求扩展;4) 规格容量大:服务器内存大,相比物理交换机,L2交换容量远大于物理交换机。
1.2.2 物理网卡实现虚拟交换物理网卡实现虚拟交换设计思想是将虚拟交换功能从服务器的CPU移植到服务器物理网卡,通过网卡硬件改善虚拟交换机占用CPU资源而影响虚拟机性能的问题,同时借助物理网卡的直通的能力,加速虚拟交换的性能。
传统的SR-IOV商业网卡,也可以支持虚拟交换的功能,但是由于自身设计以及缺乏与Hypervisor的配合,传统的商业网卡难以支持热迁移等虚拟化的特性。
图1-2基于SR-IOV的虚拟交换基于物理网卡实现虚拟交换的特点:1) 相对于虚拟交换机,减少了CPU占用率,采用网卡实现交换的功能,不再需要CPU参与虚拟交换处理;2) 对于物理网卡实现虚拟直通功能时,由于实现了虚拟机对PCIe设备的直接访问和操作,显著降低了从虚拟机到物理网卡的报文处理延时;3) 传统商业网卡无法支持热迁移、同时功能简单,无法支持灵活的安全隔离等特性,且功能扩展困难。
1.2.3 交换机实现虚拟交换交换机实现虚拟交换,业界有两种实现技术:802.1Qbg VEPA、802.1QbhBridge Port Extension。
802.1Qbg VEPAVEPA的实现是基于现在的IEEE标准,不必为报文增加新的二层标签,只要对VMM软件和交换机的软件升级就可支持VEPA的“发卡弯”转发。
与VEB方案类似,VEPA方案可以采用纯软件方式实现,也能够通过支持SR-IOV的网卡实现硬件VEPA。
其实,只要是VEB能安装和部署的地方,就都能用VEPA来实现,但VEB与VEPA各有所长,并不存在替代关系。
VEPA的优点在于,完全基于IEEE标准,没有专用的报文格式。
而且容易实现,通常只需要对网卡驱动、VMM桥模块和外部交换机的软件做很小的改动,从而实现低成本方案目标。
802.1Qbh Bridge Port Extension端口扩展设备是一种功能有限的物理交换机,通常作为一个上行物理交换机的线卡使用。
端口扩展技术需要为以太网报文增加TAG,而端口扩展设备借助报文TAG中的信息,将端口扩展设备上的物理端口映射成上行物理交换机上的一个虚拟端口,并且使用TAG中的信息来实现报文转发和策略控制。
VN-TAG为报文定义了虚拟机源和目的端口,并且标明了报文的广播域。
借助支持VN-TAG技术的vSwitch和网卡,也能够实现类似EVB多通道的方案,但是VN-TAG 技术有一些缺点:VN-TAG是一种新提出的标签格式,没有沿用现有的标准(如IEEE 802.1Q、IEEE 802.1ad、IEEE 802.1X tags )。
必须要改变交换机和网卡的硬件,而不能只是简单的对现有的网络设备软件进行升级。
也就是说,VN-TAG的使用需要部署支持VN-TAG的新网络产品(网卡、交换机、软件)。
最初IEEE 802.1工作组曾考虑将“端口扩展”作为EVB标准的一部分,但是最终决定将端口扩展发展成一个独立的标准,即802.1 Bridge Port Extension。
Cisco曾向IEEE 802.1Q工作组建议,将其私有的VN-TAG技术作为实现EVB的一种可选方案,但工作组最终没有接纳这个提案。
Cisco最近修改了VN-TAG技术草案,修改后的草案称为M-TAG,该方案的主要目标仍是为了实现端口扩展设备与上行交换机之间的通信标准化。
2 华为方案简介2.1 方案是什么华为虚拟交换提供集中的虚拟交换的管理功能。
集中的管理提供统一的Portal,进行配置管理,简化用户的管理。
图2-1虚拟交换场景通过分布在各物理服务器的虚拟交换机,提供虚拟机的二层通信、隔离、QoS的能力。
分布式交换机模型基本特征:1) 虚拟化管理员可以配置多个分布式交换机,每个分布式交换机可以覆盖集群中的多个CNA节点;2) 每个分布式交换机具有多个分布式的虚拟端口VSP,每个VSP具有各自的属性(速率),为了管理方便采用Port Group组管理相同属性的一组端口,相同端口组的VLAN相同;3) 虚拟化管理员或业务系统(例如VDI/IDC),可选择管理/存储/业务使用的不同物理接口;每个分布式交换机可以配置一个UpLink端口或者一个Uplink端口聚合组,用于VM对外的通信。
Uplink端口聚合组可以包含多个物理端口,端口聚合组可以配置负载均衡策略;4) 每个VM可以具有多个vNIC接口,vNIC可以和交换机的VSP一一对接;5) 虚拟化管理员或业务系统可根据业务需求,选择在一个集群中允许进行2层迁移的服务器创建虚拟二层网络,设置该网络使用的VLAN信息;图2-2虚拟交换模型虚拟化管理员可通过定义端口组属性(安全/QoS)简化对虚拟机端口属性的设置;设置端口组属性,不影响虚拟机正常工作;端口组:端口组是网络属性相同的一组端口的属性集合。
管理员可以通过配置端口组属性(带宽QOS、2层安全属性、VLAN等)简化对虚拟机端口属性的设置。
设置端口组属性,不影响虚拟机正常工作;上行链路:分布式交换机关联的服务器物理网口;管理员可以查询上行链路的名称、速率、模式、状态等信息;上行链路聚合:分布式交换机关联的服务器绑定网口,绑定网口可以包含多个物理网口,这些物理网口可以配置主备或负载均衡策略。
2.2 方案架构图2-3虚拟交换架构如上图所示,华为的分布式虚拟交换支持基于开源Open vSwitch的纯软件的虚拟交换的功能。
2.3 方案特点1) 集中的管理:统一Portal和集中的管理,简化用户的管理和配置;2) 开源Open vSwitch:集成开源Open vSwitch,充分利用和继承了开源社区虚拟交换的能力;3) 提供丰富的虚拟交换的二层特性,包括交换、QoS、安全隔离等。
3 虚拟交换管理3.1 主机主机是使用虚拟化软件(FusionCompute)运行虚拟机的计算机。
主机是一台真正的物理服务器。
主机提供虚拟机使用的CPU和内存资源,并使虚拟机能够访问网络。
3.2 分布式虚拟交换机分布式虚拟交换机是管理多台主机上的虚拟交换机(基于软件的虚拟交换机)的虚拟网络管理方式,包括对主机的物理端口和虚拟机虚拟端口的管理。
分布式虚拟机交换机可以保证虚拟机在主机之间迁移时网络配置的一致性。
3.3 端口组端口组是分布式虚拟交换机(DVS)中虚拟端口的集合。
端口组主要是为了方便用户同时对端口组中的多个端口进行配置,以减少重复配置工作。
连接在同一端口组的虚拟机网卡,具有相同的网络属性。
如:带宽限速、优先级、VLAN、IP和MAC绑定等。
4 虚拟交换特性4.1 物理端口/聚合物理端口是指主机的物理网口。
物理端口聚合是指将多个同类属性的物理端口进行聚合操作,通过聚合策略提高端口的可靠性或者端口的带宽。
当前华为支持的普通网卡聚合策略有:主备模式、基于源目的MAC地址的负荷分担、基于源和目的MAC的负荷分担、基于源目的IP的LACP、基于源目的IP和端口的负荷分担和轮询模式。