下载文档原格式
在云计算时代下，数据中心内部一般采用分布式架构处理海量数据存储、挖掘、查询、搜索等相关业务，服务器和服务器之间需要进行大量的协同工作，在服务器之间产生了大量的东西向流量。
其次，数据中心普遍采用虚拟化技术，虚拟化的直接后果是使单位计算密度极大提升，物理服务器吞吐量将比虚拟化之前成数倍提升。
还有为了更大幅度地增大数据中心内业务可靠性、降低IT成本、提高业务部署灵活性、降低运维成本高，需要虚拟机能够在整个数据中心范围内进行动态迁移。
上面这些是云计算时代下的数据中心业务需求，这些需求促进了数据中心网络架构的演进，催生了大二层网络架构的诞生，TRILL便是一种构建数据中心大二层组网的技术。
本文旨在分析云计算时代下数据中心对网络架构的需求，并提出华为基于TRILL的解决方案，帮助用户在建设数据中心网络时，能选择合适的网络解决方案以更好满足云计算业务需求。
云计算时代下数据中心对网络架构要求• 虚拟机任意迁移作为云计算的核心技术之一，服务器虚拟化已经得到越来越广泛的应用。
为了更大幅度地增大数据中心内业务可靠性、降低IT成本、提高业务部署灵活性、降低运维成本高，需要虚拟机能够在整个数据中心范围内进行动态迁移，而不是局限在一个汇聚或接入交换机范围内进行迁移。
传统数据中心一般采用二层+三层组网架构，POD内采用二层组网，POD间通过三层网络进行互联。
VM只能在一个POD内进行迁移，如果需要跨二层区域迁移，需要更改VM 的IP地址，如果没有负载均衡器LoadBalance屏蔽等手段，应用会中断。
在云计算时代，为提升大量闲置服务器的资源利用率，计算虚拟化技术已经逐步在IDC 进行应用。
IDC运营商为了更充分的利用数据中心资源，VM需要更大的迁移范围，可以通过TRILL构建的大二层网络来实现。
• 无阻塞、低延迟数据转发云计算时代下的数据中心流量模型和传统运营商流量模型不同，数据中心中主要是服务器和服务器之间的东西向流量，数据中心网络相当于是服务器之间的总线。
⼤⼆层⽹络----Vxlan技术1. ⼆层转发的概念 ⼆层转发即交换机依据mac地址进⾏转发，交换机维护⼀张mac表，接受到报⽂后识别报⽂的⽬的mac地址，然后将数据包转发到mac 表对应的端⼝上。
VxLAN技术⾸先会抽象⼀个overlay平⾯，这个overlay平⾯就等同于⼀个⼆层交换机，其次会定义若⼲VTEP节点，VTEP 节点就相当于⼆层交换机的端⼝，同时维护⼀个vtep节点的mac表，数据报⽂到达vtep节点后，解析⽬的vtep的mac地址，然后将数据包转发到mac 表对应的vtep节点上，与⼆层交换极其类似，因此VxLAN这种在物理平⾯上抽象出的逻辑平⾯⼜被称为⼤⼆层平⾯。
这种技术主要⽤在数据中⼼⾥⾯。
2. 现今数据中⼼⾯临的挑战a、虚拟机规模受⽹络设备表项规格的限制在传统⼆层⽹络环境下，数据报⽂是通过查询MAC地址表进⾏⼆层转发。
服务器虚拟化后，VM的数量⽐原有的物理机发⽣了数量级的增长，伴随⽽来的便是VM⽹卡MAC地址数量的空前增加。
⽽接⼊侧⼆层设备的MAC地址表规格较⼩，⽆法满⾜快速增长的VM数量。
b、⽹络隔离能⼒有限VLAN作为当前主流的⽹络隔离技术，在标准定义中只有12⽐特，因此可⽤的VLAN数量仅4096个。
对于公有云或其它⼤型虚拟化云计算服务这种动辄上万甚⾄更多租户的场景⽽⾔，VLAN的隔离能⼒⽆法满⾜。
c、虚拟机迁移范围受限由于服务器资源等问题(如CPU过⾼，内存不够等)，虚拟机迁移已经成为了⼀个常态性业务。
虚拟机迁移是指将虚拟机从⼀个物理机迁移到另⼀个物理机。
为了保证虚拟机迁移过程中业务不中断，则需要保证虚拟机的IP地址、MAC地址等参数保持不变，这就要求虚拟机迁移必须发⽣在⼀个⼆层⽹络中。
⽽传统的⼆层⽹络，将虚拟机迁移限制在了⼀个较⼩的局部范围内。
为了应对传统数据中⼼⽹络对服务器虚拟化技术的限制，VXLAN技术应运⽽⽣，其能够很好的解决上述问题。
3. Vxlan格式及封装格式Vxlan通过将逻辑⽹络中通信的数据帧封装在物理⽹络中进⾏传输，封装和解封装的过程由VTEP节点完成。
大二层网络技术背景及主要技术方向一、为什么需要大二层传统的三层数据中心架构结构的设计是为了应付服务客户端-服务器应用程序的纵贯式大流量，同时使网络管理员能够对流量流进行管理。
工程师在这些架构中采用生成树协议(STP)来优化客户端到服务器的路径和支持连接冗余，通常将二层网络的范围限制在网络接入层以下，避免出现大范围的二层广播域；?虚拟化从根本上改变了数据中心网络架构的需求，既虚拟化引入了虚拟机动态迁移技术。
从而要求网络支持大范围的二层域。
从根本上改变了传统三层网络统治数据中心网络的局面。
具体的来说，虚拟化技术的一项伴生技术—虚拟机动态迁移（如VMware的VMotion）在数据中心得到了广泛的应用，虚拟机迁移要求虚拟机迁移前后的IP和MAC地址不变，这就需要虚拟机迁移前后的网络处于同一个二层域内部。
由于客户要求虚拟机迁移的范围越来越大，甚至是跨越不同地域、不同机房之间的迁移，所以使得数据中心二层网络的范围越来越大，甚至出现了专业的大二层网络这一新领域专题。
?【思考1、IP及MAC不变的理由：对业务透明、业务不中断】【思考2、IP及MAC不变，那么为什么必须是二层域内？IP不变，那么就不能够实现基于IP的寻址（三层），那么只能实现基于MAC的寻址，既二层寻址，大二层，顾名思义，此是二层网络，根据MAC地址进行寻址】传统网络的二层为什么大不起来?在数据中心网络中，“区域”对应VLAN的划分。
相同VLAN内的终端属于同一广播域，具有一致的VLAN-ID，二层连通；不同VLAN内的终端需要通过网关互相访问，二层隔离，三层连通。
传统的数据中心设计，区域和VLAN的划分粒度是比较细的，这主要取决于“需求”和“网络规模”。
?传统的数据中心主要是依据功能进行区域划分，例如WEB、APP、DB，办公区、业务区、内联区、外联区等等。
不同区域之间通过网关和安全设备互访，保证不同区域的可靠性、安全性。
同时，不同区域由于具有不同的功能，因此需要相互访问数据时，只要终端之间能够通信即可，并不一定要求通信双方处于同一VLAN或二层网络。
精心整理闲话大二层网络（2）—传统的二层网络为啥大不起来？VM动态迁移只是要求把所有服务器都纳入同一个二层网络，那问题来了：原来的网络架构为什么就不能把所有服务器都纳入同一个二层网络？传统的VLAN+xSTP二层技术不能把所有服务器都划到同一个二层域吗？这也就是我前面卖的关子，为什么说传统网络架构限制了虚拟机的动态迁移只能在一个较小的局部范围内进行？为什么传统的二层网络大不起来？要说清楚这一点，我们首先需要弄清楚二层网络面临的主要问题是什么，而传统二层网络采用的主要解决方案有哪些？1??????二层网络的核心问题其实说起来也简单，二层网络的核心问题就是环路问题以及由此产生的广播风暴问题。
1.1??????环路的由来如果是一个单设备和单链路组成的树型二层网络，如下图所示，?它是没有任何环路和因环路引起的广播风暴问题的（其他成因的广播风暴，例如蠕虫病毒等造成的，不在讨论之列）。
但是这种网络的可靠性是非常差的，因为它没有任何的备份设备和备份链路，一旦某个设备或者链路发生故障，那么故障点下的所有主机就连不上网络了。
所以，为了提高网络可靠性，通常会采用冗余设备和冗余链路，这样就不可避免的形成环路。
如下图所示。
红色链路构成一个环路，蓝色链路也构成一个环路，事实上，在相对复杂的二层网络中，物理上的环路几乎无处不在。
而二层网络处于同一个广播域下，广播报文在环路中会反复持续传送，而且二层报文转发又没有TTL机制，无限循环之下，就会形成广播风暴，瞬间即可导致端口阻塞和设备瘫痪。
1.2??????环路的解决之道为了解决广播风暴问题，二层网络中所采取的技术主要有两方面：1.2.1????????通过划分VLAN来缩小广播域的规模VLAN技术可以把一个大的物理二层域划分成许多小的逻辑二层域，这种逻辑二层域被称为VLAN。
同一个VLAN内可以进行二层通信，不同VLAN之间是二层隔离的，这样广播的范围就被局限在一个VLAN内，不会扩散到整个物理二层域。
传统的数据中心网络通常都是二层+三层网络架构，如下图所示。
通过服务器虚拟化，可以有效地提高服务器的利用率，降低能源消耗，降低客户的运维成本，所以虚拟化技术目前得到了广泛的应用。
（至于为啥有这些好处，我就懒得去说了，有兴趣的话可以自己问一下度娘，总之服务器虚拟化就是个好东东啦）PS：VMware是服务器虚拟化领域的市场领先产品和创新品牌，提供一整套VM解决方案的软件。
除了VMware之外，业界还有微软Hyper-V和Xen等服务器虚拟化软件。
3虚拟机动态迁移喝口水，我们继续回到数据中心网络上来。
本来，服务器虚拟化对于数据中心网络来说，也没啥特别大的影响，无非就是接入的主机规模变大一些而已（原来一台物理服务器算一个主机，现在每个VM算一个主机），还是可以用二三层网络架构来连接的，规模变大了，多划分一些二层域就行。
但是服务器虚拟化之后，带来了一项伴生的技术，那就是虚拟机动态迁移，这就给传统的数据中心网络带来了很大的麻烦。
当然在讲麻烦之前，我们先得搞清楚虚拟机动态迁移是怎么回事。
所谓虚拟机动态迁移，就是在保证虚拟机上服务正常运行的同时，将一个虚拟机系统从一个物理服务器移动到另一个物理服务器的过程。
该过程对于最终用户来说是无感知的，从而使得管理员能够在不影响用户正常使用的情况下，灵活调配服务器资源，或者对物理服务器进行维修和升级。
说白了，动态迁移就是让虚拟机搬家，但是要求搬家的时候，虚拟机上运行的业务还不会中断，外面的用户察觉不到。
搞清楚虚拟机动态迁移是怎么回事之后，我们来看到底这个技术给网络带来了什么麻烦。
4虚拟机动态迁移对网络的影响还记得我前面卖得关子不？我说对于数据中心来说，二三层网络架构是有一个弱点的，那是什么弱点呢？这个弱点就是服务器的位置不能随便在不同二层域之间移动。
因为一旦服务器迁移到其他二层域，就需要变更IP地址，TCP连接等运行状态也会中断，那么原来这台服务器所承载的业务就会中断，而且牵一发动全身，其他相关的服务器（比如WEB-APP-DB服务器之间都是相互关联的）也要变更相应的配置，影响巨大。
二层网络规划，说说你们现在常用的二层技术1.1 二层网络规划（Layer2）通常部署相同应用的服务器要求在同二层广播域内。
方便业务的部署，扩展和搬迁，要求数据中心之间服务器尽量二层可达。
如上面所述，传统的数据中心通常通过按照分区划分二层网络，即每个分区是一个二层广播域。
云计算在数据中心广泛应用，要求服务器资源大范围资源共享、虚拟机大范围迁移。
因此数据中心的网络具备灵活的二层扩展能力。
但基于xSTP的二层网络网络技术在扩展和可靠性存在很多缺陷。
很多解决二层扩展能力技术出现，包括基于设备的虚拟化的CSS/iStack, 基于传统以太扩展的TRILL，基于IP的overlay技术vxlan等。
二层网络范围和采用什么二层技术，是数据中心基础网络的关键。
1.1.1 二层部署规划建议从业务发展的趋势看，数据中心内部网络必须具备灵活的二层扩展能力。
保证业务灵活部署和扩展，以及资源的更大范围共享。
二层网络设计需要综合考虑设备能力，可靠性，业务安全。
因此二层网络规模不能太大。
建议大型数据中心划分为少量几个大型业务分区。
以业务分区为单位构建二层网络区域，业务分区之间按需实现二层连接。
典型组网如下图所示：业务分区内部二层构建方案详见下面的几节。
分区间之间二层可以应用VXLAN或者EVN等技术。
1.1.2 二层技术比较比较项xSTP网络堆叠（CSS/iStack）SVF TRILL VXLAN线路利用率低，需要阻塞部分线路高，但是只适用于星形网络高，可支持高高二层环路问题需要运行xSTP协议避环需要搭建星形网络通过设备内部私有协议实现通过运行内置ISIS协议避环基于IP的协议实现路径计算可靠性一般高一般高高扩展性一般，网络规模受节点数和节点深度的限制一般，CSS只支持两台设备一般，受限于设备实现好，可以组建较大网络好1.2 设备虚拟化组网方案规划1.2.1 跨设备链路聚合（M-LAG）组网方案跨设备链路聚合即M-LAG，英文全称(Multi-Chassis Link Aggregation Group)，是一种跨网络设备的二层端口虚拟化技术，两个设备有独立的控制平面，但支持把两个设备的端口组成链路捆绑。
大二层网络技术背景及主要技术方向
一、为什么需要大二层
传统的三层数据中心架构结构的设计是为了应付服务客户端-服务器应用程序的纵贯式大流量，同时使网络管理员能够对流量流进行管理。
工程师在这些架构中采用生成树协议(STP)来优化客户端到服务器的路径和支持连接冗余，通常将二层网络的范围限制在网络接入层以下，避免出现大范围的二层广播域；
虚拟化从根本上改变了数据中心网络架构的需求，既虚拟化引入了虚拟机动态迁移技术。
从而要求网络支持大范围的二层域。
从根本上改变了传统三层网络统治数据中心网络的局面。
具体的来说，虚拟化技术的一项伴生技术—虚拟机动态迁移（如VMware的VMotion）在数据中心得到了广泛的应用，虚拟机迁移要求虚拟机迁移前后的IP和MAC地址不变，这就需要虚拟机迁移前后的网络处于同一个二层域内部。
由于客户要求虚拟机迁移的范围越来越大，甚至是跨越不同地域、不同机房之间的迁移，所以使得数据中心二层网络的范围越来越大，甚至出现了专业的大二层网络这一新领域专题。
【思考1、IP及MAC不变的理由：对业务透明、业务不中断】
【思考2、IP及MAC不变，那么为什么必须是二层域
内？IP不变，那么就不能够实现基于IP的寻址（三层），那么只能实现基于MAC的寻址，既二层寻址，大二层，顾名思义，此是二层网络，根据MAC地址进行寻址】
传统网络的二层为什么大不起来
在数据中心网络中，“区域”对应VLAN的划分。
相同VLAN内的终端属于同一广播域，具有一致的VLAN-ID，二层连通；不同VLAN内的终端需要通过网关互相访问，二层隔离，三层连通。
传统的数据中心设计，区域和VLAN的划分粒度是比较细的，这主要取决于“需求”和“网络规模”。
传统的数据中心主要是依据功能进行区域划分，例如WEB、APP、DB，办公区、业务区、内联区、外联区等等。
不同区域之间通过网关和安全设备互访，保证不同区域的可靠性、安全性。
同时，不同区域由于具有不同的功能，因此需要相互访问数据时，只要终端之间能够通信即可，并不一定要求通信双方处于同一VLAN或二层网络。
传统的数据中心网络技术，STP是二层网络中非常重要的一种协议。
用户构建网络时，为了保证可靠性，通常会采用冗余设备和冗余链路，这样就不可避免的形成环路。
而二层网络处于同一个广播域下，广播报文在环路中会反复持续传送，形成广播风暴，瞬间即可导致端口阻塞和设备瘫痪。
因此，为了防止广播风暴，就必须防止形成环路。
这样，既要防止形成环路，又要保证可靠性，就只能将冗余设备和冗
余链路变成备份设备和备份链路。
即冗余的设备端口和链路在正常情况下被阻塞掉，不参与数据报文的转发。
只有当前转发的设备、端口、链路出现故障，导致网络不通的时候，冗余的设备端口和链路才会被打开，使得网络能够恢复正常。
实现这些自动控制功能的就是STP（Spanning Tree Protocol，生成树协议）。
由于STP的收敛性能等原因，一般情况下STP的网络规模不会超过100台交换机。
同时由于STP需要阻塞掉冗余设备和链路，也降低了网络资源的带宽利用率。
因此在实际网络规划时，从转发性能、利用率、可靠性等方面考虑，会尽可能控制STP网络范围。
随着数据大集中的发展和虚拟化技术的应用，数据中心的规模与日俱增，不仅对二层网络的区域范围要求也越来越大，在需求和管理水平上也提出了新的挑战。
数据中心区域规模和业务处理需求的增加，对于集群处理的应用越来越多，集群内的服务器需要在一个二层VLAN 下。
同时，虚拟化技术的应用，在带来业务部署的便利性和灵活性基础上，虚拟机的迁移问题也成为必须要考虑的问题。
为了保证虚拟机承载业务的连续性，虚拟机迁移前后的IP地址不变，因此虚拟机的迁移范围需要在同一个二层VLAN下。
反过来即，二层网络规模有多大，虚拟机才能迁移有多远。
传统的基于STP备份设备和链路方案已经不能满足数据中心规模、带宽的需求，并且STP协议几秒至几分钟的故
障收敛时间，也不能满足数据中心的可靠性要求。
因此，需要能够有新的技术，在满足二层网络规模的同时，也能够充分利用冗余设备和链路，提升链路利用率，而且数据中心的故障收敛时间能够降低到亚秒甚至毫秒级。
二、大二层需要有多大、及技术选型
1. 数据中心内
大二层首先需要解决的是数据中心内部的网络扩展问题，通过大规模二层网络和VLAN延伸，实现虚拟机在数据中心内部的大范围迁移。
由于数据中心内的大二层网络都要覆盖多个接入交换机和核心交换机，主要有以下两类技术。
1）虚拟交换机技术
虚拟交换机技术的出发点很简单，属于工程派。
既然二层网络的核心是环路问题，而环路问题是随着冗余设备和链路产生的，那么如果将相互冗余的两台或多台设备、两条或多条链路合并成一台设备和一条链路，就可以回到之前的单设备、单链路情况，环路自然也就不存在了。
尤其是交换机技术的发展，虚拟交换机从低端盒式设备到高端框式设备都已经广泛应用，具备了相当的成熟度和稳定度。
因此，虚拟交换机技术成为目前应用最广的大二层解决方案。
虚拟交换机技术的代表是H3C公司的IRF、Cisco公司的VSS，其特点是只需要交换机软件升级即可支持，应用成本低，部署简单。
目前这些技术都是各厂商独立实现和完成的，只能
同一厂商的相同系列产品之间才能实施虚拟化。
同时，由于高端框式交换机的性能、密度越来越高，对虚拟交换机的技术要求也越来越高，目前框式交换机的虚拟化密度最高为4:1。
虚拟交换机的密度限制了二层网络的规模大约在1万～2万台服务器左右。
2）隧道技术
隧道技术属于技术派，出发点是借船出海。
二层网络不能有环路，冗余链路必须要阻塞掉，但三层网络显然不存在这个问题，而且还可以做ECMP（等价链路），能否借用过来呢？通过在二层报文前插入额外的帧头，并且采用路由计算的方式控制整网数据的转发，不仅可以在冗余链路下防止广播风暴，而且可以做ECMP。
这样可以将二层网络的规模扩展到整张网络，而不会受核心交换机数量的限制。
隧道技术的代表是TRILL、SPB，都是通过借用IS-IS路由协议的计算和转发模式，实现二层网络的大规模扩展。
这些技术的特点是可以构建比虚拟交换机技术更大的超大规模二层网络（应用于大规模集群计算），但尚未完全成熟，目前正在标准化过程中。
同时传统交换机不仅需要软件升级，还需要硬件支持。
2. 跨数据中心
随着数据中心多中心的部署，虚拟机的跨数据中心迁移、灾备，跨数据中心业务负载分担等需求，使得二层网络的扩
展不仅是在数据中心的边界为止，还需要考虑跨越数据中心机房的区域，延伸到同城备份中心、远程灾备中心。
一般情况下，多数据中心之间的连接是通过路由连通的，天然是一个三层网络。
而要实现通过三层网络连接的两个二层网络互通，就必须实现“L2 over L3”。
L2oL3技术也有许多种，例如传统的VPLS（MPLS L2VPN）技术，以及新兴的Cisco OTV、H3C EVI技术，都是借助隧道的方式，将二层数据报文封装在三层报文中，跨越中间的三层网络，实现两地二层数据的互通。
这种隧道就像一个虚拟的桥，将多个数据中心的二层网络贯穿在一起。
也有部分虚拟化和软件厂商提出了软件的L2 over L3技术解决方案。
例如VMware的VXLAN、微软的NVGRE，在虚拟化层的vSwitch中将二层数据封装在UDP、GRE报文中，在物理网络拓扑上构建一层虚拟化网络层，从而摆脱对网络设备层的二层、三层限制。
这些技术由于性能、扩展性等问题，也没有得到广泛的使用。
附录：常见数据中心架构
full layer3网络属于传统的数据中心网络。
服务器网关部署在接入交换机上，整网通过路由协议控制拓扑和转发路径。
这样的网络架构的主要优势在于技术成熟、有大量的运维经验。
网络系统稳定且便于维护。
但是Full layer3网络的不足之处在于不能支持虚拟化数据中心虚拟机的自由迁移，所以在进入云计算时代后，Full layer3网络逐渐被淘汰。
Full layer2网络是下一代数据中心的网络模型。
服务器网关在核心层，整网通过TRILL或是SPB协议控制拓扑和转发路径。
这样的网络架构主要优势在于能够支持大规模的二层网络，能够支持足够规模的虚拟机资源池。
但是，这个网络模型的缺点也是非常明显的。
TRILL协议虽然已经标准化(SPB协议正在标准化)，但是大规模的二层网络缺乏运维经验。
没有运维经验，也就意味着运维成本的大幅度提升，同时也会给业
务系统带来巨大的风险。
在汇聚层上部署EVI特性，通过核心与汇聚之间的IP网络建立Vlink实现二层互通。
通过EVI特性将指定的多个二层域连接起来，形成一个完整的大规模二层网络。
这样就可以实现虚拟机大规模池化功能。
同时，可以避免使用TRILL 或是SPB协议带来的运维风险。
PS：常规IP包转发过程中，源IP及目的IP保持不变，源MAC与目的MAC不断发生变化，既源MAC是自己的
mac，目的mac是下一跳（主机或者路由器）的mac；路由器将数据转发出去的阶段，需要知道下一跳的mac地址，通过arp协议获取，并存储在路由器的arp表内，供下次查询使用。
