FCoE

以太网光纤通道(FCoE)技术综述目前，数据中心正以前所未有的速度增长，企业级应用需要更强的计算能力，Web 服务成为企业面向客户的核心策略，包括电子邮件、文件、以及多媒体等在内的数据量不断增多，等等。

此外，法规遵从要求数据作较长时间的保存。

所有这些要求使得运行一个数据中心变得日益复杂和昂贵。

与此同时，数据中心通常运行多个独立的网络：一个以太网网络（LAN）用于客户机到服务器和服务器到服务器的通信；一个光纤通道的存储区域网络（SAN）用于服务器和存储设备的通信。

为了支持各类型网络，数据中心的服务器上需要为每种网络配置单独的接口，即以太网网络接口卡（NIC）和光纤通道主机总线适配器(HBA)。

并且服务器通常还具有其他专用的网络接口，用于管理、备份和虚拟机即时迁移。

对这些接口提供支持需要大量接口卡、布线、机架空间、上行交换机。

多种并行的网络架构增加了数据中心的建设成本和电力、冷却方面的开支以及空间的消耗，使得数据中心管理更加困难，削弱了业务灵活性。

网络融合是数据中心应对上述挑战的发展方向(如图1所示)。

FCoE便是一种网络融合的技术，可以使得FC和以太网共享一个单一的，集成的网络基础设施。

FCoE可以为数据中心带来显著的业务优势：更低的总体拥有成本(TCO)：通过为LAN/SAN流量提供统一交换网络，融合网络能够整合并更有效的利用以前分散的资源，通过消除不必要的交换基础设施，将服务器的I/O适配器与线缆的数量减少多达50%，大幅减少电力和冷却成本。

同时，简化的基础设施还可以降低管理和运营的开支。

强大的投资保护：FCoE可以和数据中心现有的以太网及FC基础设施无缝互通，使用户享受融合网络带来的优势，同时延续以太网和FC网络领域的架构，管理和运营最佳实践。

增强的业务灵活性：FCoE使得所有的服务器均能访问存储设备，在虚拟机移动的情况下可为虚拟机提供一致的存储连接，这样也提高了系统的灵活性和可用性。

图1 当前的网络架构和通过FCoE整合后的网络架构以太网LAN与FC SAN设计差异比较以太网LAN的设计思路图2. 以太网的基本模型如图2所示为传统以太网LAN的基本模型，其特点是“无限制性和尽力而为”，正是这种特点使得以太网的拓扑结构及流量模型具有高度灵活性。

对以太网这种特点的理解包括以下五点。

拓扑结构。

以太网由交换机和主机节点这两个基本元素组成，交换机之间成网状互联，主机节点间没有预先定义的主从访问关系。

任何一台主机都可以是发起访问的客户端，也可以是被访问的服务器。

传输可靠性。

传统以太网本身不保证传输可靠性，在转发层层面采用“尽力而为”的思想，传输可靠性由上层协议实现，例如，通过TCP协议可实现报文重传机制和滑动窗口机制。

网络服务。

以太网本身只负责报文传输，不提供更多网络服务，如L4/L7相关网络服务由防火墙、负载分担设备、网流分析设备等实现。

流量模型。

对于分层（接入、汇聚/分布、核心）网络模型来说，以太网既有同层间的横向流量（如同一接入层设备的主机间互访），也有跨层的纵向流量（如不同接入层设备的主机跨汇聚/核心的互访）。

高可用性。

通过物理上的全连接和冗余节点部署，并辅以生成树协议和动态路由协议实现环路避免和流量分担。

图3. 局域网分层架构由传统以太网技术构成的局域网/LAN（本文主要讨论数据中心局域网），最常用的设计模型是“接入——汇聚——核心”分层架构，如图3所示。

服务器采用双网卡接入方式上行到两台接入层交换机。

采用设备冗余部署方式以保证高可用性。

当网络规模较小时，核心与汇聚核心合并，形成“接入/汇聚——核心”两层架构。

网络二层与网络三层的边界通常在汇聚交换机上。

二层网络通过生成树协议避免环路，也可以采用N:1虚拟化（如 H3C IRF）技术避免环路。

汇聚层上通常部署各种L4/L7层服务，实现安全控制和应用优化。

传统FC SAN设计思路图4. FC SAN的基本模型如图4所示为FC SAN的基本模型，其特点是“流向确定和可靠传输”。

FC网络本身可承载多种上层协议，如IP、SCSI等，但由于FC协议在标准化之初，具备其他协议所不及的高带宽和可靠传输特性（不丢包），这种特性满足了SCSI的传输需求，所以FC网络技术的最广泛应用是构建存储网络（SAN），即通过FC 协议承载SCSI报文。

与此相比，以太网只有物理层（PHY）与访问控制层（MAC），其本身所具备的灵活性使以太网更适合于局域网中承载IP报文。

对FC SAN“流向确定和可靠传输”特点的理解包括以下五点：拓扑结构：FC SAN由FC交换机、Initiator（存储访问的发起方）、Target（受访存储设备）三种基本元素构成，FC交换机间网状互联。

访问发起方与受访端的关系明确定义，也就是说流量方向明确定义。

传输可靠性：FC网络采用基于BB_Credit的流控机制，可能够保证无丢包传输。

BB_Credit 数目代表FC网络端口接收方向可缓存的报文数，当发送一个报文后BB_Credit减1，当减到0时便不能再发报文，当收到对端发来的报文接受确认时， BB_Credit加1。

网络服务：FC协议内置的网络服务包括DNS（名称服务器）、RSCN（注册状态变化通知）、FDMI（通过带内通信管理HBA卡等设备的机制）等。

流量模型：对于采用分层（核心—边缘）模型的FC SAN，只有纵向跨层流量（边缘—核心—边缘）。

因此在规划FC SAN时，可以根据Initiator（主机）的数量和流量，明确定义边缘FC交换机上行端口的收敛比。

相比与以太网，由于接入层主机间存在横线访问流量，因此接入层上行端口的收敛比存在更多不确定性因素。

高可用性：对于高可用的FC SAN，要求从Initiator到Target必须存在两条完全独立的路径，也就是说从主机的角度看到的是完全不同的、各自独立、没有交叉的两个FC网路，在每个FC网络内，提供各自的FC网络服务（如DNS等），运行各自的FC路由协议（FSPF）。

图5. FC SAN 边缘—核心架构“边缘—核心”分层架构是FC SAN建设时最常用的网络设计模型，如图5所示。

服务器端（Initiator）采用双网卡分别接入到不同的边缘FC交换机，服务器上通过多路径软件实现磁盘IO负载分担与磁盘访问的高可用性。

存储设备（Target）采用双归属方式接入到核心FC交换机。

对于大型的FC网络，在存储设备端可增加一层边缘FC交换机，构成“边缘—核心—边缘”架构。

核心FC交换机做为主交换机，并向边缘FC交换机提供各种FC网络服务（如DNS）。

边缘FC交换机之间不做横向互联（FC SAN中没有横向互访需求），不同的边缘交换机与核心交换机组合，形成多个相互独立的FC SAN网络。

从边缘交换机上行到核心交换机的链路带宽可根据服务器（Initiator）接入数量和访问带宽进行明确定义。

FCoE技术概述如图6所示，FCoE是把FC帧封装在以太网帧中，允许LAN和SAN的业务流量在同一个以太网中传送。

FCoE保留了FC中N_Port、F_Port、E_Port的结构以及FC的管理模式。

在FC的角度来看，FCoE就是把FC承载在一种新型的链路上；在以太网的角度来看，FCoE仅是其承载的另外一种上层协议。

由于FC要求网络在拥塞情况下仍保持无丢包的可靠传输服务，故FCoE需要对以太网做一定的增强（CEE）来避免丢包。

图6 FCoE在以太链路上承载协议栈及报文封装FC网络协议栈有五层，其中FC0定义承载介质类型，FC1定义帧编解码方式，FC2定义分帧协议和流控机制，FC3定义通用服务，FC4定义上层协议到FC的映射。

FCoE是把FC-2层以上的内容封装到以太网报文中进行承载。

如图7、图8所示.图7 从FC协议栈到FCoE协议栈图8 FCoE报文封装FIP (FCoE初始化协议)FIP协议是FCoE控制平面相对FC控制平面新增的协议，主要完成以下功能，如图9所示：VLAN发现：Node获取FCoE流量所使用的VLAN；FCF发现：Node获取网络中的所有的FCF信息，然后决定和哪台FCF交换机建立虚链路连接；虚链路建立：Node向选中的FCF发送FIP FLOGI或FIP FDISC报文来建立虚链路，此时FCF给Node分配FC地址；虚链路维护：虚链路建立后，FCF交换机上通过收到Node定期发送保活报文来进行虚链路的维持，Node上通过定期收到FCF交换机发送的通告报文来进行虚链路的维持。

图9 FIP协议交互过程FC和FCoE地址映射图10 FC和FCoE地址映射FCoE网络中，报文中的FC地址是端到端不变的，而MAC地址则是逐跳替换的。

图10中，最左端为FC存储阵列，它连接到FC交换机，该FC交换机的Domain ID 为7；最右端为主机，它的FC ID为1.1.1，并且具有一个FCoE的MAC地址。

存储阵列和主机的通信过程如下：1. 存储阵列上的FC N_Port发送出FC帧，其目的地址（D_ID）为1.1.1，源地址（S_ID）为7.1.1；2. Domain ID为7的FC交换机收到报文后，查找转发表，将其转发到路径最短的端口；3. Domain ID为3的FCoE交换机收到报文后，重复步骤2的查表过程，发现该报文需要通过以太网络传送，便将FC报文封装在以太报文中，该以太报文的目的MAC地址是B（接收方交换机的FCoE实体的MAC地址），源MAC地址是A（发送方交换机的FCoE实体的MAC地址）；4. 当FCoE报文到达FCoE实体的MAC地址为B的交换机后，交换机检查FC报文中的D_ID在自身的Domain范围内，使用新的目的MAC地址C（主机的MAC地址）和新的源MAC地址B对报文进行重新封装，并从相应的端口发送；5. MAC地址为C的CNA收到FCoE报文；融合增强型以太网（CEE）传统的以太网是一种尽力服务的网络模式，当网络拥塞时有可能发生丢包，进而导致出现数据包重传或超时现象。

FCoE网络融合技术的出现，对以太网提出了无丢包服务的要求。

为此，IEEE 802.1和IETF标准组织正在制定一些新的标准，它们将创建一个新的、更强大的以太网协议系列，这些统称为融合增强型以太网（CEE）基于优先级的流量控制（PFC，IEEE 802.1Qbb）：链路共享对于网络融合至关重要。

要想实现链路共享，一种流量类型的突发不能影响其他流量类型，一种流量类型的大量排队不能争用其他流量类型的缓存资源。

当前以太网的Pause机制能够实现不丢包的要求，但它会阻止一条链路上的所有流量，PFC是对Pause机制的一种增强，PFC可以在一条以太物理链路上创建8个独立的虚拟链路，并允许单独暂停和重启其中任意一条虚拟链路。

这一方法使网络能够为单个虚拟链路创建无丢包类别的服务，使其能够与同一接口上的其他类型的流量共存。