泛达推出统一物理层基础设施策略

2023 华为Datacom-HCIE 真题题库单项选择题1.[试题编号：190585] (单选题)华为SD-WAN解决方案中，当CPE位于NAT设备后的私网时，特别是两个站点的CPE同时位于NAT设备后的私网时，CPE之间需要使用NAT穿越技术。

华为SD-WAN解决方案中使用以下哪一项技术帮助CPE之间实现NAT穿越?A、NAT ALGB、NAT serverC、IPsec VPND、STUN答案：D解析：华为SD-WAN解决方案是一种通过网络控制器集中管理CPE设备、零配置开局的解决方案，可以帮助企业应对云服务带来的挑战，做到业务随需而变。

当CPE 位于NAT设备后的私网时，特别是两个站点的CPE同时位于NAT设备后的私网时，CPE之间需要使用NAT穿越技术，才能实现业务流量的互通。

华为SD-WAN 解决方案中使用STUN技术帮助CPE之间实现NAT穿越。

下面我来分析一下各个选项：A项：NAT ALG。

这个描述是错误的，因为NAT ALG是一种应用层网关技术，用于修改应用层报文中的IP地址和端口信息，以适应NAT转换后的地址变化，而不是用于实现NAT穿越。

B项：NAT server。

这个描述也是错误的，因为NAT server是一种NAT设备上的功能，用于将公网IP地址和端口映射到私网IP地址和端口，以提供对外服务，而不是用于实现NAT穿越。

C项：IPsec VPN。

这个描述同样是错误的，因为IPsec VPN是一种安全隧道技术，用于在不安全的网络中建立加密和认证的通道，以保护数据传输的安全性，而不是用于实现NAT穿越。

D项：STUN。

这个描述是正确的，因为STUN是一种NAT会话穿越应用程序，用于检测网络中是否存在NAT设备，并获取两个通信端点经NAT设备分配的IP 地址和端口号，在两个通信端点之间建立一条可穿越NAT的P2P链接2。

2.[试题编号：190584] (单选题)如图所示，在虚拟化园区网络中部署业务随行，其中PC1属于Sales安全组，PC2属于R&D安全组，PC3属于Market安全组。

第1章1.无线网络按照覆盖范围主要分为哪几类？Wireless Personal Area Network（个人无线网络）、Wireless Local Area Network （无线局域网络）、Wireless Metro Area Network （无线城域网络）、Wireless Wide Area Network （无线广域网络）2.常见的WLAN技术主要有哪些？802.11，工作在2.4GHz，最高速率2Mbps802.11a，工作在5GHz，最高速率54Mbps802.11b，工作在2.4GHz，最高速率11Mbps802.11g，工作在2.4GHz，最高速率54Mbps802.11n，工作在2.4GHz和5GHz，最高速率600Mbps802.11ac，工作在2.4GHz，最高速率3.47Gbps3.WLAN相对于目前的有线网络主要有哪些优点？移动性、灵活性、可扩展性、经济性第3章4.WLAN的工作频段有2.4GHz频段和5GHz频段5.射频信号传播时会遇到的物理现象主要有：吸收、反射、散射、折射、衍射、衰减6.多径衰落是指无线信号在传播时，由于障碍物的反射和折射，造成信号沿不同路径传输到达接收端，由于接收到的多路信号相位不同，造成接收信号幅度相互抵消而衰减的现象。

第4章7. 2.4GHz频段频率是2.4-2.4835GHz，被划分为14个交叠的、错列的22MHz无线信道，它们的中心频率间隔分别为5MHz，每个信道带宽为22MHz。

一般常用的非重叠有3个，分别是1/6/11信道。

8.5GHz频段频率是5.15-5.35GHz和5.47-5.825GHz，被划分为23个非重叠无线信道，每个信道带宽为20MHz，相邻信道之间频谱无交叠，在中国一般常用的非重叠有5个，分别是149，153，157，161，165信道，频率为5.725-5.850GHz，常称为5.8GHz频段。

9. 2.4GHz频段干扰严重，除了2.4GHz频段的WLAN，还有微波炉、蓝牙、ZigBee、WiMedia，无绳电话、医疗设备等使用该频段。

存储HCIP试题与参考答案一、单选题（共38题，每题1分，共38分）1.同事为客户定制双活容灾方案，客户已经有套第三方存储系统，计划新购置一套OceanStor5300V3，把这两套设备分别放置到两个数据中心实施双活容灾，该方案：A、可行，存储设备满自足双活容灾方案要求。

B、不可行，双活容灾方案需要至少两套OceanStorV3存储。

C、不可行，双活容灾方案只支持华为存储，不支持第三方存储。

正确答案：B2.某客户初始备份容量为1T，平均每天数据增量10G，备份策略是每周做一次全备，周二到周日每天一次差异增备，全备和增备数据的保存周期均为4周，在不考虑重删，冗余比，复制等的情况下所需的后端容量应该不少于哪个值？A、4940GB.B、4280GB.C、5940GB.D、5280GB.正确答案：C3.华为分布式存情块服务的压缩功能，哪个选项描述是正确的A、压缩引擎采用三种不同压缩算法组合运行B、在同一个存储池只能选择一个压缩算法C、存储池压缩算法的修改会影响已经压缩的数据D、同一个存储池可以选择多种压缩算法，提高压缩速度和比例正确答案：D4.关于源端重删，以下描述不正确的是哪一项？A、当数据从源端传输到目标端的过程中，在源端先对被传输的数据块进行哈希比对并去重。

B、占用源端资源进行去重处理。

C、只需要将新数据块的数据传输到目标端，无需传输老数据块相关的信息D、相比目标端重删可节约传输带宽。

正确答案：C5.华为UltaPath提供多种负载均衡算法，会根据每个io请求的块大小计算出总体负载数据量，然后进行负载均和的算法是以下哪种算法？A、least-blockB、round-robinC、least-into正确答案：A6.下面哪项属于oceanstor18000存储系列产品RAID2.0+技术支持的自动负载均衡技术？A、smartmotionB、smarttierC、smartqosD、smartpartition正确答案：A7.华为本地高可用方案中，如果采用HyperMirror特性，那么还必须使用哪种特性才能对异构存储整列创建镜像。

华为Single,如何打赢“整体架构”这一战？对话：华为全球解决方案Marketing部副总裁张宏喜鲁义轩【摘要】Single“下一个十年”的意义rn《通信世界周刊》:进入数据和全业务时代,运营商网络面临前所未有的压力.华为提出的可通过全IP平台,实现无线、固定宽带、城域网、OSS/BSS等网络组织部分的平台化,从而支持不同技术体制的设备的“Single战略”,在您看来,这一整体战略对于提升运营商运营水平和盈利水平,有何实质推动作用?rn张宏喜:华为经过多年在无线、固定和IP网络的积累,从2006年初就判断ALL IP技术将成为下一代网络的基础,通过IP技术统一承载多种业务,实现单一网络的目标,从而制定了Single战略,华为的Single战略包括以下几大核心内容.【期刊名称】《通信世界》【年(卷),期】2011(000)027【总页数】3页(P26-28)【作者】鲁义轩【作者单位】【正文语种】中文“网络架构创新”企业访谈（二）编者按经过多年发展，电信网络形成了PON、NG-PON、GSM、UMTS、LTE、SDH、ATM、PSTN、Softswitch等多种技术共存的局面，这种“一种技术对应一张网络和一个维护队伍”的传统建网模式，导致新技术和摩尔定律带来的成本下降被管理多张网络的OPEX所淹没，需要新的建设思路。

为了应对现实网络挑战，同时瞄准运营网络的下一个十年走势，华为推出“Single 战略”整体解决方案。

如何在运营商网络中体现出Single的更大价值？华为全球解决方案Marketing部副总裁张宏喜为我们作了全面解读。

华为的业务云是完全开放的，希望和业界合作伙伴特别是互联网的伙伴一起为用户提供一站式的业务体验。

在这个过程中，可以有简单的业务集成，也可能是进一步的业务聚合（Mashup）。

HiQQ就是我们和腾讯一起合作的一套互联网业务套件，在HiQQ里用户将无缝体验到腾讯的所有业务。

我们希望有更多的合作伙伴加入到开放的业务云。

第一章课后练习1. 选择题（1）在5G移动通信系统网络架构中, 无线接入网的设备是（ C ）。

A. BTSB. BSCC. gNodeBD. eNodeB（2）从物理层次划分时, 5G承载网被分为（ ABD ）。

A. 前传网B. 中传网C. 后传网D. 回传网（3）为了满足低时延业务需要, 核心网的部分网络需要下沉到（ D ）中。

A. 核心DCB. 中心DCC. 区域DCD. 边缘DC（4）全球3G标准包含（ABCD ）。

A. WCDMAB. CDMA2000C. TD-SCDMAD. WiMAX（5）4G使用的多址接入技术是（D）。

A. FDMAB. CDMAC. TDMAD. OFDMA2. 简答题（1）请写出ITU定义的5G的八大能力目标。

（2）请描述5G的三大应用场景。

5G的应用场景分为三大类: 增强移动带宽（enhanced Mobile Broadband, eMBB）、超高可靠低时延通信（Ultra Reliable and Low Latency Communication, URLLC）、海量物联网通信（massive Machine Type of Communication, mMTC）, 不同应用场景有着不同的关键能力要求。

其中, 峰值速率、时延、连接数密度是关键能力。

eMBB场景下主要关注峰值速率和用户体验速率等, 其中, 5G的峰值速率相对于LTE的100Mbit/s提升了100倍, 达到了10Gbit/s；URLLC场景下主要关注时延和移动性, 其中, 5G的空口时延相对于LTE的50ms降低到了1ms；mMTC场景下主要关注连接数密度, 5G的每平方千米连接数相对于LTE 的104个提升到了106个。

第二章（1）以下可用于5G无线接入网部署的组网方式为（ D ）。

A. DRANB. CRANC. Cloud RAND. 以上都可以（2）以下不属于DRAN架构优势的是（ D ）。

企业数字化转型与颠覆性技术创新试题单选题:1、互联网+行动计划的核心是（）计划.（2分）A。

生产B。

销售C。

生态D。

技术标准答案：C2、在抽样方法中，当合适的样本容量很难确定时,可以使用的抽样方法是(）.(2分）A.又放回的简单随机抽样B。

无妨会的简单随机抽样C。

分层抽样D。

渐进抽样标准答案：D3、云计算是一种基于(）的计算方式。

(2分）A。

互联网B。

云存储C。

并行计算D。

分布式计算标准答案:A4、TCP/IP协议中，基于TCP协议的应用程序包括（)（2分）A.ICMPB.SMTPC。

RIPD。

SNMP标准答案：B5、当不知道数据所带标签时,可以使用哪种技术促使带同类标签的数据与带其他标签的数据相分离？(2分）A。

分类B。

聚类C。

关联分析D。

隐马尔可夫链标准答案：B6、围绕下一代超高速无线通信‘5G’，日本和美国、欧洲、中国、（）统一通信标准。

(2分）A.韩国B。

泰国C.法国D。

新加坡标准答案：A7、下列关于数据重组的说法中，错误的是（)(2分）A.数据重组是数据的重新生产和重新采集B.数据重组能够使数据焕发新的光芒C。

数据重组实现的关键在于多源数据融合和数据集成D.据重组有利于实现新颖的数据模式创新标准答案：A8、移动互联网向生产形态的在平衡，对社会的影响不包括哪项？（2分）A．蒸汽机B。

电动机C.桌面互联网D。

移动互联网标准答案：D9、智能化、自动化资源调度：（）基于负载策略进行资源监控，自动负载均衡，实现高效热管理（2分）A。

白天B。

夜晚C。

白天和夜晚均可以D.闲时标准答案：A10、5G网络具备比4G更高的性能,支持（）的用户体验速度A。

0.01～0。

1Gbpsb。

0。

1~1 GbpsC.1～10 GbpsD。

10～100 Gbps标准答案：B11、(）向用户提供应用程序(2分）A.PSB。

laaSC。

SaaSD。

aaS标准答案:C12、低功率大连接场景适合使用以下哪种5G关键技术？(2分）A.大规模天线B。

数据中心网络建设方案目录第一章数据中心现状分析............................................................................................................... 第二章数据中心网络技术分析.......................................................................................................2.1 路由与交换..................................................................................................................................2.2 EOR 与TOR ..................................................................................................................................2.3网络虚拟化...................................................................................................................................2.3.1 网络多虚一技术.......................................................................................................................2.3.2网络一虚多技术........................................................................................................................2.4 VM互访技术（VEPA）................................................................................................................2.5 虚拟机迁移网络技术.................................................................................................................. 第三章方案设计...............................................................................................................................3.1网络总体规划...............................................................................................................................3.2省级数据中心网络设计...............................................................................................................3.3市级数据中心网络设计...............................................................................................................3.4区县级数据中心网络设计...........................................................................................................3.5省、市、区/县数据中心互联设计 .............................................................................................3.5.1省、市数据中心互联................................................................................................................3.5.2市、区/县数据中心互联 ..........................................................................................................3.5.3数据中心安全解决方案............................................................................................................ 第四章方案的新技术特点...............................................................................................................4.1量身定制的数据中心网络平台...................................................................................................4.1.1最先进的万兆以太网技术........................................................................................................4.1.2硬件全线速处理技术................................................................................................................4.1.3 Extreme Direct Attach技术 .......................................................................................................4.1.5 帮助虚机无缝迁移的XNV技术..............................................................................................4.1.5环保节能的网络建设................................................................................................................4.2 最稳定可靠的网络平台..............................................................................................................4.2.1 独有的模块化操作系统设计...................................................................................................4.2.2超强的QOS服务质量保证.......................................................................................................4.3先进的网络安全设计...................................................................................................................4.3.1设备安全特性.........................................................................................................................4.3.2用户的安全接入......................................................................................................................4.3.3智能化的安全防御措施..........................................................................................................4.3.4常用安全策略建议.................................................................................................................. 附录方案产品资料...........................................................................................................................1. 核心交换机BD 8800 ..........................................................................................................2. SummitX670系列产品 .......................................................................................................3. 三层千兆交换机Summit X460 ..........................................................................................4. 核心路由器MP7500 ..........................................................................................................5. 汇聚路由器MP7200 ..........................................................................................................6. 接入路由器MP3840 ..........................................................................................................7. 接入路由器MP2824 ..........................................................................................................8. MSG4000综合安全网关....................................................................................................第一章数据中心现状分析云计算数据中心相比较传统数据中心对网络的要求有以下变化：1、Server-Server流量成为主流，而且要求二层流量为主。

1.CE1和CE2属于同一个VPN，VPN实例的名字为vpna。

通过OptionC方式一实现CE1和CE2互通。

为实现该需求，ASBR-PE1配置了两条路由策略，针对1.[ASBR-PE1-bgp]peer route-policy policy2 export（仅填写IP地址）。

【答案】：(10.0.34.4/10.0.4.4)1.telemetry两种订阅方式，其中订阅时间较短的方式是_____?（全称）【答案】：(动态订阅)1.<rpc xm/ns ="xxxx"message-id="1024“属于netconf中的_____层（中文全称）【答案】：(消息)1.请将以下命令与其作用对应起来_______。

【答案】：(Arp br adcast-Suppress enable ---- ARP广播抑制Arp c llect h st enable ---- 主机信息搜集Arp-pr xy l cal enable ---- ARP本地代理Arp distribute-gateway enable ---- 分布式网关)1.Q S在执行时有一定的顺序,请将以下的几个Q S功能模块按照正确的顺序排序。

1-复杂流分类、2-拥塞避免、3-拥塞管理、4-简单流分类、5-流量整形1.CE1 和CE2 属于同一个WPN,VPN 实例的名字为vpna。

通过OptionC 方式一实现CE1 和CE2 互通。

为实现该需求，请将以下命令行与设备编号进行匹配。

1.HQoS 一共有三级队列: Leve1l, Level2, Level3。

请将以下队列名称与队列等级一一对应。

【答案】：1. NETC NE内容层为设备配置数据，针对以下NETC NEF信息,描述正确的有哪些项?A、该配置采用了Huawei-YANG方式B、该配置为在设备上创建VLAN 10C、该配置采用了NETC NF <edit-c nfig>操作,把配置数据加载到启动配置库D、<c nfig>中包含了“perati n”属性,为merge操作【答案】：ABCD1.SR-MPLS P licy可以借助BGP扩展来传递隧道信息，其信息如图所示。

存储HCIP习题（附答案）一、单选题（共38题，每题1分，共38分）1.InfiniBand协议特点不包括以下哪一项？A、速度高B、远程直接内存存取功能C、基于标准协议开发D、传输卸载，可将数据包路由从芯片级转到os正确答案：D2.华为分布式存情块服务的压缩功能，哪个选项描述是正确的A、压缩引擎采用三种不同压缩算法组合运行B、存储池压缩算法的修改会影响已经压缩的数据C、同一个存储池可以选择多种压缩算法，提高压缩速度和比例D、在同一个存储池只能选择一个压缩算法正确答案：C3.下面不属于OceanStor18500/18800产品的4S扩展技术的是哪一项?A、Scale-downB、Scale-outC、Scale-inD、Scale-up正确答案：A4.做影响华为Oceanstor9000客户端性能的因素的分析和调整时,包含的步骤有:a-检查调整外部干扰因素B-查看性能监控工具的性能指标C-检查调整系统配置正确的顺序应该是哪一项?A、abcbaB、bcbabC、acbabD、babcb正确答案：D5.以下有关统一命名空间描述不正确的是哪一项？A、命名空间作为整个系统的根目录，不可以被共享和访间，只有其下面的子目录才可以被共享和访问。

B、命名空间在0ceanStor9000启动时自动创建，其名称与系统命名保持一致。

C、统一的命名空间为用户提供统一的存储资源池，实现对存储空间的集中管理和分配。

D、各文件共享目录均为命名空间的子目录。

正确答案：A6.某客户单位购买了9台OceanStor9000存储节点,规划部署时要求任意三块硬盘一个存储节点故障,不影响数据的完整性,且整体存储空间利用率不低于80%,以下选项中元余配比合适的是:A、8+1B、16+3:1C、6+3D、6+3:1正确答案：B7.在华为Oceanstor9000存储系统中,当某一个InfoReplicator处于分裂状态时,以下说法不正确的哪一项?A、出现Pair分裂,可能的原因是暂时性的链路异常或网络带宽扩容B、此时Pair所指定的两端目录的主从关系不变C、当该Pair被重新同步后,上次同步由于分裂操作导致未被复制到从目录的差异数据和已同步的数量需求同步正确答案：C8.N8500集群NAS系统中有许多服务支撑系统功能实现,例如NFS、CIFS 基本服务组。

运营商大模型硬件基础设施创新及RDMA流量控制技术研究车碧瑶1　张永航2　廖怡2　唐剑2　樊小平2　赵继壮1　陆钢1(1.中国电信股份有限公司研究院,北京102209;2.中国电信天翼云科技有限公司,北京100007)摘要:从业界大模型硬件基础设施创新的主要模式出发,论述了电信运营商在该领域自主创新的路线选择考虑㊂基于实际组网环境和业务场景提出需求,设计了一种支持NO-PFC㊁交换机免配置的拥塞控制算法,使用RTT作为拥塞感知信号,控制交换机队列长度,实现低延迟㊂关键词:RDMA拥塞控制;大模型基础设施创新;运营商数据中心网络中图分类号:TP30;F124㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀文献标志码:A引用格式:车碧瑶,张永航,廖怡,等.运营商大模型硬件基础设施创新及RDMA流量控制技术研究[J].信息通信技术与政策,2024,50(2):26-32.DOI:10.12267/j.issn.2096-5931.2024.02.0050㊀引言真正认真对待软件的人应该自己制造硬件 [1]㊂经过十几年的发展,云计算已经走到了硬件创新成为行业主要驱动力的阶段㊂随着2022年底大模型时代的开启,全球头部云服务商2023年除了推出自己的各种大模型,也坚定地在大模型硬件基础设施上进行了自主研发㊂本文首先对电信运营商在大模型硬件基础设施领域自主创新的路线选择进行了分析和研究,然后重点论述了基于中国电信云网融合大科创实验装置在远程直接内存访问(Remote Direct Memory Access, RDMA)拥塞控制方面的研究进展㊂1㊀运营商大模型硬件基础设施创新路线图大模型硬件基础设施创新主要包括以下3个层面㊂一是研发人工智能(Artificial Intelligence,AI)算力芯片㊂2023年,AWS推出第二代AI芯片Trainium2,微软推出Maia100,谷歌推出TPUv5p,这些产品均选择走可对特定AI业务场景加速的专用集成电路(Application Specific Integrated Circuit,ASIC)芯片路线,而不是通用图形处理器(Graphics Processing Unit, GPU)路线㊂二是研发数据处理单元(Data Processing Unit, DPU)㊂例如,AWS的Nitro㊁谷歌的IPU㊁阿里巴巴的CIPU㊁中国电信的紫金DPU等㊂DPU设备是云服务商的根本技术所在,云主机最重要的虚拟化㊁网络通信㊁存储㊁安全功能全部下沉到此设备中;与过去智能网卡只能提供部分软件卸载不同,现在整个基础架构软件堆栈都可以在DPU上实现,中央处理器(Central Processing Unit,CPU)释放后可给最终用户售卖更多核;头部云服务商自研DPU的产品路线上均选择对能够体现自身架构独特性的功能进行强化;因功能非常复杂且需要嵌入云服务商各自独特的功能,故产业界DPU标准化程度还不高㊂三是研发运行在数据中心专用通信硬件上的实时处理逻辑㊂例如,嵌入高速网卡中的RDMA拥塞控制逻辑㊁网络负载均衡逻辑和交换机上的定制化协议处理逻辑等㊂第一㊁二层面硬件自主研发的商业价值主要体现在:一方面,自研芯片可给云服务商加持其他公司难以复制的核心竞争力,如AWS的IPU Nitro;另一方面,大幅降低云服务商采购第三方先进芯片的投资额,可以预估一旦谷歌原生多模态大模型Gemini的领先效果被业界广泛认可,则训练Gemini的谷歌张量处理器(Tensor Processing Unit,TPU)会一改以前只是自用的局面,外部客户也会从通用GPU转向更便宜的谷歌自研芯片TPU,谷歌会大大降低外购GPU成本㊂但第一㊁二层面的硬件研发需要巨大的投入和时间积累并且失败风险很高,目前的实现路径有以下几种模式㊂一是与大型芯片公司联合研发,既可解决自身能力不足问题,又提高了项目的成功率㊂例如,微软组建数百人的独立团队,与AMD联合开发代号名为Athena的AI芯片,此项目预估已投入20亿美元以上;谷歌TPU v1~v4均由博通共同设计,除了芯片设计之外,博通公司还为谷歌提供了关键的知识产权,并负责了制造㊁测试和封装新芯片等步骤,以供应谷歌的新数据中心,博通公司还与其他客户(如Facebook㊁微软和AT&T等公司)合作设计ASIC芯片㊂二是收购半导体设计公司,走独立自主的芯片设计路线㊂例如,亚马逊多年前收购Annapurna Labs,设计出的AI推理/训练和网络芯片均已规模部署㊂三是收购初创公司获得完整知识产权(Intellectual Property,IP)和人才,如微软收购DPU初创公司Fungible㊂四是组建设计团队,直接购买第三方完整IP修改后定制出自己的芯片,但除了因符合云服务商定制化需求的IP供应商很少外,商务合作模式也受限于运营商标准化采购流程比较难以操作㊂五是与已经成功流片的小体量的初创设备商合作进行上层功能定制,快速推出自己的芯片㊂六是基于现场可编程门阵列(Field Programmable Gate Array,FPGA)开展核心IP完全自主可控的产品研发,逐步积累芯片研发经验,时机成熟启动流片,最后实现低成本芯片规模化部署;微软早在2010年就启动了以FPGA路线为主的硬件研发;由于FPGA在信息通信网络设备中广泛存在,运营商在云中选择同样的FPGA路线可实现IP的复用;针对高端云网设备(高速DPU+高速交换机)极难解耦的困境,运营商端侧的FPGA设备可以实现异构厂家交换机协议的兼容,保持运营商对网络的核心掌控力㊂综上所述,结合运营商自身业务场景㊁实际需求和研发现状,对硬件基础设施创新3个层面分析如下:芯片研发耗时漫长,投资巨大,见效慢,且流片失败风险极高㊂选择上层功能定制合作模式的自研芯片见效快,但由于运营商研发人员没有真正深度参与IP设计,从长远看不利于核心竞争力的掌控㊂因此,在第三层面研发嵌入到特殊硬件中的硬件逻辑则相对周期较短,风险可控,实现独有技术架构的可能性较大㊂例如,随着业界100G以上高速网卡在需求方引导下逐步开放可编程接口,研发面向大模型智算场景运行在高速网卡上的RDMA流量控制逻辑是一种性价比较高的选择㊂RDMA流量控制技术是保证大模型训练网络性能的关键技术之一㊂RDMA流量控制技术主要包括RDMA拥塞控制与RDMA多路径负载均衡两种技术: RDMA拥塞控制技术用于调控各个计算端服务器向数据中心网络的发送数据的速度;RDMA多路径负载均衡技术的目标是让流入网络的报文公平且最大化地利用组网中所有物理链路,尽快完成流传递,避免出现一部分链路过载而另一部分链路利用率不高的情况㊂这两种技术现阶段都需要在符合特定规范的硬件中嵌入运营商自主研发的控制逻辑,才能在100G㊁200G㊁400G甚至未来800G的高速网卡和高速交换机中发挥作用㊂2023年,中国电信股份有限公司研究院与中国电信天翼云科技有限公司紧密协同在RDMA拥塞控制方面持续发力,结合运营商智算网络规模大㊁可靠性要求高等特征确定研发目标:重点关注可部署性,尽可能破除对基于优先级的流量控制(Priority-Based Flow Control,PFC)的依赖,简化交换机配置,避免繁琐的显式拥塞通知(Explicit Congestion Notification,ECN)水线调优,得到高速㊁NO-PFC㊁NO-ECN㊁Zero Queuing的拥塞控制算法㊂基于大科创装置仿真实验平台和物理实验平台,通过方法创新不断挑战性能曲线,自主研发拥塞控制技术(Chinatelecom Congestion Control,CTCC),在Incast场景㊁全闪存储场景㊁混合专家(Mixed of Expert,MoE)大模型训练场景实测结果有明显对比优势㊂2㊀RDMA流量控制技术业界研究现状2.1㊀主流技术路线随着大模型算力性能飞速提升,为实现更高的GPU计算加速比,云主机网络带宽从主流通用云计算的单端口25G演进到单端口400G,此时基于软件的网络堆栈已经无法发挥出网卡的全部性能㊂头部云服务商在高算力数据中心的各种业务中开始广泛采用RDMA技术,将网络堆栈卸载到网卡硬件中,实现数据直接传输㊂但RDMA网络在协调低延迟㊁高带宽利用率和高稳定性方面面临着挑战㊂由于网络丢包对业务(尤其是大模型训练业务)影响较大,避免网络拥塞并发挥网络全链路负载是保证算网协同场景性能的关键,云服务提供商都在此领域积极布局自主研发创新㊂数据中心网络拥塞主要由Incast流量和流量调度不均导致,为应对这两类场景,提高RDMA网络的性能和可靠性,业界采用拥塞控制算法和流量路径负载均衡两种技术路线㊂前者致力于提出高效的拥塞控制协议,感知链路拥塞状态后进行流级别控速;后者调整进入网络的各种流量路径避免拥塞,特别是解决在大模型训练业务场景下复杂的组网架构㊁通信模式极易引起的局部链路过载等问题㊂主流拥塞控制算法主要通过ECN㊁往返时延(Round-Trip Time,RTT)㊁带内网络遥测(In-band Network Telemetry,INT)等信号感知链路拥塞,并做出微秒级响应㊂当前业界最普遍采用的㊁基于ECN信号的代表性算法是微软和Mellanox联合研发的数据中心量化拥塞通知(Data Center Quantized Congestion Notification,DCQCN)算法[2],需要交换机在拥塞时标记数据包,并由接收侧反馈到发送侧网卡进行速率控制㊂基于RTT的方案依赖网卡硬件实现高精度的时延测试,不需要交换机参与,部署相对容易,谷歌提出的TIMELY和SWIFT算法[3-4]均采用该路线;基于INT信号的方案依赖链路中交换机记录的出口速率和队列深度等信息精确控制飞行流量,要求交换机支持特定格式的INT报文[5-6]㊂在流量路径负载均衡控制方面,业界主流技术路线包括动态负载均衡和多路径传输两种㊂动态负载均衡感知链路故障或拥塞状态,修改数据包头中生成负载均衡哈希(Hash)算法Key值的相关字段,实现自适应路由,腾讯提出端网协同的快速故障自愈Hash DODGING方案[7]采用该路线,网卡和交换机上采用基于Hash偏移的网络路径控制方法,感知故障后终端修改数据包头的服务类型字段值实现重新选路;多路径传输路线的主要设计思路是包级别甚至信元(Cell)级别的负载均衡实现方案,以解决传统等价多路径(Equal Cost Multipath,ECMP)算法在长/短流混合场景负载分配不均导致长尾时延的问题㊂AWS的SRD 协议[8]实现逐包转发的负载均衡技术,依赖自研芯片Nitro完成乱序重排㊂谷歌提出新型网络架构Aquila[9],定制TiN(ToR-in-NIC)芯片实现网卡和交换机硬件级的紧耦合改造,采用私有L2Cell Based协议GNet提供Cell级交换能力㊂博通公司采用分布式分散式机箱(Distributed Disaggregated Chassis,DDC)组网方案[10],提出基于网卡的全网端到端Cell改造以及仅在叶脊网络(Leaf-Spine)之间进行Cell改造的实现方案㊂目前,先进的负载均衡方案大多依赖端网协同,需要交换机和网卡提供各种定制化能力㊂由于尚未形成统一的标准,设备商基于各自独有技术提供能力支持,现阶段开放性不足,难以异厂家设备组网,在运营商现网环境中大规模应用存在阻碍㊂端到端拥塞控制算法可以在不进行业务软件㊁网络硬件设备更新的前提下优化网络拥塞和时延,是提升大规模集群网络通信性能最具成本效益的方法㊂结合现网环境和业务场景,运营商可先着手于短期内能落地㊁易部署的高效拥塞控制算法,在数据中心改造升级过程中结合实际情况探索端网协同的负载均衡策略,提出更完备的流量控制解决方案㊂2.2㊀面临挑战与优化目标DCQCN是标准网卡中默认的RDMA拥塞控制算法,只有当交换机队列累积至超过ECN水线才能感知拥塞,导致在大规模Incast场景拥塞缓解速度慢,收敛前持续触发PFC㊂此外,DCQCN算法超参数数量过多,性能与参数选择强相关,在实际部署中调参困难㊂此外,DCQCN 算法完全依赖于路径中交换机标记ECN 拥塞后对端返回给发送端的拥塞通知报文(Congestion Notification Packet ,CNP )调速,此方案有如下优劣势㊂在各个发送端,由于一台交换机下所有发送端收到的拥塞信号接近,很容易导致各个流以相同的计算公式在同等输入条件下得到的速度相近,吞吐波形图中体现为各条流曲线基本重合㊂通过大科创装置的物理实验平台,观测到DCQCN 吞吐量接近链路带宽且各条流曲线公平性非常好㊂ECN 信号无法反馈准确的交换机队列长度,拥塞情况下极易导致队列累积触发PFC ㊂如果一条链路上出现多种流量混跑,因为交换机每个端口的优先级队列只有8条,超过8个业务时必然存在多个业务共享一个交换机优先级队列的情况㊂各个业务的流量模型不同时,可能出现共享队列的流彼此影响,触发PFC 时端口暂停导致受害者流的问题㊂调速应同时考虑交换机链路和主机处理速度双重因素,但交换机的ECN 信号无法反映对端主机上的业务处理速度㊂F1图1㊀CTCC 拥塞控制算法实现框架综合考虑运营商现网设备现状与实际业务需求,从业务性能㊁网络可靠性㊁成本等方面出发,提出自主可控的CTCC 拥塞控制算法2023年设计目标:一是降低业务延迟,满足RDMA 网络高吞吐㊁低时延的需求㊂算法基于端到端的RTT 信号监控网络拥塞状态,快速做出响应,控制交换机队列长度,减少数据包在网络中的排队延迟和抖动㊂二是支持NO-PFC ㊂算法能够在NO-PFC 配置下正常工作,避免持续丢包降低网络性能,保证网络可靠性㊂三是简化部署步骤㊂工业级网络实践中往往强调可部署性,新的拥塞控制方案应当不需要对网络设备进行任何修改,主要在网卡上实现和配置,降低部署的成本和复杂度㊂3㊀中国电信自研RDMA 拥塞控制算法交换机队列长度是网络拥塞状态的直接反应,维持稳定的低交换机队列能够同时实现低延迟和高吞吐㊂排除软件侧时延抖动,RTT 大小主要受数据包经过交换机的排队延迟影响,能够快速反应网络拥塞状态的变化㊂随着硬件性能的提升,网卡能够提供更高的时钟精度和更准确的时间戳功能㊂这使得通过网卡进行高精度延迟测量成为可能,为基于RTT 信号的数据中心RDMA 拥塞控制协议的设计与实现提供了前提条件㊂针对DCQCN 基于ECN 信号调速导致队列累积㊁对网络拥塞反应滞后㊁PFC 依赖程度较高等问题,考虑使用RTT 信号进行更细粒度的调速,提出一种端到端的㊁基于速率(Rate-Based )的拥塞控制协议,可基于现有商用网卡或DPU 的可编程拥塞控制(Programmable Congestion Control ,PCC )功能实现㊂与现有算法相比主要有以下两点创新:依赖RTT 信号进行Rate-Based 调速,实现交换机免配置,能够有效维持交换机低队列,降低延迟;以支持NO-PFC 配置为出发点,设置收到否定应答(Negative ACKnowledge ,NACK )报文时快速降速,减少丢包带来的性能损失㊂3.1㊀算法设计如图1所示,CTCC 算法使用RTT 信号体现网络拥塞的变化趋势,设置目标RTT ,当实测RTT 高于目标RTT 时表明网络发生拥塞,控制发送端网卡降速;实测RTT 低于目标RTT 时表明网络畅通,可试探性增速㊂此外,网卡收到NACK 信号快速降速,避免持续丢包造成网络性能损失㊂CTCC算法主要在网卡中实现,采用无需修改RDMA协议或软件协议栈的RTT探测方式,发送端网卡在拥塞控制算法请求RTT探测时主动发出探测包,收到RTT响应报文或NACK基于加性增乘性减(Additive Increase Multiplicative Decrease,AIMD)策略调速㊂接收端网卡负责返回应答(Acknowledgement, ACK)报文和NACK报文,收到RTT探测包时记录相关时间戳,生成RTT响应报文返回发送方㊂为避免反向链路拥塞增加RTT信号反馈延迟,设置RTT响应报文高优先级㊂该算法无需交换机参与,能够降低部署成本,更好地支持动态环境下的网络调整和扩/缩容操作㊂CTCC算法难点描述:典型场景如7000个发送方往一个接收方打流,约束条件为7000个发送方彼此完全未知,每个发送方只能通过往接收方发送探测帧获得微秒级延迟后进行发送速率控制;目标为7000个发送方要速率快速收敛达到一致以保证公平性,同时避免总发送速率超过接收方链路带宽,避免交换机队列太满产生PFC暂停帧,瓶颈链路吞吐要尽量逼近链路带宽㊂此外,在网络动态变化或复杂业务场景下,如打流期间对相同接收方动态新增1000个或动态减少1000个发送方㊁发送方物理链路混跑有多种业务流量㊁跨多个交换机㊁大小业务流混跑等场景,依然要满足上述目标㊂3.2㊀算法优势分析纯RTT方案无需交换机配合,基于现有商用网卡实现,减少替换和运维成本㊂CTCC算法仅基于RTT信号进行拥塞控制,无需交换机支持可编程等高级功能,且基于商用网卡提供的PCC框架实现,无需定制化硬件㊂收到NACK快速降速,支持NO-PFC场景㊂算法设置网卡收到NACK后直接将速率减半,在关闭PFC的情况下也能应对大规模突发场景,快速降速大幅减少丢包数量,降低丢包带来的性能损失㊂参数数量少,降低调优难度㊂算法不依赖PFC和ECN,免去配置交换机水线的繁琐步骤;且网卡实现简单,超参数数量少,极大地降低了算法调优难度,减少部署和运维工作量㊂3.3㊀控制器设计在算法研发测试过程中,随着测试环境节点数的增加,算法烧写㊁网卡和交换机配置等准备工作量剧增,且极易出现不同节点算法配置不一致等问题㊂为验证算法可商用需要进行覆盖多种基础场景的上千项测试,测试结果的统一记录和汇总是结果分析和算法优化的基础㊂为解决该问题,自主研发出CTCC集中控制器,提供图形化操作界面,实现多设备算法镜像一键烧写㊁动态超参数下发㊁算法类型切换㊁自动化测试㊁测试结果实时监控㊁试验结果跟踪等一系列功能,大大降低了研发测试的工作量和复杂性,保证测试结果可靠㊂其中,超精度网络指标采集及监控是CTCC控制器的重要组成部分和一大技术难点㊂拥塞控制技术在研发过程中往往需要观测流量变化瞬间的网络性能的变化,对指标采集精度提出非常高的要求㊂CTCC控制器采用网络遥感技术,通过推模式(Push Mode)周期性地主动向采集器上送设备的接口流量统计㊁CPU 或内存数据等信息,相对传统拉模式(Pull Mode)的一问一答式交互,可提供更实时㊁更高速的数据采集功能㊂之后,经过Protocol Buffer编码,实时上报给采集器进行接收和存储㊂通过上述方案,可实现亚秒级以上的监控精度㊂3.4㊀算法性能评估利用商用网卡可编程架构实现自研算法,基于大科创装置的物理实验台搭建8台服务器通过1台交换机连接的网络环境,通过性能测试(Perftest)命令进行打流测试验证自研算法优势㊂测试使用的网卡支持per-QP和per-IP两种调速模式,per-QP模式下为每个连接(QueuePair,QP)单独调速,per-IP模式为相同目的互联网协议(Internet Protocol,IP)地址的QP分配相同的速率㊂考虑到同一目的IP的流可能通过负载均衡分配到不同的链路上,拥塞状态会存在差异,设置相同发送速率并不合理㊂在测试中,采用per-QP模式对每个QP进行细粒度调速,根据链路实际拥塞情况调整速率㊂对于DCQCN算法,测试时开启PFC,相关参数使用网卡和交换机推荐的默认值㊂对于CTCC算法,测试时关闭网卡和交换机的PFC功能㊂CTCC算法维持交换机低队列避免丢包:将7台服务器作为发送方,另外1台作为接收方,控制7个发送方同时起1000个QP向接收方打流,对比DCQCN 和CTCC算法在大规模Incast拥塞场景的性能㊂测试结果显示DCQCN算法拥塞控制基本失效,始终维持10MB以上的交换机队列,打流过程中持续触发PFC,易造成PFC风暴㊁死锁等问题,从而影响网络性能㊂CTCC算法最高交换机队列仅为1.22MB,且在没有开启PFC的状态下无丢包㊂DCQCN算法Perftest测得的发送端总和带宽为97.98Gbit/s,瓶颈链路带宽利用率为95.4%㊂CTCC算法测得的发送端总和带宽为90.70Gbit/s,瓶颈链路带宽利用率为91.5%㊂CTCC算法实现低时延:为验证自研算法在时延方面存在的优势,在上述测试场景中添加同方向的小流,测试小流完成的时延㊂由于DCQCN算法维持高队列,小流延迟达到1154.77μs,而CTCC算法能够有效维持低交换机队列,小流延迟平均值为20.31μs,与DCQCN相比降低99%㊂以上两项测试结果验证了CTCC能够在保证高吞吐的同时显著降低时延㊂与DCQCN相比,大规模Incast场景CTCC算法交换机平均队列和小流时延降低90%以上,在DCQCN持续触发PFC的情况下实现稳定状态无丢包㊂尽管控制交换机低队列易导致吞吐损失,且RTT探测包会占用少量带宽,CTCC仍保证了90%以上的带宽利用率,与DCQCN相比吞吐损失低于5%㊂4㊀结束语本文总结了业内RDMA拥塞控制算法研究趋势,结合运营商实际组网环境和业务场景需求提出研发目标,设计了一种交换机免配置的拥塞控制算法,基于大科创装置验证了其在物理环境中的性能优势㊂随着自主研发DPU㊁交换机技术的不断突破,产业各方会持续开展RDMA关键技术攻关,加强面向大模型训练场景数据中心网络极致负载分担㊁RDMA拥塞控制算法等核心技术研究,基于新的硬件设备设计结合多种信号的高效拥塞控制算法,并规划拥塞控制与负载均衡结合的全套解决方案,推动产业链的成熟与落地㊂参考文献[1]张佳欣.德媒:芯片之争,中国绝非无能为力[N].科技日报,2021-04-09(004).[2]ZHU Y,ZHANG M,ERAN H,et al.Congestion controlfor large-scale RDMA deployments[J].ACM SIGCOMM Computer Communication Review,2015,45(5):523-536.DOI:10.1145/2829988.2787484.[3]MITTAL R,LAM V T,DUKKIPATI N,et al.TIMELY:RTT-based congestion control for the datacenter [C]//Proceedings of the2015ACM Conference onSpecial Interest Group on Data Communication.New York:ACM,2015:537-550.DOI:10.1145/2785956. 2787510.[4]KUMAR G,DUKKIPATI N,JANG K,et al.Swift:delay is simple and effective for congestion control in the datacenter[C]//SIGCOMM 20:Annual Conference of the ACM Special Interest Group on Data Communication on the Applications,Technologies,Architectures,and Protocols for Computer Communication.New York: ACM,2020:514-528.DOI:10.1145/3387514.3406591.[5]LI Y,MIAO R,LIU H,et al.HPCC:high precisioncongestion control[C]//Proceedings of the ACM Special Interest Group on Data Communication.New York: ACM,2019:44-58.DOI:10.1145/3341302.3342085.[6]BASAT R B,RAMANATHAN S,LI Y,et al.PINT:probabilistic in-band network telemetry[C].Proceedings of the Annual Conference of the ACM Special Interest Group on Data Communication.New York:ACM,2020: 662-680.[7]何春志.腾讯星脉高性能计算网络:为AI大模型构筑网络底座[EB/OL].(2023-03-06)[2023-12-20].https:///developer/article/2234084.[8]SHALEV L,AYOUB H,BSHARA N,et al.A cloud-optimized transport protocol for elastic and scalable HPC [J].IEEE Computer Society,2020(6):67-73.DOI: 10.1109/MM.2020.3016891.[9]GIBSON D,HARIHARAN H,LANCE E,et al.Aquila:a unified,low-latency fabric for datacenter networks [C]//Proceedings of19th USENIX Symposium onNetworked Systems Design and Implementation.Seattle: NSDI,2022:1249-1266.[10]WU X G.Reducing job completion time in AI/ML clusters[EB/OL].(2022-06-09)[2023-12-20].https://www./blog/reducing-job-completion-time-in-ai-ml-clusters.作者简介:车碧瑶㊀中国电信股份有限公司研究院云网运营技术研究所助理工程师,主要从事RDMA高性能网络方向的研究工作张永航㊀中国电信天翼云科技有限公司研发专家,长期从事RDMA高性能网络的设计和研究工作廖怡㊀㊀中国电信天翼云科技有限公司研发专家,主要从事RDMA网络架构㊁协议㊁拥塞控制算法㊁智能网卡和DPU相关的研究工作唐剑㊀㊀中国电信天翼云科技有限公司研发工程师,主要从事高性能网络方向的研发工作樊小平㊀中国电信天翼云科技有限公司资深专家,主要从事高性能网络方向的研究工作赵继壮㊀中国电信股份有限公司研究院云网运营技术研究所云计算研究中心总监,高级工程师,主要从事云计算和高性能计算的软硬件优化等方面的研究工作陆钢㊀㊀中国电信股份有限公司研究院云网运营技术研究所副所长,教授级高级工程师,长期从事云计算技术研发与应用方面的研究工作Research on hardware infrastructure innovation for large language model of telecom operators and RDMA traffic control technologyCHE Biyao1,ZHANG Yonghang2,LIAO Yi2,TANG Jian2,FAN Xiaoping2,ZHAO Jizhuang1,LU Gang1(1.China Telecom Corporation Limited Research Institute,Beijing102209,China;2.China Telecom Cloud Technology Co.,Ltd.,Beijing100007,China)Abstract:Based on the main modes of hardware infrastructure innovation for large language model in the industry,this paper explores the considerations for route selection by telecom operators in this field.This paper presents a congestion control algorithm that supports NO-PFC and does not require the configuration of switches.The algorithm is designed with considerations for the actual networking environment and service scenario.To achieve low latency,the Round-Trip Time(RTT)is employed as the congestion sensing signal,enabling effective regulation of the switch queue length. Keywords:RDMA congestion control;hardware infrastructure innovation for large language model;telecom operator data center network(收稿日期:2023-12-26)。