当前位置：文档之家 › Scalability of Multicast Communication over Wide-Area Networks

Scalability of Multicast Communication over Wide-Area Networks

  • 格式：pdf
  • 大小：283.62 KB
  • 文档页数：21

2 Unreliable Multicast
This section discusses unreliable multicast communication over wide-area networks. Section 2.1 presents our assumptions, and Section 2.2 gives some background on existing routing techniques. Section 2.3 presents a model to reason about the cost of unreliable multicast, and Section 2.4 uses the model to study the scalability of the techniques described in Section 2.2. Section 2.5 then discusses other scalability issues not captured by our model, and Section 2.6 summarizes the ndings in our analysis.
Scalability of Multicast Communication over Wide-Area Networks
Donald Yeung Laboratory for Computer Science Cambridge, MA 02139 April 24, 1996
A multitude of interesting applications require multicast over wide-area networks. As these applications grow in popularity, issues concerning scalability of the underlying protocols that support both unreliable and reliable multicast become important. This paper makes several intellectual contributions related to scalable multicast protocols. First, we present a model that captures the essential network and application parameters. The model enables the direct comparison of di erent unreliable multicast routing algorithms under a single consistent framework. Second, we use the model to conduct an in-depth analysis of four existing unreliable multicast routing algorithms. Among our ndings is the somewhat surprising result that link-state multicast protocols are scalable under certain conditions because data message cost dominates control message cost, even when groups are sparse, and group membership is dynamic. Third, the paper presents an analysis of the cost of reliable multicast in two competing protocols. We identify NACK suppression as a problem for reliable multicast. Finally, we propose a novel solution for the suppression of multicasted NACKs that is implemented at the network level, and suggest directions for future research in this area.
2.1 Assumptions
We are concerned with unreliable multicast routing across point-to-point links at the internet level. We assume that protocols exist for gateways to acquire membership information from hosts in their subdomains (for instance, the protocol in 6]), and that there are separate protocols for forwarding multicast packets from gateways to hosts at the local-area level. Also, we assume that logical addressing is used so that senders need not worry about the existence of group members.
2.2 Routing Algorithms for Unreliable Multicast
This section describes, brie y, four algorithms for multicast routing: Reverse Path Multicast (RPM), Link-State Multicast, Core-Based Trees (CBTs), and Protocol Independent Multicast (PIM).
Abstract
1 IntroducБайду номын сангаасion
Multicast communication over wide-area networks is proving to be an important network service. A multitude of interesting applications demand wide-area multicast, including internet TV/radio, video/audio conferencing, and distributed interactive simulation, just to name a few. While there is already very high interest in the MBone 9], the Internet's version of multicast, this is only an early indication of the future popularity for applications requiring multicast. As the demand for multicast in networks increases, the question of scalability needs to be addressed. Protocols that support both unreliable and reliable multicast over wide areas have the potential for consuming enormous amounts of bandwidth. As network size, group size, and application bandwidth scale, it is easy for a multicast protocol to bring a network to its knees. Therefore, it is important to understand how scaling various network and application parameters impacts di erent multicast protocols. This paper explores scalability issues in both unreliable and reliable multicast, relying heavily on analysis to provide intuition. The paper makes several contributions. First, a model is introduced for reasoning about unreliable multicast protocols. The model considers both network and application parameters, and enables a direct comparison of di erent protocols under a single consistent framework. Second, we use the model to study the scalability of four proposed unreliable multicast protocols. A somewhat surprising result is that link-state protocols are scalable under certain conditions because data message cost dominates control message cost, even when groups are sparse, and group membership is dynamic. Third, the 1

合集下载

并行绘制游戏系统中同步传输协议的设计与实现

并行绘制游戏系统中同步传输协议的设计与实现

并行绘制游戏系统中同步传输协议的设计与实现谢文斌;陈学适;姜忠鼎【期刊名称】《计算机应用与软件》【年(卷),期】2014(000)010【摘要】随着虚拟现实技术的发展，并行绘制系统的日益成熟，为玩家提供大尺寸、高分辨率、广视角的沉浸式游戏画面成为国内外研究的热点。

相比于场景较为简单的虚拟现实系统，并行绘制游戏系统场景复杂，同步对象多，同步数据量大，已有的虚拟现实技术并不能满足并行绘制游戏系统的需求。

对并行绘制游戏系统进行研究与分析，将游戏世界中运动对象进行封装与解析，为实现游戏状态同步增加对象容错信息。

为实现游戏同步数据高效可靠的传输，提高游戏并行绘制框架的可伸缩性和扩展性，系统基于Multicast协议设计了一套高效可靠的通信机制，与TCP协议、RUDP协议及RSP协议进行对比分析实验。

实验结果表明，并行绘制游戏系统中基于Multicast的通信协议相比TCP协议、RUDP协议及RSP协议具有更好的性能及可伸缩性。

%With the development of virtual reality and the growing maturity of parallel rendering system,it has become the research focus at home and abroad that how to offer players the immersive game screen in large size,high resolution and wide pared with the virtual real-ity system with relatively simple scene,parallel rendering game system has complicated scene,multiple synchronisation objects and huge synchro-nous data,and the existing virtual reality technology cannot meet the needs of parallel rendering game system.We study and analyse existing paral-lel rendering game system,encapsulate and parse themoving objects in game world,and add fault-tolerant information of object for realising game state synchronisation.Meanwhile,in order to achieve efficient and reliable transmission of games’synchronous data,we improve the scalability and expansibility of game’s parallel rendering framework.The system is designed an efficient and reliable communication mechanism based on Multicast protocol,and is made comparative analysing experiments with TCP protocol,RUDP protocol and RSP protocol.The experimental results show that in parallel rendering game system,Multicast-based communication protocol has better performance and scalability than other three protocols.【总页数】5页(P99-103)【作者】谢文斌;陈学适;姜忠鼎【作者单位】复旦大学计算机科学技术学院上海201203;复旦大学计算机科学技术学院上海201203;复旦大学计算机科学技术学院上海201203【正文语种】中文【中图分类】TP3【相关文献】1.同步DS-CDMA系统中基于信号重构的并行干扰消除算法的设计与实现 [J], 赵星2.RS-485图像数据并行传输协议的FPGA设计与实现 [J], 蒋玉峰;张志明;崔麦会;尹业宏3.复式并行流水线在基于PC集群机的并行绘制中的应用 [J], 彭浩宇;金哲凡;秦爱红;熊华;石教英4.多屏显示的并行绘制同步控制算法 [J], 陈安太;王豪;汪归归;段茗5.一种并行的PCS子层帧同步检测模块设计与实现 [J], 邢宗岐;贺占庄;徐丹妮;哈云雪因版权原因，仅展示原文概要，查看原文内容请购买。

光通信产品介绍英语作文

光通信产品介绍英语作文

光通信产品介绍英语作文In the rapidly evolving world of telecommunications, optical communication products have emerged as a cutting-edge technology that is revolutionizing the way we connect. These products utilize the principles of optics to transmit data over long distances with unprecedented speed and efficiency. Optical communication systems are based on the transmission of light signals through optical fibers, which are thin, flexible cables made of glass or plastic. These fibers have the unique ability to carry large amounts of data over vast distances with minimal signal loss, making them ideal for high-speed internet, telecommunications, and other bandwidth-intensive applications.One of the key advantages of optical communication products is their bandwidth capacity. Optical fibers can carry multiple signals simultaneously, enabling the transmission of vast amounts of data at incredibly high speeds. This bandwidth capacity is several orders of magnitude greater than that of traditional copper cables, making optical communication systems the preferred choice for modern networks.Another significant benefit of optical communication products is their resistance to electromagnetic interference. Unlike copper cables, optical fibers are not affected by electromagnetic noise, which means that data transmission is more reliable and secure. This is particularly important in environments where there is a lot of electromagnetic activity, such as in industrial settings or around power lines.Optical communication products also offer flexibility and scalability. Optical fibers can be easily installed and modified to meet the changing needs of networks. Additionally, optical communication systems can be easily expanded to accommodate more users and devices without the need for significant infrastructure upgrades.In terms of applications, optical communication products are used in a wide range of industries, including telecommunications, data centers, healthcare, and transportation. In telecommunications, optical fibers are used to transmit voice and data signals between cities and countries, enabling global connectivity. In data centers, optical communication systems provide the backbone forhigh-speed internet and cloud computing services. In healthcare, optical fibers are used for remote patient monitoring, image transmission, and surgical procedures. And in transportation, optical communication products enable real-time traffic monitoring, smart traffic management systems, and connected vehicles.Despite their many advantages, optical communication products also face some challenges. One of the main challenges is the cost of deployment and maintenance. Optical fibers are more expensive than copper cables, and the installation process requires specialized equipment and skilled labor. Additionally, optical communication systems require regular maintenance to ensure optimal performance. Despite these challenges, the future of optical communication products looks bright. With the increasing demand for high-speed, bandwidth-intensive applications, optical communication systems are becoming increasingly important. As technology continues to advance, we can expect even more efficient and cost-effective optical communication products in the future, further革命izing the way we connect and communicate.**光通信产品：革新我们的连接方式**在电信领域快速演变的世界中，光通信产品作为一种尖端技术，正在革新我们的连接方式。

一种基于RDMA多播机制的分布式持久性内存文件系统

一种基于RDMA多播机制的分布式持久性内存文件系统

DOI ： 10.7544/issnl000-1239.2021.2020036958(2) : 384 396, 2021计算机研究与发展Journal of Computer Research and Development—种基于RDMA 多播机制的分布式持久性内存文件系统陈茂棠1郑圣安2游理通1王晶钰1闫田1屠要峰3韩银俊3黄林鹏1】(上海交通大学计算机科学与工程系上海200240)2 (清华大学计算机科学与技术系北京100084)3(中兴通讯股份有限公司 南京 210012)(chenmaotang@ sj tu. edu. cn)A Distributed Persistent Memory File System Based on RDMA MulticastChen Maotang 1 , Zheng Sheng'an 2 , You Litong 1 , Wang Jingyu 1 , Yan Tian 1 , Tu Yaofeng 3 , Han Yinjun 3 , and Huang Linpeng 11 {Department of Computer Science and Engineering , Shanghai Jiao Tong University , Shanghai 200240)2 O^partm^nt of Computer Science and Technology , Tsinghua University , Beijing 100084)3 (.ZTE Corporation , Nanjing 210012)Abstract The development of persistent memory and remote direct memory access (RDMA) providesnew opportunities for designing efficient distributed systems. However, the existing RDMA-baseddistributed systems are far from fully exploiting RDMA multicast capabilities , which makes them difficult to solve the problem of multi-copy file data transmission in one-to-many transmission,degrading system performance. In this paper, a distributed persistent memory and RDMA multicast transmission based file system(MTFS) is proposed. It efficiently transmits data to different data nodesby the low-latency multicast transmission mechanism , which makes full use of the RDMA multicast capability, hence avoiding high latency due to multi-copy file data transmission operations. To improve the flexibility of transmission operations , a multi-mode multicast remote procedure call (RPC) mechanism is proposed, which enables the adaptive recognition of RPC requests , and moves transmission operations out of the critical path to further improve transmission efficiency. MTFS alsoprovides a lightweight consistency guarantee mechanism. By designing a crash recovery mechanism, a data verification module and a retransmission scheme, MTFS is able to quickly recover from a crash,and achieves file system reliability and data consistency by error detection and data correction. Experimental results show that MTFS has greatly increased the throughput by 10.2 — 219 timescompared with GlusterFS. MTFS outperforms NOVA by 10.7% ontheRedisworkload ,andachievesgood scalability in multi-thread workloads.Key words persistent memory ； remote direct memory access; multicast ; distributed file system ；remoteprocedurecal摘 要 持久性内存技术与远程直接内存访问(remote direct memory access, RDMA)技术的发展，为高效分布式系统的设计提供了新的思路.然而，现有的基于RDMA 的分布式系统没有充分利用RDMA收稿日期：2020—06—05；修回日期：020—07—30基金项目：国家重点研发计划项目(2018YFB1003302)；上海交通大学-华为联合实验室项目(FA2018091021-202004)This work was supported by the National Key Research and Development Program of China (2018YFB1003302) and the SJTU-Huawei Innovation Research Lab Project (FA2018091021-202004).通信作者：郑圣安(venero@ tsinghua. edu. cn)陈茂棠等：一种基于RDMA多播机制的分布式持久性内存文件系统385的多播能力，难以解决1对多传输场景下的多拷贝文件数据传输问题，严重影响了系统性能.针对此问题，提出一种基于RDMA多播机制的分布式持久性内存文件系统(RDMA multicast,transmission based distributed persistent memory file system,MTFS),通过低延迟多播通信机制充分利用RDMA 多播能力,将数据高效传输到多个数据节点，从而避免了多拷贝传输操作带来的高延迟.为提升传输操作灵活性，MTFS设计了多模式多播远程过程调用(remote procedure call,RPC)机制，实现了RPC请求自适应识别，并通过优化返回机制将部分传输操作移出关键路径，进一步提升传输效率.同时MTFS 提供了轻量级一致性保障机制，通过设计故障恢复功能、数据校验系统、重传策略与窗口机制，当节点出现崩溃时进行快速恢复，并在传输出现错误时实现数据精准检测与纠正，保证了数据的可靠性和一致性.实验证明，MTFS在各测试集上相比现有系统GlusterFS吞吐量提升了10.2-219倍.在Redis数据库的工作负载下，MTFS相比于NOVA取得了最高10.7%的性能提升，并在多线程测试中取得了良好的可扩展性.关键词持久性内存；远程直接内存访问；多播；分布式文件系统；远程过程调用中图法分类号TP391新型的非易失性内存(non-volatile memory, NVM)［15］技术的出现为传统的计算机存储结构带来变革，其中通过内存总线连接CPU的NVM形态也被称为持久性内存(persistent memory,PM).与DRAM相比，持久性内存拥有相接近的传输带宽与访问延迟，但兼具了DRAM不具备的持久性.随着持久性内存的逐渐应用，许多研究针对持久性内存设计特异性的文件系统，其中大多数文件系统基于单台机器设计［61)］.但是目前大容量的持久性内存价格昂贵，单机存储容量难以提高.同时，持久性内存运行带来较高的CPU负载，单机大规模部署持久性内存会使CPU成为存储性能的瓶颈.这些原因使得单机持久性内存文件系统难以满足日益增长的大规模数据存储需求，必须开发基于持久性内存的分布式文件系统.分布式系统通常使用延迟较高的传统TCP/IP 网络构建，无法充分利用持久性内存低延迟存储的特性［11］.而远程直接内存访问(remote direct memory access RDMA)的出现与应用为分布式系统的设计与实现提供了新的思路.近年来，RDMA相关硬件的价格下降，为RDMA在数据中心的大规模应用提供了可能.RDMA通信避免了传统网络内核网络协议栈、CPU处理和内存数据冗余拷贝等开销，其高带宽、低延迟、零拷贝和内核旁路的特性受到了业界研究者们的青睐.目前，由迈络思(Mellanox)公司开发的最新一代支持RDMA的infiniband网卡CX-6 (Connect.X-6)能够提供高达200Gbps的网络带宽和低于600ns的访问延迟［12］.若使用传统的固态硬盘或者机械硬盘搭配RDMA网络实现分布式系统，RDMA网卡读写存储介质需要额外通过DRAM进行中转，存储介质自身的高延迟同样使RDMA难以在分布式系统中充分发挥其高性能的特性.在RDMA与持久性内存结合的分布式系统中，持久性内存的低延迟存储与内存访问特性，使RDMA可以直接对存储介质进行高效的访问，从而很好地解决了上述问题z.多播技术同样在分布式系统中发挥着重要的作用.多播技术的应用范围很广，从多媒体数据的直播分发，到数据中心的分布式文件系统，均需要多播技术的支持.尤其是在数据中心中，数据传输通常是从源节点到2个甚至多个目标节点，文件数据需要被复制到多个存储服务器［15］.这个过程造成的延迟往往占数据中心负载的主要部分，并最终决定了系统的总体I/O性能皿.尽管多播技术在系统中起到重要的作用，但是在现有的基于RDMA的分布式文件系统中，往往没有提供多播传输的支持［1316在需要1对多传输的场景下，这些系统通常使用每次传输到1个节点的方法，将数据依次推送到所有的目标节点［17］.为了解决该问题，康奈尔大学的RDMC基于RDMA 的1对1传输开发了多播通信框架［8］.但是，由于这种框架的底层依然是基于1对1的连接进行通信，当多播操作的目标节点较多时，需要占用大量的网卡资源，导致系统难以基于框架进行有效的扩展.另外,基于框架的编程较为复杂，不利于分布式系统的应用与维护.其他解决方案在获得可扩展性的同时，往往为传输过程引入了额外的复制与延迟，同样没有办法很好地解决分布式系统中的多拷贝文件数据传输问题［19］.386计算机研究与发展2021,58(2)本文提出了一种基于RDMA多播传输机制的分布式持久性内存文件系统(RDMA multicast trans­mission based distributed persistent memory file system,MTFS).通过使用RDMA多播通信语句,实现元数据节点与数据节点之间的1对多通信，提升数据传输效率.具体地，MTFS实现了低延迟多播通信机制，基于RDMA多播通信语句搭建内核态RDMA通信模块，将文件系统中1对多的传输请求使用多播通信机制发送，并添加无通知机制与拥塞控制来优化RDMA传输，从而避免了传统1对1传输机制带来的冗余传输开销.为提升传输的灵活性,对分布式文件系统各项功能提供支持，MTFS基于多播通信机制设计多模式远程过程调用(remote procedure call,RPC)框架，发送端将请求相关信息写入RPC头部，接收端通过接收处理程序解析相关信息，从而定位要执行的操作地址与操作类型，保证相应文件系统功能得到执行.为保证多播传输机制的一致性，MTFS引入轻量级一致性保障机制，利用持久性内存字节寻址的特性实现错位的快速纠正，并支持在数据无法恢复时请求重传.节点发生故障时，MTFS为元数据节点与数据节点均提供了故障恢复机制，保证文件数据的一致性与可靠性.本文的主要贡献有3个方面：1)提出基于RDMA多播机制的分布式持久性内存文件系统MTFS,实现了内核态RDMA通信模块，通过将文件系统中1对多请求使用RDMA多播语句发送，避免了额外的开销.2)提出基于多播传输机制的多模式RPC设计，提升数据传输的灵活性，为分布式文件系统各项功能提供支持.3)引入轻量级一致性保障机制，使用冗余校验机制保证数据传输过程的可靠性，利用持久性内存字节寻址的特性实现错位的快速纠正，并为系统中的各个节点提供故障恢复功能，从而保证数据的可靠性与一致性.1背景介绍本节主要介绍了持久性内存技术与远程内存直接访问技术的基本特征，同时简要介绍与MTFS相关的NOVA文件系统实现细节.1.1持久性内存持久性内存是一种新兴的硬件技术，主要包括相变存储器(phase-change memory,PCM)、忆阻器、自旋矩存储器(spin-torque transfer ram,STT-RAM)和3D XPoint等技术1口，其中基于3D XPoint 的英特尔傲腾持久内存目前已经投入市场使用⑺.持久性内存的出现打破了内外存之间的界限,颠覆了传统的存储体系结构.一方面，持久性内存作为一种内存，拥有内存的种种特性.持久性内存可直接连接于高带宽的内存总线上，传输带宽和访问延迟均与DRAM相接近，并支持字节寻址访问.同时,与DRAM相比，持久性内存具有更高的存储密度和更低的能耗，这为搭建大规模内存文件系统提供了基础.另一方面，持久性内存作为一种持久性存储介质，与传统的硬盘和SSD相比，具有更高的带宽和更低的访问延迟.同时，由于CPU可以直接对持久性内存上的数据进行访问，数据可以绕过DRAM,无需在内存和存储之间进行迁移，数据访问的整体性能得到了大幅的提升.持久性内存为文件系统的设计提出了新的要求.基于持久性内存的文件系统可以直接通过load/ store指令读写持久性内存.一些文件系统专为持久性内存进行特异性设计[6920],另一些文件系统则基于现有文件系统进行改动[10，1],通过添加直接访问能力，允许应用程序绕过页缓存直接访问持久性内存，从而实现了文件系统对持久性内存的适配.1.2远程直接内存访问近年来，RDMA技术在业界受到越来越广泛的关注[12"].rd MA技术允许应用程序在不告知远端CPU情况下，绕过内核直接访问远端内存，实现零拷贝的数据传输，从而实现高带宽且低延迟的远端内存访问[25].目前,RDMA传输性能已远优于现有的固态硬盘和机械硬盘的读写性能，如果仍使用固态硬盘或者机械硬盘搭配RDMA网络实现分布式文件系统，存储介质的高延迟将使系统无法充分发挥RDMA网络的性能优势，同时文件系统也无法绕过DRAM直接写入存储介质.而持久性内存低延迟内存访问的特性，使其能有效适配RDMA技术，实现高效的远程存储访问.RDMA主要提供单边语句和双边语句2种传输语句支持.表1展示了每种传输语句对应的类型.单边语句主要包括READ和WRITE语句，这些语句可以绕过远端节点的CPU,直接对远端内存进行读写操作.此外»RDMA单边语句还包括compare. and_swap和fetch_and_add等原子性语句，使RDMA能够对远端内存进行原子性访问.双边语句主要包括SEND和RECV语句，采用类似于socket陈茂棠等：一种基于RDMA多播机制的分布式持久性内存文件系统387编程的方式，发送端和接收端均需要CPU参与.在发送端进行SEND操作之前，接收端需要提前准备1个RECV请求并放入网卡，该请求中包含待接收数据的地址.Table1Verbs Type of Each Transport Verb表1每种传输语句对应的语句类型语句单边语句双边语句SEND JRECV JWRITE JREAD JATOMIC JMULTICAST JRDMA通过队列对(queue pair,QP)进行传输操作.每个队列对包括1个发送队列(send queue, SQ)和1个接收队列列(receive queue,RQ).当进行传输时，使用RDMA的程序首先根据其传输的内容填充1个工作请求(work request,WR),并将其发布到发送队列上.RDMA网卡会依次处理队列上的WR,执行对应的传输操作.当传输完成时，网卡会在完成队列(completed queue,CQ)上发布1个工作完成(work completion,WC)信息，通知CPU进行相应处理.如果是双边操作，接收端在传输进行之前还需要提交1个RECV WR并放入其接收队列.RDMA包括有连接和无连接2种形式.有连接的传输提供2个QP之间的1对1通信，若需要与多个节点进行通信，则需要创建多个QP分别与多个节点进行1对1通信.而无连接的传输基于数据报实现，通信节点之间不需要创建连接，每个QP可以和多个QP进行通信.用户可以选择可靠或不可靠的RDMA传输类型.可靠的传输可以按照顺序交付信息，并在传输失败时返回错误信息.不可靠的传输则无法提供可靠性保证，但是其通过避免发送确认信息获取更高的性能.使用不可靠传输，RDMA 通过数据链路层提供的一致性保障机制仍可以在很大程度上保证数据传输的可靠性基于传输是否有连接与是否可靠，RDMA提供了3种主要的传输方式：可靠连接(reliable connec­tion,RC),不可靠连接(unreliable connection,UC)和不可靠数据报(unreliable datagram,UD).表2展示了每种传输方式可以支持的传输语句.可以看到，不同的传输方式所支持的传输语句不同, RDMA单边操作只在有连接的传输方式下支持，而RDMA多播传输只在UD模式下支持，因此用户需要根据传输需求选择对应的传输方式.Table2Verbs Supported by Each Transport Type表2每种传输方式支持的传输语句语句RC UC UDSEND J J JRECV J J JWRITE J JREAD JATOMIC JMULTICAST JRDMA提供了多播语句支持［6］多播语句是UD模式下双边语句的一种特殊形式.用户使用多播语句进行RDMA通信时，首先将所有需要通信的节点加入同一个多播组.发送信息时，目标地址设定为多播组的地址，发送端仅需要1次发送操作，发送成功后，所发送的信息通过交换机被分发到多播组中的各个节点.多播语句为1对多的传输场景提供了合适的解决方案，降低了多节点数据传输的开销，为解决基于RDMA的分布式系统中的多拷贝文件数据传输问题提供了有效的支持.1.3NOVA文件系统MTFS是基于NOVA实现的.NOVA是加州大学圣地亚哥分校开发的一种持久性内存文件系统为更好地利用持久性内存的诸多优秀特性, NOVA做了许多特异性的设计,使其在保证一致性的基础上提升文件系统的性能.本节讨论与MTFS 相关的一些NOVA设计.NOVA为每个索引节点维护1个单独的日志链表，每块日志中存储1次写入的基本信息与指向写入数据页的指针，同时在DRAM中维护基数树索引以加速对文件数据的查找.写入操作使用写时复制机制实现，每次写入时会申请新的日志块与数据页，在日志中记录操作相关信息与指向新写入数据的指针.当数据成功写入持久性存储介质后, NOVA更新文件日志的尾指针以及其对应的基数树索引.当读取数据时，NOVA通过基数树索引找到对应的日志块，从日志中读取数据地址，并通过地址找到数据页并读取数据.NOVA使用可利用空间表管理持久性内存空间.NOVA将可用的数据空间均分给每个CPU进行管理以提升并发文件访问的性能，每个CPU使用红黑树结构管理数据空间中的空闲块，以提升连续388计算机研究与发展2021,58(2)数据块查找的性能.通过这种方式，NOVA提升了持久性内存空间分配操作的并行性，减少了空间分配的争用.NOVA提供了故障恢复机制.当系统从故障中恢复时，首先,NOVA需要检查崩溃前写入的日志,通过日志将未提交的事务回滚•然后，NOVA并行扫描每个索引节点，通过日志链表恢复数据组织结构.通过日志设计，NOVA保证系统可以从故障中恢复数据.2MTFS设计本节将详细介绍MTFS的系统设计.首先整体描述MTFS的系统架构，然后分别对MTFS中的 低延迟多播通信机制、多模式多播RPC机制和轻量级一致性保障机制进行介绍•2.1系统架构图1展示了MTFS的系统整体架构.系统由1个元数据节点和多个数据节点组成.其中元数据节点存储系统的元数据信息，包括文件的元数据信息和系统的基本配置与空间管理信息，数据节点中仅存储文件的数据•元数据节点与数据节点之间通过RDMA网络互连.MTFS采用主从式架构，将数据存储在多个数据节点上，提升了数据访问的并行性.Fig.1Overall architecture of MTFS图1MTFS系统整体架构应用程序通过可移植操作系统接口(portable operating system interface of UNIX,POSIX)对文件系统进行访问•以数据写入为例，当应用程序发起数据写入请求时，MTFS通过访问元数据节点在各目标数据节点分配持久性内存空间，然后将数据写入到各数据节点中•待写入的数据通过多播通信模块(2.2节)以RDMA数据报的形式由网卡发出.网络交换机收到多播数据报时，会进行分发操作，将数据报发送到多播组中的每个数据节点.数据节点通过RPC处理模块(2.3节)识别数据报请求体，并通过数据一致性保障模块(2.4节)将数据持久化到持久性内存•与此同时，元数据节点会提交该次数据写入操作并返回用户.文件系统的元数据访问则仅通过元数据节点进行，无需对数据节点进行远程访问•2.2低延迟多播通信机制在分布式文件系统中，节点间的网络传输的开销非常高昂•数据节点间等待传输完成与确认需要耗费大量的时间，从而产生较高的延迟.而在1对多的分发场景下，传统的文件系统会发起多次网络传输请求,将相同的数据逐一发送到各个节点，增加了网卡的负载(图2(a)).多播通信机制旨在将多个传输相同数据的请求合并为多播请求，避免网卡数据重复发送的冗余开销，从而大幅提升发送数据的效率•当MTFS的元数据节点发起写请求时，数据将被同时写入所有的目标数据节点：首先多播传输模块会申请1块发送结构体，并根据写请求对应的数据地址、数据大小等元数据信息填写结构体的头部字段，同时将数据放入发送结构体的数据字段.然后多播传输模块会将RDMA传输信息添加到填写完毕的发送结构体中，并将其打包成工作请求放入发送队列进行传输；网卡依次对工作请求进行处理，将数据以RDMA数据报的形式发送到各个目标数据节点，由数据节点中的接收处理程序进行处理并写入持久内存.当发送操作完成之后，元数据节点会触发中断通知发送完成处理程序，将工作完成从完成队列中移出，从中获取已完成的发送结构体地址并将对应空间释放回收.执行过程如图3所示.为提升系统可扩展性，MTFS将数据节点划分为存储单元进行管理.MTFS将数据节点每2〜3个一组划分为存储单元，单元内的数据节点存储相同的数据，并和MTFS的元数据节点加入同一个多播组•多播信息仅在组内传递，由于不同存储单元间存储的数据互不相同，存储单元之间不需要进行多播陈茂棠等：一种基于RDMA多播机制的分布式持久性内存文件系统389Fig.3Multicast transmission execution图3多播通信运行过程通信.当元数据节点发起写入请求时，MTFS会选择剩余空间最多的存储单元，并将单元内的数据节点作为存储的目标数据节点；当元数据节点发起读取请求时,MTFS会根据对应存储单元内各数据节点正在请求的线程数量，从中选择负载最低的数据节点读取数据•通过存储单元管理，MTFS避免了数据冗余存储，提升了系统的可扩展性•为减少元数据节点CPU的开销，MTFS通过RDMA无通知机制优化多播发送流程.由于RDMA 的多播能力由UD模式提供，而UD模式基于无连接数据报实现，不需要处理接收端的确认信息•因此，当多播请求发送完毕后，多播传输模块不会立即通知CPU进行处理，而是将工作完成暂存在完成队列上.当完成一定数量的工作请求之后，为了防止工作完成的堆积，下一次发送的工作请求会被设置为完成后通知•当该工作请求发送完成后，网卡会触发CPU中断并转入发送完成处理程序，对先前放入的工作完成进行批量处理.通过无通知发送的优化,MTFS减少了CPU中断处理的次数，极大地降低了CPU的负担.为了避免网络堵塞引起的发送队列拥挤, MTFS实现了拥塞控制系统.RDMA的发送队列长度固定，当网卡处理速率小于工作请求的增加速率时，发送队列会被填满，导致之后的工作请求无法放入发送队列.MTFS多播传输模块会对发送队列中待发送的多播请求数目进行实时统计，并据此控制RDMA多播请求的发送速率.当网络拥塞时，发送队列中待发送的请求数目超过了预先设定的阈值.此时发送队列将暂缓接受工作请求直到待发送的请求数量低于阈值，从而避免了发送队列溢出造成的传输问题•通过上述多播通信机制，MTFS减少了文件操作过程中RDMA的通信次数，并充分利用UD模式数据报通信的优势降低了数据的传输延迟(图2(b)).尽管RDMA的UD模式具有一定的可靠性[2], MTFS依然通过发送端的拥塞控制机制与接收端的一致性保障机制(2.4节)，在不显著增加延迟的情况下尽可能地保证数据的可靠性与一致性•2.3多模式多播RPC机制MTFS使用RPC实现元数据节点与数据节点间通信.如图4所示，RPC采用服务端主动的方式,元数据节点通过多播通信机制将RPC请求分发到数据节点的网卡上，并由网卡放入接收队列等待处理.接收端处理程序按到达顺序依次处理接收队列中的RPC请求，对参数进行解析并执行相应的操作.390计算机研究与发展2021,58(2)Fig.4RPC module design图4RPC模块设计RPC通过源节点字段和目标节点字段进行请求识别，从而判断该节点是否需要进行处理.由于RPC采用多播通信机制实现，多播组中的所有数据节点均可以接收到元数据节点的请求.为增强RPC 的灵活性,请求头部标识了源节点与目标节点，数据节点收到请求后首先判断该节点是否需要执行操作，从而避免冗余的请求对数据节点资源的占用•RPC通过优化返回机制降低执行延迟.接收端根据其接收到的操作码对请求进行分类：对于不需要返回信息的请求如数据写，数据节点会直接执行相应操作，不发送返回信息；对于时效性要求较高的请求如数据读，数据节点会立即进行处理并返回完成信息；对于时效性要求较低的请求如数据迁移，元数据节点采用异步处理机制，发送RPC请求之后继续执行其他操作，不阻塞等待结果，当收到返回信息后再进行结果处理操作•而数据节点收到请求之后,会在优先处理其他请求之后进行处理并返回完成信息.通过RPC多模式分类，MTFS减少了部分操作的传输次数,并将部分传输操作从关键路径移除，有效提升了文件操作的整体效率•考虑到RPC基于多播通信机制，MTFS的写请求使用RPC实现，保证写请求通过多播语句1对多地发送到所有的数据节点.但鉴于读请求针对单一客户端的特性，MTFS在实现了基于RPC的读方法的同时，采用基于RC模式的RDMA读操作实现了对文件数据的读取操作，避免了集群规模过大时使用多播通信机制读数据造成的额外开销.用户挂载文件系统时，可以根据集群配置选择合适的读方法.2.4轻量级一致性保障机制MTFS开发了故障恢复机制以有效应对各节点上可能发生的系统崩溃.MTFS检测到数据节点崩溃后，会将该数据节点标记成为故障节点，读请求将被分流到其他数据节点执行，不会影响系统正常运行•该数据节点中的数据可以通过元数据节点与其他数据节点进行恢复.当元数据节点崩溃时，系统停止提供服务，等待元数据节点重启，并通过文件的元数据与数据日志,将系统恢复到崩溃前的状态•通过故障恢复机制，MTFS保障了数据的高可靠性.MTFS使用冗余校验机制保证了数据传输的容错性(图5).发送端打包传输数据时，会将数据分为2部分并分别计算循环冗余校验(cyclic redun­dancy check32,CRC32),校验结果存入发送请求的固定区域.同时,MTFS对2部分数据计算奇偶校验结果并放入发送结构体•接收处理程序收到数据后会首先计算2部分数据的CRC32校验和，与收到数据中存储的校验和进行比对•若2份数据校验和与存储的校验和均相同，则说明本次数据传输没有发生错误;若仅有1份数据校验和与存储的校验和相同，说明另1份数据发生了传输错误.接收处理程序会通过奇偶校验结果查找错误发生的位置，计算出正确的结果并写入；若2份数据校验和与存储的校验和均不相同，则该次传输可能出现了大面积无法恢复的错误，接收处理程序会激活重传机制，发送1个重传请求到发送端，请求重新发送该数据•通过冗余校验机制，MTFS在不显著影响性能的情况下保证了数据传输的正确性.Fig.5Data verification mechanism图5数据冗余校验机制MTFS使用重传机制保证文件数据的持久性.发送端申请工作请求时会指定全局唯一的WR_ID,并附在RDMA发送的立即数字段一同发送.接收处理程序会记录来自同一个节点的最近1个请求的WR_ID,并在新的请求到达时读取立即数字段进行比较.若新接收的请求出现乱序，接收处理程序会发送重传请求到发送端，要求重传缺失的工作请求.对于传输数据出现大面积错误的情况，接收处理程序会通过最新记录的WR_ID计算出错误的WR_ID 并发送重传请求到发送端•发送端收到重传请求时,会通过WR_ID查找相应的发送数据进行重新打包发送.。

研究生毕业论文文献综述

研究生毕业论文文献综述

Abstract:
Internet rapid development in the world, but its security is a pressing need to resolve the issue. The current IPv4 protocol standards Although a simple and scalability features, but in network security and not make too much to consider, there are many potential safety problems. To meet the rapid development of Internet and network security needs, proposed by the IETF the next generation Internet Protocol IPv6 emerged. This paper briefly described the characteristics of IPV6 and IPV6 applied to resolve the issue of network security.
如今，以IPv6为核心技术的下一代网络在中国以及世界上都正越来越受到重视它将在高品质、多样化的未来通信业务发展巾发挥举足轻重的作用。
3.研究的主要问题：
IPv6的主要特点：
(1)经过扩展的地址和路由选择功能。IP地址长度由32位增加到l28位，可支持数量大得多的可寻址节点、更多级的地址层次和较为简单的地址自动配置。
(4)支持扩展首部和选项。IPv6的选项放在单独的首部中，位于报文分组中IPv6首部和传送层首部之间。因为大多数IPv6选项首部不会被报文分组投递路径上的任何路由器检查和处理，直至其到达最终目的地，这种组织方式有利于改进路由器在处理包含选项的报文分组时的性能。IPv6的另一改进，是其选项与IPv4不同，可具有任意长度，不限于40字节。