RED算法对TCP和UDP的公平性

RouterOS带宽控制技术在公共机房的应用作者：谭晓东甘林来源：《电脑知识与技术》2012年第34期摘要：文章总结了带宽控制技术的相关知识及方法，对RouterOS软路由系统进行全面的概述，并从大学公共机房的实际应用出发，运用RouterOS软路由系统解决了带宽分配问题。

关键词：RouterOS；带宽控制；P2P限速；大学公共机房中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2012）34-8146-041 带宽控制技术带宽控制是利用互联网数据包的特性，针对来源、目的、应用或其他特殊格式，进行阻拦或允许，使得带宽在不同的应用和用户之间灵活分配。

QoS（Quality of Service）服务质量，它为各种应用程序提供尽力服务以满足不同程序特定需求的服务，可用于解决网络拥塞、延迟等问题，是网络传输中的一种机制，也可以理解为对通信数据的特定服务。

QoS工作方法是通过丢包实现的，它与提供尽力型的服务的网络IP协议族不同。

网络IP协议族会平等对待业务流，但QoS则力图区分用户和业务流，以根据不同需求情况分配带宽，保证数据流的质量。

Qos在形成新的网络流时，会出现丢包的情况，但并会因此丢失 TCP信息，因为被丢掉的包会被再次发送，确保了不会丢弃TCP协议。

可以说QoS不止是限流，更多的是提供优良品质的网络服务。

作为实现QoS重要部分，带宽控制能达到控制网络流量、保障特定业务流带宽的目的。

它主要是通过对网络业务流进行分类，分配不同的带宽并限制其数据包的传输速率来实现的。

依据业务流的服务类型（通过源/目的端口判断）以及源地址、目的地址等数据包关键内容进行具体的带宽分类。

可以说管理带宽的本质就是QoS概念的体现。

一般常用速率控制与队列的方法进行带宽控制。

其中，使用队列控制带宽的常用方法有两种：基于分类的队列、优先级队列。

基于分类的队列，是指网络管理员会根据某些标准，对数据包进行分类与排队，并为每一种分类划分固定的带宽。

摘要摘要近年来，随着云计算、物联网、社交媒体等新兴信息技术和应用模式的快速发展，人类社会不断地向大数据时代迈进。

大数据时代下的流式数据呈现出实时性、突发性、无序性等特点，这对流式数据处理系统就有了更高更严格的要求。

如今，现有的实时流数据处理系统通常面临着业务扩展困难、数据流管理困难的问题，本文旨在解决实时流数据处理中所面临的这两大问题，在保证数据处理的实时性和高效性的前提下，提出了一套新的基于Node-red的数据流管理和Redis 内存计算的实时流数据处理模型。

本文从总体架构上对该模型进行设计，重新设计了Node-red的数据输入节点、数据输出节点、数据处理节点以及Redis数据库访问节点，各个节点的开发使用Node.js异步编程语言，节点之间的通信是通过Redis的pub/sub机制以及Node.js 的socket.io来完成。

最后将这些节点重新安装部署到Node-red中，使其成为一个完整的实时流数据处理模型。

在实时流数据处理过程中，经常会遇到最大值、最小值、累计求和、top(n)等数据指标的计算，而计算这些指标的基础就是去重统计，本文通过分析Redis有序集合的源码，结合Skip List的基本原理，提出了基于Redis 有序集合的去重统计方法，并通过新设计的Redis数据库访问节点实现该方法在实时流数据处理模型中的应用。

实时流数据处理模型设计完成之后，一个重要任务就是对模型进行应用验证，因此本文设计并实现了一个实时的网站访问监控系统，并利用该模型对数据进行实时处理，最终将分析结果展示在前端可视化界面上。

该系统主要包括三个模块，实时数据采集模块、实时数据分析模块以及数据可视化模块，其中，实时数据分析模块是利用本文所设计的实时流数据处理模型来实现的，数据可视化模块是利用Node.js的express框架实现的一个web应用，用户只需在浏览器上登录就可以访问监控页面，同时利用highcharts将数据可视化模块中的图表组件化，以此来适应因业务的不断扩展而带来的数据多样化。

QoS知识点复习1、LR、CAR、GST有什么相同点和不同点？cbs和ebs分别代表什么？答：LR和CAR以及GTS的相同点：都是通过令牌桶技术来具体实现的。

不同点：(1)LR和CAR是接口的一种限速技术。

并且LR只是可以用在物理接口上，CAR技术既可以用在物理接口上，也可以用在逻辑接口上。

(2)并且CAR技术还可以根据具体的数据流进行限速，而LR只是对一个接口的出接口带宽进行限速(3)LR技术只能进行物理接口出接口总带宽的限制，但是CAR可以根据具体某条数据流量进行限速，并且还可以根据需要进行ip-precedence以及DSCP的相关参数的修改。

4()GTS不同于CAR或者LR技术。

他是用来进行流量整形的，即对在队列后面被丢弃的数据进行整形，让其进入一个缓冲区，等待何时的时机重新入队，是一种减少重要数据丢包率的技术CBS表示的是突发量，即令牌桶的大小，也就是令牌桶中初始令牌的多少。

也是在触发流量数据的瞬间可以多突发的数据的多少，一般默认情况下是cir的二分之一，ebs代表的是超额突发量，即在突发量的基础上可以多突发的数据的多少，默认情况下是0.假如CBS和EBS均存在的情况下，下载数据的一瞬间的带宽应该是cir+cbs+ebs2、 FIFO有什么特点？通常在什么情况下使用？FIFO顾名思义，先进先出队列，(1)是硬件及软件队列中的用户队列的默认队列机制，硬件只能是fifo，软件可以修改(2)所有报文按照转发到出接口的先后顺序入队(3)队列满后进行为丢弃(4) 按照入队列的先后顺序出队列，先进先出通常为了保证数据有序快速的传输，一般情况下在网络的核心层去使用fifo技术。

3、 PQ和CQ各什么特点？PQ：优先队列，PQ队列是针对关键业务应用设计的，即在拥塞发生时，要求优先获得服务，以减小响应延迟，在队列调度时，PQ按照优先级从高到低的次序，优先发送较高优先级队列中的分组，当高优先级队列中的组为空时，再发送较低优先级中的分组，这样高优先级的中的关键业务将优先得到调度，缺点：拥塞发生时，较高优先级列队中长时间有分组存在，那么低优先级队列中的报文将一直得不到服务，会发生饥饿现象。

2020年移动大比武考试题库(数据通信)588题[含参考答案]一、填空题1．DTX_INDICATOR参数中文名称是([上行链路非连续发送允许])2．HSUPA最高配置的上行速率为_。

([2.2Mbps])3．RRC建立成功率统计开始点为RNC收到UE的RRCCONNECTIONREQUEST消息，统计结束点为收到UE的([RRCCONNECTIONSETUPCOMPLETE])。

4．在TD－SCDMA网络中，鉴权一般采用的是([(5.00)])元组鉴权；5．PDCCH信道([承载上下行的部分控制信息])，包括([资源分配])、([功控HARQ])、([CQI上报])等6．TDD模式共占用核心频段([55MHz])，补充频段([100MHz])，单载波带宽([1.6MH])，可供使用的频点有([93z])个；因此，TD-SCDMA系统的频率资源丰富。

7．同心圆小区开启功率控制功能后，它的内圆BTS最大发射功率是由参数([BS_TXPWR_MAX_INNER])设定的。

8．反映系统上承载情况，并可作为考察系统性能和扩容的参考的系统资源管理指标是([业务量])9．MCS的中文名称是([调制编码等级])。

10．TD-SCDMA系统将每个子帧划分成10个时隙，其中([3])个特殊时隙和([7])个常规时隙。

11．一个满配置的 MFS架最多可连接([22])个BSC, 需要([4])个Hub 。

12．_gch_estab参数中文名称是([GCH建立丢失管理])13．([TS0])、([TS2])、([TS6])时隙用于承载用户数据或控制信息。

14．大多数情况下UE是要进行位置登记的，位置登记过程通过正常的([位置更新])过程实现15．CME20系统中话音编码在BSC中的([TRAU])模块完成。

16．Mi：这个是([TDD])特有参数17．位置区设置越大，寻呼信道的负荷越([大])。

18．终端对在HS-DSCH上接收到的数据进行解调，并根据CRC结果在上行HS-SICH上发送([ACK/NACK])。

1.物理层（比特流）2.数据链路层 ( 帧)PPP（点对点协议）：面向连结，不行靠，只支持全双工链路，成帧技术，PPP 帧是面向字节的，全部的 PPP 帧的长度都是整数字节的。

只检错不纠错，没有流量控制。

CSMA/CD （载波监听多点接入 /碰撞检测协议）：截断二进制指数退避算法指数退避算法网桥的自学习算法3.网络层（ IP 数据报或称分组、包）IP 协议：无连结、不行靠、全力而为型ARP （地点分析协议）：IP 地点→物理地点（ MAC 地点）RARP （逆地点分析协议）：物理地点（ MAC 地点）→ IP 地点分组转发算法：直接交托、间接交托ICMP （网际控制报文协议）：ICMP 同意主机或路由器报告差错状况和供给相关异样状况的报告。

ICMP 报文封装在IP 包中。

（ ICMP 报文是 IP 层数据报的数据）路由选择协议：内部网关协议 IGP：RIP，OSPF外面网关协议 EGP：BGPRIP （路由信息协议）：鉴于距离向量的路由选择算法。

RIP 用 UDP 用户数据报传递。

合适于规模较小的网络，最大跳数不超出15。

弊端：“好信息流传得快，而坏信息流传得慢”。

OSPF（开放最短路径优先）：鉴于链路状态协议LSOSPF 直接用IP 数据报传递BGP（界限网关协议）：不一样 AS 之间的路由协议。

用路径向量（ path vector）路由协议BGP 用 TCP 报文传递力争找寻一条可以抵达目的网络且比较好的路由。

并不是要找寻一条最正确路由。

IGMP （网际组管理协议）：多播协议。

IGMP 使用 IP 数据报传达其报文 BOOTP （指引程序协议）：需要人工进行协议配置，使用 UDP 报文封装，也是无盘系统用来获取 IP 地点的方法DHCP （动向主机配置协议）：自动分派主机地点VPN （虚构专用网）：利用公用的因特网作为本机构各专用网之间的通讯载体。

NAT (网络地点变换 )：①在企业内部，每台机器都有一个形如10.X.Y.Z 的地点。

一般来说，基于存储转发机制的Internet(Ipv4标准)只为用户提供了“尽力而为(best-effort)”的服务，不能保证数据包传输的实时性、完整性以及到达的顺序性，不能保证服务的质量，所以主要应用在文件传送和电子邮件服务。

随着Internet的飞速发展，人们对于在Internet上传输分布式多媒体应用的需求越来越大，一般说来，用户对不同的分布式多媒体应用有着不同的服务质量要求，这就要求网络应能根据用户的要求分配和调度资源，因此，传统的所采用的“尽力而为”转发机制，已经不能满足用户的要求。

QoS的英文全称为"Quality of Service"，中文名为"服务质量"。

QoS是网络的一种安全机制, 是用来解决网络延迟和阻塞等问题的一种技术。

对于网络业务，服务质量包括传输的带宽、传送的时延、数据的丢包率等。

在网络中可以通过保证传输的带宽、降低传送的时延、降低数据的丢包率以及时延抖动等措施来提高服务质量。

通常 QoS 提供以下三种服务模型：Best-Effort service（尽力而为服务模型）Integrated service（综合服务模型，简称Int-Serv）Differentiated service（区分服务模型，简称Diff-Serv）1. Best-Effort 服务模型Best-Effort 是一个单一的服务模型，也是最简单的服务模型。

对Best-Effort 服务模型，网络尽最大的可能性来发送报文。

但对时延、可靠性等性能不提供任何保证。

Best-Effort 服务模型是网络的缺省服务模型，通过FIFO 队列来实现。

它适用于绝大多数网络应用，如FTP、E-Mail等。

2. Int-Serv 服务模型Int-Serv 是一个综合服务模型，它可以满足多种QoS需求。

该模型使用资源预留协议（RSVP），RSVP 运行在从源端到目的端的每个设备上，可以监视每个流，以防止其消耗资源过多。

麻省理工学院MIT电子工程与计算机科学系6.829 2002秋季第十讲公平性调度 2002年10月8日概述：作为一种机制的调度；公平性调度；核心无状态公平性调度（CSFQ）；这些笔记是基于2001年Ken Takusagawa的6.829课程的描述。

阅读材料：1．A．Demers，S．Keshav, and S．Shenker，“Analyis and Simulation of a Fair Queueing Algorithm”, Internetworking: Research and Experience, V ol. 1, No. 1,pp.3-26,1990.（或者阅读ACM SIGCOMM 1989版本）2．L．Stoica, S．Shenker, H．Zhang，“Core-Stateless Fair Queueing: Achieving Approximately Fair Bandwidth Allocations in High Speed Network,”in Proc. ACM Sigcomm, September 1998, Vancouver, Canada.1 入门在前面的讲义中，我们讨论了两种与路由器相关的拥塞控制方法：使用报文丢弃或者标志（例如ECN）来通知拥塞，或者合理的管理缓存（例如，以RED为例的主动队列管理机制）。

现在，我们来研究第三种路由器辅助的拥塞控制机制：调度scheduling。

明确的说，我们首先将研究特定形式的调度，被称为公平队列（FQ，fair queueing），这种机制在流间获得（加权）的带宽公平分配（或者在选定的流量间）。

当获得了加权的带宽公平分配，FQ要求每个网络中的每个路由的基于每个流的队列和每个流的状态。

通常这种方式的代价是非常高的。

我们还会研究另外一种机制，称为核心无状态公平性调度（CSFQ，core-stateless fair queueing），其中包含了由“端”路由器而不是“核心”路由器维护的基于每个流状态这样的一个有趣的设计。

RedFlag网络安全安全性是网络服务器可靠运行的基础。

随着通信技术和Internet的广泛应用，服务器被攻击的情况可能经常发生，来自网络上的安全威胁是Linux服务器安全问题的主要来源。

本章介绍如何在Red Flag Asianux Server 3构建的服务器平台上，利用系统提供的安全工具，达到有效保护系统安全、减少成功入侵数量、检测和追踪入侵日志、降低危害程度并快速从攻击中恢复的策略。

有关物理和文件系统安全的知识请参考第6章系统安全。

1.1X inetd1.1.1简介xinetd提供了访问控制，改进的日志功能和资源管理，是Red Flag Asianux Server 3系统中的Internet 标准超级守护进程。

Inetd被称作超级服务器，用来实现对主机网络连接的控制。

当一个请求到达由Inetd管理的服务端口，Inetd将该请求转发给名为tcpd的程序。

tcpd根据配置文件/etc/hosts.allow和/etc/hosts.deny来判断是否允许服务响应该请求。

如果请求被允许则相应的服务器程序（如：telnetd）将被启动。

这个机制也被称作tcp_wrapper。

xinetd（eXtended InterNET services daemon）提供类似于inetd + tcp_wrapper的功能，但是更加强大和安全。

它具有以下特色：支持对tcp、udp、RPC服务（但是当前对RPC的支持不够稳定，可以启动protmap与xinetd共存来解决这个问题）。

基于时间段的访问控制。

功能完备的log功能，即可以记录连接成功也可以记录连接失败的行为。

能有效的防止DoS攻击（Denial of Services）。

能限制同时运行的同一类型的服务器数目。

能限制启动的所有服务器数目。

能限制log文件大小。

将某个服务绑定在特定的系统接口上，从而能实现只允许私有网络访问某项服务。

能实现作为其他系统的代理。

Qos-WRED实验案列朱沙一丶项目概述RED对不同类型的数据不能区别对待，重要数据没有得到更好的服务。

WRED（Weighted Random Early Detection，加权随机早期检测）区别对待不同类型的数据，每一类数据采用独立的门限值和丢弃概率。

WRED可以通过IP Precedence和DSCP区分数据。

路由器为华三的设备二丶实验要求项目拓扑如图所示，有两台电脑，pc1和pc2，使用ip-precedence来标识不同数据流, 确保数据重要数据的稳定性。

1.1实验配置：先用CIR把端口限制速度为3M，使网络处于拥塞状态，才能看到实验现象。

interface G0/0/1qos lr outbound cir 3000 cbs 187500 ebs 0分别设置2条ACL，抓取两台主机的IP数据流。

acl number 3000rule 0 permit ip destination 192.168.1.1 0 如果为上传的数据，这里应该为source ip ERED应用接口方向也会发生改变。

acl number 3010rule 0 permit ip destination 172.16.1.1 0 看视频为下载，方向为g0/0/1上的出方向。

出方向接口启用WFQ并且修改队列长度为100（必须先在端口启用WFQ，才能开启WRED）[RT1]int g0/0/1[RT1-GigabitEthernet0/0/1]qos wfq precedence queue-length 100出方向启用WRED：（加权随机早期检测是丢弃策略，必须应用在出接口，数据包先进入路由器，才能执行丢弃策略）[RT1]int g0/0/1[RT1-GigabitEthernet0/0/1]qos wred enable设置WRED的IP优先级，门限值和丢弃概率：[RT1]int g0/0/1[RT1-GigabitEthernet0/0/1]qos wred ip-precedence 7 low-limit 30 high-limit 50 discard-probability 10 （语音数据-当队列长度在30和50之间的时候执行1/10的丢弃概率，队列长度超过50的时候，该数据流全丢弃）[RT1-GigabitEthernet0/0/1]qos wred ip-precedence 3 low-limit 50 high-limit 80 discard-probability 8在QOS类中匹配并标记数据流：[RT1]traffic classifier 3000 名为3000的qos类[RT1-classifier-3000]if-match acl 3000[RT1]traffic behavior 3000[RT1-behavior-3000]remark ip-precedence 7 在qos行为中标记acl3000的ip优先级[RT1]traffic classifier 3010[RT1-classifier-3010]if-match acl 3010[RT1]traffic behavior 3010[RT1-behavior-3010]remark ip-precedence 3进入QOS匹配相应的类和策略：[RT1]qos policy 3000[RT1-qospolicy-3000]classifier 3000 behavior 3000[RT1-qospolicy-3000]classifier 3010 behavior 3010在数据出方向应用策略：[RT1]int g0/0/1[RT1-GigabitEthernet0/0/1]qos apply policy 3000 outbound1.2 实验总结⏹当拥塞严重时队列被塞满，产生尾丢弃⏹尾丢弃可能导致TCP全局同步等严重的问题⏹RED根据一定概率，在拥塞发生之前对数据包进行随机的丢弃⏹根据IP Precendence和DSCP的不同，WRED可以在拥塞发生之前对不同类型的数据包用不同的概率进行随机的丢弃⏹WRED需与WFQ同时使用显示接口的WRED配置情况和统计信息:[Router] display qos wred interface g0/0/1Weighting-constant：加权常数●该指数为权重因子，表征了平均队列长度对实际队列长度变化的敏感程度。