当前位置：文档之家 › 高速网络流量测量方法_周爱平

高速网络流量测量方法_周爱平

  • 格式：pdf
  • 大小：1.18 MB
  • 文档页数：19

软件学报ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn Journal of Software,2014,25(1):135−153 [doi: 10.13328/j.cnki.jos.004445] http://www.jos.org.cn ©中国科学院软件研究所版权所有. Tel/Fax: +86-10-62562563

高速网络流量测量方法∗ 周爱平1,2, 程 光1,2, 郭晓军1,2 1(东南大学 计算机科学与工程学院,江苏 南京 211189)

2(教育部计算机网络和信息集成重点实验室(东南大学),江苏 南京 211189)

通讯作者: 周爱平, E-mail: apzhou@njnet.edu.cn

摘 要: 高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论. 关键词: 网络流量测量;分组抽样;流抽样;数据流 中图法分类号: TP393 文献标识码: A

中文引用格式: 周爱平,程光,郭晓军.高速网络流量测量方法.软件学报,2014,25(1):135−153. http://www.jos.org.cn/1000-9825/ 4445.htm

英文引用格式: Zhou AP, Cheng G, Guo XJ. High-Speed network traffic measurement method. Ruan Jian Xue Bao/Journal of Software, 2014,25(1):135−153 (in Chinese). http://www.jos.org.cn/1000-9825/4445.htm

High-Speed Network Traffic Measurement Method ZHOU Ai-Ping1,2, CHENG Guang1,2, GUO Xiao-Jun1,2 1(School of Computer Science and Engineering, Southeast University, Nanjing 211189, China)

2(Key Laboratory of Computer Network and Information Integration, Ministry of Education (Southeast University), Nanjing 211189,

China) Corresponding author: ZHOU Ai-Ping, E-mail: apzhou@njnet.edu.cn

Abstract: Traffic measurement in high-speed network is essential for network monitoring, management, and control. Based on the applications of network traffic measurement, this study divides the measurement into sampling methods and data stream methods. Sampling methods are partitioned into packet sampling and flow sampling, both are introduced. Data stream methods are introduced from different metrics. This study introduces in detail the common data structure and applications based on sampling and data stream methods in high-speed network. Drawbacks of different methods are analyzed and compared. The research progress of high-speed network traffic measurement technology is summarized. Finally, the limitation of recent network traffic measurement methods, the evolving trend of network traffic measurement, and some possible directions of future research are discussed. Key words: network traffic measurement; packet sampling; flow sampling; data stream

近年来,随着互联网的快速发展和新应用的不断出现,很多研究机构和学者致力于研究开发对互联网实施监测和测量的技术,网络流量测量已被广泛应用于网络计费、流量工程、网络安全等领域[1].随着网络链路速率

∗ 基金项目: 国家自然科学基金(60973123); 国家重点基础研究发展计划(973)(2009CB320505); 江苏省科技支撑计划——工业部分(BE2011173); 江苏省“六大人才高峰” 收稿时间: 2013-03-22; 修改时间: 2013-05-13; 定稿时间: 2013-06-26; jos在线出版时间: 2013-07-25 CNKI网络优先出版: 2013-07-25 14:03, http://www.cnki.net/kcms/detail/11.2560.TP.20130725.1403.003.html 136 Journal of Software 软件学报 Vol.25, No.1, January 2014

的不断提高和网络数据流的急剧增加,当前在高速骨干网链路上,网络流量测量需要极高的计算和存储资源,从而给网络流量测量研究开发带来了技术挑战.在高速链路上,处理每个分组需要纳秒级时间,例如在OC-768 (40Gbps)链路上,设分组的平均大小为40B,则分组的平均处理时间为8ns.传统的网络流量测量方法面临的主要问题是可扩展性,不能够适应高速网络环境.美国已在高速网络实验床上开展了下一代高速计算机网络及其典型应用的研究,其他国家和地区也相继开展了下一代高速互联网络及其应用的研究,如英国、加拿大.与国际同类研究相比,我国的下一代互联网的研究内容涵盖了高速互联网络涉及的大部分研究领域,包括基础设施、网络服务与网络应用,并取得了一定的理论与应用成果[2].高速网络流量测量技术是下一代互联网研究的重要组

成部分,成为网络测量的发展趋势之一.目前,高速网络流量测量问题主要有3种解决方案:利用高性能的专用硬件,如TCAM,ASIC等,实现高速链路上网络流量的数据处理.然而,高性能的硬件设备极其昂贵;利用抽样技术只对部分有代表性的网络流量数据进行采集处理,虽然降低了系统的负荷,但却存在较大的误差[3];利用数据流技

术[4]对所有网络流量数据进行处理,有效地减少存储资源的需求,同时保持一定的准确性. 高速链路上持续到达的海量网络流量给网络流量测量与分析带来了极大的困难,因此需要采取一些可行的措施,既能够对网络流量数据进行缩减,又能够保留网络流量数据的特征信息.根据网络流量测量的应用需求,数据缩减技术主要分为抽样和数据流两种.抽样技术的目的是选择具有代表性的网络流量数据分组子集,通过该子集推断网络流量总体数据分组的特征信息.数据流技术是将庞大的信息压缩到较小的存储空间并保持一定的精确度,数据流技术具有在线实时处理和有限存储空间的特性.各种网络流量测量方法是针对具体的应用需求提出来的,具有一定的局限性,目前还没有一种通用的网络流量测量方法. 本文详细综述了近年来国内外主要的高速网络流量测量方法的研究进展.第1节介绍网络测量方法的主要评价指标.第2节介绍网络流量测量的抽样方法.第3节介绍网络流量测量的数据流方法.第4节介绍高速网络流量测量的数据结构.第5节介绍抽样方法与数据流方法在网络流量测量中的应用.第6节概述高速网络流量测量技术的研究成果.第7节讨论现有的网络测量方法的不足、网络测量的发展趋势和可能的下一步的研究方向.最后对全文进行总结.

1 网络测量方法的评价指标 高速网络测量技术主要从以下几个方面进行评估: • 实时性:反映网络测量技术能够在线地、快速地处理网络数据流的能力; • 准确性:反映网络测量技术能够估计网络数据流的能力; • 可扩展性:反映网络测量技术能够处理大量的网络数据流的能力; • 存储复杂性:反映网络测量技术准确估计网络数据流所需存储空间; • 计算复杂性:反映网络测量技术准确估计网络数据流所需处理开销,如内存访问、CPU. 目前,对这些评估指标进行量化还存在一定的困难.为了能够有效验证现有的网络测量方法,本文主要介绍误报率、漏报率和检测率、无偏估计和相对误差、平均相对差和加权相对差以及熵和标准熵评价指标.

1.1 检测率、误报率和漏报率 误报(false positive)是指正常事件被检测为异常事件.真阴性(true negative)是指正常事件被检测为正常事件.令FP为误报数,TN为真阴性数,则误报率(false positive rate)为

fFPR

FPTN+=

+.

漏报(false negative)是指异常事件被检测为正常事件.真阳性(true positive)是指异常事件被检测为异常事件.令FN为漏报数,TP为真阳性数,则漏报率(false negative rate)为

fFNR

FNTP−=

+.

检测率(detection rate)是指被检测为异常事件的异常事件数与实际异常事件总数的比率,则检测率为

合集下载

网络测试方法

网络测试方法

网络测试方法网络测试是指通过一系列的测试手段和工具，对网络的性能、安全性、稳定性等方面进行检测和评估的过程。

在当今信息化社会中，网络已经成为人们生活和工作中不可或缺的一部分，而网络测试的重要性也日益凸显。

本文将介绍几种常见的网络测试方法，帮助读者更好地了解和掌握网络测试的技术和方法。

一、带宽测试。

带宽测试是指通过测量网络传输速度来评估网络的性能。

常见的带宽测试工具有Speedtest、iPerf、NetStress等。

通过这些工具，用户可以测试网络的上传和下载速度、延迟等指标，从而了解网络的实际性能表现。

带宽测试可以帮助用户确定网络的瓶颈所在，为网络优化提供参考依据。

二、负载测试。

负载测试是指通过模拟大量用户访问或数据传输情况，来评估网络在高负载情况下的性能表现。

常见的负载测试工具有Apache JMeter、LoadRunner、Gatling等。

通过这些工具，用户可以模拟不同场景下的网络负载，测试网络在高负载情况下的稳定性和性能表现，为网络承载能力的评估和优化提供参考数据。

三、安全测试。

安全测试是指通过检测网络中存在的安全漏洞和风险，来评估网络的安全性。

常见的安全测试手段包括漏洞扫描、渗透测试、安全审计等。

通过这些手段，用户可以发现网络中存在的安全隐患，并及时采取措施加以修复和加固，保障网络的安全运行。

四、性能测试。

性能测试是指通过模拟用户行为和系统负载，来评估网络在不同负载情况下的性能表现。

常见的性能测试工具有LoadRunner、JMeter、WebLoad等。

通过这些工具，用户可以模拟不同场景下的用户行为和系统负载，测试网络在不同负载情况下的性能表现，为系统优化和容量规划提供依据。

五、故障测试。

故障测试是指通过模拟网络设备故障或异常情况，来评估网络在故障情况下的应对能力。

常见的故障测试手段包括断电测试、断网测试、设备故障模拟等。

通过这些手段，用户可以测试网络在不同故障情况下的应对能力和恢复速度，为网络容灾和故障处理提供参考数据。

高速公路车流量统计方法

高速公路车流量统计方法

高速公路车流量统计方法全球越来越多的车辆上路造成了道路拥堵的问题，车流量统计已成为城市规划和交通运输管理中至关重要的一部分。

高速公路上车辆流量分布不均，大幅度的车流量变化使得车流量统计更加复杂和关键。

随着车辆数量的增加，为了更好地管理和规划公路，高速公路车流量统计方法已变得越来越重要。

一、传统车流量监测方法传统的车流量监测方法使用传感器、闸机、摄像机和地磁装置等设备进行车流量数据的收集和分析。

这些设备可以安装在高速公路的入口、出口或特定位置。

传感器和闸机等设备可以统计进出高速公路的车辆数量和时间，并通过这些数据计算出经过路段的平均车速和通行能力。

这些设备被广泛使用，但是需要大量的人力和物力维护和管理。

同时，这些设备不能提供实时数据，其监测范围有限制，不适用于大规模车流量统计。

此外，这些设备受天气影响，如大雨或大雾严重影响数据的可靠性。

二、新兴高科技车流量监测方法为了解决传统车流量监测方法的不足和缺点，新兴高科技车流量监测方法开始被使用，比如车辆识别技术和无线传感器网络。

车辆识别技术是通过图像处理技术来识别和跟踪车辆。

这种技术可以使用摄像机和计算机视觉来捕捉车辆的图像和数据，然后利用计算机算法对车辆进行分析和决策。

车辆识别技术可以在高速公路中心的特定位置进行车辆统计，并提供实时数据。

无线传感器网络是一种代替传统车流量监测方法的新技术。

这种技术使用安装在高速公路中的多个无线传感器，通过收集和处理车辆密度、车速、车型等多个数据来实时监测车流量。

这种技术不仅可以减少设备的维护和管理，而且可靠性更强。

在恶劣天气下，这种技术也可以保持良好的运作。

此外，这种技术可以远程监测和控制车流量，减少交通拥堵和降低交通事故发生的风险。

三、新兴高科技车流量监测方法的发展前景新兴高科技车流量监测方法的发展前景十分广阔。

随着智慧城市概念的出现和ICT技术的广泛使用，车流量监测和控制将成为城市规划和交通运输管理的重要组成部分。

带宽测试方法

带宽测试方法

带宽测试方法一、带宽测试概述带宽测试是指对网络带宽进行检测和评估的过程。

带宽是网络传输能力的重要指标，对于个人用户、企业及运营商等都有着重要的意义。

一个稳定、高速的带宽是当今互联网时代的基本需求。

带宽测试可以帮助我们了解网络的性能，发现并解决网络问题，提高网络质量。

二、带宽测试方法1.网络速度测试：网络速度测试是衡量带宽的关键指标，可以通过下载速度、上传速度等参数来评估。

常见的网络速度测试工具有Speedtest、 等。

2.网络稳定性测试：网络稳定性是指网络在一段时间内的传输性能波动。

可以通过ping 测试、抖动测试等方法来进行评估。

3.网络延迟测试：网络延迟是指数据从发送端到接收端所需的时间。

延迟越低，网络传输效果越好。

可以通过测速工具、游戏测速等方法来测试。

4.网络吞吐量测试：网络吞吐量是指网络在一定时间内能传输的数据量。

可以通过下载大型文件、观看高清视频等方法来测试。

三、带宽测试工具与平台市面上有许多带宽测试工具和平台，如Speedtest、、腾讯测速、百度测速等。

这些工具平台操作简便，测试结果直观，可以帮助用户快速了解网络带宽状况。

四、带宽测试的实用场景1.家庭宽带用户：检测家庭宽带的带宽，确保网络速度满足日常需求。

2.企业网络：评估企业内部网络的带宽，优化网络架构，提高工作效率。

3.数据中心：监测数据中心的带宽，确保服务器稳定运行，提高服务质量。

4.运营商：用于监测网络基础设施的性能，为网络优化和升级提供依据。

五、提高带宽测试效率的技巧1.选择合适的测试工具：根据需求选择适合的带宽测试工具，如Speedtest 适用于普通用户，而更专业的网络测试工具如LAN Speed Test、Wireshark 等则适用于网络工程师。

2.选择测试时间：避开网络高峰时段进行测试，以获得更准确的带宽数据。

3.多次测试取平均值：为了减少个别测试数据偏差，可以进行多次测试，然后取平均值作为最终结果。

六、带宽测试的注意事项1.确保测试设备与网络连接稳定，避免测试过程中出现掉线等情况。

网络传输性能测试方法

网络传输性能测试方法

网络传输性能测试方法1.带宽测试方法2.延迟测试方法延迟是指从发送数据到接收数据的时间间隔，通常以毫秒为单位。

延迟测试可以通过向服务器发送一个小的数据包并测量返回时间来测量网络的延迟。

较低的延迟意味着网络传输速度更快。

常用的延迟测试方法包括Ping命令、Traceroute命令等。

3.丢包率测试方法丢包率是指在数据传输过程中丢失的数据包的百分比。

丢包率高会导致传输速度变慢，甚至数据传输中断。

丢包率测试可以通过向服务器发送大量数据包并计算丢包的数量来测量网络的丢包率。

Ping命令可以用来测试丢包率，通过观察回应中的丢包数量来评估网络的稳定性。

4.吞吐量测试方法吞吐量是指网络在单位时间内能够传输的数据量。

吞吐量测试可以通过同时向服务器发送大量数据并测量接收到的数据量来评估网络的传输能力。

常用的吞吐量测试方法包括iperf工具、文件传输测试等。

5.网络流量分析方法网络流量分析可以帮助了解网络的使用情况和瓶颈，通过收集和分析网络中的数据流量来评估网络的传输性能。

常用的网络流量分析方法包括使用抓包工具如Wireshark等进行数据包分析和流量统计。

6.压力测试方法压力测试是指通过模拟大量用户和数据流量来测试网络的极限容量和性能。

压力测试可以帮助评估网络在高负载情况下的表现，并确定网络的性能瓶颈。

常用的压力测试方法包括使用工具如Apache JMeter等，通过模拟多个用户并发访问服务器来测试网络的性能。

综上所述，网络传输性能测试方法包括带宽测试、延迟测试、丢包率测试、吞吐量测试、网络流量分析和压力测试等。

通过测试网络的带宽、延迟、丢包率、吞吐量和流量情况，可以评估网络的质量和稳定性，并进行优化和改进。

网络传输性能测试对于保障网络的稳定和提供良好的用户体验非常重要。