Netflow网络流量分析手册

收稿日期:2003208216.作者简介:孟学军(19712),男,讲师;武汉,武汉大学网络教育学院(430072).基于Net Flow 网络流量分析的研究及应用孟学军武汉大学网络教育学院吴黎兵武汉大学计算中心石　岗武汉大学网络教育学院摘要:在分析Net Flow 交换及其特点的基础上设计了一个具体的网络流量分析模型.它的主要特点是提供了数据输出网关和计费接口,易于扩展.该模型重点讨论了数据采集点的选择和采样间隔等关键参数的设置方法.关　键　词:Net Flow ;数据采集;采样间隔中图分类号:TP393.03 文献标识码:A 文章编号:167124512(2003)S120253203 网络流量分析对一个网络的管理来说是不可缺少的重要组成部分.网管人员可以利用它来监控网络的数据流量,分析网络的使用情况及性能,尽早发现网络的瓶颈,便于调整网络的路由,合理分配网络流量,保证网络高效、稳定、可靠地运行.1　Net Flow 交换及其特点Net Flow 交换在网络层实现高性能的交换,它提供一个高效的机制,可用来处理安全访问列表,不必像其他传统的交换方式那样,为完成同样的任务而付出很高的性能代价.Net Flow 交换识别主机之间的网络流量,并在提供相关服务的同时,对网络流量中的分组进行交换.在Net Flow 交换中,查询过程仅对分组流中的第一个分组进行,在一个网络流被识别并确定了与其相关的服务后,那么后面所有的分组都作为该信息流的一部分,在面向连接的基础上进行处理,这样就绕过了访问列表的检查,进而依次对分组进行交换和获取统计信息.Net Flow 记录的流包含了丰富的信息,它使用源和目的端点的IP 地址和传输层端口号、协议类型、服务类型(Tos )以及输入接口等来标记网络流.可用来捕获、显示和分析网络流信息.Net Flow 不需要其他硬件流量设备的支持,开启和关闭非常方便.2　系统实现的基本原理与技术2.1　数据采集系统框架a .N FCD 模块:系统后台控制服务器,监视和控制N FCollector 和N FO GW 的操作状态.b .N FCollector 模块:流量收集器,接收来自路由器的Net Flow 数据,并进行过滤、总结、集合和数据管理等功能.c .N FCU I 模块:用户配置接口,为用户和Net Flow 提供一个交互界面.用户可以方便地对Net Flow 进行配置及查看内部的一些运行情况,比如计划集信息、过滤器信息、源地址和目的地址、发送数据的IP 地址以及正在接受数据的情况.d .N FO GW 模块:数据输出网关,通过网关以SOC KET 方式发送信息到其他网管分析软件,如Cisco 公司的Net Flow FlowAnalyzer 流量分析软件.例如将这些数据应用到网络仿真中,仿真出实际网络运行的性能参数,为网络设计和规划、营运维护等广泛领域服务.e .N FAnalyzer 模块:提供图形用户界面(GU I )分析和显示来自N FCollector 的Net Flow 数据.数据可以以多种集合方式观看,并配有不同的图形、分类和图表功能.数据系统采集框架见图1.2.2　Net Flow 数据格式Net Flow 以UDP 数据报输出信息流.版本1的格式是最初颁布的版本;版本5是最新的增强版[1],增加了边界网关协议(B GP4)自治系统(AS )信息和流顺序号.版本5的流记录格式为(0～3)Scraddr ,源IP 地址;(4～7)Dstaddr ,目的IP地址;(8～11)Nexthop ,下一个“跳”路由器的IP地址;(12～15)input and output ,输入和输出接口的SNMP 索引;(16～19)dPkts ,流中的信息包;第31卷增刊 华　中　科　技　大　学　学　报(自然科学版) Vol.31　Sup.2003年　10月 J.Huazhong Univ.of Sci.&Tech.(Nature Science Edition ) Oct.　2003图1　数据采集系统框架(20～23)dOctets,在流的信息包中第3层字节的总数;(24～27)First,流起始时的SysUptime;(28～31)Last,收到流的最后的信息包时的SysUp2 time;…2.3　配置Net Flow交换Net Flow的数据输出要求先在路由器或交换机上定制Net Flow流输出,并选择输出流的版本、个数、缓存区的大小等,配置相应Net Flow流收集器的IP地址、端口等信息.另外,需要在Net Flow 流收集器端、配置接收端口号、设置汇聚、过滤策略、流量文件存放目录、格式等.configure terminal/进入全局配置模式/interface interface3/0/0/指定接口,进入接口配置模式/ip route2cache distributed/在接口上启动IP 信息包的V IP分布交换/ip route2cache flow/指定流交换/ip flow2export1.1.15.10version5peer2as/将Net Flow缓存的存入项传送到工作站/3　需要重点考虑的两个问题3.1　数据采集点的选择Cisco7500系列路由器除了有一个集成的路由/交换处理器(RSP)并使用路由缓存来转发信息包外,它还使用了多功能接口处理器(V IP).这个基于RISC的接口处理器接受并缓存来自RSP 的路由信息.使用了路由缓存,V IP卡就可在本地作出交换决定,不需要RSP的参与就可加速总的吞吐量.由于V IP从RSP卸载了这些IP交换和服务功能,因此RSP可以将其所有CPU周期用于处理其他关键任务.因此,使用V IP的分布式体系结构是Cisco7500可伸缩性的关键.文献[2]通过在实际运行网络的GSR12012和Cata2 lyst6509两种典型路由设备上开启Net Flow进行测试,实际评估了其对网络性能的影响.试验数据表明:开启Net Flow对具有V IP分布交换功能的12012的CPU利用率无任何影响,内存下降也不明显;而对不具有V IP分布交换功能的6509影响较为明显,CPU利用率下降超过5%,内存下降也大.因此,数据采集点放在C7507上合适.这样,不会造成网络拥塞,如图2所示.图2　边界路由器和中心交换机位置分布3.2　采样间隔考虑到网络流量在不同的时间段内是不均衡的,如果在全部时间段内采取不变的间隔采样,必定造成N FCollector与路由器的频繁通信,进而影响路由器的性能.如果根据信道的繁忙程度设定不同的取样间隔,就可减少通信频度,提高路由器的利用率.根据排队论,客户端发起的会话请求可以用分段平稳泊松流来模型化[3].因此,可以认为在平衡状态下t时间内路由器建立的会话次数为泊松分布.P[n(t)=m]=e-λt(λt)m/(m!)(1) t时间缓存内的平均会话个数 n为:n=∑mi=1i P[n(t)=i]=∑mi=1e-λt(λt)i(i-1)!,(2)式中λ是会话到达流的强度.此时若设缓存区的长度为m,则t时间内不溢出的概率是:p=∑mi=1P[n(t)=i]=e-λt∑mi=1(λt)ii!.(3)由于流量为分段的平稳泊松流,因此,如果以小时为单位对其进行分段,则每个时间段上的到达流强度λi=1-24,利用(3)式,根据给定的P和λi 可以计算出t i值作为该时间段内的采样间隔.借助已完成的数据采集工具,可以收集到任何地点的网络流量情况.这为下一步的数据分析提供了丰富的数据资源以及数据间的联系等重要信息.在随后的分析工作中,将尝试分离出可能影响数据流的各个因素(包括网络主机的数量、用户的访问特性、网络通信协议算法及网络的拓扑结构).通过对现有的网络框架增加网络监测和流量分析功能,可以改善网络环境的整体安全性.参考文献[1]Cisco Systems公司.Cisco IOS交换服务.北京:电子工452 华　中　科　技　大　学　学　报(自然科学版) 第31卷业出版社,1999.[2]梁喜秋,梁　洁.Net Flow 对网络性能的影响.广州通信技术,2002,22(3):24～26[3]丁　伟,吴剑章.基于会话的网络计费管理系统.小型微型计算机系统,1998,19(1):10～13R esearch and application of net work traff ic analysis based on N etFlowMeng X uej un W u L ibi ng ShiGangAbstract :The paper designs a material network traffic analysis model after analyzing Net Flow exchange and its key characteristics.Adapting and extension are main trait of the model by providing data output gateway and IP accounting interface.At the end of the paper ,some key parameters ,such as choice of data collection site and sampling interval are discussed in detail based on network traffic model.K ey w ords :Net Flow ;data collection ;sampling intervalMeng Xuejun Lect.;School of Network Education ,Wuhan University ,Wuhan 430072,China.552增刊 孟学军等:基于Net Flow 网络流量分析的研究及应用 。

一、前言近年来，随着互联网在全球的迅速发展和各种互联网应用的快速普及，互联网已成为人们日常工作生活中不可或缺的信息承载工具。

然而，伴随着互联网的正常应用流量，网络上形形色色的异常流量也随之而来，影响到互联网的正常运行，威胁用户主机的安全和正常使用。

本文从互联网运营商的视角，对互联网异常流量的特征进行了深入分析，进而提出如何在网络层面对互联网异常流量采取防护措施，其中重点讲述了NetFlow分析在互联网异常流量防护中的应用及典型案例。

二、NetFlow简介本文对互联网异常流量的特征分析主要基于NetFlow数据，因此首先对NetFlow做简单介绍。

1. NetFlow概念NetFlow是一种数据交换方式，其工作原理是：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。

一个NetFlow流定义为在一个源IP地址和目的IP地址间传输的单向数据包流，且所有数据包具有共同的传输层源、目的端口号。

2. NetFlow数据采集针对路由器送出的NetFlow数据，可以利用NetFlow数据采集软件存储到服务器上，以便利用各种NetFlow数据分析工具进行进一步的处理。

Cisco提供了Cisco NetFlow Collector（NFC）采集NetFlow数据，其它许多厂家也提供类似的采集软件。

下例为利用NFC2.0采集的网络流量数据实例：211.*.*.57|202.*.*.12|Others|localas|9|6|2392|80|80|1|40|1出于安全原因考虑，本文中出现的IP地址均经过处理。

NetFlow数据也可以在路由器上直接查看，以下为从Cisco GSR路由器采集的数据实例，：gsr #att 2（登录采集NetFlow数据的GSR 2槽板卡）LC-Slot2>sh ip cache flowSrcIf SrcIPaddress DstIf DstIPaddress Pr SrcP DstP PktsGi2/1219.*.*.229PO4/2217.*.*.22806 09CB 168D 2Gi2/161.*.*.23Null63.*.*.246110426 059A 1本文中的NetFlow数据分析均基于NFC采集的网络流量数据，针对路由器直接输出的Neflow数据，也可以采用类似方法分析。

Netflow网络流量分析手册Netflow网络流量分析手册作者：聂晓亮（毛蛋哥）目录一、作者简介 (4)二、为什么会有这本书 (5)三、流量分析原理 (6)(一)原始流量分析方式 (6)(二)Netflow分析方式 (6)四、流量采样 (8)(一)在网络设备上开启Netflow功能 (8)(二)网络设备不支持Netflow (9)1.部署方式 (9)2.安装Fprobe (11)3.启动Fprobe (11)4.镜像流量至Fprobe服务器 (12)5.检测是否收到Netflow数据 (12)五、部署服务器 (13)(一)硬件需求 (13)(二)安装FreeBSD (13)(三)安装Nfsen (14)1.安装apache22 (14)2.安装php5 (14)3.安装nfsen (15)(四)安装PortTracker (15)(五)访问Nfsen (16)六、抓贼攻略 (18)(一)了解网络运行状况 (18)(二)什么协议吞了带宽 (22)(三)抓出罪魁祸首 (25)七、感谢 (30)一、作者简介本书作者聂晓亮，网名毛蛋哥。

2004年毕业于北京联合大学信息工程学院，热爱网络相关知识及摄影，机缘巧合参加了Cisco认证培训，并获得了一些成绩。

本书写于2008年10月，作者目前状态工作较为舒适，故有空闲时间完成此书。

聂晓亮（毛蛋哥）拥有自己的Blog及Wiki空间，其中记录了作者的工作、生活、学习。

作者希望通过此书以及Blog、Wiki同全世界的网络爱好者分享其知识与快乐。

聂晓亮（毛蛋哥）的Blog：聂晓亮（毛蛋哥）的Wiki：欢迎交流：********************二、为什么会有这本书在工作的几年当中，经常有朋友和一些网友问我一些关于流量分析的问题，诸如：●我们局域网怎么这么慢，是不是有人在下BT？●192.168.0.1也没人用，怎么网卡疯狂闪烁，它在做什么？●老板让我查查服务器为什么总是那么大流量，可我不知道从何下手。

⽹络流量分析⽹络流量分析概述摘要Internet⾃60年代出现以来发展迅猛,⽹络规模飞速膨胀,⽹络流量越来越⼤,⽹络信息对⼈们⽣活的影响也越来越深远,然⽽⽹络中P2P等应⽤正在⼤量的消耗⽹络的带宽资源,从⽽影响了关键业务的正常展开。

因此,通过对⽹络中的各种业务流量进⾏分析,建⽴合适的预测模型就成为⽹络发展的必要。

通过分析,能及时的发现⽹络中的异常,从⽽使得⽹络管理更主动,为⽹络的持续⾼性能运⾏提供主要的保障,为规划、设计⽹络提供科学依据。

本⽂⾸先介绍⽹络流量数据采集⽅法，通过分析他们的优缺点让读者对⽹络数据采集技术有⼀个初步的了解。

然后本⽂介绍了两种基于不同技术的⽹络流分类⽅法: 深度数据包检测技术（DPI）和深度/动态流检测技术(DFI)。

在DPI中，主要介绍AC状态机模式匹配算法实现多关键字的快速匹配。

⽽DFI是基于流特征向量的分类⽅法，本⽂主要介绍分析了朴素贝叶斯⽅法。

在特征选择⽅⾯，介绍了运⽤相关度和快速的过滤器选择⽅法（FCBF）来对特征进⾏筛选,得出有利于分类的特征⼦集，同时还可以去掉不相关或冗余特征，增加分类的准确性。

最后，本⽂介绍了如何把⽹络流量分析的结果应⽤到⼊侵检测中,以发现⽹络中的异常。

⽬录摘要 (1)⼀、⽹络流量分析概述 (3)1.1⽹络流量分析背景 (3)1.2⽹络流量分析定义 (3)1.3⽹络流量分析⽬的 (4)1.4⽹络流量分析意义 (5)⼆、⽹络流量采集 (6)2.1 ⽹络流 (6)2.2 ⽹络流的特性 (6)2.3 ⽹络流量采集介绍 (6)2.4 主流⽹络流量采集技术 (7)2.4.1 基于⽹络流量全镜像的采集技术 (7)2.4.2 基于SNMP的流量采集技术。

(7)2.4.3 基于 Netflow/sFlow的流量采集技术。

(8)2.4.4 基于⼲路中桥接设备的采集技术 (9)2.4 ⽹络流量采集技术的对⽐ (10)三、⽹络流量分析 (11)3.1 基于DPI的⽹络流量分析技术 (11)3.1.1 DPI提出的背景 (11)3.1.2 DPI技术研究 (11)3.1.3 AC⾃动机算法 (13)3.1.4 DPI总结 (15)3.2 基于DFI的⽹络流量分析技术 (16)3.2.1 DFI的提出 (16)3.2.2 基于DFI技术的⽅法的基本原理 (16)3.2.3朴素贝叶斯分类器 (16)3.2.4改进贝叶斯—FCBF（A Fast Correlation-Based Fliter）： (17)3.2.5其他应⽤DFI技术的模型 (18)3.3 DPI和DFI的对⽐： (19)四、⽹络流量分析之应⽤：⼊侵检测 (20)4.1⼊侵检测的基本定义以及⽅法 (20)4.2⽹络流量在异常检测系统中的应⽤ (21)4.2.1 特征参数的选取 (21)4.2.2特征参数变化的提取 (21)4.2.3.⽹络流量异常的判断 (22)五、全⽂总结 (23)参考⽂献 (24)⼀、⽹络流量分析概述1.1⽹络流量分析背景随着⽹络应⽤⽇趋复杂化,⽹络流量不断增长并且呈现多样化,如何更好的满⾜⽤户对各类Internet业务服务质量越来越精细的要求,这是⽬前⾯临的关键问题。