基于NetFlow的网络流量采集技术和应用
- 格式:pdf
- 大小:257.44 KB
- 文档页数:4
netflow analyzer原理NetFlow Analyzer是一种用于网络流量分析的工具,可以帮助网络管理员监控和管理网络流量。
它的原理是通过收集和分析网络设备上的NetFlow数据,提供实时的流量统计和分析报告。
NetFlow是一种由思科开发的网络流量记录和分析技术,它可以在网络设备上捕获流经设备的数据包,并将相关信息记录下来。
这些信息包括源IP地址、目的IP地址、源端口、目的端口、协议类型、数据包数量、数据包大小等。
NetFlow Analyzer通过解析这些信息,可以得到关于网络流量的详细信息,包括流量的来源、目的地、协议、端口等。
NetFlow Analyzer的工作原理可以分为三个主要步骤:数据收集、数据分析和报告生成。
首先,它通过与网络设备进行通信,收集和获取NetFlow数据。
这些数据可以通过网络设备上的NetFlow功能或者通过配置路由器、交换机等设备来获取。
一旦数据被获取到,NetFlow Analyzer会对这些数据进行解析和分析。
在数据分析阶段,NetFlow Analyzer会对收集到的NetFlow数据进行处理和分析。
它会根据设定的规则和算法,对流量数据进行分类和统计。
例如,可以根据源IP地址或目的IP地址对流量进行分类,统计每个IP地址的流量量;也可以根据端口号或协议类型对流量进行分类,统计每个端口或协议的流量量。
通过对这些数据的分析,可以得到网络流量的整体情况和特征。
在报告生成阶段,NetFlow Analyzer会根据分析得到的结果生成报告。
报告可以以图表、表格等形式展示,并提供详细的统计数据和分析结果。
这些报告可以帮助网络管理员了解网络的使用情况,发现异常流量和网络瓶颈,并采取相应的措施进行优化和改进。
NetFlow Analyzer的原理和功能使其成为网络管理和安全监控的重要工具。
通过实时监控网络流量,可以及时发现和解决网络问题,提高网络的性能和可靠性。
网络流量分析NetFlow协议解析网络流量分析在网络安全和性能监控中起着重要的作用。
而NetFlow协议作为其中一种流量分析的关键工具,在网络管理领域中被广泛应用。
本文将对NetFlow协议进行详细解析,介绍其原理、功能和应用。
一、NetFlow协议简介NetFlow协议是由思科公司于1996年推出的一种网络流量分析技术。
它能够提供流量统计、流量分析和流量监控等功能。
NetFlow协议通过在路由器和交换机上收集、处理和导出流量数据,为网络管理员提供实时的流量信息和网络性能的评估。
二、NetFlow协议的工作原理NetFlow协议的工作原理可以分为三个阶段:数据收集、数据处理和数据导出。
1. 数据收集在网络中的路由器和交换机上,通过配置使其能够将经过设备的流量数据进行收集。
NetFlow支持两种收集方式:Full Flow和Sampled Flow。
Full Flow是指完整地收集每一个流量数据进行处理;Sampled Flow是指以一定的频率采样流量数据进行处理,减少处理开销。
2. 数据处理收集到的流量数据会经过设备内部的处理引擎进行处理。
处理引擎会提取关键信息,如源IP地址、目的IP地址、源端口、目的端口、协议类型等,并基于这些信息生成流记录。
3. 数据导出处理后的流记录会根据配置的规则进行导出。
导出方式有两种:NetFlow v5和NetFlow v9。
NetFlow v5是早期版本,具有广泛的兼容性;NetFlow v9则是最新版本,支持更多的字段,并且具有灵活的配置能力。
三、NetFlow协议的功能NetFlow协议具有以下几个主要功能:1. 流量统计NetFlow可以对流量进行实时统计,包括流量量、带宽利用率、流量峰值等。
这些统计数据可以帮助网络管理员了解网络的负载情况,有助于进行容量规划和性能优化。
2. 流量分析通过对收集到的流量数据进行分析,NetFlow可以帮助管理员发现网络中的异常情况和潜在安全威胁。
第31卷 第23期2009年12月武 汉 理 工 大 学 学 报JOURNA L OF WUHAN UNIVERSIT Y OF TECHN OLOG Y Vol.31 No.23 Dec.2009DOI :10.3963/j.issn.167124431.2009.23.037基于N etFlow 的网络流量采集技术和应用孟晓蓓(武汉大学计算机中心,武汉430072)摘 要: 针对计算机网络状况监控领域的实际需要,提出了基于Net Flow 的流量采集技术。
相比其它的流量采集工具,Net Flow 的流量采集技术具有配置方便,费用低,占用资源小的优点。
分析了Net Flow 交换技术采集网络流量信息的实现原理。
并从计算机网络的网络层和传输层2个方面,讨论了Net Flow 网络流量采集技术在网络信息安全方面的相关应用。
关键词: 流量采集; Net Flow ; 网络攻击中图分类号: TP 393.06文献标识码: A 文章编号:167124431(2009)2320155204N et work Flux Collection T echnique B ase on N etFlow andIts ApplicationM EN G Xiao 2bei(Computer Center ,Wuhan University ,Wuhan 430072,China )Abstract : This paper proposes the network flux collection technique based on net flow according to practical requirements in the field of monitoring the status of computer pared to other flux collection tools ,Net Flow has advantages of con 2venient configuration ,low cost and small occupied resources.This paper analyses the principle of realization of Net Flow ex 2change technique collecting network flux information.Then both from the network layer and transport layer ,the paper discuss 2es some relevant applications of Net Flow network flux collection technique using in network information security areas.K ey w ords : flux collection ; Net Flow ; network attack收稿日期:2009207209.作者简介:孟晓蓓(19572),女,高级实验师.E 2mail :meng1025@随着Internet 和Intranet 的发展,网络用户、接入设备日益增长,对计算机网络的安全运行产生了压力。
因此,计算机网络状况的实时监控的工作,显得十分必要。
计算机网络状况的实时监控的一个重要环节,就是网络上的数据流量进行统计和分析。
由于各种各样的应用对网络带宽的需求越来越高,传统的网络流量统计和数据采集方式开销大、对数据传输延时的影响大,已经不能满足现在的需求,因此,需要一种新的流量统计技术来适应现在的网络环境。
Net Flow 技术正是这样的能适应新环境的流量采集方法。
1 网络流量采集的特点和方法理想的数据采集方式应该具备以下一些特点[1]:1)不影响数据流转发的速度 在整个数据流的采集过程中,不能有明显影响数据流转发速度的状况发生。
如果在数据采集的过程中,数据流转发的速度明显下降,不能真实地反映网络流量状况,这违背数据采集的根本目的。
2)占用资源小 对数据流进行采集的过程中,可能需要在路由器(交换机)中进行流量统计,并且储存所采集数据。
这会给路由器(交换机)带来额外的资源开销。
理想的流量采集方法应该尽可能少占用资源,在采集效果和资源占用之间寻求一个平衡点。
3)完整的数据流监控 一个理想的数据采集方法应该具备完整的数据流监控能力。
在网络发生拥塞的时候,能不能采集到完整的流量信息,是考察数据采集方法的一个重要标准。
4)支持第3层交换 第3层交换技术的特点就是将路由功能和交换功能结合在一起,使得网络在具有第2层交换的高速性能的同时,又可以具有很好的安全性、可扩展性等特性[2]。
理想的数据流量采集方式必须能够支持第3层交换技术。
5)分布式的数据采集 分布式的数据采集有利于实现校园网内部的数据流量监控和管理。
常用的网络流量采集方法有:实时数据采集,路由器流量统计功能,Net Flow 交换技术。
实时数据采集就是在网络设备中使用端口镜像技术等[3],从网络中获取实时的数据流信息。
这种方法的优点是实施最为简单,几乎不会对网络中数据传输的延时造成任何影响。
然而,由于数据采集机要捕获所有的数据流信息并对之加以分析,因此这种方法对数据采集机的处理能力要求很高。
此外,由于这种方式是对整个IP 数据包进行抓取后再进行处理,必然导致数据量过于庞大,对于后续的数据处理工作带来不便,因此这种方式并不适合。
路由器流量统计功能是利用网络设备的流量统计功能,是目前比较常见的一种数据采集方法。
在路由器中启动流量统计功能,使其记录下所有流量的源地址、目标地址、数据包数量和字节数。
另外一台采集数据的机器通过SNMP 协议定期到路由器上去将流量统计信息读取回来,从而获得详细数据。
这种方法的好处是流量信息准确,信息获取方便。
同时,由于使用SNMP 协议进行数据获取,具有很好的通用性和可移植性。
因此这种方法的应用非常广泛。
在路由器上运行流量统计功能,会影响路由器对数据包处理的效率,增加路由器的CPU 和内存负载,不可避免的对网络性能带来一定的影响。
因此,这种方法并不适合在网络和核心层部署,适合在网络的边界处进行流量采集。
Net Flow 交换技术是由Cisco 公司提出的,广泛应用在Cisco 的路由器和交换机产品中[4]。
它提供了高性能的第3层交换技术,并且能够主动将网络流量信息推送到一个Net Flow 数据采集服务器上。
Net Flow 交换技术是传统快速交换技术的一种改进,主要优点是在进行数据交换的同时对数据流信息进行统计,并将统计信息以特定的格式输出。
2 N etFlow 交换技术2.1 N etFlow 交换技术原理Net Flow 交换技术是在Cisco 的路由器、交换机中实现的一种技术。
Net Flow 交换完成的工作超过交换本身的工作,它还进行数据的统计,包括数据流的协议、端口、被转发的数据包数量、字节数等信息,所有这些信息都被保存在Net Flow 缓存里面。
这些数据可以被发送到一个Net 2Flow 数据采集器或者网管工作站进行存储和进一步处理[5]。
因此,可以说Net Flow 是一种交换技术,同时,它更多的是一种网络管理和计费技术。
Net Flow 交换技术主要原理是根据网络数据包传输时,连续相邻的数据包通常是往相同目的地IP 地址传送的特性,配合Cache 快取机制,一个输入的数据包完成了交换处理后,所有的路径信息和数据包的信息被复制到Net Flow Cache 中。
该数据流中的剩余数据包将会被与Net 2Flow 的缓存进行比较然后进行相应的转发,同时对该数据流的相关计数器进行更新,实现数据流信息的统计[6]。
当网络管理者开启路由器或交换机接口的Net Flow 功能时,设备会在接收数据包时分析其数据包的标头部分取得流量资料,并将所接到的数据包流量信息汇整成一笔一笔的Flow 。
Net Flow 交换技术的体系结构见图1。
在Net Flow 数据采集系统中,数据采集器是整个系统的核心部分。
数据采集器接收路由器和交换机发送的Net Flow 数据包,并分析输出数据中的版本信息,根据情况选择不同的数据处理容器。
然后,数据库中的信息通过相关流分析软件完成图形化展示、TOP N 查询以及预警等功能。
651 武 汉 理 工 大 学 学 报 2009年12月2.2 N etFlow 的数据格式Net Flow 技术被应用在多种平台的思科设备中,包括了大部分路由器和3层交换机。
目前比较常用的是Version 5、Version 7、Version 8和Version 9。
在Net Flow Version 5中,加入了对B GP AS 的支持,是目前最实用的版本。
Ver 2sion 7是思科Catalyst 交换机设备支持的一个Net Flow 版本,与路由器中的Net Flow 并不兼容。
Net Flow Version 8在Version 5的基础上,增加了基于路由的计费信息归并等新特性,可以大大降低对数据输出的带宽需求。
而Net FlowVersion 9是一种全新的灵活和可扩展的Net Flow 数据输出格式[7]。
除了具有较低版本的特性之外,还支持IPv6、MPL S 等特性,并且允许用户自行定义数据输出的模板和格式,应用更加灵活、方便。
Net Flow 设备使用UDP 将计费信息输出到数据采集端,以大多数路由器都支持的Version 5为例,数据输出包括数据头和多个Net Flow 记录信息。
Version 5规定,每一个数据报文最多可以携带30个Net Flow 记录。
图2是Version 5的一个Net Flow 记录的数据格式。
3 N etFlow 在网络安全上的相关应用对于网络中出现的异常事件,网络管理者能够从Net Flow 的记录中获得足够的信息,并且Net Flow 不需要对数据包的内容进行分析,网络设备运算的负担也减轻许多,因此Net Flow 很适合用来分析高速运转的网络。
由于Net Flow 的数据来源是网络中的3层数据转发设备,因而3层设备所收集到的Net Flow 信息可以协助掌握整个网络的情况[8]。
通过适当地分析Net Flow 信息,管理者在蠕虫爆发以及其他网络异常行为的初期即可快速分析出网络中存在的问题。
3.1 分析网络层中的N etFlow 信息网络攻击行为一般存在着某些可供辨识的特征,可以通过这些特征来与所获得的Net Flow 数据进行对比,进而找出可能的异常行为。
通过分析Net Flow 数据中目的主机所使用端口号字段,来过滤Net Flow 资料找出相对应的攻击;另外也可以利用不合逻辑的来源或目的IP 地址来找出异常。