流量分析系统

2016年第16期信息与电脑China Computer&Communication软件开发与应用

１　网络流量分析技术现状与新挑战

网络流量如实记录了当前网络的运行状况，网络流量

分析有助于网络管理人员监测网络性能优化网络架构、发现

异常流量及时排除网络故障、快速定位响应网络安全事件，

采取网络行为管控措施应对网络运维挑战。随着网络带宽的

飞速发展，网络流量分析的难度越来越大。主要体现在高速

网络的数据包捕获和会话协议深度分析两方面，前者传统的Libpcap、PR_RING等技术已难以满足高速网络采集的需求，

为了突破防火墙的封堵，开始大量使用非标准端口或挪用标

准端口，基于固定端口网络流量识别在当前网络应用环境下

已难以胜任网络流量分析工作。而现有的网络流量监控系统

如SNMP、MRTG、Wireshark存在诸多缺陷：（1）无法在

线分析所有会话或网络会话缺少关联；（2）网络流量协议分

析结果准确性较低，协议识别采用基于协议固定端口或DPI

检测识别，无法实现附属会话识别，如FTP被动模式数据传

输会话的识别；（3）DPI深度报文分析的性能和效果较差，

表现为处理能力低难以达到万兆线速处理、不能跨包检测等。

本文实现了ONFA万兆网络流量分析系统，较好解决

了万兆网络大规模会话管理和跨包检测和协议附属会话关联

问题，具备在万兆网络环境下深度分析网络流量的能力。ONFA的主要技术改进包括：底层采用基于DPDK报文捕获

平台，实现了万兆线速报文捕获；采用大规模TCP并发会话

在线重组技术和基于分治的多线程哈希索引链表无锁并发算

法，实现了万兆在线会话重组；基于多流缓冲整序的会话按

需重组算法和“包-流-会话”三层交互深度协议检测与协

议会话关联技术实现了网络协议流量分析，显著提升了协议

识别准确率和识别速率。

２　万兆网络流量分析系统ＯＮＦＡ的系统结构

Omni Network Flow Analyzer（简称ONFA）系统是基于

深度协议检测（Deep Protocol Detect，DPD）和协议会话关

科技资讯

科技资讯SIN&TNOLOGYINFORMTION2008NO.01SCIENCE&TECHNOLOGYINFORMATION建筑科学

随着网络应用越来越广泛,网络带宽快速

增长,网络上承载的业务也越来越丰富。网

络管理员需要掌握网络流量特征,以便使网络

带宽配置最优化,及时解决网络性能问题。网

络流量分析就是这样一个工具。流量分析的

一般过程如下,首先被动记录被测网络中的数

据包,根据需要,可以选择只记录数据包的头

部或者整个数据包,并对数据包进行统计,最

后用图形化的方式响应用户查询。流量分析

一般对网络进行被动测量,不影响被测网络行

为,且从应用业务流量中能获取丰富信息,从

而在高速网络环境中得到了越来越多的应用[1]。

大多数网络流量分析系统的硬件结构可

以用图1描述[2]。首先,利用分光器复制链路

上的数据,并送往数据采集卡。采集卡给每个

数据包打上时间戳标记,该标记与GPS信号同

步。数据包临时存储在采集卡上,进行初步处

理后,通过总线送往PC内存中,根据需要进行

后续处理。

1在高速线路上收集数据的挑战

随着网络带宽的增加,网络流量分析系统

面临越来越多的挑战[3~5],主要包括总线带宽、

内存带宽、磁盘读写带宽和容量。随着主干网

络速度的不断提升,为了搭建可以对高速网络

进行监测的设备,就需要对以上的系统结构进

行全面的性能提升,或者对系统进行容量扩

展。下面具体分析各种挑战并给出应对措施。

1.1总线带宽

PCI总线的吞吐量应对当前的网络速度

就已经不太充足了,因为数据从采集卡到主存

的传输要占用PCI总线带宽,从主存到硬盘的

传输还要占用带宽,这相当于PCI的带宽就只有一半是可用的(如果主机存在两个PCI控制

器,就可能不存在这个问题了)。一般的服务

器都采用64位PCI-X总线,总线频率

133MHz,总线峰值带宽可达1066MB/s,约

8.528Gb/s。这样的总线带宽不能支持高速

网络的速率。

新一代总线标准是PCIExpress,PCI

NPM网络流量分析平台技术方案

NPM (Network Performance Monitoring)是一种用于监视和分析网络流量的技术方案。它可以帮助网络管理员实时监测网络中的流量情况，提供关键指标和统计数据，以便优化网络性能和资源利用。

下面是一个可行的NPM网络流量分析平台技术方案:

1.数据采集和存储：通过部署网关设备或在关键网络节点上安装代理软件，收集网络流量数据。这些数据可以包括包头信息、负载信息以及其他与网络流量相关的指标。这些数据可以通过原始存储或存储在数据库中。

2.数据处理和分析：将采集到的数据进行处理和分析，以提取有用的信息。使用技术如数据清洗、数据转换和数据提取，将原始数据转换为可用于分析的格式。使用数据分析和机器学习算法来挖掘潜在的关联和模式，并从中获得有用的洞察力。

3.可视化和报告：将分析结果可视化和呈现给用户。使用仪表板、图表、图形和图像等可视化工具，将复杂的数据转化为易于理解和解释的形式。生成报告和汇总信息，帮助用户更好地了解网络流量状况，并做出决策。

4.实时监控和警报：提供实时监控功能，使用户能够即时监测网络流量情况。通过设置参数和阈值，系统可以自动检测异常或不正常的流量行为，并触发警报。这可以帮助用户迅速发现和处理网络故障或安全威胁。

5.安全性和隐私保护：在设计和实施NPM网络流量分析平台时，必须考虑到安全性和隐私保护的问题。确保采集到的数据和分析结果的安全存储和传输。采用加密技术和访问控制措施，限制对敏感数据的访问。 6.扩展性和性能：在设计平台架构时，必须考虑到系统的扩展性和性能。能够处理大规模的网络流量数据，并提供快速的响应时间和查询性能。使用分布式计算和批处理技术来处理大量的数据，以避免性能瓶颈。

7.故障恢复和容错性：在系统设计中，应该考虑到故障恢复和容错性。通过备份和冗余机制来保护数据和系统，以防止数据丢失和系统崩溃。实施监控和自动化的流程来检测和处理潜在的故障。

网站流量分析

一、为什么要分析网站流量？

二、从那几个方面分析网站流量？

三、如何对统计工具获得的数据进行分析?

分析网站流量的目的：

1、 通过流量进一部定位现有的网站(定位网站所面向的用户群体、定位所售商品的种类以及价格、定位所要采取的销售方案等)，最终提高网店的询盘量以及成交量。

2、 了解各时间段流量的主要来源，来定位用户群体。

3、 了解映服务器在一定时间段的流量负载，从而为优化服务器有了一定的依据。

4、 了解售商品受所面向的用户群体欢迎程度，也给采集商品有了一定的依据

5、 了解到网站页面受欢迎程度与重要程度，让我们优化网站页面和调整服务器都有一定的帮助

6、 了解网站关键词有效性以及通过关键词经过搜索引擎所带来的流量。

7、 电子商务网站的流量分析与其他网站大体相同，区别主要在于效率转换以及用户特征，这对于电子商务网站来说尤为重要，而流量的总数相对并不十分特别要紧，因为只要把转化率提升了。

从那几个方面分析网站流量？

1、分析服务器

服务器是我们网站分析的第一步，主要考察标准有服务器性能是否能承载在一定时间段的流量负载，硬件基础至少要考虑两年到三年以后的事情，托管商及采用的线路应考虑南北方的差异，网通与电信的兼容性，独享还是共享带宽，是否采用了加速技术等；在服务器应用软件方面是采用IIS、TOMCAT、APACHE还是其他，是基于LINUX还是WINDOWS等。

2、网站结构

有人说网站结构基础已经决定了网络营销基础的70%，事实上编程语言的采用、模板分离、内部链接结构、网页静态化、网站易读性、TITTLE设置、关键词密度布局、H标签规范、商品图片、js利用等都是在网站结构中建立起来的。在这里，利用以上方法主要是提高网站在搜索引擎中针对某一关键字搜索结果的页面相关性以及提高网站的访问速度。从而提高来自搜索引擎的流量以及带来的潜在客户。

3、通过现有的统计工具来统计网站流量 网站统计是用来对网站终端用户行为进行分析的。方法有在需要统计的页面嵌入代码进行在线统计；在服务器端安装软件等，这方面秦爱已经写过几篇文章：网站流量统计系统的选择、如何用GOOGLE分析统计站内搜索流量、博客在线人数统计工具、流量统计工具10款、网站流量统计网址列表等，这些文章已经比较详尽的列出目前比较流行的网站统计系统。