当前位置:文档之家› 基于动态基线的业务运营支撑网异常流量检测研究

基于动态基线的业务运营支撑网异常流量检测研究

基于动态基线的业务运营支撑网异常流量检测研究
基于动态基线的业务运营支撑网异常流量检测研究

基于动态基线的业务运营支撑网异常流量

检测研究

摘要:本文提出了一种基于动态基线的业务运营支撑网(BOSS)异常流量检测方法。本系统克服了业务支撑网中流量分析仪固定告警阈值的诸多弊端,实现了告警系统智能化,为维护人员提供真实可靠的业务支撑网网络流量告警。此外,三级预警机制,使维护人员更清晰、更有效地掌握告警的严重性程度,降低了由于异常网络流量带来的系统风险。

关键字:动态基线、网络流量、临界基线、分级告警

0 引言

随着互联网技术的发展,基于互联网的各种应用已经深入人们的日常生活,给人们的生活方式带来了巨大的变化,但同时也带来了很多安全隐患。目前,网络异常流量的检测机制总体来说可以归纳为三种类型:基于流量大小的检测、基于数据包特征的检测和基于网络带宽动态基线的检测。每种机制都有其自身的特点,在一定程度上都有较高的检测效率,但是也都有自身的不足。

基于流量大小的检测,提出了基于熵值的检测方案,这种检测方案以Shannon信息论中的熵值度量网络流量中的数据包属性的随机性,根据随机性强度的大小检测异常流量的发生,这种方法具有较高的实时性,但是这种方案关于熵值大小的阈值需手动设置,无法根据网络状态自行调整,不同时段、不同链路的网络流量,具有不同的波峰、波谷,单一临界值无法有效界定异常的流量,从而无法有效检测。

基于数据包特征的检测,从网络流量找出符合特征的数据包,使用这种异常流量监测方案,我们必须事先知道每一种异常流量的特征,并为每一种特征开发专属的监测程序。由于异常流量数据包的种类越来越多,对BOSS网络维护人员而言,不停的添加异常流量特征监测程序将带来沉重的负担,管理方式的延展性差。另一方面,新型的异常数据包特征出现初期,其特征尚未被了解,导致异常流量监测程序的失效,无法有效检测。

根据业务支撑网的特点,提出了一种利用动态基线分析网络进出带宽所占比

率的监测方案,此方案根据平时对网络正常流量建立基本的基线资料,判断突然偏离基线的网络流量,进而找出网络中的异常流量。

1 固定阈值检测缺陷分析

BOSS网络中的流量分析设备有一定的流量告警功能,其告警基线为固定阈值,告警效率低,漏报率和误报率高,告警结果无法为维护人员提供有效网络流量信息,如图1。具体表现如下:

1)告警阈值需手工设置,缺乏智能化变更:

维护人员的经验对阈值设置起关键作用,系统风险大

监控对象流量特征各不相同,阈值设置难度大

监控对象众多,维护人员工作量大

2)固定告警阈值,缺乏根据忙闲时调整的动态告警阈值:

固定告警阈值设置较大,只对流量波峰有意义,而其他时段的流量处于失控状态

固定告警阈值设置较小,无法满足波峰的状态告警,则峰值流量长时间处于告警状态,失去告警意义

3)缺乏科学全面的分级告警机制:

告警阈值单一

漏报率和误报率很高,无法为维护人员提供可靠流量信息

图1 固定阈值告警图

网络流量监控告警是BOSS网络流量管理工作的重点之一。异常网络流量告警,不仅为系统平台维护人员提供了判断系统健康度的重要依据,更为业务支撑网平稳运行提供了有力保障。固定阈值的模式承担着BOSS网络所有网络流量的告警判别,造成了无法有效告警的弊端,运维风险很大,高漏报率和高误报率让运维工作难以应对。因此,基于动态基线的异常网络流量智能化侦测是一个重要需求,包括对动态告警基线的建立和更新,以及科学的分级告警机制等。

2 动态基线检测

基线分析是将一天分成多个时段并将每天相同时段的正常流量计算其平均值,这些连续不同时段的流量平均值便形成了流量基线;基线反映了网络正常行为下所呈现的流量变化趋势,是一项重要的流量指标。而一旦网络中有异常流量发生,将直接反映于流量变化上。

利用每五分钟的各路由器、各链路、各应用服务的正常流量建立各自的流量基线,同时将网络流量与相同时段的基线值进行分析与比较,便可筛选出网络中的异常流量。

本系统利用Snmp、NetFlow网络流量监测工具,以其网络对象、时间、流量三个维度建立网络流量基线过滤与基线偏离的流量,从而找出可能的异常流量节点。使用动态基线侦测方案,维护人员无须为每一异常流量数据包特征寻求或自行开发专属的侦测程序,且在新型异常特征流量开始感染发作之际,此方案便能发挥作用,提供维护人员重要的流量异常报警信息,能够有效协助计费人员尽早侦测和发现网络中的异常。

为了更清楚的说明如何进行网络流量基线分析,以图2以及图3为例解释如何利用动态基线监测异常流量。首先根据不同时间段正常的网络平均流量建立动态基线(图2中的黑线),然后根据被测时刻历史数据的统计值与动态基线值的偏离程度建立动态临界线(图2中的蓝线),当某一时间段的流量超过了临界线,我们判定此时段为流量异常之时段。图2中的红色水平虚线则是传统的流量异常监测所使用的固定临界线。

图2 动态基线示意图

图3 网络流量与动态基线的比较示意图

图3显示针对实际流量进行异常监测时,有些网络尖峰时段的正常流量高于固定临界值而被误判为异常流量,使用以基线为基础的动态临界机制,网络尖峰所造成的正常流量增加仍然低于临界值。如图所示,与流量基线明显偏离的时段(如图3所标示三处)才会被视为异常流量。

3系统架构

在综合考虑基线设计要点以及BOSS网络流量分析系统的设计原则,我们选定了利用动态基线分析网络进出带宽所占比率的检测方案,除了根据不同的时段从Snmp、NetFlow收集流量记录,还包括以下几个工作流程来完成我们的动态基线分析监测程序:(1)决定基线分析的对象与单元;(2)计算对象的基线值;(3)制订动态分级告警规则;(4)说明受感染网络的异常流量的大小强度、持续时间以及部分异常流量细节。

3.1 决定基线分析的对象与单元

利用动态基线分析网络的异常流量,必须确定动态基线适应的对象,其必须满足网络流量具有一定的规律,基线分析的对象可以为用户比较关心的关键业务应用、路由器的出口链路以及某个重要部门的地址网段等。

从Snmp、NetFlow的流量记录中可以获得网络每天不同时段的流量,但我们尚需决定是否用网络流量作为基线分析的对象。网络流量包含的封包数目(Packets)以及字节数(Bytes),异常流量的表现方式是发送大量的封包,且网络流量也会增加。因此使用网络进出流量所占带宽比率建立基线比较容易监测异常流量的发生。

3.2 计算对象的基线值

对于BOSS网络来说,其网络流量是由一群具有集体相似行为的组织成员所贡献。随着组织成员的作息,网络流量通常会以一天为周期呈现规律性变化,或有明显的波峰波谷分布情况。因此我们将每一天分成多个时段,假设y为今日时

为至昨天为止的此时段的基线值,经过今日此时段段的正常情况的流量,而b

1

之后,新的基线值b更新如下:

b = a * y + (1 – a) * b

其中,0 < a < 1 (1)

1

a代表今日此时段的网络流量在基线中所占的比重,如果我们只针对周一至周五的网络流量进行基线分析,我们可以直觉的将a设为0.2即(1/5),意味着

则代表五天之中前四天的加权平均。y代表一周五天统计的其中一天的流量,b

1

事实上,a用于上述公式的加权平均是反映我们对最近一次流量的重视程度,这可使b很快的反映最近的正常网络流量变化,在进行基线值b更新计算时,我们必须首先确定y是正常流量的统计值,如果此时段的流量是异常流量,则不进行基线值b的更新。由于基线值b将被用来作为判断流量是否正常的依据,所以在

流量基线的计算初期,由于统计资料尚不够多,b值不具有一定的代表性,此时若使用基线值b筛选正常流量,很有可能将正确的流量y视为异常,而无法将y 反映至基线值b中,导致b本身的计算不正确,进而影响往后的异常监测和基线更新。因此在流量基线计算初期应先搜集一段时间正常的网络流量,然后利用此时间段的y值建立正确的基线值b。3.3 制订动态分级告警规则

由于网络流量存在波峰与波谷,且根据流量告警分级制,每一个告警状态都是一个区域范围,只要在区域内,就适用相应的分级。因此,单纯用动态基线值b来判断流量是否异常,会产生一定的误差,造成较多的异常流量信息的误报。于是,我们制定了动态临界区域,进行网络流量分级告警,具体如下:

假设前t天与待检验相同时刻的历史流量y

1,y

2

,y

3

,……,y

t

为样本,则待检

验流量与基线的偏离程度可表示为:

(2)其中,b由式(1)表示,且下一时刻实际流量值为y

t+1

则有:当时:网络状况正常,下一时刻网络流量值相对动态基线的偏差在允许范围内。

当时:产生初级告警,下一时刻网络流量值相对动态基线有较小偏差。

当时,产生中级告警,下一时刻网络流量值相对动态基线有较大偏差。

当时,产生高级告警,下一时刻网络流量相对动态基线有很大偏差。3.4说明流量异常的信息

当某一时段的流量超过特定动态临界值时,该时段会被系统标示为异常时段,针对异常时段我们可以进一步分析该时段的NetFlow记录,找出可能出现问题的主机,一个被攻击的主机或者受到感染的主机会引起网络流量过多或过少,因此在NetFlow中会留下多笔流记录。我们采用三个步骤来辨别异常流量的来源,分别是(a)计算流量偏离值;(b)依据NetFlow的流量进行主机排序;(c)累计主机的流量值至偏离值找出异常的主机。

(a)计算流量偏离值,是指此异常时段的流量与基线值间的距离,假设异常时段的流量偏离值为f,则此时段的流量偏离值为:

f =| y – b | (3)f代表了异常流量所带来的流量偏差值,f越大则表示异常的强度越大,受感染的主机数目越多。

(b)根据NetFlow的流量排序,贡献较多流量偏差的主机,较可能是产生异常流量的主机,因此我们从NetFlow中将该异常时段的各相同主机的流量值相加,并根据相加结果进行递减排序,显示所有流量从高到低排列的主机名单。

(c)累计至偏离值找出异常主机:步骤(b)执行后所列出的主机排名中,前几名最有可能产生异常流量,我们可以推测偏离值f主要是由排列于名单前面的主机所造成,因此我们将名单中前n个主机的流量相加,当n为最小使得主机流量总合超过偏离值f时,即找到了异常流量增大的主机群。另外,根据比对排名后n个主机的历史网络流量与异常时段流量,参考流量偏差值,亦可找出异常流量减少的主机群。

综上,可根据以上分析步骤,得出异常流量的持续时间、大小强度、以及相关主机特征,为最后确定产生异常流量的主机提供可靠依据。

3.5 优化后效果

图4 业务支撑网流量图

图4为业务支撑网中某端口一天的流量图。其中,阴影部分为动态基线覆盖范围,超出阴影部分的流量即为异常流量。异常流量告警由业务支撑网运营管理系统(BOMC)通过短信网关下发短信,通知维护人员相关告警内容。

4 结论

通过对异常网络流量检测方法的动态基线改造,维护人员对业务运营支撑网中各安全域网络流量告警有了更具体、更精确的把握。更加细腻的动态基线网络流量告警,降低了漏报率和误报率,提高了网络流量监控系统的有效性和敏锐度。同时,分级告警机制,有利于系统网络流量性能分析,提高故障响应能力,降低网络性能分析成本,从而提升业务支撑网整体的运维效率。

.

车流量检测.pdf

道路车辆检测技术概述 近年来,随着我国交通运输事业的蓬勃发展,智能交通系统(ITS)的研究和应用越来越得到重视,交通运输部于2011年4月颁布了《公路水路交通运输信息化“十二五”发展规划》,提出“必须把推进交通运输信息化建设摆在‘十二五’规划中的突出位置”。准确、实时、完整的交通信息采集是ITS的基础,而车辆检测器则是对动态交通信息进行实时采集的基础设施。 随着电子技术、通信技术和计算机技术的不断发展,车辆检测器也由过去比较单一的种类发展为采用不同技术手段,具有多类型、多品种、多系列的交通车辆参数检测器家族。按信息采集方式的不同,可分为固定型检测技术和移动型检测技术。固定型检测技术可分为磁频采集、波频采集和视频采集3类,主要有感应线圈检测器、磁力检测器、微波检测器、超声波检测器、红外线检测器和视频检测器等,目前我国道路监控系统中,使用最多的是感应线圈车辆检测器、视频车辆检测器和微波车辆检测器3种。移动型检测技术目前主要有浮动车法、车辆识别法和探测车法等,运用的技术主要有基于GPS的定位采集技术、基于汽车牌照自动判别的采集技术、基于电子标签(Beacon)的定位采集技术和基于手机探测车的采集技术。 1磁频类车辆检测器 磁频类车辆检测器是基于电磁感应原理的车辆检测器,主要有感应线圈检测器、磁性检测器和地磁检测器等,其中感应线圈检测器是目前使用最广泛的交通流量检测装置。 1.1感应线圈检测器 感应线圈检测器是地埋型检测器,其传感器为一组通有一定工作电流的环形感应线圈。当车辆进入环形感应线圈所形成的磁场时,引起电路中调谐电流的频率或相位变化,检测处理单元通过对频率或相位变化的响应,得出一个检测到车辆的输出信号。感应线圈检测器可直接提供车辆出现、车辆通过、车辆计数及车道占有率等交通流信息。调查表明,用2m×2m的标准感应线圈对交通流量进行检测,其精度可达到98%~99%。通常在同一车道内埋设2个感应线圈,根据测定车辆

网络异常流量检测研究

网络异常流量检测研究 摘要:异常流量检测是目前IDS入侵检测系统)研究的一个重要分支,实时异常检测的前提是能够实时,对大规模高速网络流量进行异常检测首先要面临高速流量载荷问题,由于测度、分析和存储等计算机资源的限制,无法实现全网络现流量的实时检测,因此,抽样测度技术成为高速网络流量测度的研究重点。 关键词:网络异常流量检测 一、异常流量监测基础知识 异常流量有许多可能的来源,包括新的应用系统与业务上线、计算机病毒、黑客入侵、网络蠕虫、拒绝网络服务、使用非法软件、网络设备故障、非法占用网络带宽等。网络流量异常的检测方法可以归结为以下四类:统计异常检测法、基于机器学习的异常检测方法、基于数据挖掘的异常检测法和基于神经网络的异常检测法等。用于异常检测的5种统计模型有:①操作模型。该模型假设异常可通过测量结果和指标相比较得到,指标可以根据经验或一段时间的统计平均得到。②方差。计算参数的方差,设定其置信区间,当测量值超出了置信区间的范围时表明可能存在异常。③多元模型。操作模型的扩展,通过同时分析多个参数实现检测。④马尔可夫过程模型。将每种类型事件定义为系统状态,用状态转移矩阵来表示状态的变化。若对应于发生事件的状态转移矩阵概率较小,则该事件可能是异常事件。⑤时间序列模型。将测度按时间排序,如一新事件在该时间发生的概率较低,则该事件可能是异常事件。 二、系统介绍分析与设计 本系统运行在子网连接主干网的出口处,以旁路的方式接入边界的交换设备中。从交换设备中流过的数据包,经由软件捕获,处理,分析和判断,可以对以异常流量方式出现的攻击行为告警。本系统需要检测的基本的攻击行为如下:(1)ICMP 攻击(2)TCP攻击,包括但不限于SYN Flood、RST Flood(3)IP NULL攻击(4)IP Fragmentation攻击(5)IP Private Address Space攻击(6)UDP Flood攻击(7)扫描攻击不同于以特征、规则和策略为基础的入侵检测系统(Intrusion Detection Systems),本研究着眼于建立正常情况下网络流量的模型,通过该模型,流量异常检测系统可以实时地发现所观测到的流量与正常流量模型之间的偏差。当偏差达到一定程度引发流量分配的变化时,产生系统告警(ALERT),并由网络中的其他设备来完成对攻击行为的阻断。系统的核心技术包括网络正常流量模型的获取、及对所观察流量的汇聚和分析。由于当前网络以IPv4为主体,网络通讯中的智能分布在主机上,而不是集中于网络交换设备,而在TCP/IP协议中和主机操作系统中存在大量的漏洞,况且网络的使用者的误用(misuse)也时有发生,这就使得网络正常流量模型的建立存在很大的难度。为达到保障子网的正常运行的最终目的,在本系统中,采用下列方式来建立多层次的网络流量模型: (1)会话正常行为模型。根据IP报文的五元组(源地址、源端口、目的地址、

车流量检测方法纵览

车流量检测技术综述 胡明亮1,李飞飞 2 ,钟德浩3 (1、江西方兴科技有限公司,江西南昌330003) (2、江西省高等级公路管理局泰井管理处,江西南昌330003) (3、江西省高等级公路管理局瑞赣养护中心,江西南昌330003) 摘要:车流量检测是交通管理与控制的基础。在综述了车流量检测的传统方法、技术特点和 存在的问题后,重点分析了基于视频图像的车流量检测技术,并对其发展趋势进行了展望。 关键词:信息工程;视频图像;车流量检测;数字图像处理 0 前言 城市智能交通已逐步得到社会各界的广泛关注,如何通过智能交通系统建设来缓解日益严重的交通问题已成为交通领域的研究热点。车流量检测系统是智能交通(ITS)的基础部分,在城市道路建设、国道高速公路建设、隧道桥梁建设以及交通流的基础理论研究中占有很重要的地位。近年来,逐渐发展起来了以空气管道检测技术、磁感应检测技术、波频检测技术和视频检测技术等[1~2]为代表的多种交通检测技术[3]。车流量检测主要是通过各种传感设备对路面行驶车辆进行探测,获取相关交通参数,以达到对公路各路段交通状况及异常事件的自动检测、监控、报警等目的。 较其它方法而言,基于视频图像的检测技术涉及到视频采集、通信传输、图像处理、人工智能以及计算机视觉等多个学科,具有安装维修灵活、成本低、应用范围广、可拓展性强和交通管理信息全面等优点,并已经在国内外高速公路和公路的交通监控系统中得到应用。常用的基于视频图像的车辆检测算法有:灰度法、背景差法、相邻帧差法、边缘检测法[4]等。随着图像处理技术、计算机视觉、人工智能的发展和硬件处理速度的提高,基于视频图像的车流量检测技术得到了广泛的应用。本文对各种车流量检测方法进行了综述,并对基于视频图像的车流量检测研究工作进行了展望。 1 传统车流量检测方法 按照车辆信息获取方式的不同,实际应用当中已经产生了空气管道检测技术、磁感应检测技术和波频检测技术。 1.1 空气管道检测技术 空气管道检测是接触式的检测方法,在高速公路主线的检测点拉一条空心的塑料管道并作固定,一端封闭,另一端连接计数器,当车辆经过塑料管道时,车轮压到空气管道,管内空气被挤压而触动计数器进行计算车流量的方法。 显然,该方法只能获取单一的车辆信息,且方法繁琐,寿命短,已经被磁感应检测等技术所取代。 1.2 磁感应检测技术 磁感应检测器可分为线圈和磁阻传感器两种。环形线圈检测器是目前世界上应用最广泛的一种检测设备,由埋设在路表下的线圈和能够测量该线圈电感的电子设备组成。车辆通过线圈,引起线圈磁场的变化,检测器据此计算出车辆的流量、速度、时间占有率和长度等交通参数。图1利用一个LC振荡器和一个通用单片机即构成了感应线圈检测系统。当感应线圈的电感L发生变化时,LC振荡器的振荡频率也随之变化,由单片机获取其振荡频率并通过频率变化给出高/低电平信号来判断是否有车辆通过[5~6]。磁阻传感器的基本原理是在铁磁材料中会发生磁阻的非均质现像(AMR)。当沿着一条长且薄的铁磁合金带的长度方向施加一个电流,在垂直于电流的方向施

车流量检测技术综述

车流量检测技术综述 胡明亮1,李飞飞2 ,钟德浩3 (1、江西方兴科技有限公司,江西南昌330003) (2、江西省高等级公路管理局泰井管理处,江西南昌330003) (3、江西省高等级公路管理局瑞赣养护中心,江西南昌330003) 摘要:车流量检测是交通管理与控制的基础。在综述了车流量检测的传统方法、技术特点和 存在的问题后,重点分析了基于视频图像的车流量检测技术,并对其发展趋势进行了展望。 关键词:信息工程;视频图像;车流量检测;数字图像处理 0 前言 城市智能交通已逐步得到社会各界的广泛关注,如何通过智能交通系统建设来缓解日益严重的交通问题已成为交通领域的研究热点。车流量检测系统是智能交通(ITS)的基础部分,在城市道路建设、国道高速公路建设、隧道桥梁建设以及交通流的基础理论研究中占有很重要的地位。近年来,逐渐发展起来了以空气管道检测技术、磁感应检测技术、波频检测技术和视频检测技术等[1~2]为代表的多种交通检测技术[3]。车流量检测主要是通过各种传感设备对路面行驶车辆进行探测,获取相关交通参数,以达到对公路各路段交通状况及异常事件的自动检测、监控、报警等目的。 较其它方法而言,基于视频图像的检测技术涉及到视频采集、通信传输、图像处理、人工智能以及计算机视觉等多个学科,具有安装维修灵活、成本低、应用范围广、可拓展性强和交通管理信息全面等优点,并已经在国内外高速公路和公路的交通监控系统中得到应用。常用的基于视频图像的车辆检测算法有:灰度法、背景差法、相邻帧差法、边缘检测法[4]等。随着图像处理技术、计算机视觉、人工智能的发展和硬件处理速度的提高,基于视频图像的车流量检测技术得到了广泛的应用。本文对各种车流量检测方法进行了综述,并对基于视频图像的车流量检测研究工作进行了展望。 1 传统车流量检测方法 按照车辆信息获取方式的不同,实际应用当中已经产生了空气管道检测技术、磁感应检测技术和波频检测技术。 1.1 空气管道检测技术

基于动态基线的业务运营支撑网异常流量检测研究

基于动态基线的业务运营支撑网异常流量 检测研究 摘要:本文提出了一种基于动态基线的业务运营支撑网(BOSS)异常流量检测方法。本系统克服了业务支撑网中流量分析仪固定告警阈值的诸多弊端,实现了告警系统智能化,为维护人员提供真实可靠的业务支撑网网络流量告警。此外,三级预警机制,使维护人员更清晰、更有效地掌握告警的严重性程度,降低了由于异常网络流量带来的系统风险。 关键字:动态基线、网络流量、临界基线、分级告警 0 引言 随着互联网技术的发展,基于互联网的各种应用已经深入人们的日常生活,给人们的生活方式带来了巨大的变化,但同时也带来了很多安全隐患。目前,网络异常流量的检测机制总体来说可以归纳为三种类型:基于流量大小的检测、基于数据包特征的检测和基于网络带宽动态基线的检测。每种机制都有其自身的特点,在一定程度上都有较高的检测效率,但是也都有自身的不足。 基于流量大小的检测,提出了基于熵值的检测方案,这种检测方案以Shannon信息论中的熵值度量网络流量中的数据包属性的随机性,根据随机性强度的大小检测异常流量的发生,这种方法具有较高的实时性,但是这种方案关于熵值大小的阈值需手动设置,无法根据网络状态自行调整,不同时段、不同链路的网络流量,具有不同的波峰、波谷,单一临界值无法有效界定异常的流量,从而无法有效检测。 基于数据包特征的检测,从网络流量找出符合特征的数据包,使用这种异常流量监测方案,我们必须事先知道每一种异常流量的特征,并为每一种特征开发专属的监测程序。由于异常流量数据包的种类越来越多,对BOSS网络维护人员而言,不停的添加异常流量特征监测程序将带来沉重的负担,管理方式的延展性差。另一方面,新型的异常数据包特征出现初期,其特征尚未被了解,导致异常流量监测程序的失效,无法有效检测。 根据业务支撑网的特点,提出了一种利用动态基线分析网络进出带宽所占比

基于视频的车流量检测算法研究

西南交通大学 毕业设计(论文) 基于视频的车流量检测算法研究 专业: 自动化 指导老师: 侯进 二零一零年六月

西南交通大学本科毕业设计(论文)第I页 院系信息科学与技术学院专业自动化 年级2006级姓名安伟 题目基于视频的车流量检测算法研究 指导教师 评语 指导教师(签章) 评阅人 评语 评阅人(签章) 成绩 答辩委员会主任(签章) 年月日

毕业设计任务书 班级自动化2班学生姓名安伟学号2006 专业自动化 发题日期:2010 年1月1 日完成日期:2010 年6 月15 日 题目基于视频的车流量检测算法研究 题目类型:工程设计√技术专题研究理论研究软硬件产品开发 一、设计任务及要求 车流量信息是交通控制中的重要信息,其检测在智能交通系统中占有重要地位。基于视频图像处理技术的车流量检测系统,通过安装在道路旁边或者中间隔离带的支架上的摄像机和图像采集设备将实时的视频信息采入,经过对视频图像的处理分析可以进行车流量的实时检测。基于视频的车流量检测系统有易安装、维护及实现方便等明显的优势,非常有利于交通系统的管理及控制。具体要求如下: 1. 对图像进行预处理 2. 进行车流量的统计 3. 人机界面简单清楚友好 二、应完成的硬件或软件实验 采集视频图像,对图像进行分析处理,完成车流量的统计,与实际通过车辆数目比较,分析本系统的正确检测率。 三、应交出的设计文件及实物(包括设计论文、程序清单或磁盘、实验装置或产品等) 1. 毕业设计论文(必须完全符合学校规范,内容严禁有丝毫的抄袭剽窃) 2. CD-R(含论文,程序,程序使用说明书,演示视频,盘面注明姓名,专业,日期) 3. 英文翻译按学校规定,导师无特殊要求

Netflow 网络异常流量的监测原理

Netflow 网络异常流量的监测原理 Netflow 对网络数据的采集具有大覆盖小成本的明显优势,在Netflow在安全领域的应用与传统的DPI的方式和系统扫描的方式,却有着明显的不同。使得这类产品在定位和实现的功能上和传统大IDS/IPS也不一样。 Network Behavior Anomaly Detection(网络行为异常检测)是NetFlow安全的原理基础。Netflow流量数据只能分析到协议的第四层,只能够分析到IP 地址、协议和端口号,但是受限制于无法进行包的内容分析,这样就无法得到网络中一些病毒、木马行为的报文特征。它是从网络流量的行为特征的统计数据进行网络异常的判定的。 网络行为的异常很大一方面是对网络基线数据的违背,反应到一个监控网段范围,往往呈现的就是网络流量的激增和突减。而在针对网络单个IP的监测的时候分析的是这单个IP来源或者目的IP流量的行为模式,TCP的流量模型等等来进行判断。GenieATM对网络异常流量的NBAD的检测具体如下面三点: 1.1流量异常(Traffic Anomaly) 侦测 流量异常模型是将基线模板(Baseline Template)应用于使用者所设定的监测范围内(因特网、互联自治域、子网、路由器、服务器、interface、监测条件等多种模型),流量异常侦测模型主要凭借系统实时对网络中正常流量形成流量基线,再根据网络正常的网络流量模型来动态分析网络中的异常流量,以期最早时间发现网络中流量的激增和突减。针对不同的网络监测范围,用户可使用定义不同的流量基线模板进行监控。系统支持自动建立及更新流量基线,也允许管理员手动设定和调整基线的参数和取值期间,并排除某些受异常流量攻击的特定日列入计算,以免影响基线的准确性。通过参数的设定,系统能根据对网络效能的影响,将网络异常流量的严重性分为多个等级,包括:正常、中度异常(yellow)、高度异常(red),并允许使用者透过参数设定,对每个检测范围设定合适的参数。 根据不同的网络范围,也提供不同监测模板让用户选择,从模板的部分可设定各种流量监测的临界值,不同的网络边界可设定不同的流量监测临界值。模板的类型有系统开发、用户自定义以及自动学习三种。此外,系统也提供多种单位,方便用户选择。 异常发生后,系统将自动分析当时的流量特征,并可藉由异常查看器读取这些讯息(参

基于流量特征建模的网络异常行为检测技术

第8卷第4期2019年7月Vol. 8 No. 4Jul. 2019网络新媒体技术 基于流量特征建模的网络异常行为检测技术* *本文于2018 -05 -09收到。 *中科院率先行动计划项目:端到端关键技术研究与系统研发(编号:SXJH201609)。黄河▽邓浩江3陈君I C 中国科学院声学研究所国家网络新媒体工程技术研究中心北京100190 2中国科学院大学北京100190)摘要:基于流量特征建模的网络异常行为检测技术通过对网络流量进行特征匹配与模式识别,进而检测岀潜在的、恶意入侵 的网络流量,是网络异常行为检测的有效手段。根据检测数据来源的不同,传统检测方法可以分为基于传输层信息、载荷信 息、主机行为特征等三类,而近年来兴起的深度学习方法已经开始应用于这三类数据,并可以综合应用三类数据,本文从技术 原理与特点、实验方式、取得的成果等方面对上述技术路线进行了综述,并分析了存在的主要问题和发展趋势。关键词:网络异常行为,异常检测,模式识别,流量特征建模,深度学习 Network Abnormal Behavior Detection Technologies Based on Traffic - feature Modeling HUANG He 1'2, DENG Haojiang 1'2, CHEN Jun 1 (1 National Network New Media Engineering Research Center, Institute of Acoustics , Beijing, 100190, China , 2University of Chinese Academy of Science , Beijing, 100190, China) Abstract : The network abnormal behavior detection technology based on traffic - feature modeling can detect potential and malicious intrusion of network traffic by feature matching and pattern recognition of network traffic , and is an effective measure of network abnor - mal behavior detection. According to the different sources of detection data , traditional detection methods can be classified into three categories based on transport layer information , on load information , and on host behavior characteristics. In recent years , the deep learning method that has emerged has begun to be applied to these three types of data , and can be comprehensively applied. This paper summarizes the above technical routes in terms of technical principles and characteristics , experimental methods , and achievements , and analyzes the major problems and development trends.. Keywords : Network abnormal behavior, Anomaly detection , Pattern recognition , Traffic - feature modeling, Deep learning 0引言 “互联网是第一种由人类建造,但不为人类所理解之物,它是有史以来我们对无序状态最疯狂的实 验。”⑴Google 公司前首席执行官Eric Schmidt 在2010年的这段公开谈话直观揭示了因特网的混沌性与复 杂性,其背后的逻辑在于因特网用户行为的多元化。时至2018年,全球因特网的接入用户数量与数据总量 和2010年相比已经不可同日而语⑵,网络安全牵涉到信息社会中公共安全和个人隐私、财产的方方面面,网 络安全问题正成为学术研究和工程应用中亟待解决的难题。本文涉及的是基于流量特征建模的网络异常 行为检测技术,这是网络安全技术的一个分支,它的核心思想是通过对网络流量进行特征匹配与模式识别,

车流量检测技术综述

车流量检测技术综述 前言 城市智能交通已逐步得到社会各界的广泛关注,如何通过智能交通系统建设来缓解日益严重的交通问题已成为交通领域的研究热点。车流量检测系统是智能交通(ITS)的基础部分,在城市道路建设、国道高速公路建设、隧道桥梁建设以及交通流的基础理论研究中占有很重要的地位。近年来,逐渐发展起来了以空气管道检测技术、磁感应检测技术、波频检测技术和视频检测技术等为代表的多种交通检测技术。车流量检测主要是通过各种传感设备对路面行驶车辆进行探测,获取相关交通参数,以达到对公路各路段交通状况及异常事件的自动检测、监控、报警等目的。 较其它方法而言,基于视频图像的检测技术涉及到视频采集、通信传输、图像处理、人工智能以及计算机视觉等多个学科,具有安装维修灵活、成本低、应用范围广、可拓展性强和交通管理信息全面等优点,并已经在国内外高速公路和公路的交通监控系统中得到应用。常用的基于视频图像的车辆检测算法有:灰度法、背景差法、相邻帧差法、边缘检测法等。随着图像处理技术、计算机视觉、人工智能的发展和硬件处理速度的提高,基于视频图像的车流量检测技术得到了广泛的应用。本文对各种车流量检测方法进行了综述,并对基于视频图像的车流量检测研究工作进行了展望。 1 传统车流量检测方法 按照车辆信息获取方式的不同,实际应用当中已经产生了空气管道检测技术、磁感应检测技术和波频检测技术。 1.1 空气管道检测技术 空气管道检测是接触式的检测方法,在高速公路主线的检测点拉一条空心的塑料管道并作固定,一端封闭,另一端连接计数器,当车辆经过塑料管道时,车轮压到空气管道,管内空气被挤压而触动计数器进行计算车流量的方法。 显然,该方法只能获取单一的车辆信息,且方法繁琐,寿命短,已经被磁感应检测等技术所取代。 1.2 磁感应检测技术 磁感应检测器可分为线圈和磁阻传感器两种。环形线圈检测器是目前世界上

流量检测的意义

流量检测意义 在工业生产过程中需要进行物质流量和数量测量的场合随处可见,流体流量测量对于节约能源、防止大气污染和生产过程自动化是必不可少的。随着生产技术的发展,对流体流量和总量的计量和测试提出了越来越多、越来越高的要求,特别是在注重节省能源、提高能源利用率的今天,流量计量和测试的重要性也就更加突出。而微电子技术的发展,带动了流量计向智能化方向发展的同时,也极大地促进了流量测量和标定。 各种物质流量和数量的准确测量,对国民经济各个部门有重大的现实意义。因此,各种流量测量仪表,尤其是作为经济核算依据和量值传递的高准确度的标准流量计,从研制到投入使用之前,就必须对其特性进行细致、系统的研究。而这些试验研究工作,都需要在流量标准装置上进行,所以流量标准装置必须满足仪表试验特性的要求,并且对流量标准装置的精度、可靠性、智能化程度提出了新要求。 然而,影响流量计特性的因素很多,除了仪表本身的设计参数和结构之外,与流体的流动特性、工作状态等都有着密切的关系。同时,由于现场流量计的使用条件千变万化,建立完全和现场条件一致的流量标准装置是很困难的。因此,必须选定其共性条件,建立标准装置,运用理论与实际相结合的方法,解决使用条件的问题。 各种流量测量仪表在研制的工作中有大量实流实验的工作,以便充分掌握仪表的动态特性,进一步验证或改进设计。在流量计的生产过程中需逐台检定,以确定流量计的仪表系数、不确定度、重复性和量程范围等技术指标。这些工作都需要在流量标准装置上才能进行,因此,流量标准装置的研究和应用是流量计量和测试技术发展的重要基础。 由此可见,流量标准装置的研究和应用是流量计和检测技术发展的重要环节,所以多少年来一直得到各国政府和组织的重视。有些国家组成了专门的研究机构,研究建立了种类繁多的流量标准装置,并对装置的技术指标、特性和经济效益进行了分析和研究。虽然,目前流量标准装置的研究和建立已有了很大的发展,但在大流量、特种介质等流量装置研制上还是遇到了不少的困难,这些困难有的是技术上的,有的是经济上的。由于投资大,影响因素多,因此,想要解决问题还

钻井液流量检测技术

钻井液流量检测技术 中石化胜利工程有限公司地质录井公司 摘要:钻井液出入口流量的准确检测是发现以上异常现象的重要手段之一,因此准确实现钻井液出入口流量的检测,对于现场油气钻探的安全施工有着重要的意义。 关键词:钻井液流量;检测;录井;研究方法 引言 在钻井现场,钻井液出口流量是一个重要的参数,根据出口流量的变化能够判断井下异常情况,通常情况下是利用靶式流量计来测量,其测量原理是靠泥浆的冲击使靶体发生位移,带动电阻变化,产生信号变化,反应灵敏,测量结果能够快速反映钻井液出口流量的变化;靶体使用优质不锈钢材料制作,成本低廉、原理简单、不容易损坏。该传感器存在诸多缺点: 1、使用困难,传感器一般是装在架空管线上,需要对架空管线开口,安装人员需要佩戴安全带,进行高处作业; 2、经过长时期使用,传感器会变得不灵活,泥浆在靶体上固结,形成泥饼,影响了测量的精度,导致传感器的输出信号变小,不能反映泥浆流量的真实变化; 3、无法根据实际情况标定传感器,当受到钻井液冲击后,其 上升和回落之间的落差较大,只能反映一个相对值,不能计算

真实的流量变化。 所以,靶式流量传感器的测量精度不能满足钻井过程中井涌、井漏及其他钻井安全事故监控预报的需求。 1、研究意义钻井液入口流量采用泥浆泵计算的方法获得,存在误差大、受泥浆泵效率影响大等问题。因此,研制一套钻井液出入口流量实时检测单元,对于准确计算钻井过程中的钻井液体积变化具有重要意义。 在钻井现场,如果采用的流量检测手段不适合,对井漏井涌等异常工况的发生预测不及时,将会造成极为严重的后果。在重庆开县发生过重大的死伤事故,在天然气井钻进时,若处理措施不恰当,还会引起失控着火、爆炸以及地层下陷等事故。为预防各种事故的发生,钻井过程中,录井人员应该做好井控监视工作,及时发现溢流、井漏等征兆,进行快速汇报。需要对钻井液流量进行定量、实时的检测,及时发现各类异常工况,及时进行预警,在根本上防止井喷等事故的发生,以便于钻井工作的顺利实施,提高社会效益。 目前,录井技术逐渐向智能化发展,以电子设施、智能化仪表的自动监测控制代替常规的人工坐岗,能够减少因人工疲倦、失误造成的情况误判、漏报、错报,尤其在情况复杂的地区,凭人工的经验进行施工,容易造成巨大的事故,导致国家财产蒙受巨量的损失。钻井液流量的智能监测、智能预报,不仅提供了可观的数据信息,还可以实时分析相关的参数,进行智能化预报,为钻井工程技

相关主题
文本预览
相关文档 最新文档