第8卷第4期2019年7月Vol. 8 No. 4Jul. 2019网络新媒体技术
基于流量特征建模的网络异常行为检测技术*
*本文于2018 -05 -09收到。
*中科院率先行动计划项目：端到端关键技术研究与系统研发(编号：SXJH201609)。黄河▽邓浩江3陈君I
C 中国科学院声学研究所国家网络新媒体工程技术研究中心北京100190 2中国科学院大学北京100190)摘要：基于流量特征建模的网络异常行为检测技术通过对网络流量进行特征匹配与模式识别，进而检测岀潜在的、恶意入侵 的网络流量，是网络异常行为检测的有效手段。根据检测数据来源的不同，传统检测方法可以分为基于传输层信息、载荷信 息、主机行为特征等三类，而近年来兴起的深度学习方法已经开始应用于这三类数据，并可以综合应用三类数据，本文从技术 原理与特点、实验方式、取得的成果等方面对上述技术路线进行了综述，并分析了存在的主要问题和发展趋势。关键词：网络异常行为，异常检测，模式识别，流量特征建模，深度学习
Network Abnormal Behavior Detection Technologies
Based on Traffic - feature Modeling
HUANG He 1'2, DENG Haojiang 1'2, CHEN Jun 1
(1 National Network New Media Engineering Research Center, Institute of Acoustics , Beijing, 100190, China ,
2University of Chinese Academy of Science , Beijing, 100190, China)
Abstract : The network abnormal behavior detection technology based on traffic - feature modeling can detect potential and malicious intrusion of network traffic by feature matching and pattern recognition of network traffic , and is an effective measure of network abnor - mal behavior detection. According to the different sources of detection data , traditional detection methods can be classified into three categories based on transport layer information , on load information , and on host behavior characteristics. In recent years , the deep learning method that has emerged has begun to be applied to these three types of data , and can be comprehensively applied. This paper summarizes the above technical routes in terms of technical principles and characteristics , experimental methods , and achievements , and analyzes the major problems and development trends..
Keywords : Network abnormal behavior, Anomaly detection , Pattern recognition , Traffic - feature modeling, Deep learning 0引言
“互联网是第一种由人类建造，但不为人类所理解之物，它是有史以来我们对无序状态最疯狂的实 验。”⑴Google 公司前首席执行官Eric Schmidt 在2010年的这段公开谈话直观揭示了因特网的混沌性与复 杂性，其背后的逻辑在于因特网用户行为的多元化。时至2018年，全球因特网的接入用户数量与数据总量 和2010年相比已经不可同日而语⑵，网络安全牵涉到信息社会中公共安全和个人隐私、财产的方方面面，网 络安全问题正成为学术研究和工程应用中亟待解决的难题。本文涉及的是基于流量特征建模的网络异常 行为检测技术，这是网络安全技术的一个分支，它的核心思想是通过对网络流量进行特征匹配与模式识别，
２００６年第２３卷?增刊微电子学与计算机 １引言 随着网络的发展，保证网络的安全与稳定也越来越为重要。网络异常检测是发现网络故障和安全问题进而及时解决问题的有效手段，然而网络规模的不断扩大和网络流量的不断增加使得网络异常检测面临挑战，异常检测的性能随着网络规模的扩大和网上业务的增多呈现下降趋势，如何快速有效的检测网络异常并提高检测的可靠性已成为一个研究热点。 本文引入了分布式计算的方法，设计了一种基于中间件的分布式网络异常检测系统，旨在用分布式计算的方法提高对海量网络数据的处理能力，保证检测的实时性和检测数据的可靠性。 ２网络异常检测 这里提到的网络异常的范围较大，除了正常行为以外的网络行为都可以称为网络异常。造成这些异常的原因是多种多样的，包括：网络设备故障，网路超负荷，恶意的拒绝服务攻击，以及网络入侵等影响网络运输服务的行为。网络异常大体可以分为两类：第一类是关于网络故障和性能问题，例如文件服务器故障，广播风暴，虚假节点和瞬时拥塞等等。第二类网络异常是安全相关的问题，拒绝服务攻击和网络入侵就是这方面的例子。这些异常的一个共同点就是会导致巨大的网络通信流量变化。 检测网络异常的主要思路是：先通过一个足够长的训练阶段来定义出网络正常行为，再根据网络行为偏离正常行为的程度来判定异常是否发生。我们可以通过有规律的网络数据来定义网络正常行为，但这要依赖很多特殊因素，例如网络通信流量的变化，可获得的网络数据的变化，以及网络上运行的软件种类的变动，这些都将影响对网络正常行为的描述［２］。准确地获得网络性能检测数据对于异常检测是十分重要的一步，检测数据的来源主要有：第一是通过网络探针来获得网络行为测量值；第二是基于流统计的包过滤；第三是通过路由协议获取数据；第四是通过网管协议获取数据。网络异 基于中间件的分布式网络异常检测系统 陈宁军倪桂强潘志松姜劲松 （解放军理工大学指挥自动化学院，江苏南京２１０００７） 摘要：文章介绍了网络异常的概念和思路，然后对中间件技术做了分析比较，重点提出了一种基于中间件的分布式网络异常检测系统。该系统采用ＣＯＲＢＡ实现分布式交互，能对网络异常进行分布式检测，与单点异常检测系统相比具有更高的实时性和处理数据的能力，对大型网络效果更好。本系统通过ＭＩＢ变量相关联地剧烈突变来检测异常的发生。ＣＯＲＢＡ标准定义的比较完善的安全体系结构使本系统自身的安全性得到了保证。 关键词：网络异常检测，分布式，中间件，ＣＯＲＢＡ，ＭＩＢ 中图分类号：ＴＰ３９３文献标识码：Ａ文章编号：１０００－７１８０（２００６）Ｓ０－００１５－０３ ＡＤｉｓｔｒｉｂｕｔｅｄＮｅｔｗｏｒｋＡｎｏｍａｌｙＤｅｔｅｃｔｉｎｇＳｙｓｔｅｍＢａｓｅｄｏｎ ＣＯＲＢＡ ＣＨＥＮＮｉｎｇ－ｊｕｎ，ＮＩＧｕｉ－ｑｉａｎｇ，ＰＡＮＺｈｉ－ｓｏｎｇ，ＪＩＡＮＧＪｉｎ－ｓｏｎｇ（ＣｏｌｌｅｇｅｏｆＡｕｔｏｍａｔｉｃＣｏｍｍａｎｄｉｎｇ，ＰＬＡＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１０００７，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｔｈｅｃｏｎｃｅｐｔａｎｄｔｈｏｕｇｈｔｏｆｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎ，ｔｈｅｎａｎａｌｙｚｅａｎｄｃｏｍｐａｒｅｔｈｅｔｅｃｈｎｉｑｕｅｓｏｆｍｉｄｄｌｅｗａｒｅ，ａｎｄｌａｙｅｍｐｈａｓｉｓｏｎｄｅｓｉｇｎｉｎｇｏｆａｄｉｓｔｒｉｂｕｔｅｄｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍｂａｓｅｄｏｎｍｉｄｄｌｅｗａｒｅ．ＴｈｅｓｙｓｔｅｍａｃｈｉｅｖｅｓｄｉｓｔｒｉｂｕｔｅｄｃｏｍｍｕｎｉｃａｔｉｏｎｔｈｒｏｕｇｈＣＯＲＢＡ，ａｎｄｃａｎｄｅｔｅｃｔｎｅｔｗｏｒｋａｎｏｍａｌｉｅｓｔｈｒｏｕｇｈｄｉｓｔｒｉｂｕｔｅｄｗａｙ．Ｉｔｉｓｍｏｒｅｒｅａｌ－ｔｉｍｅａｎｄｈａｓｂｅｔｔｅｒａｂｉｌｉｔｙｏｎｄａｔａｐｒｏｃｅｓｓｉｎｇｃｏｍｐａｒｅｄｗｉｔｈｓｉｎｇｌｅｐｏｉｎｔｄｅｔｅｃｔｉｏｎ，ｅｓ－ｐｅｃｉａｌｌｙｆｏｒｌａｒｇｅｎｅｔｗｏｒｋ．ＡｎｏｍａｌｙｃａｎｂｅｄｅｔｅｃｔｅｄｔｈｒｏｕｇｈｃｏｒｒｅｌａｔｅｄａｂｒｕｐｔｃｈａｎｇｅｓｏｆＭＩＢｖａｒｉａｂｌｅｓ．Ｔｈｅｗｅｌｌｄｅ－ｆｉｎｅｄｓｅｃｕｒｉｔｙｆｒａｍｅｗｏｒｋｏｆＣＯＲＢＡｈａｓｅｎｓｕｒｅｄｔｈｉｓｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍ＇ｓｏｗｎｓｅｃｕｒｉｔｙ． Ｋｅｙｗｏｒｄｓ：Ｎｅｔｗｏｒｋａｎｏｍａｌｙｄｅｔｅｃｔｉｏｎ，Ｄｉｓｔｒｉｂｕｔｅｄ，Ｍｉｄｄｌｅｗａｒｅ，ＣＯＲＢＡ，ＭＩＢ 收稿日期：２００６－０５－２８ １５
网络异常检测研究与应用 随着IT架构的日益复杂,各种应用也不断涌现,网络和应用的边界变得越来越模糊,这使得基于单一边界和控制点的传统安全设备难以有效掌握整个网络的安全状态。一方面,网络攻击的广泛性、隐蔽性、持续性、复合性、多样性等特征使得传统网络攻击检测技术难以有效应对。另一方面,随着移动互联网、云计算等技术的发展,网络中的威胁情报信息越来越多,因此,如何高效智能的整合、处理外部与内部的大量非结构化数据,对多源数据进行有效关联、检索与情报追踪是网络安全发展的关键。 近些年来,随着网络异常检测技术的不断发展、软件定义安全架构的出现、大数据技术的发展,上述的安全挑战带来的问题逐步得到了缓解。本文选取僵尸网络与Web攻击两种在网络中最常见、波及面最大的网络威胁,对僵尸网络C&C 服务器检测与HTTP异常检测问题展开研究;同时,将异常检测算法封装为异常检测模块,在软件定义安全架构下实现异常检测模块与安全数据平台的集成,从而实现数据驱动的安全服务器编排。本文的具体研究内容如下:1.利用网络中广泛存在的多源异构数据,借鉴安全威胁情报、用户与实体行为分析(UEBA)等安全领域的新思路,基于统计分析、机器学习、深度学习对网络异常检测的问题展开研究,具体包括:(1)基于城域网采样Netflow的C&C服务器检测(2)借鉴UEBA思想的基于HTTP画像的异常检测(3)基于长短时记忆神经网络(LSTM)的HTTP异常检测2.本文设计了一种将网络异常检测模块与安全数据平台进行集成的方案,实现了网络数据的实时在线异常检测,同时在软件定义安全架构下,根据异常检测结果自动选取防护策略并下发,从而实现数据驱动的安全服务编排,提高安全防护效率。
网络异常流量检测研究 摘要:异常流量检测是目前IDS入侵检测系统)研究的一个重要分支,实时异常检测的前提是能够实时,对大规模高速网络流量进行异常检测首先要面临高速流量载荷问题,由于测度、分析和存储等计算机资源的限制,无法实现全网络现流量的实时检测,因此,抽样测度技术成为高速网络流量测度的研究重点。 关键词:网络异常流量检测 一、异常流量监测基础知识 异常流量有许多可能的来源,包括新的应用系统与业务上线、计算机病毒、黑客入侵、网络蠕虫、拒绝网络服务、使用非法软件、网络设备故障、非法占用网络带宽等。网络流量异常的检测方法可以归结为以下四类:统计异常检测法、基于机器学习的异常检测方法、基于数据挖掘的异常检测法和基于神经网络的异常检测法等。用于异常检测的5种统计模型有:①操作模型。该模型假设异常可通过测量结果和指标相比较得到,指标可以根据经验或一段时间的统计平均得到。②方差。计算参数的方差,设定其置信区间,当测量值超出了置信区间的范围时表明可能存在异常。③多元模型。操作模型的扩展,通过同时分析多个参数实现检测。④马尔可夫过程模型。将每种类型事件定义为系统状态,用状态转移矩阵来表示状态的变化。若对应于发生事件的状态转移矩阵概率较小,则该事件可能是异常事件。⑤时间序列模型。将测度按时间排序,如一新事件在该时间发生的概率较低,则该事件可能是异常事件。 二、系统介绍分析与设计 本系统运行在子网连接主干网的出口处,以旁路的方式接入边界的交换设备中。从交换设备中流过的数据包,经由软件捕获,处理,分析和判断,可以对以异常流量方式出现的攻击行为告警。本系统需要检测的基本的攻击行为如下:(1)ICMP 攻击(2)TCP攻击,包括但不限于SYN Flood、RST Flood(3)IP NULL攻击(4)IP Fragmentation攻击(5)IP Private Address Space攻击(6)UDP Flood攻击(7)扫描攻击不同于以特征、规则和策略为基础的入侵检测系统(Intrusion Detection Systems),本研究着眼于建立正常情况下网络流量的模型,通过该模型,流量异常检测系统可以实时地发现所观测到的流量与正常流量模型之间的偏差。当偏差达到一定程度引发流量分配的变化时,产生系统告警(ALERT),并由网络中的其他设备来完成对攻击行为的阻断。系统的核心技术包括网络正常流量模型的获取、及对所观察流量的汇聚和分析。由于当前网络以IPv4为主体,网络通讯中的智能分布在主机上,而不是集中于网络交换设备,而在TCP/IP协议中和主机操作系统中存在大量的漏洞,况且网络的使用者的误用(misuse)也时有发生,这就使得网络正常流量模型的建立存在很大的难度。为达到保障子网的正常运行的最终目的,在本系统中,采用下列方式来建立多层次的网络流量模型: (1)会话正常行为模型。根据IP报文的五元组(源地址、源端口、目的地址、
基于动态基线的业务运营支撑网异常流量 检测研究 摘要：本文提出了一种基于动态基线的业务运营支撑网（BOSS）异常流量检测方法。本系统克服了业务支撑网中流量分析仪固定告警阈值的诸多弊端，实现了告警系统智能化，为维护人员提供真实可靠的业务支撑网网络流量告警。此外，三级预警机制，使维护人员更清晰、更有效地掌握告警的严重性程度，降低了由于异常网络流量带来的系统风险。 关键字：动态基线、网络流量、临界基线、分级告警 0 引言 随着互联网技术的发展,基于互联网的各种应用已经深入人们的日常生活,给人们的生活方式带来了巨大的变化,但同时也带来了很多安全隐患。目前，网络异常流量的检测机制总体来说可以归纳为三种类型:基于流量大小的检测、基于数据包特征的检测和基于网络带宽动态基线的检测。每种机制都有其自身的特点,在一定程度上都有较高的检测效率,但是也都有自身的不足。 基于流量大小的检测，提出了基于熵值的检测方案,这种检测方案以Shannon信息论中的熵值度量网络流量中的数据包属性的随机性,根据随机性强度的大小检测异常流量的发生,这种方法具有较高的实时性,但是这种方案关于熵值大小的阈值需手动设置,无法根据网络状态自行调整,不同时段、不同链路的网络流量，具有不同的波峰、波谷，单一临界值无法有效界定异常的流量，从而无法有效检测。 基于数据包特征的检测，从网络流量找出符合特征的数据包，使用这种异常流量监测方案，我们必须事先知道每一种异常流量的特征，并为每一种特征开发专属的监测程序。由于异常流量数据包的种类越来越多，对BOSS网络维护人员而言，不停的添加异常流量特征监测程序将带来沉重的负担，管理方式的延展性差。另一方面，新型的异常数据包特征出现初期，其特征尚未被了解，导致异常流量监测程序的失效，无法有效检测。 根据业务支撑网的特点，提出了一种利用动态基线分析网络进出带宽所占比
计算机研究与发展 ISSN100021239ΠCN1121777ΠTP()在线自适应网络异常检测系统模型与算法 魏小涛 21黄厚宽田盛丰22(北京交通大学软件学院北京100044)(北京交通大学计算机与信息技术学院北京100044) (weixt@https://www.doczj.com/doc/d017702221.html,) AnOnlineAdaptiveNetworkandAlgorithmWeiXiaotao1,Shengfeng2 2(SchoolofSoftware,BJiaotongUniversity,Beijing100044)(SchoolofComputerandInform ationTechnology,BeijingJiaotongUniversity,Beijing100044) Abstract TheextensiveusageofInternetandcomputernetworksmakessecurityacriticalissue.Thereisa nurgentneedfornetworkintrusiondetectionsystemswhichcanactivelydefendnetworksagain stthegrowingsecuritythreats.Inthispaper,alightweightedonlineadaptivenetworkanomalyd etectionsystemmodelispresented.Therelatedinfluencefunctionbasedanomalydetectionalg orithmisalsoprovided.Thesystemcanprocessnetworktrafficdatastreaminreal2time,gradual lybuildupitslocalnormalpatternbaseandintrusionpatternbaseunderalittlesupervisingofthea dministrator,anddynamicallyupdatethecontentsoftheknowledgebaseaccordingtothechang ingofthenetworkapplicationpatterns.Atthecheckingmode,thesystemcandetectnotonlythel earnedintrusionpatternsbutalsotheunseenintrusionpatterns.Themodelhasarelativelysimpl earchitecture,whichmakesitefficientforprocessingonlinenetworktrafficdata.Alsothedetect ingalgorithmtakeslittlecomputationaltimeandmemoryspace.ThesystemistestedontheDA RPAKDD99intrusiondetectiondatasets.Itscans10%ofthetrainingdatasetandthetestingdata setonlyonce.Within40secondsthesystemcanfinishthewholelearningandcheckingtasks.Th eexperimentalresultsshowthatthepresentedmodelachievesadetectionrateof91.32%andafal sepositiverateofonly0.43%.Itisalsocapableofdetectingnewtypeofintrusions. Keywords networkanomalydetection;onlineadaptive;influencefunction;datastream;anomalydetecti on
Netflow 网络异常流量的监测原理 Netflow 对网络数据的采集具有大覆盖小成本的明显优势，在Netflow在安全领域的应用与传统的DPI的方式和系统扫描的方式，却有着明显的不同。使得这类产品在定位和实现的功能上和传统大IDS／IPS也不一样。 Network Behavior Anomaly Detection（网络行为异常检测）是NetFlow安全的原理基础。Netflow流量数据只能分析到协议的第四层，只能够分析到IP 地址、协议和端口号，但是受限制于无法进行包的内容分析，这样就无法得到网络中一些病毒、木马行为的报文特征。它是从网络流量的行为特征的统计数据进行网络异常的判定的。 网络行为的异常很大一方面是对网络基线数据的违背，反应到一个监控网段范围，往往呈现的就是网络流量的激增和突减。而在针对网络单个IP的监测的时候分析的是这单个IP来源或者目的IP流量的行为模式，TCP的流量模型等等来进行判断。GenieATM对网络异常流量的NBAD的检测具体如下面三点： 1.1流量异常(Traffic Anomaly) 侦测 流量异常模型是将基线模板(Baseline Template)应用于使用者所设定的监测范围内（因特网、互联自治域、子网、路由器、服务器、interface、监测条件等多种模型），流量异常侦测模型主要凭借系统实时对网络中正常流量形成流量基线，再根据网络正常的网络流量模型来动态分析网络中的异常流量，以期最早时间发现网络中流量的激增和突减。针对不同的网络监测范围，用户可使用定义不同的流量基线模板进行监控。系统支持自动建立及更新流量基线，也允许管理员手动设定和调整基线的参数和取值期间，并排除某些受异常流量攻击的特定日列入计算，以免影响基线的准确性。通过参数的设定，系统能根据对网络效能的影响，将网络异常流量的严重性分为多个等级，包括：正常、中度异常(yellow)、高度异常(red)，并允许使用者透过参数设定，对每个检测范围设定合适的参数。 根据不同的网络范围，也提供不同监测模板让用户选择，从模板的部分可设定各种流量监测的临界值，不同的网络边界可设定不同的流量监测临界值。模板的类型有系统开发、用户自定义以及自动学习三种。此外，系统也提供多种单位，方便用户选择。 异常发生后，系统将自动分析当时的流量特征，并可藉由异常查看器读取这些讯息(参
第8卷第4期2019年7月Vol. 8 No. 4Jul. 2019网络新媒体技术 基于流量特征建模的网络异常行为检测技术* *本文于2018 -05 -09收到。 *中科院率先行动计划项目：端到端关键技术研究与系统研发(编号：SXJH201609)。黄河▽邓浩江3陈君I C 中国科学院声学研究所国家网络新媒体工程技术研究中心北京100190 2中国科学院大学北京100190)摘要：基于流量特征建模的网络异常行为检测技术通过对网络流量进行特征匹配与模式识别，进而检测岀潜在的、恶意入侵 的网络流量，是网络异常行为检测的有效手段。根据检测数据来源的不同，传统检测方法可以分为基于传输层信息、载荷信 息、主机行为特征等三类，而近年来兴起的深度学习方法已经开始应用于这三类数据，并可以综合应用三类数据，本文从技术 原理与特点、实验方式、取得的成果等方面对上述技术路线进行了综述，并分析了存在的主要问题和发展趋势。关键词：网络异常行为，异常检测，模式识别，流量特征建模，深度学习 Network Abnormal Behavior Detection Technologies Based on Traffic - feature Modeling HUANG He 1'2, DENG Haojiang 1'2, CHEN Jun 1 (1 National Network New Media Engineering Research Center, Institute of Acoustics , Beijing, 100190, China , 2University of Chinese Academy of Science , Beijing, 100190, China) Abstract : The network abnormal behavior detection technology based on traffic - feature modeling can detect potential and malicious intrusion of network traffic by feature matching and pattern recognition of network traffic , and is an effective measure of network abnor - mal behavior detection. According to the different sources of detection data , traditional detection methods can be classified into three categories based on transport layer information , on load information , and on host behavior characteristics. In recent years , the deep learning method that has emerged has begun to be applied to these three types of data , and can be comprehensively applied. This paper summarizes the above technical routes in terms of technical principles and characteristics , experimental methods , and achievements , and analyzes the major problems and development trends.. Keywords : Network abnormal behavior, Anomaly detection , Pattern recognition , Traffic - feature modeling, Deep learning 0引言 “互联网是第一种由人类建造，但不为人类所理解之物，它是有史以来我们对无序状态最疯狂的实 验。”⑴Google 公司前首席执行官Eric Schmidt 在2010年的这段公开谈话直观揭示了因特网的混沌性与复 杂性，其背后的逻辑在于因特网用户行为的多元化。时至2018年，全球因特网的接入用户数量与数据总量 和2010年相比已经不可同日而语⑵，网络安全牵涉到信息社会中公共安全和个人隐私、财产的方方面面，网 络安全问题正成为学术研究和工程应用中亟待解决的难题。本文涉及的是基于流量特征建模的网络异常 行为检测技术，这是网络安全技术的一个分支，它的核心思想是通过对网络流量进行特征匹配与模式识别，