基于神经网络集成的入侵检测研究

第２７卷第６期　２００７年６月　计算机应用　

Ｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ　ＶｏＩ．２７　Ｎｏ．６　Ｊｕｎｅ　２００７　

文章编号：１００１—９０８１（２００７）ｏ６—１３６３—０２　

基于神经网络集成的入侵检测研究　

柴晨阳　，孙星明　，吴志斌　，智云生　

（１．湖南大学计算机与通信学院，湖南长沙４１００８２；２．江西财经大学会计学院，江西南昌３３００１３）　

（ｃｃｙ＠２６３．ｎｅｔ）　摘要：提出一种新的基于神经网络集成的入侵检测方法。首先通过有区别地对待不同的训练　

数据训练神经网络，提高对小类别入侵的检测能力并防止网络训练中的退化现象；然后利用一种新的　

改进遗传算法优化集成网络的权，提高系统整体性能。理论和实验表明该方法具有较好的检测能力。　

关键词：入侵检测；遗传算法；神经网络集成　

中图分类号：ＴＰ３９３．０８　文献标识码：Ａ　

Ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ　ｂａｓｅｄ　ｏｎ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｅｎｓｅｍｂｌｅ　

ＣＨＡＩ　Ｃｈｅｎ—ｙａｎｇ　一，ＳＵＮ　Ｘｉｎｇ—ｍｉｎｇ　，ＷＵ　Ｚｈｉ—ｂｉｎ　，ＺＨＩ　Ｙｕｎ—ｓｈｅｎｇ　

（１．Ｄｅｐａｒｔｍｅｎｔ　ｏｆＣｏｍｐｕｔｅｒ＆Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｈｕｎａｎ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ　Ｈｕｎａｎ　４１００８２，Ｃｈｉｎａ；　２．Ｓｃｈｏｏｌ　ｏｆＡｃｃｏｕｎｔａｎｃｙ，Ｊｉａｎｇｘｉ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＦｉｎａｎｃｅ　ａｎｄ　Ｅｃｏｎｏｍｉｃｓ，Ｎａｎｃｈａｎｇ　Ｊｉａｎｇｘｉ　３３００１３，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｉｓ　ｐａｐｅｒ　ｐｕｔ　ｆｏｒｗａｒｄ　ａ　ｎｅｗ　ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ　ｍｅｔｈｏｄ　ｂａｓｅｄ　ｏｎ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｅｎｓｅｍｂｌｅ．Ｆｉｒｓｔ，ｗｅ　ｔｒａｉｎｅｄ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｂｙ　ｕｓｉｎｇ　ｄｉｆｅｒｅｎｔ　ｍｅｔｈｏｄｓ　ｔＯ　ｄｅａｌ　ｗｉｔｌｌ　ｄｉｆｅｒｅｎｔ　ｄａｔａ．ｔＯ　ｅｌｅｖａｔｅ　ｔｈｅ　ａｂｉｌｉｔｙ　ｏｆ　ｄｅｔｅｃｔｉｎｇ　ｓｍａｌｌ　ｉｎｔｒｕｓｉｏｎ　ａｎｄ　

ｐｒｅｖｅｎｔ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｄｅｇｅｎｅｒａｔｉｏｎ　ｄｕｒｉｎｇ　ｔｒａｉｎｉｎｇ；ｔｈｅｎ，ｔｈｅ　ｉｍｐｒｏｖｅｄ　Ｇｅｎｅｔｉｃ　Ａｌｇｏｒｉｔｈｍ　Ｗａｓ　ｕｓｅｄ　ｔＯ　ｏｐｔｉｍｉｚｅ　ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｅｎｓｅｍｂｌｅ　ｗｅｉｇｈｔ．Ｔｈｅｏｒｙ　ａｎｄ　ｅｘｐｅｒｉｍｅｎｔ　ｓｈｏｗ　ｔｈａｔ　ｔｈｉｓ　ｍｅｔｈｏｄ　ｈａｓ　ｂｅｔｔｅｒ　ａｂｉｌｉｔｙ　ｉｎ　ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ：ｉｎｔｒｕｓｉｏｎ　ｄｅｔｅｃｔｉｏｎ；ｇｅｎｅｒａｔｉｏｎ　ａｌｇｏｒｉｔｈｍ；ｎｅｕｒａｌ　ｎｅｔｗｏｒｋ　ｅｎｓｅｍｂｌｅ　

０　引言　

随着网络技术和网络规模的不断发展，网络安全己经成　

为全球性的重要问题之一。迅速、有效地发现各类新的入侵　

行为，对于保证网络系统安全十分重要。入侵检测（Ｉｎｔｒｕｓｉｏｎ　

Ｄｅｔｅｃｔｉｏｎ，ＩＤ）技术是一种通过监视网络系统的运行状态，进　

而发现各种攻击企图、攻击行为或者攻击结果的信息安全技　

术。　

日前入侵检测方法一般可分为两类：误用检测和异常检　

测。误用检测技术可以有针对性地建立高效的入侵检测系　

统，检测准确率高，缺点是对未知的入侵活动或己知入侵活动　

的变异无能为力，攻击特征提取困难，并且需要不断更新特征　

库。异常检测技术最大的优点是可以检测出新的入侵攻击，　

日前己经开展研究的异常检测算法与模型主要包括：统计异　

常检测、基于神经网络的异常检测以及基于数据挖掘的异常　

检测　Ｊ　ｏ　

对于神经网络，文献［２］己证明一个单隐层的前馈网络　

就可以逼近任意复杂度的函数，但由于缺乏严密理论体系的　

指导，如何找到合适的网络配置却是一个ＮＰ问题。１９９０年　

文献［３］提出了神经网络集成方法，通过训练多个神经网络　

并将其结果进行合成可以显著地提高神经网络系统的泛化能　

力，为上述问题的解决提供了一个简易可行的方案。对神经　

网络集成实现方法的研究主要集中在两个方面，即如何生成　集成中的个体神经网络以及怎样将多个神经网络的结果进行　

合成。　

入侵检测实验样本组成比较复杂。在入侵检测的实验样　

本中（以ＫＤＤＣＵＰ　９９为例），绝大部分为正常的数据（Ｎｏｒｍａｌ　

类型，称大类样本）；入侵样本只占较少部分，且异常数据主　

要为ＤｏＳ、ｐｒｏｂｅ类型，Ｕ２Ｒ和Ｒ２Ｌ攻击的数据比例很小（称小　

类样本），Ｕ２Ｒ和Ｒ２Ｌ这两种攻击的危害性较大。而现有的　

许多相关实验虽然整体有很高的检测率，但对小类样本的检　

测却不高。　

木文首先提出一种训练神经网络的方法，在不降低大类　

的检测率前提下提高对小比例样本的检测率；然后构造出集　

成神经网络，提高网络的整体检测能力。　

１　个体神经网络的生成方法　

１．１理论分析　Ｂｏｏｓｔｉｎｇ算法中存在因过度关注困难样本而发生退化的　

现象，部分样本得不到相对公平的训练机会；同时小类样本如　

能获得更多的训练机会，对该类检测率则越高。受Ｂｏｏｓｔｉｎｇ　

算法的启发，提出分类学习算法。算法如下：将训练数据分为　

两个集合——Ｎｏ册ａｌ集（大类集）和Ｉｎｔｒｕｓｉｏｎ集（小类集），在　

训练中分别采用不同的样本选择策略使得Ｎｏｒｍａｌ集获得公　

平的训练机会和Ｉｎｔｒｕｓｉｏｎ集获得足够的重视。　

在网络训练中通常采用训练误差判定训练效果，但最后　

收稿Ｅｔ期：２００６—１２—３１；修订Ｅｔ期：２００７一Ｏ２—１４　基金项目：国家自然科学基金资助项目（６０３７３０６２，６０５７３０４５）　作者简介：柴晨阳（１９７５一），男，江西玉山人，讲师，硕士研究生，主要研究方向：网络信息安全、人工智能；孙星明（１９６３一），男，湖南益阳　人，教授，博士生导师，主要研究方向：网络信息安全、分布式数据库；吴志斌（１９７１一），男，江西南昌人，硕士，主要研究方向：会计信息化财务　决策支持系统；智云生（１９８１一），男，山西晋中人，硕士研究生，主要研究方向：网络信息安全、入侵检测．

　维普资讯 http://www.cqvip.com １３６４　计算机应用　２００７年　

的判定标准还是检测率。以两分类为例（可以推广到多分　

类），样本集ｓ包含６培集、ｌｉｔｔｌｅ集，ｌ　ｂｉｇＩ》Ｉ　ｌｉｍｅＩ，　＝Ｉ　６留　

Ｉ／Ｉ　Ｓ　Ｉ，／３＝Ｉ　ｌｉｔｔｌｅ　Ｉ／Ｓ，ａ＋口＝１。　

则训练误差：　

Ｅ　＝ａ｝Ｅ　（ｂｉｇ）＝／３｝Ｅ　（１ｉｔｔｌｅ）　（１）　

若ａ＝／３，则为均匀分布，误差越小检测率越高。　

若口》　，Ｅｌ（ｂｉｇ）的变化对Ｅ的影响远远大于Ｅ（１ｉｔｔｌｅ）　

的。当大类样本获得较多训练机会时，Ｅ　（ｂｉｇ）、Ｅ　均明显的减　

少，而小类样本被轻视，Ｅ　（１ｉｔｔｌｅ）有很小的优化或明显增大，　

则该网络对小类的检测率不好。当小类样本获得较多训练机　

会时，Ｅ（１ｉｔｔｌｅ）明显改善、Ｅ无明显的变化，而大类样本被轻　

视，则该网络对大类的检测率降低、可能发生退化现象。　

因此要区别对待大类样本和小类样本。ＫＤＤＣＵｌＸ）９中正　

常数据占大部分，因此ａ》口。将训练数据分为两个集　

合——Ｎ０珊且ｌ集（大类集）和Ｉｎｔｒｕｓｉｏｎ集（小类集），在训练中　

分别采用不同的样本选择策略。通过对Ｎｏｒｍａｌ集特征部分　

的统计发现输人部分近似均匀分布，因此对Ｎｏｒｍａｌ集采用轮　

换策略——最久未训练的样本获得训练机会。而Ｉｎｔｒｕｓｉｏｎ集　

（共有４类入侵样本）则采用训练误差函数作为选择下个网　

络训练样本的依据。　

随着训练的进行，在大类样本和小类样本间取得平衡。　

大类集中各样本获得均等训练机会，避免了退化现象；／ｂ类样　

本则获得足够的训练次数从而提高了该类的检测率。　

１．２算法　

算法如下：　

１）初始化，将训练样本分为正常集和Ｎｏｒｍａｌ和入侵集合　

Ｉｎｔｒｕｓｉｏｎ．ＩＮｏｒｍａｌＩ》ＩＩｎｔｒｕｓｉｏｎＩ　２）Ｄｏ　Ｗｈｉｌｅ（还需要训练网络）　

＆）分别从Ｎｏｒｍａｌ集、Ｉｎｔｒｕｓｉｏｎ集中按照各自的策略选　

取样本组成一个训练子集ｓ　

ｂ）对训练ＢＰ网络得分类器　

ｃ）记录Ｎｏｒｍａｌ集样本学习次数、计算Ｉｎｔｒｕｓｉｏｎ集样本　

的权值　３）输出个体网络７Ｉ。，ｈ　，…，ｈ　

２神经网络的集成方法　

２．１理论分析　

将多个神经网络结果进行合成可以显著地提高神经网络　

系统的泛化能力。文献［６］提出用网络间的关联度来表征误　

差，并证明了这比用文献［７］的方法好。但该方法只能针对网　

络权重相等的情况有用，没有普适性。本文的集成采用加权平　

均的形式。神经网络分类函数，：Ｒ　一　，输入　的分布函数　

ｐ（　）、对应的期望输出为ｄ（ｘ）、在第ｉ个网络下的输出为　

（　），共有Ⅳ个神经网络　，…　，网络集成，（　）＝　Ⅳ　Ⅳ　∑∞　（　），　ｅ　Ｒ　，其中∑　：１。　

各神经网络的泛化误差：　

Ｅ　＝∑ｐ（　）　（　）一ｄ（　））　（２）　Ｅ　神经网络集成的泛化误差：　

Ｅ＝∑ｐ（　）　）一ｄ（　））　（３）　＝∑ｐ（　）（　（　）一　（　））（　（　）一ｄ（　））　（４）　

Ｅ＝∑　∑　（５）　

ｃ＝［ｃｌ，ｌ　‰］　㈩　

Ⅳ　Ｅ＝∑　（９）　

由于实验中不可避免地存在误差，因此　。则由（９）　

式可以比较容易地求得在定义域内的最小值Ｅ　。　

２．２集成的实现　

应用遗传算法优化网络权重。算法如下：　

１）确定有关参数，包括染色体长度、种群大小、交叉概　

率、变异概率，及染色体编码并生成初始群体；　

２）计算个体适应度；　

３）根据适应度对个体进行选择、交叉和变异遗传操作；　

４）生成新一代群体；　

５）反复执行２）、３）、４）三步，直到满足进化终止条件。　

染色体由各个网络的权重组成，采用实数编码方式，长度　

为集成网络个数。采用轮盘赌选择法选择参加交叉、变异的　

染色体，其中适应度最大的个体不参加遗传计算直接进入下　

一代。交叉算法采用算术交叉。变异算法采用均匀变异。采　

用误差（式５）的倒数作适应度函数：　

１　１　ｆｉｔｎｅ￣＝寺＝　—　一　（１０）　∑　∑　

一般进化终止条件是根据多次实验结果而设定的一个数　

值（比如最大进化代数），并没有理论根据。本算法进化终止　

条件为训练误差达到或接近由（９）式所得的最小值　。　

３　实验　

表１各类数据组成　

实验样本来源于Ｋ＿ＤＤＣｕｐ９９　１０％数据集。ＫＤＤＣｕｐ９９　

１０％数据集包含约５０万条连接记录，每条连接信息包括４１　个属性和一个分类标签。分类标签表明该连接记录的类型，　共ＤＯＳ、Ｐｒｏｂｅ、Ｒ２Ｌ、Ｕ２Ｒ等４类。从中选取９７４６条记录，其　

中５　８６０条作为训练样本，３　８８６条作为测试样本。训练数据　

组成如表１所示。　（下转第１３６７页）

　维普资讯 http://www.cqvip.com