数据挖掘技术在入侵检测系统中的应用现状及展望

683文/刘春明随着计算机网络的不断深入发展网络的各种数据和攻击模式层出不穷并以惊人的速度增长使用一般的方法难以对海量的审计数据进行数据的分析数据挖掘技术应用到入侵检测上来有着非常强的适应性利用改进的关联规则算法建立入侵检测系统模型1用关联规则技术建立入侵检测系统模型在上面图1这个模型里系统将从网络中抓取的网络审计数据和从主机中得到的日志数据首先存入知识库这里是一个数据预处理的过程它将审计数据转化成能够被关联规则学习器学习的数据关联规则学习器是一个数据处理过程它输入的是大量的经过预处理的审计数据通过关联规则学习器的学习得到一系列的关联规则并将这些规则存入关联规则库里关联规则学习器可以定义一些条件阈值如最小支持度和置信度等在关联规则库里得到的关联规则与这些条件阈值密切相关依据最小支持度和置信度的大小有强关联规则和弱关联规则最后检测入侵器根据关联规则库里的关联规则对网络数据或者主机数据做出决策响应2改进的关联规则算法基于A pri ori算法存在的问题提出建立入侵检测系统模型的改进算法哈希修剪算法其改进的算法思想如下给定支持度阈值m i n_sup当扫描第k-1次事务数据库D k-1产生哈希表由_过程得到候选项集的集合计算哈希表各元素的统计数扫描数据库D桶计数低于支持度阂值m i n_sup的k-项集不是频繁k-项集同时若某事务的k-项子集不在C k中则该事务不被加入D k+1[Jong]规定哈希表的阈值l i m i t若哈希表满足支持度阈值的元素的个数大于哈希表的闲值l i m i t则建立哈希表否则不利用哈希表由于入侵检测的数据库数据庞大为产生有效的强关联规则我们预先规定轴属性ax i sat t ribute[W enke98][IE E E99]则产生的关联规则必须包含该属性一个好的软件系统应该是面向对象的[Laym an]我们再用U M L语言构建这个算法的类结构根据该算法至少需要两个类即数据类和A p riori类哈希修剪算法在候选集的产生问题上运用散列技术大大缩小了要考察的候选集特别是候选二项集的集合解决了算法执行过程中的一大瓶颈同时C k的大小随着k的增大明显减小因而可设定一个哈希表阂值当考察哈希表不满足该阈值则不使用哈希表此时算法接近于传统的A pri ori算法算法每次扫描数据库产生L k的同时减少了为下次扫描产生L k+1的数据库大小基于数据挖掘的A M G入侵检测系统A M G是一个能处理现实中任何网络数据和入侵检测模型的框架和结构[H oni g]A M G包括四个子系统由网络感应器和入侵侦测部件组成的实时子系统存储数据的数据库平台具有自适应能力模型生成和模型发布功能的入侵检测模型管理子系统管理可视化进行模糊分析预测和标签数据能从多个记录中关联和提取信息的数据分析子系统网络感应器收集网络环境信息并把数据存储到数据库存储在数据库中的数据被使用数据挖掘工具的入侵检测生成模型用来分类网络活动的异常或正常模型一旦被生成会被存储在数据库模型发布部件部署到实时入侵检测器入侵检测器接受部署其上的检测模型和来自网络感应器实时网络侦听数据用模型评价网络侦听数据最终发现入侵行为数据分析系统检索存储在数据库的数据对数据使用完全依赖于特定数据分析系统分析的结果可以存在数据库以备以后使用也可立即通过交互方式展示给用户数据分析系统允许自适应模型生成系统执行有助于部署的入侵检测系统新的入侵检测数据分析系统很容易被融合到高度模块化的A M G系统中自适应模型生成系统使用包括自治组件如A gent的分布式架构产生相互独立的部件用松散网络通讯协议实现部件之间信息交换信息交换使用X M L或其他易于表达和统一格式语言转达数据挖掘技术在智能入侵检测中的应用研究数据挖掘技术在智能入侵检测中的应用研究200.10H k gen candi dat e k-C kk68信息[X M L]1.实时子系统AM G系统由两个基本部件提供实时侦测能力网络感应器S ensor和人侵检测器D et ect o r网络感应器是一个轻量级的进程它收集来自网络的侦听数据流入侵检测器分析来自网络感应器侦听数据流使用入侵检测模型发现入侵A M G系统有许多复杂的基于数据挖掘入侵模型生成方式如使用决策树概率分析统计学习2.数据库平台数据库平台是A M G系统的核心部件它作为所有被网络感应器收集数据的中心存储器模型生成器使用存储其中的数据生成入侵检测模型并且生成模型相关数据也会被存储其中分析部件也会使用其中的数据作为参考现代数据库平台使用关系数据库有时使用数据仓库它能很容易实现数据操作对于创建基于数据挖掘入侵检测模型的训练数据集是至关重要的因为能使用SQ L查询语言检索任意一个数据子集数据库使过去手工进行数据选择枯燥工作实现自动化这个灵活性对大数据量知识发现是至关重要的数据挖掘平台使用X V IL语言同其他模块之间进行信息交流3.入侵检测模型管理子系统A M G系统管理入侵检测模型的建立和发布使用存储在数据挖掘平台上的数据生成模型通过模型发布器部署到入侵检测器A M G模型生成系统被设计成可以使用任何模型生成算法因而模型生成部件可以被视为一个黑盒相当容易嵌入系统架构中这些部件使用训练数据集作为输入生成异常检测模型不同数据模型生成算法需要不同的训练数据集在架构中允许模型生成器通过特定的SQ L查询产生需要的数据集它能够处理任何类型的模型生成算也就是说它的架构是健壮的4.数据分析子系统数据分析子系统任何一个部件从数据库中提取数据对这些数据执行相应的操作然后再把结果返回数据库存储起来在A M G系统之中数据分析子系统使用SQ L查询和数据库进行交互不时检索和插人数据数据分析子系统和A M G系统的其他部分一样使用特定标签t ag X M L文档进行分析当前执行数据分析的部件有可视化客户端模糊预测工具数据标签工具特征提取器对于可视化客户端就不再详细叙述它主要方便客户使用对于入侵检测系统设计而言一个重要的考虑是其效率一个实时系统必须能够对入侵采取及时反映不需要利用太多系统资源使其免受入侵这个对于基于主机的系统特别重要A M G架构强调轻量级的构件和分布式结构重量级资源可以和入侵检测系统分离唯一需要保护的轻量级部件是网络感应器实现了ID S管理资源最小化作者单位中国银行北京市分行编辑/雨露实现政府职能转变建设社会主义和谐社会文/张葆春建立和谐社会的基础社会主义的政治权力是有史以来第一个同时也是保护弱者利益的政权由于弱者在社会关系中处于不利地位他们往往更容易受到强者的伤害更需要得到政治权力的保护我们说社会主义政治权力是属于人民的公共权力它的历史使命是辩证地否定资本主义的政治权力一方面要剔除资本主义政治权力中少数人统治压迫多数人的弊端另一方面要吸收人类社会包括资本主义政治权力中积累的社会管理的政治文明成果运用公共权力为人民服务而不是为少数人或一部分人服务构建和谐社会必须实现政府职能的转变政府转型是新形势下建设和谐社会的重要途径1.市场经济的背景要求政府直接调控职能退出市场补充市场失灵加强公共管理服务完善社会保障市场机制的建立与完善需要政府职能退出市场政府职能转变不仅是简单的政企分开而是整个社会机体的分开如党政分开企事分开政治团体与社会中介组织分开等现在的情况是各种社会中介组织基本都挂靠在政府部门之下其坏处是中介组织利用政府资源来垄断市场从而损害了政府的声誉导致政府权威的丧失市场机制的运行需要政府弥补市场失灵和加强公共管理与服务政府的作用主要是补充市场失灵从而纠正因市场失灵而引起的资源配置效率的损失公益物品外部效应自然垄断不完全的市场和信息不完整不对称以及收入分配的不公平这都是市场失灵的表现补充这些失灵就是政府的天责提供市场机制所不能提供的公共产品消除市场中的外部性问题维护市场竞争秩序调节收入分配稳定宏观经济环境等等市场竞争的结果需要政府对于弱势群体建立相应的社会保障机制市场竞争的结果并不能保证每一个人都是成功者而2005年2月19日胡锦涛同志在中共中央指出我们所要建设的社会主义和谐社会应该是民主法治公平正义诚信友爱充满活力安定有序人与自然和谐相处的社会建立和谐社会必须依靠党和政府的作用政府职能的转变是构建和谐社会的突破口中学术研究A cademic research200.104。