下载文档原格式
融合知识的多视图属性网络异常检测模型杜航原 1曹振武 1王文剑 1, 2白 亮2摘 要 属性网络异常检测在网络安全、电子商务和金融交易等领域中具有重要的理论与现实意义, 近年来受到了越来越多的关注. 大多数异常检测方法凭借网络有限的属性或结构信息进行决策生成, 往往难以对异常模式做出可靠的描述. 此外, 网络节点对应的实体往往关联着丰富的领域知识, 这些知识对于异常的识别具有重要的潜在价值. 针对上述情况, 提出一种融合知识的多视图网络异常检测模型, 在多视图学习模式下通过数据与知识的互补融合实现了对异常节点的有效识别. 首先, 使用TransR 模型由领域知识图谱抽取知识向量表示, 并借助输入网络的拓扑关系构造其孪生网络. 接着, 在多视图学习框架下构建属性编码器和知识编码器, 分别将属性网络及其孪生网络嵌入到各自的表示空间, 并聚合为统一网络表示. 最后, 综合不同维度上的重构误差进行节点异常分数评价, 从而识别网络中的异常节点. 在真实网络数据集上的对比实验表明, 提出的模型能够实现对领域知识的有效融合, 并获得优于基线方法的异常检测性能.关键词 属性网络, 异常检测, 图神经网络, 知识融合, 多视图学习引用格式 杜航原, 曹振武, 王文剑, 白亮. 融合知识的多视图属性网络异常检测模型. 自动化学报, 2023, 49(8): 1732−1744DOI 10.16383/j.aas.c220629Multi-view Outlier Detection for Attributed Network Based on Knowledge FusionDU Hang-Yuan 1 CAO Zhen-Wu 1 WANG Wen-Jian 1, 2 BAI Liang 2Abstract Outlier detection on attributed networks is of important theoretical and practical significance in the net-work security, ecommerce, financial transaction and many other fields, and receives more and more attentions in re-cent years. Most existing outlier detection methods usually generate decisions by pattern mining on the network structure or node attributes. However, it is difficult to make a reliable description for abnormal objects by just rely-ing on the limited attribute and structure information directly available from given network data. Furthermore, the nodes in networks are usually associated with abundant domain knowledge in the real world, which has great poten-tial value for outlier detection. To this end, this paper proposes a multi-view network outlier detection model based on knowledge fusion, which identifies the abnormal pattern effectively by complementary fusion of network data and associated knowledge under the multi-view learning mode. Firstly, the model applies TransR to extract know-ledge vector representation from domain knowledge graph, and constructs a twin network with the topology struc-ture of the input network. Then, the attribute encoder and the knowledge encoder are constructed under the multi-view learning framework to embed he attributed network and its twin network into their respective representation spaces separately. On this basis, the network embeddings in two views are integrated into a unified representation by the aggregator. Finally, the abnormal score of each node is evaluated by integrating the reconstruction errors in the two different dimensions, and the abnormal nodes in the network are then recognized. Extensive experiments on real network datasets demonstrate that the proposed model can realize effective fusion of domain knowledge and ac-quire better outlier detection performance than baseline approaches.Key words Attributed networks, outlier detection, graph neural network, knowledge fusion, multi-view learning Citation Du Hang-Yuan, Cao Zhen-Wu, Wang Wen-Jian, Bai Liang. Multi-view outlier detection for attributed network based on knowledge fusion. Acta Automatica Sinica , 2023, 49(8): 1732−1744属性网络[1]作为一种包含丰富语义信息的数据组织形式, 在现实世界中普遍存在, 例如社交网络、生物信息网络、电商网络等. 这些网络中的节点除了彼此关联形成拓扑结构外, 往往还伴随一组丰富的特征或属性. 例如, 社交网络中的用户之间存在好友关系, 用户自身还具有兴趣标签、职业和年龄等重要属性. 电商网络中的商品可能与其他商品被收稿日期 2022-08-08 录用日期 2023-01-18Manuscript received August 8, 2022; accepted January 18,2023国家自然科学基金 (U21A20513, 62076154, 61902227, 62022052,62276159), 山西省重点研发计划项目(202202020101003)资助Supported by National Natural Science Foundation of China (U21A20513, 62076154, 61902227, 62022052, 62276159) and the Key R&D Program of Shanxi Province (202202020101003)本文责任编委 张敏灵Recommended by Associate Editor ZHANG Min-Ling1. 山西大学计算机与信息技术学院 太原 0300062. 山西大学智能信息处理研究所 太原 0300061. School of Computer and Information Technology, ShanxiUniversity, Taiyuan 030006 2. Institute of Intelligent Informa-tion Processing, Shanxi University, Taiyuan 030006第 49 卷 第 8 期自 动 化 学 报Vol. 49, No. 82023 年 8 月ACTA AUTOMATICA SINICAAugust, 2023同一用户购买形成拓扑关系, 商品自身还具有价格、产地等属性信息. 属性网络具有建模现实世界复杂系统的强大能力, 近年来随着学术界和产业界的持续关注, 面向属性网络的异常检测问题也逐渐成为一个重要的研究领域.属性网络异常检测的目标是识别与大多数节点具有显著差异的离群节点, 对于帮助决策者发现、管理和规避数据中的异常模式具有重要意义, 被广泛应用于诸多领域中. 例如, 对计算机网络中威胁网络安全的恶意软件或网络入侵的检测[2], 对电商网络中可能带给商家和客户巨大经济损失的欺诈行为的识别[3], 以及对社交媒体中恶意广告和垃圾邮件的过滤[4]等.由于获取异常标记的成本十分高昂, 目前大多数检测方法主要以无监督学习模式实现异常节点的识别. 这些方法大体上可以分为浅层学习方法和深度学习方法. 其中, 浅层方法通常采用异常度评价、残差分析或局部上下文分析等策略发现异常对象.例如, LOF[5]算法通过计算节点属性与其邻居的局部密度之间的距离, 在上下文中检测异常. Perozzi 等[6]提出的AMEN方法, 基于邻域的内部相似性和外部分离性定义了normality指标, 将结构和属性结合起来量化属性邻域的质量, 将normality较低的低质量邻域识别为异常社区. Li等[7]构建了一种Radar框架, 该框架学习线性回归函数以拟合由网络结构正则化的节点属性, 回归函数的残差被用作衡量异常的分数. Gutierrez-Gomez等[8]提出一种能够在多个尺度进行网络异常检测的方法, 该方法利用信号平滑后节点存留的聚集性对异常节点进行刻画, 引入Markov稳定性框架进行社区发现, 以寻找异常所在的上下文结构.受限于浅层学习机制对复杂分布和非线性问题有限的建模能力, 上述方法难以有效捕获网络中结构和属性不同信息模式之间的复杂交互关系. 深度学习模型凭借强大的表示学习能力和优秀的非线性决策能力, 能够在复杂的属性网络中为节点学习更为有效的表示. 为此, 一些研究尝试将深度神经网络用于解决属性网络上的异常检测问题. 例如, Chen等[9]设计了一种基于生成对抗属性网络的异常检测框架GAAN, 利用生成器产生伪节点, 在编码器对真实和伪节点进行编码后, 使用鉴别器区分给定的两个连通节点来自原始网络还是生成数据,并综合样本重构损失和判别损失构造异常检测的优化目标. Ding等[10]提出一种基于自编码器框架的深度异常检测模型Dominant, 使用图卷积网络(Graph convolutional network, GCN) 作为编码器将输入属性网络映射为低维嵌入. 解码器由网络嵌入重构拓扑结构和节点属性, 并通过重构误差来发现属性网络中的异常节点. Li等[11]提出一个基于谱卷积和反卷积的框架SpecAE, 将属性网络嵌入到隐空间中, 利用拉普拉斯锐化来放大异常嵌入与正常节点嵌入之间的距离, 并结合密度估计模型来实现异常检测.尽管上述方法在一些属性网络异常检测任务上获得了成功的应用, 然而由于异常样本的稀缺性以及先验信息的有限性, 仅仅依赖网络数据本身仍然难以对异常的分布特性做出准确可靠的描述. 在许多实际场景中, 在网络数据之外, 还以其他形式存在着关于网络系统的领域知识描述. 例如, 电商网络中的商品除了包含属性信息外, 还蕴含着现实世界中各类与其相关的知识信息, 如图1所示. 网络数据和领域知识源于对同一复杂系统在不同视角下的描述与刻画, 网络数据本身是数据生成机制作用下形成的一种表现形式, 而这些数据所属领域的知识则可能隐含着揭示网络数据形成和异常节点产生背后机理的有用信息. 因此, 如何对领域知识进行有效融合与利用, 进而提高网络异常检测的有效性,将成为一个极具价值的问题.投票数音乐创作人价格剧中城市编剧销售商评分制片公司导演销量排名评论数剧中角色相关电影月销量创作人(a) 影片及其属性信息(a) The movie and itsattribute information(b) 影片及其领域知识(b) The movie and itsdomain knowledge图 1 电商网络中的属性信息与知识Fig. 1 Attribute information and knowledge in thee-commerce network本文提出了一种融合领域知识的多视图异常检测 (Multi-view outlier detection based on know-ledge fusion, MOD-KF) 模型. 该模型首先利用领域知识为属性网络构造孪生网络, 形成对该网络的多视图描述. 接着在多视图模式下学习网络的低维表示, 通过视图聚合将领域知识融入到节点的统一表示中. 最后从网络拓扑和节点特征两个维度进行网络的解码重构, 依据重构误差计算节点的异常得分, 实现对异常节点的识别. 通过对领域知识的融合, 该模型可以使网络表示中保留更多有助于下游决策生成的关键信息, 进而改善可用数据较少的情况下异常检测的决策有效性.8 期杜航原等: 融合知识的多视图属性网络异常检测模型1733本文的主要贡献如下:1) 设计了一个多视图决策框架, 将属性网络以及相关领域知识构建的孪生网络作为复杂系统在不同视图下的信息形式表现. 借助图神经网络学习二者的网络表示, 并通过视图聚合操作实现了网络数据和领域知识在决策生成中的有效融合.2) 提出了一种融合领域知识的属性网络异常检测模型MOD-KF, 在图自编码器框架下, 以多视图的方式并行学习输入网络和孪生网络的表示, 丰富和完善了对网络中对象的描述, 使异常检测的有效性和可靠性得到提升.3) 在真实网络数据集上对MOD-KF和几种异常检测基线方法进行了比较分析, 实验结果验证了该模型的有效性.本文的结构组织如下: 第1节对相关工作进行了简要介绍; 第2节给出了问题定义; 第3节详细阐述了MOD-KF模型的构成及原理; 第4节通过实验对提出模型的有效性进行了验证; 第5节对本文的工作进行了总结和展望.1 相关工作目前, 较少有工作探讨在网络异常检测中融合领域知识, 这里着重对以下几个相关领域的工作进行简要介绍, 包括网络异常检测、图神经网络和知识图谱嵌入.1.1 网络异常检测近年来, 越来越多的业务场景中不断生成以图或网络结构表示的复杂的、相互关联的数据. 在这些复杂网络中, 往往存在部分和其他大多数对象具有明显不同行为表现的异常对象. 它们常表现为与网络中其余部分具有不同连接模式的单个节点, 或者是彼此之间频繁交互, 形成密集联系的团体. 为了识别这些异常对象, 一些研究工作借助网络数据中的拓扑结构, 对不同节点间的交互行为和依赖关系加以分析, 进行网络异常的识别. 例如, Fraudar 算法[12]定义了一个表示节点平均可疑度的全局度量, 通过逐步移除二部图中可疑度最低的节点, 使得剩余网络结构的全局平均可疑度达到最大, 从而找到异常子网络. SCAN算法[13]根据节点的结构和连通性进行聚类, 基于节点在结构上的相似性度量同时检测网络中的簇、桥节点和离群点. NetWalk 模型[14]利用游走机制将网络分解为一系列团组, 通过团组嵌入的方式学习网络表示, 并使用蓄水池采样策略在网络的动态变化中对学习到的表示进行更新, 在此基础上采用动态聚类模型检测网络中的异常.除了结构信息外, 网络数据中还常常具备描述节点特征的属性信息. 将结构与属性信息进行融合,有助于提升异常检测的有效性. 这些检测方法可分为如下几类: 1)从社区分析或测量自我中心网络的角度上发现异常, 例如AMEN[6]从每个节点的自我中心网络信息发现属性网络上的异常邻居; 2) 通过对节点特征子空间进行选择, 然后在子空间中发现异常, 例如Sanchez等[15]提出了一种统计选择全等子空间的方法ConSub来捕获节点属性和图结构之间的依赖关系, 将其应用于社区离群点检测; 3) 基于残差分析的方法[7], 认为异常节点无法通过其他参考节点进行近似替代; 4) 基于属性网络重构损失的方法, 例如Dominant[10]通过图自编码器和图卷积神经网络的协同作用, 利用GCN学习到的节点表示对属性网络进行重构, 根据结构和属性两方面的重构损失评估节点的异常水平. Chen等[9]构建了基于生成对抗网络的检测模型, 训练以高斯噪声为输入的生成器借助先验数据分布进行数据生成, 通过鉴别器对编码器产生的真实节点和生成数据的成对嵌入进行判别, 并由节点属性重构误差和判别损失共同产生节点的异常分数.1.2 图神经网络图神经网络[16−17]是一种利用图结构对节点属性和连接关系进行建模和学习, 并从网络数据中实现特征提取与表示的神经网络模型. 近年来, 随着网络数据在真实世界中大量涌现, 图神经网络在网络数据的分析处理中受到广泛关注, 取得了大量研究成果, 并在网络表示学习、图分类、链路预测和社区发现等各类任务中获得成功应用.图卷积网络[18]是一类被广泛使用的图神经网络模型, 根据特征提取方式的不同可以分为频域模型和空域模型两类. 前者从图信号处理的角度, 将图卷积层定义为一个滤波器, 使用图傅里叶变换及其扩展形式将节点表示转换至频谱域来执行卷积操作, 相当于通过滤波器从网络数据中过滤特定频带的信号. 后者从网络节点的空间关系出发, 通过邻域信息聚合机制迭代更新节点表示来定义卷积算子. 这类模型通常由邻域聚合函数、节点更新函数以及读出函数组成. 在邻域信息聚合的过程中, 考虑到各节点对当前节点状态更新的重要性可能存在差异, 图注意力网络 (Graph attention network, GAT)[19]将图卷积和注意力机制相结合, 根据每个节点和邻居节点的属性信息, 在节点状态更新时依据自注意力机制计算各邻居节点的贡献度, 据此在信息聚合过程中给予各节点不同程度的关注, 提高模型的学习效率.1734自 动 化 学 报49 卷面向网络数据的无监督学习任务, 自编码器也经常被用作信息传播框架构建图神经网络. 例如, Hou等[20]设计了一种对抗属性自编码器A3Graph,由编码器将节点属性编码为低维隐空间中的低维表示, 并通过解码器将节点表示映射到由正值点互信息矩阵 (Positive pointwise mutual information, PPMI) 和属性矩阵组成的聚合矩阵, 再借助对抗式学习模式为编码器的输出施以先验分布来提高表示学习的稳定性. Wang等[21]提出了一种图卷积编码器框架GASN, 首先使用改进的GCN对图结构和隐空间中的节点属性进行编码, 在此基础上设计了一种高通图解码器重构节点属性, 接着利用内积层重构网络结构关系, 最后构建统一优化框架对编码器和两个子解码器进行联合优化.1.3 知识图谱嵌入网络中的异常除了反映在拓扑结构和节点属性两个维度外, 还可以通过挖掘其领域知识描述进行识别. 作为一种常见的知识组织形式, 知识图谱[22]以图的形式描述了客观世界中的实体及其之间的多种关系. 其中, 实体表示真实存在的对象或抽象概念, 关系记录了实体间的某种联系. 知识图谱作为丰富且易获取的重要知识来源, 在图像分类和推荐系统[23−26]等各种应用中展现出重要价值, 受到人们的广泛关注. 近年来, 一些大型知识图谱数据库如Freebase、WordNet和DBpedia[27]等相继问世.为了获取和在学习模型中使用知识图谱中的知识, 需要通过嵌入方法[28]将知识图谱中的实体和关系映射到低维向量空间, 在保留知识图谱结构信息的同时获得知识的表示. 知识图谱嵌入方法可大致分为3类: 1) 基于距离的模型[29], 将关系建模为从头实体到尾实体的距离变换, 通过最小化变换后两个实体间的距离误差, 将知识图谱中的实体和关系类型分别映射到低维空间; 2) 基于语义匹配的模型[30], 利用相似度评分函数构建实体和关系嵌入向量之间的交互关系, 通过匹配不同实体和关系类型的潜在语义, 在度量事实合理性的过程中学习知识嵌入; 3) 基于神经网络的模型[31], 凭借神经网络对非线性复杂关系的表达能力, 通过对输入数据特征分布的空间转换, 学习知识图谱中的结构特征和语义特征, 在结构和关系建模方面提升知识图谱嵌入的性能.领域知识在网络数据之外的另一个视角为下游任务的决策生成提供了重要信息依据. 为此, 本文借助知识图谱嵌入在知识视图中为输入网络构造孪生网络, 并通过对数据视图和知识视图中网络表示的聚合实现对异常节点的识别, 提高异常检测的有效性.2 问题定义G=(V,E, X),V={v i|i=1,2,···,n}nd x i∈X(i= 1,2,···,n)v i X∈R n×dE={e(i,j)|v i∈V,v j∈V}e(i,j) v i v j|E|=mA∈R n×nv i v j A ij=1A ij=0定义 1. 属性网络: 给定一个网络其中, 表示网络中个节点构成的集合, 每个节点具有个属性,表示节点的属性向量, 表示所有节点的属性向量组成的矩阵.是网络中所有边构成的集合, 表示节点和之间的边, 共 条边. 此外, 通过邻接矩阵表示属性网络的拓扑结构, 若节点和之间存在边, 则, 否则.T= (N,R,T)N Rr(h,r,t)∈T h∈N t∈NT定义 2. 领域知识图谱: 通常被表示为, 其中, 为实体构成的集合, 表示关系的集合, 集合中的关系连接两个实体构成三元组, 为头实体, 为尾实体,表示三元组构成的集合. 知识图谱以三元组形式描述了相关对象的概念及联系, 例如三元组(狮子王, 制片公司, 迪士尼), 表述了“电影《狮子王》的制片公司是迪士尼”这一事实.G TF(G,T)V→R n定义 3. 融合领域知识的多视图异常检测: 给定属性网络和领域知识图谱, 该任务的目标是学习一个异常检测模型: , 获得属性网络中各节点的异常得分, 进而衡量其异常程度.3 MOD-KF模型针对属性网络在有限信息来源下难以对异常对象做出可靠描述的问题, 提出了一种异常检测模型 —— MOD-KF. 该模型的总体架构如图2所示,以图自编码器为信息处理框架, 由4个基本组件构成: 1) 孪生网络构造模块, 使用TransR模型学习属性网络对应的领域知识图谱嵌入, 并依据网络的拓扑关系构造其知识视图下的孪生网络; 2) 多视图编码器, 在数据视图和知识视图下通过两组并行的GAT 分别构造属性编码器和知识编码器, 学习属性网络和孪生网络的嵌入; 3) 聚合器, 将不同视图下的网络嵌入聚合为统一表示; 4) 解码器, 由节点的统一表示对网络的拓扑结构和节点特征进行重构, 借助这两个维度上的重构误差建立模型的优化目标, 并输出网络节点异常评分.3.1 孪生网络构造模块孪生网络具有和输入网络相同的拓扑结构, 与后者使用属性信息进行节点描述不同, 孪生网络将领域知识作为另一个视角下对节点的特性描述.8 期杜航原等: 融合知识的多视图属性网络异常检测模型1735G =(V,E,X )对于属性网络 , 其孪生网络的构造包含两个步骤: 首先, 使用TransR 模型对其相关的领域知识图谱进行嵌入学习, 以获得节点知识的向量表示; 接着依据网络的拓扑结构将这些知识表示进行关联, 完成孪生网络构造. 在知识图谱中, 每个实体通常会通过不同的关系连接到其他实体上, 这些关系从多个方面对实体的特性进行刻画. TransR 模型在实体空间和关系空间分别对实体和关系进行建模, 并通过在相应关系空间中投影实体间转换来学习实体和关系的嵌入.(h ,r ,t )h t r r M r h r t r 具体来说, 对于一个三元组 , 将头实体与尾实体的嵌入分别记作 和 , 令 表示实体间关系的嵌入. 通过为关系 设置一个映射矩阵 ,可以将实体由实体空间投影到相应的关系空间, 分别获得头实体投影向量 和尾实体投影向量 如式 (1) 所示:随后, 在投影实体之间建立转换, 通过式 (2)的得分函数计算头尾实体投影向量之间的距离, 以此来衡量事实成立的可能性:特定关系的投影可以使那些实际具有这种关系的头尾实体彼此靠近, 否则使它们相互远离.K ∈R n ×d G =(V,E,X )G ′=(V,E,K )使用式 (1) 和式 (2) 以迭代方式对三元组的嵌入表示不断更新, 从表示结果中抽取与各网络节点相关的知识向量表示, 构建输入网络的知识矩阵,记作 , 该矩阵的每一行记录了各节点的知识特征. 在此基础上, 基于属性网络 的拓扑结构构造其孪生网络, 记作 .3.2 多视图编码器多视图编码器由属性编码器和知识编码器构成, 分别用于在不同视图下对属性网络和孪生网络进行编码, 学习节点在低维隐空间中的相应表示.属性网络中的节点是对现实世界相应实体的抽象表达, 在实际场景中, 实体的不同邻居通常对其有着不同程度的影响, 为此本文使用两组并行的GAT 网络构成多视图编码器. 通过自注意力机制对节点权重进行自适应匹配, 在对邻域信息进行聚合的过程中, 将节点之间的关联关系更好地融合到节点表示中.G =(V,E,X )1) 属性编码器. 由两个注意力层堆叠而成, 在数据视图下对属性网络 进行编码. 其中, 第一层使用多头注意力机制, 第二层使用单头注意力机制, 属性编码器输出如式 (3) 所示:Z G ∈R n ×d ′f (X,A )其中, 为属性编码器输出的节点表示,函数 表示图注意力层. 在进行节点邻域信息聚合的过程中, 图注意力机制对邻域内各节点赋予了不同的注意力系数. 节点与其邻居节点之间的注意力系数由式 (4) 计算:e ij v i v j v j v i v j ∈N i N i v i W enc ∈R h ′×d ∥c ∈R 2h ′式中, 是节点 和节点 之间的注意力系数, 表示节点 对于节点 的重要程度, , 为节点 的一阶邻居节点集合. 是作用到每个节点上的可学习权重矩阵. 表示拼接操作,为权重向量.为了使节点之间的注意力系数易于比较, 通过式 (5) 对注意力系数进行归一化:领域知识TransR知识图谱孪生网络 ′知识编码器拓扑结构v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v v 属性网络属性编码器sigmoid (UU )结构解码器异常分数聚合器特征解码器KXˆAˆ图 2 MOD-KF 模型总体框架Fig. 2 The overall framework of the MOD-KF model1736自 动 化 学 报49 卷利用归一化注意力系数对邻居节点进行聚合,如式 (6) 所示:σ(·)其中, 为激活函数, 实现对数据的非线性变换.v i 以上步骤通过单头注意力机制聚合邻域信息对节点表示进行了更新. 进一步地, 为了增强模型泛化能力, 在图注意力层中引入多头注意力机制, 通过多个相互独立的单头注意力网络分别计算出一组注意力系数, 再通过式 (7) 将多个表示结果进行拼接, 得到节点 的表示输出:P αpij pW penc p 其中, 表示单头注意力网络的数量, 表示第 个注意力网络计算得到的注意力系数, 表示第 个注意力网络的权重矩阵.G ′=(V,E,K )2) 知识编码器. 知识视图下的编码器具有和属性编码器完全相同的结构, 用于学习孪生网络 的表示, 其构成如式 (8) 所示:Z G ′∈R n ×d ′其中, 为知识编码器输出的孪生网络的节点表示.3.3 聚合器原始属性网络及其孪生网络是对不同视角下同一复杂系统的信息描述, 二者的网络表示在模型决策过程中能为彼此提供互补信息. 为了提高模型决策的有效性, 本文利用聚合器对不同视图下的网络表示进行融合, 进而获得网络节点的多视图统一表示. 我们采用了两种视图聚合策略,具体如下:1) 拼接聚合器(Concat): 对两个视图的节点向量表示进行纵向拼接, 形成一个维度更高的向量,如式 (9) 所示:concat (·)U ∈R n ×(2d ′)其中, 表示纵向拼接操作,表示拼接聚合后形成的多视图统一表示.2) 加和聚合器(Add): 由两个视图的节点向量表示按照对应元素相加的方式, 获得一个同维度的新向量, 如式 (10) 所示:U ∈R n ×d ′其中, 为使用加和聚合器获得的多视图统一表示.3.4解码器解码器包含结构解码器和特征解码器两个部分, 依据节点统一表示分别对网络的拓扑结构和节点特征进行重构.1) 结构解码器, 通过计算节点统一表示间的内积实现对网络拓扑的重构, 如式 (11) 所示:ˆA其中, 表示重构后的网络拓扑结构.2) 特征解码器, 使用两层全连接网络实现对节点特征的重构, 如式 (12) 所示:ˆXb (l )l 其中, 为节点的重构特征信息, 表示第 个全连接层的偏置向量. 特征解码器的输出是对网络的节点属性和领域知识两类信息在同一特征空间中的重构.在上述框架中, 经过对属性网络和孪生网络的多视图编码、聚合以及重构过程, 实现了领域知识和属性网络在低维表示中的有效融合, 丰富和完善了学习模型的信息来源和决策依据, 对于提升模型决策的有效性和可靠性具有积极作用.3.5 优化模型及异常评分MOD-KF 模型的优化目标由两部分组成, 如式 (13) 所示:L f 其中 为特征重构误差, 使用F-范数由式 (14)定义:L s 由于解码器的输入为聚合后的节点统一表示,因此在计算特征重构误差时将原始网络与孪生网络中的属性作为共同参照. 为结构重构误差, 由式(15) 定义:λ∈[0,1] 为平衡系数, 用于调整两种重构误差间的权重.网络中的异常节点通常与其他节点存在某种数据模式上的显著差异, 因而本文将节点重构误差作为评价节点异常分数的重要手段, 并给出节点异常评分函数如式 (16) 所示:8 期杜航原等: 融合知识的多视图属性网络异常检测模型1737。
第１３卷㊀第４期Ｖｏｌ．１３Ｎｏ．４㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年４月㊀Ａｐｒ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）０４－０１７４－０４中图分类号：ＴＮ９１１．７３文献标志码：Ａ校园围栏场景下的异常行为检测系统李瑷嘉，彭新茗，马广焜，陈展鹏，于㊀洋（沈阳工业大学软件学院，沈阳１１０８７０）摘㊀要：针对校园封闭管理下的学生翻越围栏㊁偷取外卖等现象，提出一种基于ＹＯＬＯｖ５的校园围栏场景下行人异常行为检测系统㊂该系统首先对监控视频中提取的图像进行网络训练，模型训练完成后以此来检测视频中的翻越㊁攀爬栅栏围墙等异常行为㊂当检测到与围栏距离过近的人员存在疑似异常行为时，系统触发警报模块，警示学生保持与围栏间的距离㊂关键词：深度学习；异常行为检测；ＹＯＬＯｖ５ＡｂｎｏｒｍａｌｂｅｈａｖｉｏｒｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍｉｎｃａｍｐｕｓｆｅｎｃｅｓｃｅｎｅｓＬＩＡｉｊｉａ，ＰＥＮＧＸｉｎｍｉｎｇ，ＭＡＧｕａｎｇｋｕｎ，ＣＨＥＮＺｈａｎｐｅｎｇ，ＹＵＹａｎｇ（ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅ，ＳｈｅｎｙａｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｓｈｅｎｙａｎｇ１１０８７０，Ｃｈｉｎａ）ʌＡｂｓｔｒａｃｔɔＩｎｖｉｅｗｏｆｔｈｅｐｈｅｎｏｍｅｎｏｎｏｆｓｔｕｄｅｎｔｓｊｕｍｐｉｎｇｏｖｅｒｔｈｅｆｅｎｃｅａｎｄｓｔｅａｌｉｎｇｔａｋｅｏｕｔｉｎｔｈｅｃｌｏｓｅｄｃａｍｐｕｓｄｕｒｉｎｇｔｈｅｐｒｅｖｅｎｔｉｏｎａｎｄｃｏｎｔｒｏｌｐｅｒｉｏｄ，ａＹＯＬＯｖ５ｂａｓｅｄｐｅｄｅｓｔｒｉａｎａｂｎｏｒｍａｌｂｅｈａｖｉｏｒｄｅｔｅｃｔｉｏｎｓｙｓｔｅｍｕｎｄｅｒｔｈｅｃａｍｐｕｓｆｅｎｃｅｓｃｅｎａｒｉｏｉｓｐｒｏｐｏｓｅｄ．Ｆｉｒｓｔｌｙ，ｔｈｅｓｙｓｔｅｍｃａｒｒｉｅｓｏｕｔｎｅｔｗｏｒｋｔｒａｉｎｉｎｇｏｎｔｈｅｉｍａｇｅｓｅｘｔｒａｃｔｅｄｆｒｏｍｔｈｅｓｕｒｖｅｉｌｌａｎｃｅｖｉｄｅｏ，ａｎｄｕｓｅｓｔｈｅｔｒａｉｎｅｄｏｆｆｌｉｎｅｎｅｔｗｏｒｋｍｏｄｅｌｔｏａｕｔｏｍａｔｉｃａｌｌｙｍｏｎｉｔｏｒｔｈｅａｂｎｏｒｍａｌｂｅｈａｖｉｏｒｓｏｆｐｅｏｐｌｅｉｎｔｈｅｓｕｒｖｅｉｌｌａｎｃｅｖｉｄｅｏ，ｓｕｃｈａｓｊｕｍｐｉｎｇｏｖｅｒａｎｄｃｌｉｍｂｉｎｇ．Ｗｈｅｎｄｅｔｅｃｔｉｎｇｔｈｅｓｕｓｐｅｃｔｅｄａｂｎｏｒｍａｌｂｅｈａｖｉｏｒｏｆｔｈｏｓｅｃｌｏｓｅｄｔｏｔｈｅｆｅｎｃｅ，ｔｈｅｓｙｓｔｅｍｃｏｕｌｄｉｓｓｕｅａｎａｌａｒｍｔｏｒｅｍｉｎｄｓｔｕｄｅｎｔｓｔｏｋｅｅｐｔｈｅｄｉｓｔａｎｃｅｆｒｏｍｔｈｅｆｅｎｃｅ．ʌＫｅｙｗｏｒｄｓɔｄｅｅｐｌｅａｒｎｉｎｇ；ａｂｎｏｒｍａｌｂｅｈａｖｉｏｒｄｅｔｅｃｔｉｏｎ；ＹＯＬＯｖ５ａｌｇｏｒｉｔｈｍ基金项目：辽宁省２０２１年大学生创新创业训练计划项目（Ｓ２０２１１０１４２０４１）㊂作者简介：李瑷嘉（２０００－），女，本科生，主要研究方向：数据科学与大数据技术；彭新茗（１９８９－），女，工程师，主要研究方向：模式识别；马广焜（１９７７－），女，博士，讲师，主要研究方向：计算机图形学㊁图像处理；陈展鹏（２００１－），男，本科生，主要研究方向：数据科学与大数据技术；于㊀洋（２０００－），男，本科生，主要研究方向：数据科学与大数据技术㊂通讯作者：彭新茗㊀㊀Ｅｍａｉｌ：ｐｘｍ８９０８１９＠１６３．ｃｏｍ收稿日期：２０２２－０５－２３０㊀引㊀言人体异常行为识别与检测技术涵盖对人体行为的识别㊁检测和异常行为的分析，被越来越多地应用在智能监控㊁医疗看护和交通监管等领域，其市场前景可观，具有高可用性㊂如，在智能监控领域，通过该检测技术，判断公共场所人员是否发生扰乱公共秩序等违规行为㊂在医疗看护领域，可对家人进行２４ｈ监护，避免家中老人或小孩突发意外状况㊂在交通监管领域，对车内外㊁以及车内驾驶员的异常行为进行监控，进一步降低交通事故发生的风险㊂当前，国内外在异常行为检测技术方面也有了较大的突破 从早期基于人工设计特征的方向梯度直方图㊁光流直方图㊁混合动态纹理等异常行为检测技术［１］，到现如今的基于深度学习的异常行为检测算法㊂随着网络层数的增加，特征也越来越抽象，这就直接导致了基于人工设计特征的检测技术在应用中会受到诸多限制；而基于深度学习的异常行为检测算法是通过对原始图像的学习来分析其复杂的非线性行为特征㊂因此在较多网络层数的情况下，就能够更好地描述行为特征，且检测准确率更高，计算复杂性较低㊂基于深度学习的异常行为检测算法主要可分为单阶段和双阶段两种㊂前者无候选区域，能够直接产生物体的类别概率和位置坐标值，以ＳＳＤ和ＹＯＬＯ系列为例；而后者在检测过程中，分为２个阶段㊂第一阶段：生成包含目标位置信息的候选区域；第二阶段：划分候选区域，并精确求得目标位置信息，以Ｒ－ＣＮＮ㊁ＦａｓｔＲ－ＣＮＮ㊁ＦａｓｔｅｒＲ－ＣＮＮ为例［２］㊂其中，Ｒ－ＣＮＮ及其延伸的算法，使用一个管道在多个步骤中执行这个任务，存在运行速度慢㊁需要单独训练每一个组件和优化效果不强等问题㊂而ＹＯＬＯ只用一个神经网络就能完成，因此项目拟采用ＹＯＬＯｖ５轻量化网络模型作为行人异常行为检测系统的网络模型㊂本文以校园封闭管理为例，选用在速度上有优势的ＹＯＬＯｖ５目标检测算法㊂将大量真实的围栏场景下的行人样本载入训练模块，进行训练，结合训练好的检测系统对监控探头拍摄的视频图像进行智能识别并根据置信度㊁ＩｏＵ的数值输出不同检测结果，当被拍摄人员存在疑似翻越围栏㊁偷取外卖等异常行为且达到额定百分比时，对其进行自动识别和抓拍，并发出报警信号达到警示的效果㊂然而，在实际应用过程中，基于围栏场景的异常行为检测面临着诸多挑战，如背景复杂度㊁光线㊁拍摄角度等非受控条件导致提取特征性能受限；在线分析大量实时数据时，存在异常行为检测的高延迟等问题㊂１㊀校园围栏检测系统设计１．１㊀系统概述整个异常行为检测系统由围栏场景下的监控摄像头㊁监控室内交换机㊁管理服务器㊁显示屏幕和警报器组成㊂学校相关管理部门可根据实际情况，如事件高发时段和高发地点，选择开启检测系统㊂系统开启后，通过网络将围栏场景下人员的疑似翻越㊁偷取外卖等异常行为情况上传给服务端，并将检测与分析的结果存入日志文件㊂系统整体采用流式开发模型，系统流程如图１所示㊂首先对视频流提取关键帧（本文可通过对帧率的更改，自定义提取关键帧），对图像进行预处理，而后提取其特征，得到与之相对应的特征图，并以此为参照对物体类别和边框进行预测，所得数据写入日志㊂该过程实现了真正的端到端的处理㊂视频流图像采集图像预处理输出图像特征匹配图像特征提取图１㊀系统流程图Ｆｉｇ．１㊀Ｆｌｏｗｃｈａｒｔｏｆｔｈｅｓｙｓｔｅｍ１．２㊀系统功能设计系统使用客户端／服务器（Ｃ／Ｓ）模式作为系统的整体架构㊂其中，服务器端提供基于ＹＯＬＯｖ５的目标检测方法的识别服务，其主要工作流程为处理视频数据流，提取关键帧作为原始图像，处理后将标定好的图像传输给客户端㊂客户端向服务器端发送请求，服务器端接收㊁处理请求，并将结果返回㊂系统的整体功能架构如图２所示，该系统共分为２部分：离线的网络训练和在线的目标检测㊂由图２可知，对该行为检测系统中各研发模块的功能设计可做阐释分述如下㊂预测模块训练模块报警模块日志处理模块图像检测模块图像预处理模块图像采集模块异常行为检测系统图２㊀系统功能架构图Ｆｉｇ．２㊀Ｓｙｓｔｅｍｆｕｎｃｔｉｏｎａｌａｒｃｈｉｔｅｃｔｕｒｅｄｉａｇｒａｍ㊀㊀（１）图像采集模块㊂对视频流进行截取操作，截取关键帧，形成图像数据集㊂（２）图像预处理模块㊂在本模块中，由于图像存在无关的信息，影响检测效率，因此对图像进行了灰度化㊁几何化和图像增强处理，突出显示需要检测的目标，这样可以简化数据，提高检测效率㊂（３）图像检测模块㊂在该模块中，采用单阶段的目标检测算法 ＹＯＬＯｖ５目标检测网络作为行人异常行为检测的基础网络模型，涵盖训练模块和预测模块两部分，分别对训练集和测试集进行处理，训练模块根据采集到的图像对网络的参数进行学习，提取特征图；预测模块再依据提取到的特征图进行目标分类和边框回归㊂（４）日志模块㊂该模块不仅记录检测过程中产生的识别信息，还可以记录检测过程中系统的工作状态㊁客户端的请求㊁执行的操作以及检测出异常行为后的报警情况，形成日志文件，利于后续查看㊂（５）报警模块㊂此模块通过调用服务器接口来实现这部分的操作处理㊂当人员存在疑似翻越围栏㊁偷取外卖等异常行为时，对其进行自动识别和抓拍，并上传信息到客户端㊂２㊀关键技术２．１㊀图像预处理模块本实验对采集到的图像依次进行灰度化㊁几何变换，这在一定程度上丰富了数据集㊁防止过拟合训练并有效提高了网络模型的鲁棒性㊂首先，对原始５７１第４期李瑷嘉，等：校园围栏场景下的异常行为检测系统图像进行灰度化处理，使每一个像素的颜色㊁即ＲＧＢ值相同；然后，通过平移㊁转置㊁旋转㊁缩放的几何变换，来降低系统误差和仪器摆放位置误差带来的影响㊂而在此过程中，针对出现的采集图像过多㊁不清晰㊁不可用的问题，进行图像增强操作，即增强图像中的有用信息，也就是针对给定图像的不同应用查找，有目的地增强图像的整体特征或局部特征㊂该操作不但能使原图像变得清晰，还能模糊不重要的特征，同时突出不同物体之前的区别㊂通过图像预处理机制可以增强画质，显著提升对图像的识别效果，进一步满足人体异常行为分析的需求㊂２．２㊀图像检测模块本系统采用ＹＯＬＯｖ５框架㊂共包括：输入端（Ｈｅａｄ）㊁主干网络（Ｂａｃｋｂｏｎｅ）㊁Ｎｅｃｋ和输出端（Ｐｒｅｄｉｃｔｉｏｎ）四大部分［３］㊂对此研究内容，拟展开解析表述如下㊂（１）输入端（Ｈｅａｄ）①Ｍｏｓａｉｃ数据增强如图３所示㊂对输入的４张图片，通过随机缩放㊁随机裁剪以及随机排布的方式将图像拼接起来㊂图３㊀Ｍｏｓａｉｃ数据增强示意图Ｆｉｇ．３㊀Ｍｏｓａｉｃｄａｔａｅｎｈａｎｃｅｍｅｎｔｄｉａｇｒａｍ㊀㊀②自适应锚框计算㊂对每个设定不同长宽锚框的数据集进行训练，在其初始的锚框架上输出预测框，并计算与真实框的差距，进行反向更新，反复迭代参数㊂③自适应图片缩放㊂由于图片可能存在尺寸不同，因此对原始图像进行自适应图片缩放，添加最少的黑边来统一其尺寸，再进入网络检测［４］㊂（２）主干网络（Ｂａｃｋｂｏｎｅ）①Ｆｏｃｕｓ结构㊂输入原始图像，进行切片操作，改变特征图的大小㊂②ＣＳＰ结构㊂以该系统中的ＹＯＬＯｖ５ｓ网络为例，整个网络模型中含２种ＣＳＰ结构㊂一种存在于主干网络（Ｂａｃｋｂｏｎｅ），另一种存在于Ｎｅｃｋ中㊂输入图像尺寸为６０８∗６０８，特征图变化如下：６０８➝３０４➝１５２➝７６➝３８➝１９，该结构起到下采样的作用，增强ＣＮＮ的学习能力，在轻量化的同时也确保了系统的准确性［５］，并降低了内存的计算开销㊂（３）Ｎｅｃｋ㊂采用ＦＰＮ＋ＰＡＮ的结构㊂其中，ＦＰＮ是由高维度向低维度传递语义信息的过程，使大目标更加明确，而ＰＡＮ是由低维度向高维度再传递一次语义信息，从而在明确大目标的同时也能够清晰小目标㊂Ｎｅｃｋ部分如图４所示㊂在该部分中，将自顶向下传达强语义特征与特征金字塔自底向上传达强定位特征相结合，进而能够从任意主干层对任意检测层进行参数聚合㊂19*1938*3876*76下采样图片19*1938*38上采样76*76图４㊀Ｎｅｃｋ部分示意图Ｆｉｇ．４㊀ＳｃｈｅｍａｔｉｃｄｉａｇｒａｍｏｆｔｈｅＮｅｃｋｐａｒｔ㊀㊀（４）输出端（Ｐｒｅｄｉｃｔｉｏｎ）①ＣＩｏＵ＿Ｌｏｓｓ㊂ＣＩｏＵ＿Ｌｏｓｓ考虑边界框宽高比的尺度，能够达到预测框回归的速度要求和精度更高的效果㊂②非极大值抑制（ＮＭＳ）㊂会在局部区域选取极大值窗口，而后删除低分窗口，并一直重复此操作，来抑制分数较低的窗口㊂２．３㊀报警模块通过调用软件接口连接传统监控系统，在测试其性能良好后，使用训练后的模型检测校园围栏场景下视频中的异常行为㊂根据摄像头读取到的视频流，检测系统进行逐帧检测，当检测到标注的存在异常行为的人员时，系统会将对应帧进行保存，存储到日志文件中，并标注好对应时间，方便用户后续的翻阅查看㊂３㊀系统测试及结果３．１㊀数据集本实验的训练集和测试集由ＰａｓｃａｌＶＯＣ㊁ＭＳＣｏｃｏ公共数据集提供和自采集图像组成㊂其中，自采集图像取材于沈阳工业大学校园围栏场景下的多角度㊁各时段的多个监控视频，使用光流法对视频进行关键帧提取，采用Ｌａｂｅｌｌｍｇ软件对关键帧进行标６７１智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀注，设置异常行为的标签为：攀爬（ｃｌｉｍｂｉｎｇ）㊁穿越（ｃｒｏｓｓｉｎｇ）㊁偷取外卖（ｔａｋｅｏｕｔ），通过数据增强方法对样本进行扩充㊂从而在不同数据集来源上形成横向对比的同时，能够区别于监控摄像的一致俯拍角度对实况进行左㊁右侧的各角度抓拍㊂３．２㊀测试环境本实验处理器为：Ｉｎｔｅｌ（Ｒ）Ｃｏｒｅ（ＴＭ）ｉ７－６７００ＸＣＰＵ＠３．７０Ｇｈｚ，３２Ｇ运行内存；显卡ＮｖｉｄｉａＧｅｆｏｒｃｅＧＴＸ１６５０Ｔｉ；操作系统为Ｗｉｎｄｏｗｓ１０㊂该实验基于深度学习框架ｐｙｔｏｒｃｈ１．９；实验环境ｐｙｔｈｏｎ３．８；ＧＰＵ加速软件ＣＵＤＡ１０．０㊂３．３㊀测试结果系统检测结果如图５㊁图６所示㊂其中，图５为原始图像和检测图像，图６为测试数据检测结果㊂（ａ）原始图像㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀（ｂ）检测图像图５㊀围栏翻越行为检测示意图Ｆｉｇ．５㊀Ｓｃｈｅｍａｔｉｃｄｉａｇｒａｍｏｆｆｅｎｃｅｏｖｅｒｆｅｔｃｈｂｅｈａｖｉｏｒｄｅｔｅｃｔｉｏｎ图６㊀测试数据检测结果示意图Ｆｉｇ．６㊀Ｓｃｈｅｍａｔｉｃｄｉａｇｒａｍｏｆｔｅｓｔｄａｔａｄｅｔｅｃｔｉｏｎｒｅｓｕｌｔｓ４㊀结束语综上所述，应校园封闭管理之需，本文提出了一种基于ＹＯＬＯｖ５的围栏场景下行人异常行为检测系统㊂首先，综合考虑模型的检测速度和精度等因素，选择适当的目标检测模型，这里选择了ＹＯＬＯｖ５轻量网络模型㊂其次，给出系统总体功能框架，并详细描述该系统涉及的识别检测模块，共包括图像采集㊁图像预处理㊁图像检测㊁日志处理和报警五大模块［６］㊂该系统采用离线的网络训练和在线的目标检测，能够满足真实围栏场景下的异常行为实时检测的需求，具有易于跨平台搭建㊁运行速度快㊁检测效率高等特点，具有较高实用性㊂但是，在实验中，系统的识别效果会受到监控探头拍摄角度和距离的影响，这就要求了在实际应用中，要求监控探头的拍摄角度能够确保在检测范围内人员与围栏之间无遮盖㊂今后的项目开发中，通过对网络模型参数的不断修改，提高网络的兼容性以及围栏翻越检测系统的识别效果㊂参考文献［１］吉根林，许振，李欣璐，等．监控视频中异常事件检测技术研究进展［Ｊ］．南京航空航天大学学报，２０２０，５２（０５）：６８５－６９４．［２］陈俊杰，杨淑爱，黄坤山．一种基于维度分解的候选区域提取方法与流程：中国，ＣＮ１１２６８６２５１Ａ［Ｐ］．２０２０－１２－２５．［３］马琳琳，马建新，韩佳芳，等．基于ＹＯＬＯｖ５ｓ目标检测算法的研究［Ｊ］．电脑知识与技术：学术版，２０２１，１７（２３）：４．［４］筑博智慧建筑研究中心．ＡＩ㊁深度学习与计算机视觉（续３）－百度文库［ＥＢ／ＯＬ］．［２０２２－０４－２１］．ｈｔｔｐ：／／ｂａｉｄｕ．ｃｏｍ．［５］Ａｄｍｉｎ．深入浅出Ｙｏｌｏ系列之Ｙｏｌｏｖ３＆Ｙｏｌｏｖ４核心基础知识完整讲解［ＥＢ／ＯＬ］．［２０２０－０６－０４］．ｈｔｔｐｓ：／／ｚｈｕａｎｌａｎ．ｚｈｉｈｕ．ｃｏｍ／ｐ／１４３７４７２０６．［６］焦双健，孙萌雪．基于深度学习的口罩佩戴状态目标检测系统设计［Ｊ］．单片机与嵌入式系统应用，２０２１，２１（１１）：５－９．７７１第４期李瑷嘉，等：校园围栏场景下的异常行为检测系统。
基于预测与重构的桥梁异常状态检测模型目录一、内容概括 (2)1. 研究背景与意义 (3)2. 国内外研究现状 (5)3. 论文研究目的及内容 (6)二、桥梁异常状态检测基础 (7)1. 桥梁结构基本知识 (9)2. 桥梁异常状态分类及特征 (9)3. 桥梁状态检测常用方法 (11)三、预测模型建立 (12)1. 数据收集与预处理 (14)2. 预测模型选择 (14)3. 模型参数优化与训练 (17)四、重构模型建立 (19)1. 重构原理及流程 (20)2. 重构模型设计 (20)3. 模型验证与评估 (22)五、基于预测与重构的桥梁异常状态检测模型构建 (23)1. 模型整合框架 (25)2. 模型工作流程 (26)3. 模型关键技术与创新点 (28)六、实验与分析 (30)1. 实验设计 (31)2. 实验数据与处理 (33)3. 实验结果分析 (34)七、模型应用与性能评估 (35)1. 模型在不同桥梁异常状态检测中的应用 (36)2. 模型性能评估指标及方法 (37)3. 模型性能优化策略 (39)八、结论与展望 (40)1. 研究成果总结 (41)2. 研究不足之处及改进建议 (42)3. 对未来研究的展望 (44)一、内容概括本文提出了一种基于预测与重构的桥梁异常状态检测模型，旨在实时监测桥梁的健康状况，及时发现并预警潜在的安全隐患。
该模型结合了预测方法和重构技术，通过对桥梁结构性能的深入分析，实现了对异常状态的精准识别和有效处理。
在构建模型过程中，我们首先收集并整理了大量的桥梁历史数据，包括荷载试验、振动测试、环境监测等，为模型的训练提供了丰富的素材。
利用机器学习算法对历史数据进行深度学习，提取出影响桥梁稳定性的关键特征，并建立了一个稳健的预测模型。
这个预测模型能够准确预测桥梁在未来时段内的性能变化趋势，为异常状态的早期发现提供了有力支持。
为了实现对异常状态的精准检测，我们采用了基于预测与重构的混合方法。
利用计算机研究非遍历Markov链
金少华;侯家玺
【期刊名称】《天津理工学院学报》
【年(卷),期】1995(011)001
【摘要】本文给出一种利用计算机研究非遍历马尔可夫链的方法。
【总页数】3页(P15-17)
【作者】金少华;侯家玺
【作者单位】不详;不详
【正文语种】中文
【中图分类】O211.62
【相关文献】
1.一类奇异 Markov链的遍历性 [J], 李冬霞;李星星;逯玲娜
2.用C语言编程分析非周期Markov链的遍历性 [J], 尹宏鹏;宋庆峰;路啸
3.P一致遍历Markov链的矩不等式 [J], 张小彩;杜红霞
4.有限齐次Markov链遍历性的快速判定 [J], 王伟贤
5.绕积Markov链的不变测度及遍历极限 [J], 薛乃华;肖争艳;胡迪鹤
因版权原因，仅展示原文概要，查看原文内容请购买。
采用shell命令和隐Markov模型进行网络用户行为异常检测田新广;段洣毅;孙春来;李文法【期刊名称】《应用科学学报》【年(卷),期】2008(026)002【摘要】异常检测是目前网络入侵检测领域研究的热点内容.提出一种基于shell 命令和隐Markov模型(HMM)的网络用户行为异常检测方法,该方法利用shell会话中用户执行的shell命令作为原始审计数据,采用特殊的HMM在用户界面层建立网络合法用户的正常行为轮廓.HMM的训练中采用了运算量较小的序列匹配方法,与传统的Baum-Welch训练算法相比,训练时间有较大幅度的降低.在检测阶段,基于状态序列出现概率对被监测用户当前行为的异常程度进行分析,并考虑到审计数据和用户行为的特点,采用了较为特殊的判决准则.同现有的基于HMM和基于实例学习的检测方法相比,文中提出的方法兼顾了计算成本和检测准确度,特别适用于在线检测.该方法已应用于实际入侵检测系统,并表现出良好的检测性能.【总页数】7页(P175-181)【作者】田新广;段洣毅;孙春来;李文法【作者单位】北京交通大学,计算技术研究所,北京,100029;中国科学院,计算技术研究所,北京,100080;北京交通大学,计算技术研究所,北京,100029;中国科学院,计算技术研究所,北京,100080;北京交通大学,计算技术研究所,北京,100029;中国科学院,计算技术研究所,北京,100080【正文语种】中文【中图分类】TP393【相关文献】1.基于shell命令和Markov链模型的用户行为异常检测 [J], 田新广;孙春来;段洣毅2.基于Shell命令和DTMC模型的用户行为异常检测新方法 [J], 肖喜;翟起滨;田新广;陈小娟3.基于shell命令和多重行为模式挖掘的用户伪装攻击检测 [J], 田新广;段洣毅;程学旗4.基于Shell命令和共生矩阵的用户行为异常检测方法 [J], 李超;田新广;肖喜;段洣毅5.基于用户与网络行为分析的主机异常检测方法 [J], 郭志民;彭豪辉;牛霜霞;邵坤;吕卓;王伟因版权原因，仅展示原文概要，查看原文内容请购买。
基于模式识别的异常检测与故障诊断在现代工业生产过程中，异常检测与故障诊断是关键的环节，它们可以帮助企业及时发现问题并采取措施进行修复，保证生产流程的正常运行。
而基于模式识别的方法在异常检测与故障诊断领域发挥着重要的作用，其能够通过分析数据的模式变化来判断是否存在异常或故障，并提供有效的解决方案。
异常检测是通过对数据的实时监测和分析，发现与正常模式不一致的情况。
在工业生产中，异常可能来自于设备的损坏、操作者的错误、供应链的中断等各种因素。
基于模式识别的异常检测方法通过收集大量的历史数据，并训练模型来识别正常的数据模式。
一旦新的数据与已知模式不相符，就会触发异常警报。
在这种方法中，数据可以包括传感器采集的温度、压力、振动等参数，也可以是生产过程中的原始数据。
基于模式识别的异常检测方法的优势在于它可以根据实际情况进行自动学习。
传统的基于规则的方法需要人工定义规则集，但在复杂的工业环境下，很难穷尽所有的可能情况。
而基于模式识别的方法可以根据历史数据自动提取特征，并通过训练模型来识别异常。
这种自动学习的方式可以大大降低人工干预的成本，并提高异常检测的准确性。
故障诊断是在异常检测的基础上进一步分析异常的原因，并给出相应的解决方案。
基于模式识别的故障诊断方法通过深入分析不同参数之间的关联性，找出与故障相关的模式。
通过模式匹配和对比，可以准确地找出导致故障的原因，并提出相应的修复措施。
在这个过程中，模型的训练和优化是至关重要的一步，它需要大量的历史数据和专业知识的支持。
在实际应用中，基于模式识别的异常检测与故障诊断方法已经被广泛应用于各个行业。
例如，在制造业中，它可以用于检测设备运行的异常行为，防止设备故障引起的生产中断。
在电力系统中，它可以用于检测电网的异常状态，及时采取措施避免系统故障。
在交通运输领域，它可以用于检测交通事故的发生概率，提前采取交通管制措施。
然而，基于模式识别的异常检测与故障诊断方法仍然存在一些挑战和限制。
复杂网络社区发现与异常检测技术研究随着互联网的快速发展，人们之间的联系日益紧密。
在这个全球化的时代，网络已成为人们日常生活交流的重要平台。
复杂网络作为网络中的一个重要组成部分，具有复杂的结构和多样的连接方式，例如社交网络、电子邮件网络、蛋白质相互作用网络等。
研究复杂网络社区发现和异常检测技术，有助于我们更好地理解网络结构，并发现其中存在的隐藏规律和异常现象。
复杂网络社区发现是指将网络中相互连接紧密、内部结构相对独立的节点集合识别出来。
社区结构的发现有助于我们了解网络中节点之间的关系模式，可以帮助我们预测节点的行为、分析信息的传播路径等。
目前，有许多方法被提出用于社区发现，例如基于连接的方法、基于节点相似度的方法和基于模块性的方法等。
基于连接的方法主要是通过分析节点之间的边权重来划分社区。
其中，最为著名的方法是Girvan-Newman算法，该算法通过不断删除网络边上的介数中心性最高的边来划分社区。
然而，这类方法在处理大规模网络时效率较低。
为了解决此问题，研究人员提出了许多快速有效的社区发现算法，例如Louvain算法和Label Propagation算法等。
这些算法通过优化社区内部的连接强度和社区之间的连接弱度来划分社区，以实现高效的社区发现。
基于节点相似度的方法主要是通过度量节点之间的相似度来划分社区。
例如，通过计算节点之间的相似度矩阵，可以使用层次聚类或谱聚类等方法来将相似的节点聚集在一起形成社区。
此外，还有一些基于内容的方法，通过分析节点的属性值来划分社区。
例如，在社交网络中，可以根据用户的兴趣爱好来划分用户社区。
这些方法可以有效地挖掘网络节点之间的隐含模式，并找出潜在的社区结构。
除了社区发现，异常检测在复杂网络研究中也起着重要的作用。
异常节点是指与其他节点不同的节点，其行为或属性与网络中其他节点存在较大差异。
异常节点的存在可能对网络的正常运行产生不良影响，因此需要进行及时发现和处理。
异常检测技术可以帮助我们发现这些异常节点，并采取相应措施以维护网络的稳定性。
计算机研究与发展ISSN1000-1239P CN11-1777P T P Journal of Computer Research and Development44(9):1538~1544,2007基于系统调用和齐次Markov链模型的程序行为异常检测田新广1,3高立志2,3孙春来3张尔扬11(国防科学技术大学电子科学与工程学院长沙410073)2(清华大学电子工程系北京100084)3(北京交通大学计算技术研究所北京100044)(tianx inguang@1631com)Anomaly Detection of Program Behaviors Based on System Calls and Homogeneous Markov Chain ModelsT ian Xinguang1,3,Gao Lizhi2,3,Sun Chunlai3,and Zhang Eryang11(School of Electr onic Science and Engineer ing,N ational Univer sity of D e f ense T echnology,Changsha410073)2(Dep ar tment of Electr onic Engineering,T singhua Univer sity,Beij ing100084)3(I nstitute of Comp uting T echnology,Beij ing Jiaotong Univ ers ity,Beij ing100044)Abstract Anomaly detection is the major direction of research in intrusion detection1Presented in this pa-per is a new method for anom aly detection of program behav iors,w hich is applicable to host-based intrusion detection systems using system calls as audit data1The method constructs a one-order homogeneous M arkov chain to represent the norm al behavior profile of a privileged program,and associates the states of the ho-mogeneous M arkov chain w ith the unique system calls in training data1At the detection stage,the occur-rence probabilities of the state sequences of the M arkov chain are com puted,and two different schemes can be used to determine w hether the monitored prog ram.s behaviors are normal or anomalous w hile the partic-ularity of program behav iors is taken into account1T he method g ives attention to both computational eff-i ciency and detection accuracy1It is less computationally ex pensive than the method based on hidden M arkov models introduced by Warrender et al,and is more applicable to on-line detection1Compared w ith the methods based on system call sequences presented by H ofmey r and Forrest,the method in this paper can achieve higher detection accuracy1The study empirically demonstrates the promising performance of the method,and it has succeeded in getting application in practical host-based intrusion detection systems1Key words intrusion detection;M arkov chain;anomaly detection;program behavior;system call摘要异常检测是目前入侵检测领域研究的热点内容1提出一种新的基于系统调用和M arkov链模型的程序行为异常检测方法,该方法利用一阶齐次M arkov链对主机系统中特权程序的正常行为进行建模,将Markov链的状态同特权程序运行时所产生的系统调用联系在一起,并引入一个附加状态; Markov链参数的计算中采用了各态历经性假设;在检测阶段,基于状态序列的出现概率对特权程序当前行为的异常程度进行分析,并根据Markov链状态的实际含义和程序行为的特点,提供了两种可选的判决方案1同现有的基于隐Markov模型和基于人工免疫原理的检测方法相比,提出的方法兼顾了计算成本和检测准确度,特别适用于在线检测1该方法已应用于实际入侵检测系统,并表现出良好的检测性能1关键词入侵检测;M arkov链;异常检测;程序行为;系统调用中图法分类号T P393收稿日期:2006-04-27;修回日期:2007-05-23基金项目:国家/八六三0高技术研究发展计划基金项目(863-307-7-5);北京首信集团重大科研基金项目(050203)网络入侵检测技术主要有两种基本类型,即异常检测和误用检测[1]1目前,异常检测是入侵检测研究的主要方向,这种检测技术建立系统、用户或程序的正常行为轮廓,通过被监测对象的实际行为与正常行为轮廓之间的比较和匹配来检测入侵,其优点是不需要过多有关系统缺陷的知识,具有较强的适应性,并且能够检测出未知的入侵模式,异常检测的主要缺点是虚警概率较高1近年来,针对用户和程序行为的异常检测得到了较多的研究和应用[1-10]1文献[1,3]研究了基于隐M arkov模型(HM M)的用户行为异常检测方法,这种方法的主要优点是检测准确率高,但是HM M训练和工作中所需要的计算量比较大[3],检测效率和实时性较差1文献[4-5]分别提出了基于HM M的程序行为异常检测方法,其中文献[4]的方法对每种特权程序(如sendm ail,log in)建立一个HM M,采用Baum-Welch算法训练HM M,并利用先验知识对HM M参数进行初始化,该方法的主要不足是HM M训练的计算成本很高[4];文献[5]的方法是HM M在二元分类问题中较为典型的用法,实验表明,该方法在训练数据充足的情况下能够获得比较高的检测准确率1文献[7-8, 11]分别研究了基于系统调用序列和人工免疫原理的程序行为异常检测方法,这些方法的共同优点是原理较为简单,可操作性强,对程序行为的变化有较强的适应能力1但是,它们在检测阶段仅通过序列比较或相似度计算来分析程序当前行为的异常程度,而没有考虑系统调用序列在训练数据中的出现频率和不同序列之间的相关性,因而检测的准确率相对较低1在以上工作的基础上,本文提出一种新的基于系统调用和Markov链模型的程序行为异常检测方法,该方法兼顾了计算成本和检测准确率,具有较强的实用性1同文献[4]中基于HM M的检测方法相比,该方法的计算复杂度较低,更适用于在线检测;而与文献[7-8]中基于系统调用序列和人工免疫原理的检测方法相比,该方法则在检测准确率方面具有较大优势1目前,该方法已应用于国防科技大学和北京首信集团联合研制的分布式入侵检测系统中,并表现出良好的检测性能11齐次Markov链的概念与定义M arkov链是状态和时间参数都离散的M arkov 随机过程,其定义如下:定义11对于随机序列X n,在任一时刻n,它可以处在状态H1,H2,,,H N上(其状态集合为8q= {H1,H2,,,H N}),如果该随机序列在m+k时刻所处的状态为q m+k的概率,只与它在m时刻的状态q m有关,而与m时刻之前它所处的状态无关,即P(X m+k=q m+k P X m=q m,X m-1=q m-1,,,X1=q1)=P(X m+k=q m+k P X m=q m),(1)则称X n为M arkov链1式(1)中q1,q2,,,q m, q m+k I8q={H1,H2,,,H N}1定义21对于N个状态的Markov链X n,称P ij(m,m+k)=P(q m+k=H j P q m=H i),1[i,j[N(2)为k步转移概率;如果P i j(m,m+k)与m无关时,称这个M arkov链为齐次M arkov链,此时P i j(m,m+k)=P ij(k)1当k=1时,P ij(1)称为一步转移概率,简称为转移概率,记为a ij,并记P i= P(q1=H i)1显然,0[a ij[1,且ENi=1P i=11定义31对于N个状态的齐次Markov链X n,称矩阵A=(a ij)N@N为状态转移概率矩阵,并称矢量P=(P1,P2,,,P N)为初始状态概率矢量12基于系统调用和齐次Markov链模型的程序行为异常检测新方法211基本问题的描述与审计数据的分析近年来,利用主机系统中特权程序的漏洞实施入侵已经成为一种常见的攻击方式1特权程序(如Unix系统中以Root权限运行的程序)一般具有较高的权限,入侵者可以利用这些程序在设计过程中遗留下来的漏洞和缺陷获得整个系统的控制权,进而实施攻击,这会严重威胁到整个系统的安全[12-13];例如,Finger服务程序中的一个漏洞可以使入侵者利用缓冲区溢出的方法,欺骗服务程序执行入侵者安排的恶意代码1在分布式入侵检测系统中,通过监视特权程序的运行情况来发现和识别入侵行为已成为一种重要的检测手段1现有的研究表明[4-5,7],特权程序在正常运行时所产生的系统调用具有很强的时序相关性,而当程序不正常运行时(如程序遭受攻击、被篡改或执行不经常执行的程序分支时),它所产生的系统调用与正常运行时所产生的系统调用在时序上有较为明显的差异1与文献[4-5,7]中的检测方法相同,本文提出的1539田新广等:基于系统调用和齐次Mar kov链模型的程序行为异常检测检测方法采用Unix或Linux平台上的系统调用作为审计数据1在现有的程序行为异常检测研究中,通常用/迹(trac e)0来表示程序的行为[4-5,7],迹也称系统调用流,它是程序运行过程中所产生的若干个按照时间顺序排列的系统调用1例如,某个程序产生的迹为R=(o p en,read,mmap,,,getrlimit,mmap,clo se)1在该迹中,系统调用的参数已被滤除1需要指出,迹是同进程直接对应的1确切地说,一个迹就是一个进程所产生的系统调用流1对于不同的程序来说,进程(或者迹)的含义不尽相同1对有些程序,一个进程代表一个单独的任务;而有些程序中需要由多个进程来完成一个任务1在某些程序(如named 程序)的执行中,守护进程持续运行,监视事件或等待请求,并且不时产生子进程去处理某些任务;对于非守护进程,不同的迹中所包含的系统调用个数可能相差很大[4]1212Markov链状态的确定我们提出的检测方法采用一阶齐次Markov链描述一个特权程序的正常行为轮廓;该M arkov链的状态与训练数据中互不相同的系统调用相对应1确定该Markov链状态的步骤有以下两个:1)获取该特权程序的正常行为训练数据设该特权程序的正常行为训练数据包含M个迹,分别记为R1,R2,,,R M,其中第i个迹记为R i=(s i1,s i2,,,s i r(i)),R i是该程序在历史上正常运行时产生的系统调用流(它包含r(i)个系统调用), R i中的s i j表示按时间顺序排列的第j个系统调用(这里1[i[M,1[j[r(i))1为以下分析方便,设r=r(1)+r(2)+,+r(M),r为正常行为训练数据中系统调用的总个数12)将正常行为训练数据中互不相同的系统调用提取出来,并根据这些系统调用确定M arkov链的状态集合1设正常行为训练数据R1,R2,,,R M中互不相同的系统调用共有W个,分别记为s*1,s*2,,,s*W (这里W[r),则M arkov链的状态个数为N=W +1,状态集合为8q={1,2,,,W+1},其中状态i 与系统调用s*i对应(1[i[W),状态W+1为附加状态,它对应于正常行为训练数据中未出现过的系统调用1由于特权程序产生的互不相同的系统调用比较少(一般为50个左右),而且数量稳定,所以本方法中M arkov链的状态数较少,Markov链参数的数据量也不会随着训练数据的增加而变化1213Markov链参数的计算参数计算问题是M arkov链在程序行为异常检测中应用的关键,它对检测模型的复杂度以及检测效率有很大影响1在参数计算中,我们假设W+1个状态的齐次Markov链是一个各态历经随机过程,即M arkov链状态的统计平均特性与其时间平均特性相同1这里,M arkov链的初始状态概率矢量P=(P1,P2,,,P N)用于描述特权程序正常运行时各个系统调用在初始时刻出现的概率,状态转移概率矩阵A=(a ij)N@N则用于描述各个系统调用之间的时序相关性1P=(P1,P2,,,P N)和A=(a i j)N@N的计算方法简述如下:1)分别计算系统调用s*1,s*2,,,s*W在正常行为训练数据R1,R2,,,R M中的出现次数以及它们之间相互转移的次数1设系统调用s*i在R1,R2, ,,R M中的出现次数为C i,则P i的计算公式为P i=C i P r,1[i[W,0,i=W+11(3)2)设在R1,R2,,,R M中系统调用s*i向系统调用s*j转移的次数为Z ij,Z i j即为序列(s*i,s*j)在正常行为训练数据中的出现次数,并设在训练数据中系统调用s*i向各个系统调用转移的总次数为Y i,则a ij的计算公式为a ij=Z ij P Y i,1[i[W,1[j[W,0,i=W+1,1[j[W,0,1[i[W+1,j=W+11(4)实际上,在一个程序运行过程中的不同时间段,系统调用的分布情况往往是不同的[14];而且,系统调用之间的相关性也与时间有关[11-15]1但是,在以系统调用为审计数据的程序行为异常检测中[4-5],一般都假设观测数据具有各态历经性,这可以在不过分影响检测准确率的前提下大大降低检测模型的复杂度1214检测在检测阶段,我们利用以上计算出的Markov 链参数,基于状态序列出现概率对程序当前行为的异常程度进行分析;并且,根据Markov链状态的实际含义和程序行为的特点,提供了两种判决方案,其中第1种方案采用单一窗长度和判决门限对特权程序的当前行为进行判决,对系统资源的占用较少,而第2种方案联合使用多个窗长度和判决门限对程序行为进行判决,可提高检测的实时性和准确率,实际检测中我们可根据具体的检测要求和应用环境来选择合适的判决方案1检测阶段的工作包括以下几1540计算机研究与发展2007,44(9)部分:1)获取该特权程序在被监测的时间内所产生的迹(系统调用流)1设该迹为R=(s-1,s-2,,, s-r-),它是一个长度为r-的系统调用流,其中s-i表示按时间顺序排列的第i个系统调用(1[i[r-)1在实时检测(在线检测)的情况下,R中的各个系统调用是按照时间顺序依次得到的12)由系统调用流R=(s-1,s-2,,,s-r-)生成系统调用序列流S=(S eq1,S eq2,,,S eq r--l+1),其中S eq i是按时间顺序排列的第i个系统调用序列(1[i[r--l+1), S eq i=(s-i,s-i+1,,, s-i+l-1);S中每个系统调用序列的长度都为l13)根据状态转移概率矩阵A和初始状态概率矢量P,计算S=(S eq1,S eq2,,, S eq r--l+1)中每个序列的出现概率1设在该特权程序的当前行为是正常行为的情况下,序列S eq i=(s-i,s-i+1,,,s-i+l-1)的出现概率为P(S eq i);计算P(S eq i)时,首先将S eq i中的每个系统调用分别与训练数据中互不相同的W个系统调用s*1,s*2,,,s*W进行匹配,得到每个系统调用所对应的状态,从而得到S eq i对应的状态序列Q i= (q i,q i+1,,,q i+l-1),其中q j是系统调用s-j所对应的状态(i[j[i+l-1);如果s-j=s*k,则q j=k (这里,1[k[W),如果s-j与s*1,s*2,,,s*W中的任何一个系统调用都不相同,则q j=W+11 P( S eq i)的计算公式为P( S eq i)=P(Q i)=P(s-i)P(s-i+1P s-i)#P(s-i+2P s i+1),P(s-i+l-1P s-i+l-2)=P(q i)#P(q i+1P q i)P(q i+2P q i+1),P(q i+l-1P q i+l-2)= P(q i)F i+l-2k=i P(q k+1P q k),(5)式(5)中,P(q i)表示在该特权程序的当前行为是正常行为的情况下q i的出现概率;如果q i=g,则P(q i)=P g;P(q k+1P q k)表示在该特权程序的当前行为是正常行为的情况下,从状态q k到q k+1的转移概率;设q k=m,q k+1=n,则P(q k+1P q k)=a m n1这里,1[g,m,n[W+11利用以上方法依次计算S=(S eq1,S eq2,,, S eq r--l+1)中每个序列的出现概率,可以得到概率序列P=(P(S eq1),P( S eq2), ,,P( S eq r--l+1))14)根据S=(S eq1,S eq2,,,S eq r-l+1)中每个序列的出现概率,判断该序列是否为正常序列1这里,需要设定一个概率门限a1对于S=(S eq1,S eq2,,,S eq r--l+1)中的每个序列 S eq i,如果P(S eq i)>a,则认为 S eq i是正常序列,并记class(S eq i)=1;如果P(S eq i)[a,则认为S eq i是异常序列,并记class(S eq i)=01经过以上操作,可得到序列C=(class(S eq1),class(S eq2),,, class(S eq r--l+1))15)对序列C和概率序列P进行加窗处理,得到判决值,并根据判决值和预先设定的判决门限对该特权程序的当前行为进行判决1我们通过大量的实例分析发现,遭受攻击的程序(进程)通常仅在其运行过程中某些较短的时间段内集中表现出异常,而在其他时间段内其行为同正常情况下的行为差别很小1考虑到程序行为的以上特点,我们并不直接利用class(S eq i)或P( S eq i)进行判决,而是通过对序列C=(class(S eq1), class(S eq2),,,class(S eq r--l+1))和概率序列P= (P(S eq1),P( S eq2),,,P( S eq r--l+1))进行加窗处理来得到判决值,进而对特权程序的当前行为作出判决1在进行判决值计算和行为判决时,有以下两种方案可以选择1第1种方案:设定一个窗长度w和一个判决门限K,并按照式(6)计算判决值:D(n)=1wE ni=n-w+1class( S eq i),(6)式(6)中,D(n)表示系统调用序列S eq n对应的判决值,且w[n[r--l+1,n的增长步长为11D(n)等于以S eq n为终点的w个系统调用序列(即S eq n-w+1,S eq n-w+2,,,S eq n)中正常序列的比例1系统调用序列流S=(S eq1, S eq2,,,S eq r--l+1)中第w个系统调用序列及其后面的每个系统调用序列都分别对应一个判决值1在计算出判决值D(n)后,即可根据D(n)和判决门限对该特权程序的当前行为作出判决1判决方法为如果D(n)大于或等于判决门限K,将该特权程序的当前行为判为正常行为;否则,将其判为异常行为1这里,该特权程序的当前行为是相对于S eq n而言的,它是指该特权程序执行的以 S eq n为终点的w个系统调用序列S eq n-w+1, S eq n-w+2, ,, S eq n,也是指该程序执行的以s-n+l-1为终点的w+l-1个系统调用,即s-n-w+1,s-n-w+2,,, s-n+l-11第2种方案:设定V个窗长度w(1),w(2), ,,w(V),且w(1)<w(2)<,<w(V);设定V1541田新广等:基于系统调用和齐次Mar kov链模型的程序行为异常检测个判决上限u(1),u(2),,,u(V)和V个判决下限d(1),d(2),,,d(V),其中u(k)和d(k)是第k 个窗长度w(k)对应的判决上限和判决下限(1[ k[V),且u(1)>u(2)>,>u(V-1)>u(V)= d(V)>d(V-1)>,>d(2)>d(1),然后按照以下方法计算系统调用序列S eq n对应的判决值并对该特权程序的当前行为作出判决:步骤11设定k B=1(这里1[n[r--l+1)1步骤21将n同w(k)进行比较1如果n< w(k),则不计算判决值,也不对该特权程序的当前行为进行判决,并不再执行下面的步骤1如果n\ w(k),执行步骤31步骤31计算S eq n对应的判决值D(n,k):D(n,k)=1w(k)E ni=n-w(k)+1sg n[P(S eq i)-a]=1 w(k)E ni=n-w(k)+1sg n[P(q i)F i+l-2j=i P(q j+1P q j)-a]1(7)步骤41判断是否满足判决条件:D(n,k)> u(k)1如果满足该条件,则将该特权程序的当前行为判为正常行为;至此,对系统调用序列S eq n对应的程序当前行为的判决结束,不再执行下面的步骤1如果不满足D(n,k)>u(k),执行步骤51步骤51判断是否满足判决条件:D(n,k)[ d(k)1如果满足该条件,则将该特权程序的当前行为判为异常行为;至此,对系统调用序列S eq n对应的程序当前行为的判决结束1如果不满足D(n,k) [d(k),执行步骤61步骤61k B=k+1,即k的值增加1,并返回执行步骤21需要指出,在实时检测(在线检测)的情况下,审计数据R的获取、系统调用序列流S的生成、判决值的计算以及对该特权程序当前行为的判决都是同步进行的1在该特权程序产生出w+l-2或w(V)+l-2个系统调用后,每当它产生出一个新的系统调用时,就可以组成一个新的系统调用序列,然后计算该序列的发生概率,进而得到一个(新的)判决值,并对其当前行为作一次判决1在不考虑判决值计算时间的情况下,采用第1种判决方案时该方法的平均检测时间(从该特权程序开始产生系统调用到检测系统对其行为第1次作出判断的平均时间)为w+l-1个系统调用的平均持续时间13特点分析以上基于系统调用和Markov链模型的程序行为异常检测方法兼顾了计算成本和检测准确率,检测模型的复杂度适中,具有较强的实用性,其特点主要有以下几个:1)该方法将M arkov链的状态与特权程序所产生的互不相同的系统调用对应在一起,Markov链的状态个数少而且稳定1与文献[7-8,11]中基于系统调用序列和人工免疫原理的检测方法相比,该方法所需存储的数据量(包括Markov链状态对应的系统调用和M arkov链参数)比较少,且不会随着训练数据的增加而变化12)Markov链参数的计算中采用了各态历经性假设,计算方法较为简单1而且当有了新的训练数据时,可以只利用这些新数据对M arkov链参数进行加权更新,而不需要像文献[5]中的方法那样用全部训练数据对模型参数进行重新计算13)同文献[4-5]提出的基于HM M的检测方法相比,该方法在检测阶段的计算复杂度较低,更适用于在线检测1在实际应用中,通过优化系统调用的匹配方式和对状态转移概率矩阵的检索方式,还可以进一步提高该方法的检测速度14)与文献[7-8,11]中的检测方法相比,该方法在检测阶段考虑了系统调用在训练数据中的出现频率以及系统调用之间的时序相关性,能够更加精确地描述程序行为的异常程度,因而具有更高的检测准确率15)该方法对程序行为进行判决时具有较强的灵活性1在检测阶段提供了两种可选的判决方案,并且可以根据具体的检测要求调整概率门限和判决门限,从而对虚警概率和检测概率进行较为精细的控制14实验设计与结果分析我们利用美国新墨西哥大学(U NM)公开发布的sendmail程序实验数据对以上检测方法的性能进行了实验1该数据共包括sendmail程序的85个迹(系统调用流),其中正常的迹有79个,包含攻击行为的迹有6个(这些迹中包含sccp攻击和decode攻击)1实验时,67个正常的迹作为正常行为训练数据用于M arkov链状态的确定和参数计算,其余12个正常的迹和6个含有攻击行为的迹则作为测试数据用于检测性能的测试1在实验过程中,正常行为训1542计算机研究与发展2007,44(9)练数据中共有48个互不相同的系统调用,所以M arkov 链的状态数为N =49;图1和图2分别示出了Markov 链的初始状态概率和状态转移概率1由图1和图2可见,仅有少量的状态具有较高的初始概率,而且,状态转移概率的分布极不均匀,这说明sendmail 程序在正常运行时所产生的系统调用具有很强的时序相关性1在实验的检测阶段,采用第1种方案计算判决值并对程序行为进行判决,并将系统调用序列的长度l 设为6,概率门限a 设为10-10,窗长度w 设为20,判决门限K 设为01751图3给出了在检测阶段得到的判决值曲线,图3中的实线是正常行为测试数据对应的判决值曲线(该曲线的最小值是0195),虚线则是攻击行为测试数据对应的判决值曲线(该曲线的最小值为015)1F ig 11 T he init ial probabilit y distribution graph 1图1 M ar kov链的初始状态概率图Fig 12 T he transition probability matr ix g raph 1图2 M arkov链的状态转移概率图Fig 13 T he curve of the decision values 1图3 判决值曲线此外,我们还利用以上实验数据对文献[4,7]中检测方法的性能进行了实验,文献[4]检测方法的实验中将HMM 的状态数设为48,训练时H MM 的初始参数为随机值;文献[7]检测方法的实验中将系统调用序列的长度设为6,窗长度设为201表1给出了针对3种检测方法的实验结果1Table 1 The Experimental Results of the Three Methods表1 三种检测方法对应的实验结果Performance IndexFalse Positive Rate(%)T rue Posi tive Rate(%)False Positi ve Times Experimental Durati on(s)The Results of the M ethod in This Paper 08309120The Results of the M ethod in Reference[7]01126778665The Results of the M ethod in Reference [4]86693216由表1的实验结果可见,本文提出的检测方法对攻击行为的检测概率明显高于文献[7]中的检测方法,但略低于文献[4]中的检测方法1表中的实验时间是指实验中进行训练(参数计算)和检测所需要的时间,该指标与检测方法的计算成本成正比,并在一定程度上反映了检测的实时性1根据实验结果,本文中检测方法的计算成本略高于文献[7]中的检测方法,但远低于文献[4]中的检测方法1可见,本文中检测方法的综合性能优于文献[4,7]中的检测方法15 结 论针对Unix 或Linux 平台上以系统调用为审计数据的入侵检测系统,本文提出一种新的程序行为异常检测方法,该方法具有较低的计算成本和很高的检测准确率,并已应用于实际的入侵检测系统1由于系统调用和shell 命令在数据形式上具有一些共性,因而该方法的检测思想也可用于以shell 命令为审计数据的用户行为异常检测,但具体的检测性能还有待进一步研究和实验1参 考 文 献[1]T Lane,E B Carla 1An empirical study of two approaches to se -quen ce learning for anomaly detection [J]1M achine Learning,2003,51(1):73-107[2]N Ye,Y Zhang,C M Borror 1Robustness of the M arkov chain model for cyber attack detection [J]1IEEE Trans on Reliabil -i ty,2003,52(3):122-138[3]T Lane 1M ach i ne learning techniques for th e computer security domain of anomaly detection:[Ph D di ssertation][D]1Purdue:Purdue University,20001543田新广等:基于系统调用和齐次Mar kov 链模型的程序行为异常检测[4]C W arrender,S Forrest,B Pearlmutter1Detecting i ntrusionsusing system calls:Alternative data models[C]1In:Proc of the1999IEEE Symp on Security an d Privacy1Los Alamitos,CA:IEEE Computer Society Press,19991133-145[5]Yan Qiao,Xie W eixin,Yang Bi n,et al1An anomaly i ntrusiondetection method based on H M M[J]1Electronics Letters,2002,38(13):663-664[6]S M ukkamala,A H Sung,A Abraham1Intrusion detection us-ing an ensemble of i ntelligent paradigms[J]1Journal of Netw orkand Computer Application,2005,28(2):167-182[7]S A Hofmeyr,S Forrest,A Somayaji1Intrusion detection usi ngsequences of sys tem calls[J]1Journal of Computer S ecurity,1998,6(3):151-180[8]S Forrest,S A Hofm eyr,A Somayaji1Computer immunology[J]1Comm unicati ons of the ACM,1997,40(10):88-96 [9]S Cho,S H an1T wo sophisticated techniques to improve HM M-based intrusion detection systems[J]1Int.l Symp on RecentAdvances in Intrusi on Detection,Pittsburgh,USA,2003 [10]W Lee,X Dong1Information-th eoretic measures for anomalydetection[C]1In:Proc of the2001IEEE Symp on S ecurityand Privacy1Los Alami tos,CA:IEEE Computer Society Press,20011130-134[11]T ian Xinguang1Anomaly detection methods for host-based in-trusion detection systems:[Ph D dissertation][D]1Changsha:National Un iversity of Defense T echnology,2005(in Ch i nese)(田新广1基于主机的入侵检测方法研究:[博士论文][D]1长沙:国防科学技术大学,2005)[12]Li H ui,Guan Xiaohong,Zan Xin,et al1Netw ork intrusion de-tection based on support vector machine[J]1Journal of Comput-er Research and Development,2003,40(6):799-807(in Ch-inese)(李辉,管晓宏,昝鑫,等1基于支持向量机的网络入侵检测[J]1计算机研究与发展,2003,40(6):799-807)[13]T Verw oerd,R Hunt1Intrusion detection techniques and ap-proaches[J]1Computer Communication,2002,25(15):1356 -1365[14]T ian Xinguang,Gao Lizhi,Zhang Eryang1Intrusion detectionmethod based on machine learning[J]1Journal on Communica-tions,2006,27(6):108-114(in Chinese)(田新广,高立志,张尔扬1新的基于机器学习的入侵检测方法[J]1通信学报,2006,27(6):108-114)[15]Sun Hongw ei,T ian Xi nguang,Li Xuechun,et al1An im-proved anomaly detection model for IDS[J]1Chinese Journal ofComputers,2003,26(11):1450-1455(in Chinese)(孙宏伟,田新广,李学春,等1一种改进的IDS异常检测模型[J]1计算机学报,2003,26(11):1450-1455)Tian X inguang,born in19761Post doctor1Received his B1S1,M1S1and Ph1D1de-grees from the N ational U niversity o f De-fense T echnology,Changsha,China,in1998,2001and2005respectively1His cur-rent research interests are network secur ity, intrusion detection,and dig ital sig nal pr ocessing1田新广,1976年生,分别于1998、2001和2005年在国防科技大学获工学学士、硕士和博士学位,现为北京交通大学博士后,主要研究方向为网络安全、入侵检测、信号与信息处理1Gao Lizhi,born in19661Ph1D1and asso-ciate professor1His cur rent research interestsinclude netwo rk security and intrusion detec-tion1高立志,1966年生,博士,副教授,现为清华大学博士后,主要研究方向为网络安全、入侵检测1Sun Chunlai,bor n in19621M aster and se-nior engineer1She is a senio r member ofChina Computer Federation1Her main re-sear ch interests are intrusion detection andfirewall technique1孙春来,1962年生,硕士,高级工程师,中国计算机学会高级会员,主要研究方向为入侵检测、防火墙技术1Zhang Eryang,born in19411Professor andPh1D1super visor1H is main research inter-ests are information secur ity and signal pro-cessing1张尔扬,1941年生,教授,博士生导师,中国通信学会会士,中国密码学会理事,主要研究方向为信息安全、信号处理1Research BackgroudT he research of this paper is supported by the N at ional H igh T echnology Research and Development Progr am of China(No1 863-307-7-5)and the Research Foundation of Beijing Capital Group Cor poration(No1050203)1T hese projects aim to develop a dis-tr ibuted intr usion detectio n system for military networ ks to detect attacks and suspicious activities both at the networ k level and at the host level,and partly concentr ate on anomaly detect ion of user and progr am behaviors1T he aut hors have focused their wor k on the development of the distributed intrusion detection syst em for a long while,and have published several papers in international confer-ences and journals1In recent y ears,many computationally sophist icated methods for anomaly detection of user or program behaviors have been developed,but there are few wel-l accepted met hods in widespread use1T his paper presents a novel method for anomaly de-tect ion of prog ram behaviors,which uses system calls as audit data and constr ucts a specific M arkov chain to repr esent t he normal be-havior profile of a privileg ed prog ram1Compared wit h the anomaly detection method based o n hidden M ar kov models introduced by Warrender and the methods based on system call sequences presented by Hofmeyr and Forrest,the met hod in this paper g ives atten-tion to both computational efficiency and detection accuracy,and bears hig her practicabilit y1It has succeeded in getting application in t he distributed intrusion detection system11544计算机研究与发展2007,44(9)。
