网络运维数据的异常检测

92《有线电视技术》 2018年第2期 总第338期

·NGB综合技术实验室专栏·聚焦运营商

1 引言随着广电网业务的不断发展，网络用户的使用量显著增长，网络的服务质量要求越来越高，如何保证网络可以正确高效的运行对网络运营商来说十分关键。这就要求在网络运维中必须对出现的网络异常有着清晰准确的检测与处理。网络在运转的同时，会产生大量的数据，这些数据体现了网络的工作情况与性能，如何处理这些运维数据，对于提高网络的安全、服务质量有着非常重大的意义。网络运维数据包括多方面内容，大致可以分为三个层面：第一个层面是指工程数据，主要指网络或工程运行时产生的大量数据，比如说系统资源数据、基础报警数、运营时的故障数据等；第二层面是指业务数据，指

的是在业务应用时产生的数据，比如业务切换数据、业务调用数据、日志数据等；第三个层面是指数据可视化。在网络数据运维时，尤其是异常检测领域，面临着许多的挑战。其中最重要的有两点，第一点是异常定义的挑战。只有专门领域的人员通过观察日志信息，才可以准确的判断出异常，而且异常的种类千差万别，并没有一个清晰通用的定义。第二点是数据量的增大导致了异常检测的人力资源和时间消耗过大。随着网络的发展，随之而来的就是数据量的增大，越来越多的运维数据产生，为了能准确全面的找到异常，需要投入大量的专业人士花费更多的时间去查找。所以为了解决这些挑战，就需要不断的提高异常检测技术的效率。运维数据从本质上来讲是多种时

间序列，而本文着重介绍如何针对时间序列来定义异常以及如何检测异常。异常的定义分为两种形式，一种是异常点，另一种是异常模式。而面向时间序列的异常检测技术主要分为基于统计学的检测方法、基于距离的检测方法、基于机器学习的检测方法以及基于符号化聚合近似（SAX）的检测方法。本文主要介绍了多种异常检测技术，架构如图1所示。

2 异常定义

2.1 异常点的定义所谓的异常点是指在给定的数据集中与众不同的数据，在不同的领域也可以叫做噪声、孤立点等。从名字可知，它与其余的点相比，有着显著的区别，这种区别让人们怀疑这并不

网络运维数据的异常检测宋旭翃 东方有线网络有限公司逄钰 复旦大学计算机科学技术学院

摘要：随着用户对网络服务质量要求的提高，以及网络运维强度的增加，网络的运维所需要收集和统计的数据也越来越多。网络在工作的过程中不可避免的会产生各种异常，而为了保障网络能高效正常的运转，异常的检测变得至关重要。本文主要研究如何定义网络运维数据中异常以及多种面向运维数据的异常检测技术。关键词：智能运维 异常检测 时间序列 机器学习

（5）安全性要求：针对特定场景的组网设备及终端设备，要具有很高的安全特性。

4 结束语

随着智能技术的蓬勃发展，以家庭为单位的应用需求越来越大，家庭

物联网、家庭云、家庭监控等新型家庭业务方兴未艾，家庭业务市场已经成为各大运营商奋力争取的战略高地。通过对家庭业务的参数分析，了解业务对网络的承载需求，可以更好地保障家庭全业务顺利落地，提升用户的业务感知度。

参考文献[1]刘剑锋.基于单片机的远程智能家居控制系统设计[J].中国新通信,2015(5).[2]何燕燕.物联网智能家居的发展及趋势研究[J].无线互联科技,2016(22).[3]朱顺兵 张永刚. 物联网智能家居的集成技术与应用服务研究[J].智能建筑与城市信息,2013(2).[4]何欣,宋亚林,安健,等.移动感知物联网技术研究[J].计算机应用研究,2011(7).CATV93

·NGB综合技术实验室专栏·《有线电视技术》 2018年第2期 总第338期聚焦运营商

是存在偏差，而是由不同的机制产生。这种异常点具有以下几个特点。（1）异常点具有相对性，假设不同的分布模型，会得到不同的异常点结论。（2）异常点从直观上看来是令人感到惊讶的、突兀的存在。（3）在不同的挖掘领域内，异常点的定义都不相同，这体现了其有非常强的主观性。异常点通常适用于数据集中的对象不存在任何顺序关系的普通数据集。而一个异常点含有的信息量较少，不太适用于时间序列，于是在此基础上，定义了异常模式。

2.2 异常模式的定义所谓的异常模式是在这条时间序列上与其他模式存在着显著区别的行为异常的一种模式。进一步说，就是找出这段时间序列中，每一组符合异常定义的子序列，由一个元组表示，此元组记录了每段异常开始的时间和结束的时间。异常模式往往含有大量的信息量，可以更好的反应异常情况。而本文研究的异常检测技术大多数都是针对异常模式的。

3 异常检测技术

3.1 基于统计学的异常检测技术基于统计学的异常检测是指对于一个指定的数据集，假设存在一个特定的数学分布或者统计学模型，通过对数据集中的数据与该模型的不一致性来检测异常数据。最简单的异常点检测是一维情况，这时候可以使用应用统计学，比如可以假设数据集服从某种数学分布，如正态分布，之后寻找出其中用于做检

测的参数，如方差和均值。在此基础上，确定期望的数目，得到需要的阈值，所有不满足阈值，在阈值之外的点认为是异常点。基于统计的异常检测是在已知规律的数据集符合某种数学分布的情况下，用不一致性来检测数据的异常及异常点的个数。但是这种方法并不适用于所有数据集，它存在着两个比较大的问题。一是这种方法往往用来对一维数据进行检验，对于多维的数据，统计学的方法并不能很好的检测出异常点。而实际上，对于许多如视频图像、位置信息等高维数据进行挖掘是很普遍的现象。二是统计学的方法针对具有一定数学规律分布的数据集效果很好，但是多数的数据集并不发现其规律的数学分布，当分布未知的情况下，这种方法并不能将所有的异常点全部找出，效果并不理想。

3.2 基于距离的异常检测技术基于距离的异常检测方法很早就已经被提出，并且有了多次的改进。这种方法提出了最近邻居的概念，并使用数据对象的最近邻居来检测异常。具体来说，就是假设存在一个数据集S，S中包含多个对象，如果将其中一

个对象O定义为异常点，那么说明在数据集S中，一定存在至少有P个对象，它们与O的距离大于D。用更加精准的定义则是：如果对象O在范围D内的邻居个数小于等于M个，M=N（1-P），N为S的总对象个数，则我们定义对象O是一个异常点，且它带有两个参数，一个是P，一个是D，记为DB（P,D）。这种基于距离的异常点检测适用于数据集中的数据不符合任何数学分布的情况，对于高维的数据也能起到很好的效果。但同时，这种方法也存在一些缺陷，比如它需要确定参数P、D，

难度比较大，并且没有规律。而且它检测到的异常点并没有体现出异常程度，所以在此基础上，也出现了多种基于距离的改进算法。

3.3 基于机器学习的异常检测技术

机器学习是目前人工智能领域的一个热点，而且机器学习非常适用于数据挖掘，因此如何把机器学习应用于异常检测成为学术界很关注的一件事情。目前的研究方法主要有三类。第一类是人工神经网络。对于时间序列的异常检测，神经网络可以通过多层感知机、自适应径向基函数网络等多种方式来完成。神经网络可以通过学习来对正常与不正常行为进行

图1 异常检测的架构图94《有线电视技术》 2018年第2期 总第338期

·NGB综合技术实验室专栏·聚焦运营商

分类。但其存在一个比较明显的问题就是计算成本太大，对于数据量太大的时间序列并不适用。第二类是支持向量机，该方法的核心是使用支持向量回归技术对历史数据建立回归模型，模型建立后，没每当新到来一个时间点，我们就检验其与模型的匹配程度，以此来确定异常点和正常点。此种方法虽然对比神经网络来说效率较高，但是理论过于复杂，模型建立的实现也具有难度。第三类是基于规则的机器学习方法，该方法的步骤如下。首先，将初始的时间序列数据进行分段（也可以是聚类）。使用聚类算法进行聚类时需要决定一个参数表示簇的数量，这个参数决定了这个时间序列最终的状态的个数。其次，对上一步产生的分段用规则描述。使用分类算法将每一种状态都产生对应的逻辑规则。最后，构造自动机。当输入的数据满足下述情况时，据此产生状态转移图。（1）匹配当前状态的特征，保持当前状态。（2）匹配下一个状态的特征，转移到下一个状态。（3）既不匹配下一个状态的特征也不匹配当前状态的特征，转移到异常状态。根据上述规则，构造一个有穷自动机。此自动机只接受正常数据，任何不被接受的数据我们认为其为异常模式，这样就能很好的检测正常序列和异常序列。3.4 基于SAX的异常检测技术2005年，Eamonn Keogh、Jessica Lin等人提出了一种基于符号化聚合近似（Symbolic Aggregate Approximation，SAX）的异常检测方法来检测时间序列中的异常模式。这种方法的主要步骤如下。第一，将初始的时间序列数据用分析逐段聚集平均（PAA）来表示。首先需要获得长度相等的多段子序列（可用滑动窗口获得）。对于一个长度为n的时间序列X= X1,X2,…,Xn，可表示成M维向量X1,X2,…,XM，M4 结语

本文详细介绍了时间序列中异常的定义以及几种异常检测技术。由于网络运维数据大部分都是时间序列，所以文中提到的基于统计学的检测方法、基于距离的检测方法、基于机器学习的检测方法以及基于SAX的检测方法都可以用来解决网络运维数据的异常检测问题，并且取得良好的效果。但针对实际的网络异常检测系统，还需要在考虑数据特征的基础上进行检测算法的设计，实现精准运维。参考文献[1] G. Mehrotra·Chilukuri K. Mohan HuaMing Huang.Anomaly Detection Principles and Algorithms .Kishan ,2017.[2] 林森.时间序列异常检测的研究与应用[D].河海大学，2008.[3] 肖辉．时间序列的相似性查询与异常检测[D]．复旦大学，2005．[4] 喻伟,陈国青.基于时序数据的延迟关联规则的挖掘[J]．计算机应用研究，2002．[5] Chiu, B., Keogh, E., & Lonardi, S. (2003). Probabilistic Discovery of Time Series Motifs. In the 9th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.[6]Kumar, N., Lolla N., Keogh, E., Lonardi, S., Ratanamahatana, C. & Wei, L. (2005). Time-series Bitmaps: A Practical Visualization Tool for Working with Large Time Series Databases. SIAM 2005 Data Mining Conference.[7] Lin, J., Keogh, E., Lonardi, S. & Chiu, B. (2003) A Symbolic Representation of Time Series, with Implications for Streaming Algorithms. In proceedings of the 8th ACM SIGMOD Workshop on Research Issues in Data Mining and Knowledge Discovery.[8] 吕军晖,周刚,金毅．一种基于时间序列的自适应网络异常检测算法[J].北京航空航天大学学报，2009，35(5)：636—639．[9] 于艳华,宋美娜,张文婷,等．网络异常点检测中性能指标阈值的动态确定方法[J].北京邮电大学学报，2011，34 (2)：45—49．[10] Li Shengtun，Lin Suyu，Cheng Yichung．A novel two-factor forecasting model for fuzzy time series[J]. Proceedings in Applied Mathematics and Mechanics，2008．CATV