下载文档原格式
Data Base Technique •数据库技术Electronic Technology & Software Engineering 电子技术与软件工程• 145【关键词】离群点 邻域 质心 不稳定因子离群点是指那些明显偏离其它数据、不满足数据的一般模式或行为，与存在的其它数据不一致的数据。
物理学中质心与稳定性间存在联系，离质心越近的点，稳定性越强，反之稳定性越弱。
Jihyun Ha 等人受这一性质的启发提出了使用不稳定因子的健壮离群点检测算法（INS 算法）。
该算法容易将处于稀疏区域与稠密区域的交界处的正常点误判为离群点。
为解决该问题本文提出了基于近邻稳定性的离群点检测算法（NSINS 算法）。
1 基于近邻稳定性的离群点检测算法1.1 算法思想本文提出了基于近邻稳定性的离群点检测算法。
该算法的主要思想是：数据集中任意一点p 的k 个最近邻组成p 的k 个邻域，其中第i 个邻域包含了p 和距离p 最近的前i 个点。
每个邻域计算两个质心。
一个质心与p 相关，即邻域中包括点p 时的质心；另一个质心与p 无关，即邻域中不包括点p 时的质心。
最后会得到两类质心，每类都有k 个。
比较这两类质心的位置变化，最终确定p 的不稳定程度。
定义与p 无关的质心考虑到了近邻的稳定性对p 不稳定因子的影响。
1.2 相关定义定义1 邻域（neighborhood ）。
点p 的邻域表示距离点p 最近的k 个点的集合，用ϭk (p)表示，即：（1）其中d(p,q)表示p ，q 之间的距离，p k 是基于近邻稳定性的离群点检测算法文/黄馨玉1 陈晓东2p 的第k 个最近邻。
当P 点计入ϭk (p)中时，ϭk (p)的基数是k+1；当p 点不计入ϭk (p)中时，ϭk (p)的基数是k 。
定义2 相关邻域质心(related centre of mass)。
点p 的相关邻域质心表示p 的邻域包括点p 时的质心，用rm k (p)表示：（2）其中X q =(x q1,...,x qd )是点q 在d 维空间中的坐标。
山 东 化 工 收稿日期：２０１８－０３－２０作者简介：王春鹏（１９８８—），男，助理工程师，２０１４年毕业于中国石油大学（华东）控制科学与工程专业，现就职于中海油石化工程有限责任公司自控室，从事石油化工自控设计工作。
基于离群点检测和分类的软测量方法王春鹏（中海油石化工程有限公司，山东济南 ２５０００１）摘要：由于测量仪表自身的故障和传感器容易受化工环境的影响会使测量的数据偏离原来的范围，导致离群点的产生，而离群点对软测量模型的预测精度产生很大的影响，因此需要排除离群点。
然而由于原料的更换或者过程的切换也会导致所测数据偏移，这些检测数据容易被误判为离群点。
针对这一问题本文引入了基于支持向量数据描述（ＳＶＤＤ）的离群点检测方法和提出了基于贝叶斯理论的离群点分类方法，并以航空煤油干点为研究对象进行仿真研究。
关键词：离群点；支持向量数据描述；贝叶斯理论；软测量中图分类号：ＴＥ９６７ 文献标识码：Ａ 文章编号：１００８－０２１Ｘ（２０１８）０９－００８４－０３ＳｏｆｔＳｅｎｓｏｒＲｅｓｅａｒｃｈＢａｓｅｄｏｎＯｕｔｌｉｅｒＤｅｔｅｃｔｉｏｎａｎｄＣｌａｓｓｉｆｉｃａｔｉｏｎＷａｎｇＣｈｕｎｐｅｎｇ（ＣＮＯＯＣＳｈａｎｄｏｎｇＣｈｅｍｉｃａｌＥｎｇｉｎｅｅｒｉｎｇＣｏ．，Ｌｔｄ．，Ｊｉｎａｎ ２５０００１，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ａｓｆａｒａｓｗｅｋｎｏｗ，ｉｔｉｓｎｅｃｅｓｓａｒｙｔｏｅｌｉｍｉｎａｔｅｓｏｍｅｕｓｅｌｅｓｓｏｕｔｌｉｅｒｓ，ｂｅｃａｕｓｅｔｈｅｏｕｔｌｉｅｒｓｒｅｓｕｌｔｅｄｆｒｏｍｔｈｅｉｎｓｔｒｕｍｅｎｔ＇ｓｆａｉｌｕｒｅａｎｄｓｅｎｓｏｒｓａｆｆｅｃｔｅｄｂｙｔｈｅｃｈｅｍｉｃａｌｅｎｖｉｒｏｎｍｅｎｔｗｉｌｌｈａｖｅａｎｉｍｐａｃｔｏｎｔｈｅｐｒｅｄｉｃｔｉｏｎａｃｃｕｒａｃｙ．Ｈｏｗｅｖｅｒ，ｔｈｅｐｒｏｂｌｅｍｉｓｔｈａｔｔｈｅｒｅｐｌａｃｅｍｅｎｔｏｆｒａｗｍａｔｅｒｉａｌｓｏｒｔｈｅｃｈａｎｇｅｏｆｐｒｏｃｅｓｓｍａｙｌｅａｄｔｏｔｈｅｄａｔａｍｉｇｒａｔｉｏｎ，ａｎｄｗｅｏｆｔｅｎｃｏｎｓｉｄｅｒｔｈｅｄａｔａｍｉｓｔａｋｅｎｌｙａｓｏｕｔｌｉｅｒｓｗｈｉｃｈｍａｙｂｅｅｌｉｍｉｎａｔｅｄ．Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ｔｈｉｓｐａｐｅｒｉｎｔｒｏｄｕｃｅｓｔｈｅｍｅｔｈｏｄｏｆｏｕｔｌｉｅｒｄｅｔｅｃｔｉｏｎｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｄａｔａｄｅｓｃｒｉｐｔｉｏｎ（ＳＶＤＤ）ａｎｄｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｏｕｔｌｉｅｒｓｔｈａｔｂａｓｅｄｏｎｔｈｅＢａｙｅｓｉａｎｃｌａｓｓｉｆｉｃａｔｉｏｎｐｒｉｎｃｉｐｌｅｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒ，ｗｉｔｈｔｈｅｄｒｙｐｏｉｎｔｏｆａｖｉａｔｉｏｎｋｅｒｏｓｅｎｅｏｉｌａｓｏｂｊｅｃｔｓｉｎｔｈｅｓｉｍｕｌａｔｉｏｎｓｔｕｄｙ．Ｋｅｙｗｏｒｄｓ：ｏｕｔｌｉｅｒ；ＳＶＤＤ；Ｂａｙｅｓｉａｎ；ｓｏｆｔｓｅｎｓｏｒ１ 在线离群点检测方法１．１ 支持向量数据描述（ＳＶＤＤ）算法理论Ｔａｘ等人提出的支持向量数据描述（ＳＶＤＤ）是解决单值分类问题的有效方法，ＳＶＤＤ是一种基于支持向量机学习的算法；通过一个非线性映射函数，把数据从输入空间映射到一个高维空间，寻找支持向量在特征空间中，构造包围与最小半径和超球体的最佳点［１］。
基于深度的离群点检测方法引言：随着大数据时代的到来，数据的规模和复杂性不断增加。
在这些海量数据中，可能存在一些与其他数据明显不同的离群点，它们可能是异常事件、故障、欺诈行为等。
因此，离群点检测成为了数据挖掘和异常检测领域的一个重要任务。
传统的离群点检测方法往往依赖于统计学或距离度量，但随着深度学习的兴起，基于深度的离群点检测方法也得到了广泛关注。
深度学习在离群点检测中的应用：深度学习是一种强大的机器学习技术，能够从数据中学习到更高层次的抽象特征表示。
在离群点检测中，深度学习可以通过学习数据的分布模式来识别离群点。
它不仅可以捕捉到数据的局部特征，还能够学习到数据的全局特征，从而提高离群点检测的准确性。
基于深度的离群点检测方法：基于深度的离群点检测方法主要包括自编码器、生成对抗网络和变分自编码器等。
1. 自编码器（Autoencoder）：自编码器是一种无监督学习方法，通过将输入数据压缩成低维编码再进行解码重建，从而学习到数据的潜在表示。
在离群点检测中，自编码器可以通过对正常数据进行重构来判断新样本是否为离群点。
如果重构误差大于某个阈值，则将其判定为离群点。
2. 生成对抗网络（Generative Adversarial Network，GAN）：生成对抗网络由生成器和判别器组成，通过对抗学习的方式来生成和判别样本。
在离群点检测中，生成器可以学习到正常数据的分布，而判别器则可以判断新样本是否为离群点。
如果生成器无法生成与正常数据相似的样本，判别器就会将其判定为离群点。
3. 变分自编码器（Variational Autoencoder，VAE）：变分自编码器是一种生成模型，通过学习潜在变量的分布来生成新样本。
在离群点检测中，变分自编码器可以通过计算样本的重构误差和潜在变量的分布来判断其是否为离群点。
如果重构误差大且潜在变量的分布与正常数据不一致，则将其判定为离群点。
优势与挑战：基于深度的离群点检测方法相比传统方法具有以下优势：1. 可以学习到更高层次的抽象特征表示，从而提高离群点检测的准确性；2. 不需要依赖于先验知识或特定的距离度量，适用于多种类型的数据；3. 可以处理高维数据和非线性数据。
基于离群点检测(LOF)的K-means算法杨红;李丹宁;王雅洁【摘要】通过对传统K均值聚类(K-means)算法各种改进算法的学习与研究,针对离群点导致聚类结果效果不理想的问题,提出将离群点检测算法(LOF)与传统K-means算法相结合,首先利用离群点检测算法对数据集进行预处理并将离群点按一定比例筛选,然后用K-means算法对数据集进行分类,将未经LOF处理的分类结果与预处理后的结果进行对比.由实验仿真结果可知,提出的算法与传统K-means算法相比较,分类效果具有更大的类间距离和更小的类内距离,聚类结果更好.【期刊名称】《通信技术》【年(卷),期】2019(052)008【总页数】5页(P1884-1888)【关键词】LOF;K-means算法;类内距离;类间距离【作者】杨红;李丹宁;王雅洁【作者单位】贵州大学大数据与信息工程学院,贵州贵阳550025;贵州大学大数据与信息工程学院,贵州贵阳550025;贵州省食品安全检测应用工程技术研究中心有限公司,贵州贵阳550022【正文语种】中文【中图分类】TP301.60 引言伴随着大数据时代的发展，各种数据信息呈现出爆炸式的增长，计算机软硬件的不断升级，让各种数据层出不穷，为了更好的利用数据中隐藏的信息，数据挖掘技术顺应时代的发展出现在了学者与研究人员的视野。
进而聚类分析也再次出现在了潮流的前沿，在图像处理、模式识别、病毒入侵检测等等习以为常的地方总是能够出现蕨类分析的身影。
应用广泛、理论基础扎实、方便实用等优点，使得聚类分析几十年来一直是研究者们的心头所爱。
以划分为目的的算法更是频频出现在各种场合，为人们解决了无数问题。
而K-means作为其中最具有代表性的算法，被列入了“十大经典算法”，其产生的价值自然不必都说。
虽说K-means 算法易于实现，速度理想，然而人无完人，金无足赤，该算法也理所当然的存在些许不尽如人意的地方：（1）初始聚类中心是随机产生，进而直接导致聚类结果也存在随机性，准确性低；（2）聚类个数K值不好确定，K值的选取直接决定了聚类结果的准确度；（3）数据集中离群点的存在也会影响聚类结果，如若将离群点选为初始中心点，不仅仅会降低速度，增加时间复杂度，甚至可能会出现错误[1-2]。
数据挖掘技术学生姓名：学号：专业：计算机科学与技术班级：一、实验名称：基于K最近邻距离的离群点挖掘实验二、实验目的1、掌握基于K最近邻距离的离群点的数据挖掘算法2、通过查找数据中的离群点对数据进行异常分析三、实验数据Clementine数据质量的探究主要包括数据缺失问题、数据离群点和极端值两大方面。
离群点是指数据中，远离数值的一般水平的极端大值和极端小值，也称之为歧异值，有时也称其为野值，其对后续的数据处理有很大的影响；本文研究的目的是拟建立适当的数学模型，评判出一组数据中的离群点，并对出现的离群点进行处理。
本示例将离群点模型应用于开河数据提取，其中的目标字段为开河日期天数。
变量字Clementine段包括0221-0302三湖河口平均流量（X1），0109-0126平均流量（X2），0221-0302平均流量（X3），二月下旬平均水位（X4），最高气温转正日到0302累计最高正气温（X5），0221-0302气温和（X6）（为绝对温度），二月下旬平均气温（X7）（为绝对温度）最高气温转正天数（X8）（连续为正日期距离2月1日的天数，考虑到可能出现负数，因此+30），最大冰厚（X9）。
此示例使用名为 Stream1.str 的流，该流引用名为开河数据.xls 的数据文件。
这些文件可以任何 Clementine Client 程序打开。
此目录可通过 Windows “开始”菜单的 Clementine 程序组进行访问。
四、实验原理基于邻近度的离群点检测是指一个对象是异常的，如果它远离大部分点。
这种方法比统计学方法更一般、更容易使用，因为确定数据集的有意义的邻近性度量比确定它的统计分布更容易。
一个对象的离群点得分由到它的k-最近邻的距离给定。
离群点得分对k的取值高度敏感。
如果k太小（例如1），则少量的邻近离群点可能导致较低的离群点得分；如果K太大，则点数少于k的簇中所有的对象可能都成了离群点。
为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。
