数据中异常值的检测与处理方法
一、数据中的异常值
各种类型的异常值：
数据输入错误：数据收集，记录或输入过程中出现的人为错误可能导致数
据异常。例如：一个客户的年收入是$ 100,000。数据输入运算符偶然会在
图中增加一个零。现在收入是100 万美元，是现在的10 倍。显然，与其他
人口相比，这将是异常值。
测量误差：这是最常见的异常值来源。这是在使用的测量仪器出现故障
时引起的。例如：有10 台称重机。其中9 个是正确的， 1 个是错误的。
有问题的机器上的人测量的重量将比组中其他人的更高/更低。在错误的机
器上测量的重量可能导致异常值。
实验错误：异常值的另一个原因是实验错误。举例来说：在七名跑步者的
100 米短跑中，一名跑步者错过了专注于“出发”的信号，导致他迟到。
因此，这导致跑步者的跑步时间比其他跑步者多。他的总运行时间可能是
一个离群值。
故意的异常值：这在涉及敏感数据的自我报告的度量中通常被发现。例如：青少年通常会假报他们消耗的酒精量。只有一小部分会报告实际价值。这
里的实际值可能看起来像异常值，因为其余的青少年正在假报消费量。
数据处理错误：当我们进行数据挖掘时，我们从多个来源提取数据。某些
操作或提取错误可能会导致数据集中的异常值。
抽样错误：例如，我们必须测量运动员的身高。错误地，我们在样本中
包括一些篮球运动员。这个包含可能会导致数据集中的异常值。
自然异常值：当异常值不是人为的（由于错误），这是一个自然的异常值。
例如：保险公司的前 50 名理财顾问的表现远远高于其他人。令人惊讶的
是，这不是由于任何错误。因此，进行任何数据挖掘时，我们会分别处理
这个细分的数据。
在以上的异常值类型中，对于房地产数据，可能出现的异常值类型主要有：(1)数据输入错误，例如房产经纪人在发布房源信息时由于输入错误，而
导致房价、面积等相关信息的异常；在数据的提取过程中也可能会出现异
常值，比如在提取出售二手房单价时，遇到“1室 7800 元/m 2
”，提取其中的
数字结果为“17800，”这样就造成了该条案例的单价远远异常于同一小区的其他房源价格，如果没有去掉这个异常值，将会导致整个小区的房屋单价均值偏高，与实际不符。 (2)故意的异常值，可能会存在一些人，为了吸引别人来电询问房源，故意把价格压低，比如房屋单价为 1 元等等； (3)自然异常值。房价中也会有一些实际就是比普通住宅价格高很多的真实价格，这个就需要根
据实际请况进行判断，或在有需求时单独分析。
二、数据中异常值的检测
各种类型的异常值检测：
1、四分位数展布法
方法[1]
：大于下四分位数加 1.5 倍四分位距或小于上四分位数减1.5 倍。
把数据按照从小到大排序，其中25%为下四分位用 FL 表示， 75%处为上四分位用 FU 表示。
计算展布为： d F F U F L，展布（间距）为上四分位数减去下四分位数。
最小估计值（下截断点）：F L 1.5d F
最大估计值（上截断点）：F U 1.5d F
数据集中任意数用X 表示，F L 1.5d F X F U 1.5d F，
上面的参数1.5 不是绝对的，而是根据经验，但是效果很好。计算的是中度异常，参数等于3 时，计算的是极度异常。我们把异常值定义为小于下截断点，或者大于上截断点的数据称为异常值。
优点：与方差和极差相比，更加不容易受极端值的影响，且处理大规模数据效果很好。
缺点：小规模处理略显粗糙。而且只适合单个属相的检测。
2、识别不遵守分布或回归方程的值
方法：双变量和多变量离群值通常使用影响力或杠杆指数或距离来衡量，像Mahalanobis 的距离和 Cook‘ s D这样的流行指数经常被用来检测异常值。在SAS 中，我们可以使用PROC Univariate, PROC SGPLOT，为了识别异常值和有影响
力的观测，我们还研究了STUDENT 、COOKD 、RSTUDENT 等统计指标。
马氏距离法[1]
：假设两个变量 Xi 和 Xj 具有较高的正相关关系，某样本 Xk 在
这两个变量上的取值为（ Xki ，Xkj ），若 Xki 远远大于 Xi 的平均值，而 Xkj 却远小于 Xj 的平均值，则这个样品就很可能是异常的。检验这种异常品可以采
用马氏平方距离法。主要思想是：把 n 个 P 维样品看作 p 维空间中的 n 个点，则第i 个样品所对应的坐标为（ Xi1 ， Xi2 ，， Xip ）。样品在空间中的相对位置可通过各样品与总体重心（以各变量均值（ X1 ，X2 ，， Xp）为坐标的点）之间的距离来求得。
设X(1) ， X(2) ，，X(p) （其中（ Xi1 ，Xi2 ，，Xip ）为来自 Np 中的 n 个样品，其中 X (X1 , X 2 ,..., X p ), X k mean(x1k , x2k ,..., x nk )
则样品 X(i) 到重心 (X1, X 2,..., X p ) 的马氏平方距离定义为
D i2( x i1 x1 , x i 2 x2 ,..., x ip x p ) '
1
( x i1 x1, x i 2 x2 ,..., x ip x p )
其中可由样本协方差阵来估计
1n
(S, S(x(i) x)( x(i ) x)' )
n1i 1
容易证明，当 n 较大时， D i2近似服从 x2p其临界值D
true
可由 x2分布表来查出、当 D i2 D true时，将第 i 个样品判为异常。
稳健马氏距离：
由于异常值的存在会显著影响中心值和协方差矩阵的估计，使一般马氏距
离不能正确反映各个观测的偏离程度。对于这类数据，需要通过稳健统计的方法，
构建稳定的均值和协方差矩阵统计量。
具体算法：
设数据集为一个n 行 p 列的矩阵 X n×p，从中随机抽取 h 个样本数据，并计
算这个样本数据的样本均值T1和协方差矩阵S1。然后通过
d1 (i )( x i T1 )' S11 ( x i T1 ) 计算这n 个样本数据到中心T1的马氏距离，选出这 n
个距离中最小的 h 个，再通过这个 h 个样本计算样本均值 T2和协方差矩阵 S2。根据Rousseeuw,Van Driessen(1999)可以证明 det(S2) ≤ det(S1)，仅当 T1=T2时候等号成立。这样子不断迭代下去，当 det(S m) ≤det(S m-1)停止迭代。这时再通过 S m
进行加权计算就能求出稳健的协方差矩阵估计量。
(1)确定 h 的值。 h 值在 0.5n 和 n 之间，一般来说 h 越小，它的抵抗异常值能
力越强，但是最小不能少于50%，因为少于50%已经不能分辨哪些是正常值哪些
是异常值，所以作为一种折中， h 默认是取 h=0.75*n，而当样本数量比较少时， h
一般取 0.9n。
(2)如果 h=n，这时计算的是整个样本数据的均值向量和协方差矩阵，返回计
算结果并停止。
(3)从 n 个样本中随机抽取 p+1 个样本构造协方差矩阵，并计算其行列式，如
果行列式为 0，再随机加入一个样本直到行列式不为 0，这时这个协方差矩阵
为初始协方差矩阵S0，并利用随机选择出来的样本计算初始样本均值T0。
(4)当 n 值较小小于时，直接从
T
0、S0 计算得到T1、S1 并开始迭代，
(600)
迭代两次得到 S3。重复 500 次这个过程，得到500 个 S3，从中选取最小的 10个继续迭代直到收敛，返回最小行列式值的T 和 S，记为 T mcd和 S mcd。．
(5)当 n 值较大时，由于每次迭代都要把n 个样本的距离计算一次，非常耗时。所以把 n 个样本分成几个部分，例如当n 等于 900 时，可以把 n 分成 3个子样本，每个子样本包含300 个样本。每个子样本也是从各自 T0、S0计算得到 T1、S1并开始迭代，迭代两次得到S3，每个子样本重复500/3=167 次，各自
得到 167 个 S3。每个子样本从中选取最小的 10 个 S3。然后把子样本合并重新合成一个整体样本，并也把子样本中的 10 个 S3合并，得到 30 个 S3。从这 30 个 S3迭代两次，保留最小的 10 个结果并继续迭代下去直到收敛，返回最小行列式值的 T 和S，记为 T mcd和 S mcd。
(6)根据 T mcd和 S mcd计算每个样本的稳定马氏距离d(i)。因为计算出来的距离值近似服从一个自由度为p 的卡方分布，假设置信度为97.5%时，当
d (i )2时，记 W i =0否则 W i =1.然后根据 W i再重新计算。这时 < 就
P ,0.97 5
是最后所求的稳定协方差矩阵。在此稳健协方差矩阵和稳健样本均值基础上，便能得出稳健的马氏距离。
3、Cook‘s D
Cook‘s :D在你的数据资料中,如果某一条数据记录被排除在外,那么由此
造成的回归系数变化有多大 .显然 ,如果这个值过大 ,那么就表明这条数据对回归系
数的计算产生了明显的影响 ,这条数据就是异常数据 .
4、覆盖法
方法：将所有不在5%到 95%范围的值当作异常值。
5、标准偏差
方法：偏离平均值三个或以上标准差的数据点。
6、因子
方法：单变量或多变量异常值通常是用影响因子、水平因子、距离因子其中的一个指标来判断是否是异常值。
回归系数的影响力。陈强，《高级计量经济学及 Stata 应用》，高等教育出
版社。
7、简单规则库
|-从正常的行为中学习规则，测试数据若是没有被任何规则包括则认为是异常
利用规则学习算法学习规则，例如重复增量修枝（RIPPER ）、决策树（Decision Trees）
8、聚类
一种利用聚类检测离群点的方法是丢弃原理其他簇的小簇。这种方法可以与任何聚类技术一起使用，但是需要最小簇大小和小簇与其他簇之间距离的阈值，通常，该过程可以简化为丢弃小于某个最小尺寸的所有簇。
一种更系统的方法是，首先聚类所有对象，然后评估对象属于簇的程度。对于基于原型的簇类，可以用对象到它的簇中心的距离来度量对象属于簇的程度。更一
般地，对于基于目标函数的聚类技术，可以使用该目标函数来评估对象属于任意簇的程度。特殊情况下，如果删除一个对象导致该目标的显著改进，则我们可以将
该对象分类为离群点。
优点与缺点：有些聚类技术 (如 K 均值 )的时间和空间复杂度是线性或接近线性的，因而基于这种算法的离群点检测技术可能是高度有效的。此外，簇的定义通常是离群点的补，因此可能同时发现簇和离群点。缺点方面，产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据总离群点的存在性。例如，
基于原型的算法产生的簇可能因数据中存在离群点而扭曲。聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。每种聚类算法只适合特定的数据类型；因此，应当小心地选择聚类算法。
9、贝叶斯
依据已有的数据，然后建立模型，得到正常的模型的特征库，然后对新来的数据点进行判断。从而认定其是否与整体偏离，如果偏离，那么这个就是异常值。
10、降维：主成分分析法
基于矩阵分解的异常点检测方法的关键思想是利用主成分分析去寻找那些
违背了数据之间相关性的异常点。为了发现这些异常点，基于主成分分析（PCA）的算法会把原始数据从原始的空间投影到主成分空间，然后再把投影拉回到原始
的空间。如果只使用第一主成分来进行投影和重构，对于大多数的数据而言，重
构之后的误差是小的；但是对于异常点而言，重构之后的误差依然相对大。这是
因为第一主成分反映了正常值的方差，最后一个主成分反映了异常点的方差。
网址： https://www.doczj.com/doc/9115198179.html,/19836.html
11、模型
许多异常检测技术首先建立一个数据模型。异常是那些同模型不能完美拟合的对象。
三、数据中异常值的处理
1、删除
输入错误，数据处理错误或异常值数目少，修剪两端删除异常值。
2、数据转换或聚类
转换数据取对数，减少极端值的变化。用决策树直接处理带有异常值的数据，（决策树不受异常和缺失的影响）或是对不同观测值分配权重。
3、替换
类似替换缺失值，我们可以替换异常值。我们可以使用均值，中位数，众数
替换方法。但需分析它是人工造成的还是自然造成的，人工可以替换，也可以用统计模型预测异常值，然后替换它。
4、分离对待
如果异常值得数目比较多，在统计模型中我们应该对它们分别处理，一个处理方法是异常值一组，正常值一组，然后分别建立模型，最后对结果合并。
四、缺失值
常用的处理方法：列表明智删除和配对明智删除、均值（估计、中值）、预测模型、 KNN 插补。
五、参考文献
1、程鹏，数据挖掘中孤立点的探测方法[J] ，福建电脑， 2006 年第 8 期。
012. 数据预处理（1）——剔除异常值及平滑处理测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数据（1）剔除异常值； 另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰（反映在曲线图形上就是一些“毛刺和尖峰”）。为了提高数据的质量，必须对数据进行（2）平滑处理（去噪声干扰）； （一）剔除异常值。 注：若是有空缺值，或导入Matlab数据显示为“NaN”（非数），需要①忽略整条空缺值数据，或者②填上空缺值。 填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充（略）。 一、基本思想： 规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，就认为它是异常值，从而予以剔除。
二、常用方法：拉依达方法、肖维勒方法、一阶差分法。 注意：这些方法都是假设数据依正态分布为前提的。 1. 拉依达方法（非等置信概率） 如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。 3x i x x S -> 其中，11n i i x x n ==∑为样本均值，1 2 2 11()1n x i i S x x n =?? ??? =--∑为样本的标准偏差。 注：适合大样本数据，建议测量次数≥50次。 代码实例（略）。 2. 肖维勒方法（等置信概率） 在 n 次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。 这实质上是规定了置信概率为1-1/2n ，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算： 10.4ln()n n ω=+
数据中异常值的检测与处理方法 一、数据中的异常值 各种类型的异常值： 数据输入错误：数据收集，记录或输入过程中出现的人为错误可能导致数据异常。例如：一个客户的年收入是$ 100,000。数据输入运算符偶然会在图中增加一个零。现在收入是100万美元，是现在的10倍。显然，与其他人口相比，这将是异常值。 测量误差：这是最常见的异常值来源。这是在使用的测量仪器出现故障时引起的。例如：有10台称重机。其中9个是正确的，1个是错误的。 有问题的机器上的人测量的重量将比组中其他人的更高/更低。在错误的机器上测量的重量可能导致异常值。 实验错误：异常值的另一个原因是实验错误。举例来说：在七名跑步者的100米短跑中，一名跑步者错过了专注于“出发”的信号，导致他迟到。 因此，这导致跑步者的跑步时间比其他跑步者多。他的总运行时间可能是一个离群值。 故意的异常值：这在涉及敏感数据的自我报告的度量中通常被发现。例如：青少年通常会假报他们消耗的酒精量。只有一小部分会报告实际价值。 这里的实际值可能看起来像异常值，因为其余的青少年正在假报消费量。 数据处理错误：当我们进行数据挖掘时，我们从多个来源提取数据。某些操作或提取错误可能会导致数据集中的异常值。 抽样错误：例如，我们必须测量运动员的身高。错误地，我们在样本中包括一些篮球运动员。这个包含可能会导致数据集中的异常值。 自然异常值：当异常值不是人为的（由于错误），这是一个自然的异常值。例如：保险公司的前50名理财顾问的表现远远高于其他人。令人惊讶的是，这不是由于任何错误。因此，进行任何数据挖掘时，我们会分别处理这个细分的数据。
在以上的异常值类型中，对于房地产数据，可能出现的异常值类型主 要有：(1)数据输入错误，例如房产经纪人在发布房源信息时由于输入错误，而导致房价、面积等相关信息的异常；在数据的提取过程中也可能会出现异常值，比如在提取出售二手房单价时，遇到“1室7800元/m 2”，提取其中的数字结果为“17800”，这样就造成了该条案例的单价远远异常于同一小区的其他房源价格，如果没有去掉这个异常值，将会导致整个小区的房屋单价均值偏高，与实际不符。(2)故意的异常值，可能会存在一些人，为了吸引别人来电询问房源，故意把价格压低，比如房屋单价为1元等等；(3)自然异常值。房价中也会有一些实际就是比普通住宅价格高很多的真实价格，这个就需要根据实际请况进行判断，或在有需求时单独分析。 二、数据中异常值的检测 各种类型的异常值检测： 1、四分位数展布法 方法[1]：大于下四分位数加倍四分位距或小于上四分位数减倍。 把数据按照从小到大排序，其中25%为下四分位用FL 表示，75%处为上四分位用FU 表示。 计算展布为：L U F F F d -=，展布（间距）为上四分位数减去下四分位数。 最小估计值（下截断点）：F L d F 5.1- 最大估计值（上截断点）：F U d F 5.1+ 数据集中任意数用X 表示，F U F L d F X d F 5.15.1+<<-， 上面的参数不是绝对的，而是根据经验，但是效果很好。计算的是中度异常，参数等于3时，计算的是极度异常。我们把异常值定义为小于下截断点，或者大于上截断点的数据称为异常值。
QC检验异常值处理标准操作规程 1目的 本程序规定了QC所涉及的各检验项目出现检验结果异常情况的处理原则和管理办法。通过实施本程序，对产品检验结果异常情况进行规范管理。 2 管理程序 1) 检验结果异常的处理原则 凡出现下列情况均属异常，必须填写《检验异常值发生的初期调查报告书》见附表一异常值：指在药品生产的试验检验中，相当于下面a～e的任何一个的所有测定值。 a 超出《药品生产批准、公定书，以及公司内部标准书中所规定的标准》的检验结果 b 虽然符合2.1的标准，但超过管理范围的检验结果。 c 在重复测定次数ｎ＝2以上的计量试验中，偏离检验标准规格幅度的1/2以上的最 大，最小的各试验结果。 d 检测以及验证等中，超出“期待结果”的试验结果 e 在长期稳定性试验中，超出质量标准时，或者特别做出的试验实施方案中，超出上 面所规定的规格的试验结果。 2) 管理范围：仅在最终成品检验的定量检验中设定。指和检验标准规格不同，为根据 日常的检验结果成品质量的偏差如下所示，作为范围数据化的值。考虑规格值和分析的精确度，难以设定管理范围的计量仪器除外。 3) 检验分析责任者：具有质量管理方面丰富的知识，在品质总责任者的领导下进行总管分析实施人的人员。 4)对照品：指过去没有发现异常的批留样中，最新的批次。用于初期调查。 5)再分析：供试品溶液，标准溶液的第二次分析（包括从同样的试验用标准溶液中的 稀释） 6) 复验：从同样的容器中准备的样品，作为初次检验的追加检验。 3 产生异常值时的处理 分析实施人要充分理解试验操作中对测定值造成较大影响的点。用于检验的装置都要进行校验。作为检验方法规定了系统符合性试验时，必须实施。
在《SPSS统计分析方法及应用》一书中，对时间序列数据缺失处理给出了几种解决方法，可以供我们设计的时候参考： 新生成一个由用户命名的序列，选择处理缺失值的替代方法，单击Change按钮。替代方法有以下几种： ①Series mean：表示用整个序列的均值作为替代值。 ②Mean of nearby points：表示利用邻近点的均值作为替代值。对此用Span of nearby points框指定数据段。在Number后输入数值k，以表示缺失值为中心，前后分别选取k个数据点。这样填补的值就是由这2k个数的平均数。也可以选择All，作用同Series mean选项。 “附（邻）近点的跨度”：系统默认的是2，即缺失值上下两个观察值作为范围。
若选择“全部”，即将所有的观察值作为临近点。 ③Median of nearby points：表示利用邻近点的中位数作为替代值。数据指定方法同上。 ④Linear interpolation：为线性插值法，表示利用缺失值前后两时点数据的某种线性组合进行填补，是一种加权平均。 线性插值法应用线性插值法填补缺失值。用该列数据缺失值前一个数据和后一个数据建立插值直线，然后用缺失点在线性插值函数的函数值填充该缺失值。如果前后值有一个缺失，则得不到缺失值的替换值。 ⑤Linear trend at point：为线性趋势值法，表示利用回归拟合线的拟合值作为替代值。 缺失点处的线性趋势法应用缺失值所在的整个序列建立线性回归方程，然后用该回归方程在缺失点的预测值填充缺失值。 *注意：如果序列的第一个和最后一个数据为缺失值，只能利用序列均值和线性趋势值法处理，其他方法不适用。
回归中缺失值处理方法文稿归稿存档编号：[KKUY-KKIO69-OTM243-OLUI129-G00I-FDQS58-
在《SPSS统计分析方法及应用》一书中，对时间序列数据缺失处理给出了几种解决方法，可以供我们设计的时候参考： 新生成一个由用户命名的序列，选择处理缺失值的替代方法，单击Change按钮。替代方法有以下几种： ①Series mean：表示用整个序列的均值作为替代值。 ②Mean of nearby points：表示利用邻近点的均值作为替代值。对此用Span of nearby points框指定数据段。在Number后输入数值k，以表示缺失值为中心，前后分别选取k个数据点。这样填补的值就是由这2k 个数的平均数。也可以选择All，作用同Series mean选项。 “附（邻）近点的跨度”：系统默认的是2，即缺失值上下两个观察值作为范围。若选择“全部”，即将所有的观察值作为临近点。 ③Median of nearby points：表示利用邻近点的中位数作为替代值。数据指定方法同上。 ④Linear interpolation：为线性插值法，表示利用缺失值前后两时点数据的某种线性组合进行填补，是一种加权平均。 线性插值法应用线性插值法填补缺失值。用该列数据缺失值前一个数据和后一个数据建立插值直线，然后用缺失点在线性插值函数的函数值填充该缺失值。如果前后值有一个缺失，则得不到缺失值的替换值。 ⑤Linear trend at point：为线性趋势值法，表示利用回归拟合线的拟合值作为替代值。 缺失点处的线性趋势法应用缺失值所在的整个序列建立线性回归方程，然后用该回归方程在缺失点的预测值填充缺失值。
. 一、 一、实验/实习过程 实验题1在程序中产生一个ArithmeticException类型被0除的异常，并用catch 语句捕获这个异常。最后通过ArithmeticException类的对象e 的方法getMessage给出异常的具体类型并显示出来。 package Package1; public class除数0 { public static void main(String args[]){ try{ int a=10; int b=0; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } } 实验题2在一个类的静态方法methodOne（）方法内使用throw 产生
ArithmeticException异常，使用throws子句抛出methodOne（）的异常，在main方法中捕获处理ArithmeticException异常。 package Package1; public class抛出异常 { static void methodOne() throws ArithmeticException{ System.out.println("在methodOne中"); throw new ArithmeticException("除数为0"); } public static void main(String args[]){ try{ int a=10; int b=0; int c=1; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } }
spss数据录入时缺失值怎么处理 录入的时候可以直接省略不录入 分析的时候也一般剔除这样的样本。但也有替换的方法，一般有： 均值替换法(mean imputation)，即用其他个案中该变量观测值的平均数对缺失的数据进行替换，但这种方法会产生有偏估计，所以并不被推崇。 个别替换法(single imputation)通常也被叫做回归替换法(regression imputation)，在该个案的其他变量值都是通过回归估计得到的情况下，这种 方法用缺失数据的条件期望值对它进行替换。这虽然是一个无偏估计，但是却倾向于低估标准差和其他未知性质的测量值，而且这一问题会随着缺失信息的增多而变得更加严重。 多重替代法(multiple imputation)(Rubin, 1977) 。 ?它从相似情况中或根据后来在可观测的数据上得到的缺省数据的分布情况给每个缺省数据赋予一个模拟值。结合这种方法，研究者可以比较容易地，在不舍弃任何数据的情况下对缺失数据的未知性质进行推断(Little and Rubin,1987; ubin,1987, 1996)。 （一）个案剔除法(Listwise Deletion) 最常见、最简单的处理缺失数据的方法是用个案剔除法(listwise deletion)，也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。在这种方法中如果任何一个变量含有缺失数据的话，就把相对应的个案从分析中剔除。如果缺失值所占比例比较小的话，这一方法十分有效。至于具体多大的缺失比例算是“小”比例，专家们意见也存在较大的差距。有学者认为应在5%以下，也有学者认为20%以下即可。然而，这种方法却有很大的局限性。它是以减少样本量来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。在样本量较小的情况下，删除少量对象就足以严重影响到数据的客观性和结果的正确性。因此，当缺失数据所占比例较大，特别是当缺数据非随机分布时，这种方法可能导致数据发生偏离，从而得出错误的结论。 （二）均值替换法(Mean Imputation) 在变量十分重要而所缺失的数据量又较为庞大的时候，个案剔除法就遇到了困难，因为许多有用的数据也同时被剔除。围绕着这一问题，研究者尝试了各种各样的办法。其中的一个方法是均值替换法(mean imputation)。我们将变量的属性分为数值型和非数值型来分别进行处理。如果缺失值是数值型的，就根据该变量在其他所有对象的取值的平均值来填充该缺失的变量值；如果缺失值是非数值型的，就根据统计学中的众数原理，用该变量在其他所有对象的取值次数最多的值来补齐该缺失的变量值。但这种方法会产生有偏估计，所以并不被推崇。均值替换法也是一种简便、快速的缺失数据处理方法。使用均值替换法插补缺失数据，对该变量的均值估计不会产生影响。但这种方法是建立在完全随机缺失（MCAR）的假设之上的，而且会造成变量的方差和标准差变小。 （三）热卡填充法（Hotdecking）
几种常见的缺失数据插补方法 （一）个案剔除法(Listwise Deletion) 最常见、最简单的处理缺失数据的方法是用个案剔除法(listwise deletion)，也是很多统计软件（如SPSS和SAS）默认的缺失值处理方法。在这种方法中如果任何一个变量含有缺失数据的话，就把相对应的个案从分析中剔除。如果缺失值所占比例比较小的话，这一方法十分有效。至于具体多大的缺失比例算是“小”比例，专家们意见也存在较大的差距。有学者认为应在5%以下，也有学者认为20%以下即可。然而，这种方法却有很大的局限性。它是以减少样本量来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些对象中的信息。在样本量较小的情况下，删除少量对象就足以严重影响到数据的客观性和结果的正确性。因此，当缺失数据所占比例较大，特别是当缺数据非随机分布时，这种方法可能导致数据发生偏离，从而得出错误的结论。 （二）均值替换法(Mean Imputation) 在变量十分重要而所缺失的数据量又较为庞大的时候，个案剔除法就遇到了困难，因为许多有用的数据也同时被剔除。围绕着这一问题，研究者尝试了各种各样的办法。其中的一个方法是均值替换法(mean imputation)。我们将变量的属性分为数值型和非数值型来分别进行处理。如果缺失值是数值型的，就根据该变量在其他所有对象的取值的平均值来填充该缺失的变量值；如果缺失值是非数值型的，就根据统计学中的众数原理，用该变量在其他所有对象的取值次数最多的值来补齐该缺失的变量值。但这种方法会产生有偏估计，所以并不被推崇。均值替换法也是一种简便、快速的缺失数据处理方法。使用均值替换法插补缺失数据，对该变量的均值估计不会产生影响。但这种方法是建立在完全随机缺失（MCAR）的假设之上的，而且会造成变量的方差和标准差变小。 （三）热卡填充法（Hotdecking）
一、实验/实习过程 实验题1在程序中产生一个ArithmeticException类型被0除的异常，并用catch 语句捕获这个异常。最后通过ArithmeticException类的对象e 的方法getMessage给出异常的具体类型并显示出来。 package Package1; public class除数0 { public static void main(String args[]){ try{ int a=10; int b=0; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } } 实验题2在一个类的静态方法methodOne（）方法内使用throw 产生ArithmeticException异常，使用throws子句抛出methodOne（）的异常，
在main方法中捕获处理ArithmeticException异常。 package Package1; public class抛出异常 { static void methodOne() throws ArithmeticException{ System.out.println("在methodOne中"); throw new ArithmeticException("除数为0"); } public static void main(String args[]){ try{ int a=10; int b=0; int c=1; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } }
缺失值 1. is.na 确实值位置判断 注意: 缺失值被认为是不可比较的，即便是与缺失值自身的比较。这意味着无法使用比较运算 符来检测缺失值是否存在。例如，逻辑测试myvar == NA的结果永远不会为TRUE。作为替代，你只能使用处理缺失值的函数（如本节中所述的那些）来识别出R数据对象中的缺失值。 2. na.omit() 删除不完整观测 manyNAs library(DMwR) manyNAs(data, nORp = 0.2) Arguments data A data frame with the data set. nORp A number controlling when a row is considered to have too many NA values (defaults to 0.2, i.e. 20% of the columns). If no rows satisfy the constraint indicated by the user, a
warning is generated. 按照比例判断缺失. 3. knnImputation K 近邻填补 library(DMwR) knnImputation(data, k = 10, scale = T, meth = "weighAvg", distData = NULL) ? 1 ? 2 Arguments Arguments data A data frame with the data set k The number of nearest neighbours to use (defaults to 10) scale Boolean setting if the data should be scale before finding the nearest neighbours (defaults to T) meth String indicating the method used to calculate the value to fill in each NA. Available values are ‘median’ or ‘weighAvg’ (the default). distData Optionally you may sepecify here a data frame containing the data set that should be used to find the neighbours. This is usefull when filling in NA values on a test set, where you should use only information from the training set. This defaults to NULL, which means that the neighbours will be searched in data Details This function uses the k-nearest neighbours to fill in the unknown (NA) values in a data set. For each case with any NA value it will search for its k most similar cases and use the values of these cases to fill in the unknowns.
目录 摘要......................................................................... I 关键词...................................................................... I 1引言 (1) 2异常值的判别方法 (1) 检验（3S）准则 (1) 狄克松（Dixon）准则 (2) 格拉布斯（Grubbs）准则 (2) 指数分布时异常值检验 (3) 莱茵达准则（PanTa） (3) 肖维勒准则（Chauvenet） (4) 3 实验异常数据的处理 (4) 4 结束语 (5) 参考文献 (6)
试验数据异常值的检验及剔除方法 摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析. 关键词：异常值检验；异常值剔除；DPS；测量数据
1 引言 在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度. 判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除. 利用计算机剔除异常值的方法许多专家做了详细的文献[1] 报告.如王鑫，吴先球，用Origin 剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文. 2 异常值的判别方法 判别异常值的准则很多，常用的有t 检验（3S ）准则、狄克松（Dixon ）准则、格拉布斯（Grubbs ）准则等准则.下面将一一简要介绍. 2.1 检验（3S ）准则 t 检验准则又称罗曼诺夫斯基准则，它是按t 分布的实际误差分布范围来判别异常值，对重复测量次数较少的情况比较合理. 基本思想：首先剔除一个可疑值，然后安t 分布来检验被剔除的值是否为异常值. 设样本数据为123,,n x x x x ，若认j x 为可疑值.计算余下1n -个数据平均值 1n x -及标准差1n s - ，即2 111,1,1n n i n i i j x x s n --=≠=-∑. 然后，按t 分布来判别被剔除的值j x 是否为异常值. 若1(,)n j x x kn a -->，则j x 为异常值，应予剔除，否则为正常值，应予以保留.其中：a 为显著水平；n 数据个数；(,)k n a 为检验系数，可通过查表得到.
这些缺失值不仅意味着信息空白，更重要的是它会影响后续数据挖掘和统计 分析等工作的进行。一般对缺失值处理的方法包括删除不完整记录、当作特殊值处理或者插补空值。显然，插补的方法不管从量上还是质上，对数据的处理结果都要好于前两种。目前国内外已提出了很多有关缺失值填充的方法。尽管这些方法在各自的应用环境下都得到了很好的效果，但仍然存在一些不足。比如，一些模型像决策树需要指定类属性与条件属性，这样的模型每处理一个属性就要训练一次模型，效率很低。其次，很多算法对高维数据的处理能力有限，引入无用的变量不仅影响执行效率，而且会干扰最终填充效果。第三、在没有真值作为对比的情况下，无法评价不同属性的填充效果。最后，很多算法只适用于小数据集，远远无法满足目前对大量数据的处理要求。为解决上述问题，本文给出了一个基于贝叶斯网和概率推理的填充方法。与常用的贝叶斯网构建算法不同，本文针对缺失值填充这一特定的应用前提，从挖掘属性相关性入手构建网络。建立贝叶斯网时不设定任何目标属性，由影响最大的属性作为根。这一过程不需要用户对数据有太多了解，完全由算法自动完成。根据贝叶斯网自身的条件独立性假设可以分解对多维联合概率的求解，降低在处理高维数据时的复杂度。填充值根据概率推理结果得到。推理产生的概率信息能够反映填充值的不确定程度，即概率越小，准确率越低，反之，准确率越高。这就为评价填充质量提供了一个参考。为使算法适用于混合属性集，本文在贝叶斯网中加入了对连续属性的处理，所有属性的填充均在一个模型下完成。针对大数据集，应用并行技术来解决效率问题。本文给出了算法在Map-Reduce 中的实现。实验部分分别验证了贝叶斯网构建算法和概率推理算法的有效性并对比分析了整个填充算法的准确率；并行处理部分给出了并行效率并分析了影响并行性能的因素。
data下拉菜单里有define variable properties,把变量选到右边的框里，点continue，在新窗口中有变量在样本中的所有取值，要定义某个值是异常值，就把相应的missing框勾上就ok 啦~~~然后再处理数据时这些值就已经被剔除，不参与分析了~~~ 使用箱型图Boxplot...发现异常值，然后把大于等于最小异常值或小于等于最大异常值的值 用Data主菜单里的Cases Select子菜单里的条件设置按钮，就可以自动剔除异常值。 spss里有个功能，好像是绘图吧。绘制Box plot图的。Box plot，可译成箱线图，由一个矩形箱和几条线段组合而成。针对一个数据批，其箱线图的绘制一般由以下几个步骤：第一、画数轴，度量单位大小和数据批的单位一致，起点比最小值稍小，长度比该数据批的全距稍长。 第二、画一个矩形盒，两端边的位置分别对应数据批的上下四分位数（Q1 和Q3）。在矩形盒内部中位数（X m）位置画一条线段为中位线。 第三、在Q3＋1.5IQR（四分位距）和Q1－1.5IQR处画两条与中位线一样的线段，这两条线段为异常值截断点，称其为内限；在F＋3IQR和F－3IQR处画两条线段，称其为外限。处于内限以外位置的点表示的数据都是异常值，其中在内限与外限之间的异常值为温和的异常值（mild outliers），在外限以外的为极端的异常值(extreme outliers)。 第四、从矩形盒两端边向外各画一条线段直到不是异常值的最远点，表示该批数据正常值的分布区间。 第五、用“〇”标出温和的异常值，用“＊”标出极端的异常值。相同值的数据点并列标出在同一数据线位置上，不同值的数据点标在不同数据线位置上。至此一批数据的箱线图便绘出了。统计软件绘制的箱线图一般没有标出内限和外限。箱线图示例可见下图。 我常用一下方法: 1、可以通过“分析”下“描述统计“下“频率”的”绘制“直方图”，看图发现频数出现最少的值，就可能是异常值，但还要看距离其它情况的程度。 2、可通过“分析”下的“描述统计”下的“探索”下的“绘制”选项的“叶茎图”，看个案偏离箱体边缘(上端、下端)的距离是箱体的几倍，“○”代表在1.5-3倍之间(离群点)，“*”代表超过3倍(极端离群点)。 3、可以通过“分析”下“描述统计“下“描述”下的选项“将标准化存为变量Z”，选择相应的变量，“确定”。将生成新变量，如果值超过2，肯定是异常值。
造成数据缺失的原因 在各种实用的数据库中，属性值缺失的情况经常发全甚至是不可避免的。因此，在大多数情况下，信息系统是不完备的，或 者说存在某种程度的不完备。造成数据缺失的原因是多方面的，主要可能有以下几种： 1）有些信息暂时无法获取。例如在医疗数据库中，并非所有病人的所有临床检验结果都能在给定的时间内得到，就致使一部 分属性值空缺出来。又如在申请表数据中，对某些问题的反映依赖于对其他问题的回答。 2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏，也可能是由于数据采集设备 的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。 3）有些对象的某个或某些属性是不可用的。也就是说，对于这个对象来说，该属性值是不存在的，如一个未婚者的配偶姓名 、一个儿童的固定收入状况等。 4）有些信息（被认为）是不重要的。如一个属性的取值与给定语境是无关的，或训练数据库的设计者并不在乎某个属性的取 值（称为dont-care value）。 5）获取这些信息的代价太大。 6）系统实时性能要求较高，即要求得到这些信息前迅速做出判断或决策。 处理数据缺失的机制 在对缺失数据进行处理前，了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量（属性）称为完全变量
，数据集中含有缺失值的变量称为不完全变量，Little 和Rubin定义了以下三种不同的数据缺失机制： 1）完全随机缺失（Missing Completely at Random，MCAR）。数据的缺失与不完全变量以及完全变量都是无关的。 2）随机缺失（Missing at Random，MAR）。数据的缺失仅仅依赖于完全变量。 3）非随机、不可忽略缺失（Not Missing at Random,NMAR，or nonignorable）。不完全变量中数据的缺失依赖于不完全变量 本身，这种缺失是不可忽略的。 空值语义 对于某个对象的属性值未知的情况，我们称它在该属性的取值为空值(null value)。空值的来源有许多种，因此现实世界中 的空值语义也比较复杂。总的说来，可以把空值分成以下三类： 1)不存在型空值。即无法填入的值，或称对象在该属性上无法取值，如一个未婚者的配偶姓名等。 2)存在型空值。即对象在该属性上取值是存在的，但暂时无法知道。一旦对象在该属性上的实际值被确知以后，人们就可以用 相应的实际值来取代原来的空值，使信息趋于完全。存在型空值是不确定性的一种表征，该类空值的实际值在当前是未知的。但它 有确定性的一面，诸如它的实际值确实存在，总是落在一个人们可以确定的区间内。一般情况下，空值是指存在型空值。 3)占位型空值。即无法确定是不存在型空值还是存在型空值，这要随着时间的推移才能够清楚，是最不确定的一类。这种空值
题目：数据的预处理问题 摘要 关键词：多元线性回归，t检验法，分段线性插值，最近方法插值，三次样条插值，三次多项式插值
一、问题重述 1.1背景 在数学建模过程中总会遇到大数据问题。一般而言，在提供的数据中，不可避免会出现较多的检测异常值，怎样判断和处理这些异常值，对于提高检测结果的准确性意义重大。 1.2需要解决的问题 （1）给出缺失数据的补充算法； （2）给出异常数据的鉴别算法； （3）给出异常数据的修正算法。 二、模型分析 2.1问题（1）的分析 属性值数据缺失经常发生甚至不可避免。 （一）较为简单的数据缺失 （1）平均值填充 如果空值为数值型的，就根据该属性在其他所有对象取值的平均 值来填充缺失的属性值；如果空值为非数值型的，则根据众数原 理，用该属性在其他所有对象的取值次数最多的值（出现频率最 高的值）来补齐缺失的属性值。 (2) 热卡填充（就近补齐） 对于包含空值的数据集，热卡填充法在完整数据中找到一个与其 最相似的数据，用此相似对象的值进行填充。 (3) 删除元组 将存在遗漏信息属性值的元组删除。 (二)较为复杂的数据缺失 (1)多元线性回归 当有缺失的一组数据存在多个自变量时，可以考虑使用多元线性回归模型。将所有变量包括因变量都先转化为标准分，再进行线性回归，此时得到的回归系数就能反映对应自变量的重要程度。 2.2问题（2）的分析 属性值异常数据鉴别很重要。 我们可以采用异常值t检验的方法比较前后两组数据的平均值，与临界值相
2.3问题（3）的分析 对于数据修正，我们采用各种插值算法进行修正，这是一种行之有效的方法。 （1）分段线性插值 将每两个相邻的节点用直线连起来，如此形成的一条折线就是分段线性插值函数，记作()x I n ，它满足()i i n y x I =，且()x I n 在每个小区间[]1,+i i x x 上是线性函数()x I n ()n i ,,1,0???=。 ()x I n 可以表示为 ()x I n 有良好的收敛性，即对于[]b a x ,∈有， 用 ()x I n 计算x 点的插值时，只用到x 左右的两个节点，计算量与节点个数n 无关。但n 越大，分段越多，插值误差越小。实际上用函数表作插值计算时，分段线性插值就足够了，如数学、物理中用的特殊函数表，数理统计中用的概率分布表等。 (2) 三次多项式算法插值 当用已知的n+1个数据点求出插值多项式后，又获得了新的数据点，要用它连同原有的n+1个数据点一起求出插值多项式，从原已计算出的n 次插值多项式计算出新的n+1次插值多项式很困难，而此算法可以克服这一缺点。 （3）三次样条函数插值[4] 数学上将具有一定光滑性的分段多项式称为样条函数。三次样条函数为：对于[]b a ,上的分划?：n x x x a
缺失值的处理方法 对于缺失值的处理，从总体上来说分为删除存在缺失值的个案和缺失值插补。对于主观数据，人将影响数据的真实性，存在缺失值的样本的其他属性的真实值不能保证，那么依赖于这些属性值的插补也是不可靠的，所以对于主观数据一般不推荐插补的方法。插补主要是针对客观数据，它的可靠性有保证。 1.删除含有缺失值的个案 主要有简单删除法和权重法。简单删除法是对缺失值进行处理的最原始方法。它将存在缺失值的个案删除。如果数据缺失问题可以通过简单的删除小部分样本来达到目标，那么这个方法是最有效的。当缺失值的类型为非完全随机缺失的时候，可以通过对完整的数据加权来减小偏差。把数据不完全的个案标记后，将完整的数据个案赋予不同的权重，个案的权重可以通过logistic或probit回归求得。如果解释变量中存在对权重估计起决定行因素的变量，那么这种方法可以有效减小偏差。如果解释变量和权重并不相关，它并不能减小偏差。对于存在多个属性缺失的情况，就需要对不同属性的缺失组合赋不同的权重，这将大大增加计算的难度，降低预测的准确性，这时权重法并不理想。 2.可能值插补缺失值 它的思想来源是以最可能的值来插补缺失值比全部删除不完全样本所 产生的信息丢失要少。在数据挖掘中，面对的通常是大型的数据库，它的属性有几十个甚至几百个，因为一个属性值的缺失而放弃大量的其他属性值，这种删除是对信息的极大浪费，所以产生了以可能值对缺失值进行插补的思想与方法。常用的有如下几种方法。 (1)均值插补。数据的属性分为定距型和非定距型。如果缺失值是定距型的，就以该属性存在值的平均值来插补缺失的值；如果缺失值是非定距型的，就根据统计学中的众数原理，用该属性的众数(即出现频率最高的值) 来补齐缺失的值。 (2)利用同类均值插补。同均值插补的方法都属于单值插补，不同的是，它用层次聚类模型预测缺失变量的类型，再以该类型的均值插补。假设X= (X1,X2…Xp)为信息完全的变量，Y为存在缺失值的变量，那么首先对X或其子集行聚类，然后按缺失个案所属类来插补不同类的均值。如果在以后统计分析中还需以引入的解释变量和Y做分析，那么这种插补方法将在模型中引入自相关，给分析造成障碍。 (3)极大似然估计（Max Likelihood ,ML）。在缺失类型为随机缺失的条件下，假设模型对于完整的样本是正确的，那么通过观测数据的边际分布可以对未知参数进行极大似然估计（Little and Rubin）。这种方法也被称为忽略缺失值的极大似然估计，对于极大似然的参数估计实际中常采用的计算方法是期望值最大化(Expectation Maximization，EM）。该方法比删除
数据预处理——剔除异常值及平滑处理 测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数据剔除异常值。 另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰（反映在曲线图形上就是一些“毛刺和尖峰”）。为了提高数据的质量，必须对数据进行平滑处理（去噪声干扰）。 （一）剔除异常值。 注：若是有空缺值，或导入Matlab 数据显示为“NaN ”（非数），需要忽略整条空缺值数据，或者填上空缺值。 填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充（略）。 一、基本思想： 规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，就认为它是异常值，从而予以剔除。 二、常用方法：拉依达方法、肖维勒方法、一阶差分法。 注意：这些方法都是假设数据依正态分布为前提的。 1. 拉依达方法（非等置信概率） 如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。 3x i x x S ->
其中，11 n i i x x n ==∑为样本均值，1 2 211()1n x i i S x x n =?? ??? =--∑为样本的标准偏差。 注：适合大样本数据，建议测量次数≥50次。 代码实例（略）。 2. 肖维勒方法（等置信概率） 在 n 次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。 这实质上是规定了置信概率为1-1/2n ，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算： 10.4ln()n n ω=+ Tab1. 肖维勒系数表 如果某测量值与平均值之差的绝对值大于标准偏差与肖维勒系数之积，则该测量值被剔除。 n x i x x S ω-> 例1. 利用肖维勒方法对下列数据的异常值（2.5000）进行剔除： 1.5034 1.5062 1.5034 1.5024 1.4985 2.5000 1.5007
关于数据缺失问题的总结 造成数据缺失的原因 在各种实用的数据库中，属性值缺失的情况经常发全甚至是不可避免的。因此，在大多数情况下，信息系统是不完备的，或者说存在某种程度的不完备。造成数据缺失的原因是多方面的，主要可能有以下几种： 1）有些信息暂时无法获取。例如在医疗数据库中，并非所有病人的所有临床检验结果都能在给定的时间内得到，就致使一部分属性值空缺出来。又如在申请表数据中，对某些问题的反映依赖于对其他问题的回答。 2）有些信息是被遗漏的。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏，也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失了。 3）有些对象的某个或某些属性是不可用的。也就是说，对于这个对象来说，该属性值是不存在的，如一个未婚者的配偶姓名、一个儿童的固定收入状况等。 4）有些信息（被认为）是不重要的。如一个属性的取值与给定语境是无关的，或训练数据库的设计者并不在乎某个属性的取值（称为dont-care value）[37]。 5）获取这些信息的代价太大。 6）系统实时性能要求较高，即要求得到这些信息前迅速做出判断或决策。 2.2.2数据缺失机制 在对缺失数据进行处理前，了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量（属性）称为完全变量，数据集中含有缺失值的变量称为不完全变量，Little 和 Rubin定义了以下三种不同的数据缺失机制[38]： 1）完全随机缺失（Missing Completely at Random，MCAR）。数据的缺失与不完全变量以及完全变量都是无关的。 2）随机缺失（Missing at Random，MAR）。数据的缺失仅仅依赖于完全变量。 3）非随机、不可忽略缺失（Not Missing at Random,NMAR，or nonignorable）。不完全变量中数据的缺失
异常数据的处理 在使用“税务稽查查账软件”的过程中，其前提工作就是“企业数据采集”。通常可以使用奇星查账软件的“数据采集软件”完成企业电子账务数据的采集工作。但实际工作中，由于企业相关人员对“采集行为”的不理解、目前相关政策法规的不明确、企业服务器放在异地等情况，会造成无法通过“数据采集软件”完成正常的数据采集。这就需要通过一些技术手段，人工处理了。 通常对于无法正常采集的企业数据，我们采用下述三个环节进行处理： 一、要求企业从财务软件中，导出“余额表”及“序时账簿” 二、对企业提供的两个电子表进行格式化处理 三、将格式化处理的电子表利用查账软件中的“万能数据导入”还原到查账软件中，生 成电子账簿
出的格式会存在差异，我们对企业给出了规范性要求： 其一：余额表必须是对应数据年度的“一月份期初余额表”，表中所涉的会计科目应该“包含所有科目”，且所涉的会计科目级次应该是从“一级”到“最深科目级次”。并以Excel格式保存。 其二：序时账簿要求企业查询全年凭证，并根据数据量不同，按年、按季或分月导出为Excel。
需要进行处理后，才可使用 （一）处理“余额表” 企业提供的“余额表”中，应该含有科目代码、科目名称、借方余额、贷方余 额，如下图所示： 1、根据“查账软件”万能数据导入功能的要求，“科目名称”中不能含有科目代码信息，可通过Excel的替换功能，进行如下图所示操作，将类似“1002.01/”的信息清除掉
结果如下图所示 2、根据“查账软件”万能数据导入功能的要求，需要手工定义“科目性质”，即“资产”、“负债”、“所有者权益”等，在会计制度科目体系下，分别用“1——5”表示，在新准则下，分别用“1——6”表示 处理方法，通过Excel 的LEFT函数，取科目代码的“第一位”作为科目性质代码，如下图所示