数据中异常值的检测与处理方法
一、数据中的异常值
各种类型的异常值：
?数据输入错误：数据收集，记录或输入过程中出现的人为错误可能导致数据异常。例如：一个客户的年收入是$ 100,000。数据输入运算符偶然会在图中增加一个零。现在收入是100万美元，是现在的10倍。显然，与其他人口相比，这将是异常值。
?测量误差：这是最常见的异常值来源。这是在使用的测量仪器出现故障时引起的。例如：有10台称重机。其中9个是正确的，1个是错误的。
有问题的机器上的人测量的重量将比组中其他人的更高/更低。在错误的机器上测量的重量可能导致异常值。
?实验错误：异常值的另一个原因是实验错误。举例来说：在七名跑步者的100米短跑中，一名跑步者错过了专注于“出发”的信号，导致他迟到。因此，这导致跑步者的跑步时间比其他跑步者多。他的总运行时间可能是一个离群值。
?故意的异常值：这在涉及敏感数据的自我报告的度量中通常被发现。例如：青少年通常会假报他们消耗的酒精量。只有一小部分会报告实际价值。
这里的实际值可能看起来像异常值，因为其余的青少年正在假报消费量。
?数据处理错误：当我们进行数据挖掘时，我们从多个来源提取数据。某些操作或提取错误可能会导致数据集中的异常值。
?抽样错误：例如，我们必须测量运动员的身高。错误地，我们在样本中包括一些篮球运动员。这个包含可能会导致数据集中的异常值。
?自然异常值：当异常值不是人为的（由于错误），这是一个自然的异常值。例如：保险公司的前50名理财顾问的表现远远高于其他人。令人惊讶的是，这不是由于任何错误。因此，进行任何数据挖掘时，我们会分别处理这个细分的数据。
在以上的异常值类型中，对于房地产数据，可能出现的异常值类型主要有：(1)数据输入错误，例如房产经纪人在发布房源信息时由于输入错误，而导致房价、面积等相关信息的异常；在数据的提取过程中也可能会出现异
常值，比如在提取出售二手房单价时，遇到“1室7800元/m 2”，提取其中的数字结果为“17800”，这样就造成了该条案例的单价远远异常于同一小区的其他房源价格，如果没有去掉这个异常值，将会导致整个小区的房屋单价均值偏高，与实际不符。(2)故意的异常值，可能会存在一些人，为了吸引别人来电询问房源，故意把价格压低，比如房屋单价为1元等等；(3)自然异常值。房价中也会有一些实际就是比普通住宅价格高很多的真实价格，这个就需要根据实际请况进行判断，或在有需求时单独分析。
二、数据中异常值的检测
各种类型的异常值检测：
1、四分位数展布法
方法[1]：大于下四分位数加1.5倍四分位距或小于上四分位数减1.5倍。 把数据按照从小到大排序，其中25%为下四分位用FL 表示，75%处为上四分位用FU 表示。
计算展布为：L U F F F d -=，展布（间距）为上四分位数减去下四分位数。 最小估计值（下截断点）：F L d F 5.1-
最大估计值（上截断点）：F U d F 5.1+
数据集中任意数用X 表示，F U F L d F X d F 5.15.1+<<-，
上面的参数1.5不是绝对的，而是根据经验，但是效果很好。计算的是中度异常，参数等于3时，计算的是极度异常。我们把异常值定义为小于下截断点，或者大于上截断点的数据称为异常值。
优点：与方差和极差相比，更加不容易受极端值的影响，且处理大规模数据效果很好。
缺点：小规模处理略显粗糙。而且只适合单个属相的检测。
2、识别不遵守分布或回归方程的值
方法：双变量和多变量离群值通常使用影响力或杠杆指数或距离来衡量，像Mahalanobis 的距离和Cook‘s D 这样的流行指数经常被用来检测异常值。在SAS 中，我们可以使用PROC Univariate, PROC SGPLOT ，为了识别异常值和有影响力的观测，我们还研究了STUDENT 、COOKD 、RSTUDENT 等统计指标。
马氏距离法[1]：假设两个变量Xi 和Xj 具有较高的正相关关系，某样本Xk 在这两个变量上的取值为（Xki ，Xkj ），若Xki 远远大于Xi 的平均值，而Xkj 却远小于Xj 的平均值，则这个样品就很可能是异常的。检验这种异常品可以采用马氏平方距离法。主要思想是：把n 个P 维样品看作p 维空间中的n 个点，则第i 个样品所对应的坐标为（Xi1，Xi2，…，Xip ）。样品在空间中的相对位置可通过各样品与总体重心（以各变量均值（X1，X2，…，Xp ）为坐标的点）之间的距离来求得。
设X(1)，X(2)，…，X(p)（其中（Xi1，Xi2，…，Xip ）为来自Np 中的n 个样品，其中1212(,,...,),(,,...,)p k k k nk X X X X X mean x x x ==
则样品X(i)到重心12(,,...,)p X X X 的马氏平方距离定义为
1
211221122(,,...,)'(,,...,)i i i ip p i i ip p D x x x x x x x x x x x x -=------∑ 其中∑可由样本协方差阵来估计
'()()1
1(,()())1n i i i S S x x x x n ===---∑∑ 容易证明，当n 较大时，2i D 近似服从2
p x 其临界值true D 可由
2x 分布表来查出、当2i true D D >=时，将第i 个样品判为异常。
稳健马氏距离：
由于异常值的存在会显著影响中心值和协方差矩阵的估计，使一般马氏距离不能正确反映各个观测的偏离程度。对于这类数据，需要通过稳健统计的方法，构建稳定的均值和协方差矩阵统计量。
具体算法：
设数据集为一个n 行p 列的矩阵X n×p ，从中随机抽取h 个样本数据，并计算这个样本数据的样本均值T 1和协方差矩阵S 1。 然后通过)()()(d 111'11T x S T x i i i --=-计算这 n 个样本数据到中心T 1的马氏距离，选出这n 个距离中最小的h 个，再通过这个h 个样本计算样本均值T 2和协方差矩阵S 2。根据Rousseeuw,Van Driessen(1999)可以证明 det(S 2)≤ det(S 1)，仅当T 1=T 2时候等号成立。这样子不断迭代下去，当 det(S m )≤ det(S m-1)停止迭代。这时再通过S m 进行加权计算就能求出稳健的协方差矩阵估计量。
(1)确定h 的值。h 值在0.5n 和n 之间，一般来说h 越小，它的抵抗异常值能力越强，但是最小不能少于50%，因为少于50%已经不能分辨哪些是正常值哪些是异常值，所以作为一种折中，h 默认是取h=0.75*n ，而当样本数量比较少时，h 一般取0.9n 。
(2)如果h=n ，这时计算的是整个样本数据的均值向量和协方差矩阵，返回计算结果并停止。
(3)从n 个样本中随机抽取p+1个样本构造协方差矩阵，并计算其行列式，如果行列式为0，再随机加入一个样本直到行列式不为0，这时这个协方差矩阵为初始协方差矩阵S 0，并利用随机选择出来的样本计算初始样本均值 T 0。
(4)当n 值较小(小于600)时，直接从T 0、S 0计算得到T 1、S 1并开始迭代，迭代两次得到S 3。重复 500 次这个过程，得到500个 S 3，从中选取最小的10个继续迭代直到收敛，返回最小行列式值的T 和S ，记为 T mcd 和S mcd 。．
(5)当n 值较大时，由于每次迭代都要把n 个样本的距离计算一次，非常耗时。所以把n 个样本分成几个部分，例如当n 等于900 时，可以把n 分成3个子样本，每个子样本包含300个 样本。每个子样本也是从各自 T 0、S 0计算得到 T 1、S 1并开始迭代，迭代两次得到S 3，每个子样本重复500/3=167次，各自
得到167个S 3。每个子样本从中选取最小的 10个S 3。然后把子样本合并重新合成一个整体样本，并也把子样本中的10个S 3合并，得到30个S 3。从这30个S 3迭代两次，保留最小的10个结果并继续迭代下去直到收敛，返回最小行列式值的T 和S ，记为 T mcd 和S mcd 。
(6)根据 T mcd 和S mcd 计算每个样本的稳定马氏距离d (i)。因为计算出来的距离值近似服从一个自由度为p 的卡方分布，假设置信度为97.5%时，当
2975.0,)(P i d γ>时，记 W i =0否则W i =1.然后根据 W i 再 重 新 计 算。这时< 就是最后所求的稳定协方差矩阵。在此稳健协方差矩阵和稳健样本均值基础上，便能得出稳健的马氏距离。
3、Cook‘s D Cook‘s D :在你的数据资料中,如果某一条数据记录被排除在外,那么由此造成的回归系数变化有多大.显然,如果这个值过大,那么就表明这条数据对回归系数的计算产生了明显的影响,这条数据就是异常数据.
4、覆盖法
方法：将所有不在5%到95%范围的值当作异常值。
5、标准偏差
方法：偏离平均值三个或以上标准差的数据点。
6、因子
方法：单变量或多变量异常值通常是用影响因子、水平因子、距离因子其中的一个指标来判断是否是异常值。
回归系数的影响力。陈强，《高级计量经济学及Stata 应用》，高等教育出版社。
7、简单规则库
|-从正常的行为中学习规则，测试数据若是没有被任何规则包括则认为是异常
利用规则学习算法学习规则，例如重复增量修枝（ RIPPER ）、决策树（ Decision Trees ）
8、聚类
一种利用聚类检测离群点的方法是丢弃原理其他簇的小簇。这种方法可以与任何聚类技术一起使用，但是需要最小簇大小和小簇与其他簇之间距离的阈值，通常，该过程可以简化为丢弃小于某个最小尺寸的所有簇。
一种更系统的方法是，首先聚类所有对象，然后评估对象属于簇的程度。对于基于原型的簇类，可以用对象到它的簇中心的距离来度量对象属于簇的程度。更一般地，对于基于目标函数的聚类技术，可以使用该目标函数来评估对象属于任意簇的程度。特殊情况下，如果删除一个对象导致该目标的显著改进，则我们可以将该对象分类为离群点。
优点与缺点：有些聚类技术(如K均值)的时间和空间复杂度是线性或接近线性的，因而基于这种算法的离群点检测技术可能是高度有效的。此外，簇的定义通常是离群点的补，因此可能同时发现簇和离群点。缺点方面，产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据总离群点的存在性。例如，基于原型的算法产生的簇可能因数据中存在离群点而扭曲。聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。每种聚类算法只适合特定的数据类型；因此，应当小心地选择聚类算法。
9、贝叶斯
依据已有的数据，然后建立模型，得到正常的模型的特征库，然后对新来的数据点进行判断。从而认定其是否与整体偏离，如果偏离，那么这个就是异常值。
10、降维：主成分分析法
基于矩阵分解的异常点检测方法的关键思想是利用主成分分析去寻找那些违背了数据之间相关性的异常点。为了发现这些异常点，基于主成分分析（PCA）的算法会把原始数据从原始的空间投影到主成分空间，然后再把投影拉回到原始的空间。如果只使用第一主成分来进行投影和重构，对于大多数的数据而言，重构之后的误差是小的；但是对于异常点而言，重构之后的误差依然相对大。这是
因为第一主成分反映了正常值的方差，最后一个主成分反映了异常点的方差。
网址：https://www.doczj.com/doc/34440377.html,/19836.html
11、模型
许多异常检测技术首先建立一个数据模型。异常是那些同模型不能完美拟合的对象。
三、数据中异常值的处理
1、删除
输入错误，数据处理错误或异常值数目少，修剪两端删除异常值。
2、数据转换或聚类
转换数据取对数，减少极端值的变化。用决策树直接处理带有异常值的数据，（决策树不受异常和缺失的影响）或是对不同观测值分配权重。
3、替换
类似替换缺失值，我们可以替换异常值。我们可以使用均值，中位数，众数替换方法。但需分析它是人工造成的还是自然造成的，人工可以替换，也可以用统计模型预测异常值，然后替换它。
4、分离对待
如果异常值得数目比较多，在统计模型中我们应该对它们分别处理，一个处理方法是异常值一组，正常值一组，然后分别建立模型，最后对结果合并。四、缺失值
常用的处理方法：列表明智删除和配对明智删除、均值（估计、中值）、预测模型、KNN插补。
五、参考文献
1、程鹏，数据挖掘中孤立点的探测方法[J]，福建电脑，2006年第8期。
012. 数据预处理（1）——剔除异常值及平滑处理测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数据（1）剔除异常值； 另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰（反映在曲线图形上就是一些“毛刺和尖峰”）。为了提高数据的质量，必须对数据进行（2）平滑处理（去噪声干扰）； （一）剔除异常值。 注：若是有空缺值，或导入Matlab数据显示为“NaN”（非数），需要①忽略整条空缺值数据，或者②填上空缺值。 填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充（略）。 一、基本思想： 规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，就认为它是异常值，从而予以剔除。
二、常用方法：拉依达方法、肖维勒方法、一阶差分法。 注意：这些方法都是假设数据依正态分布为前提的。 1. 拉依达方法（非等置信概率） 如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。 3x i x x S -> 其中，11n i i x x n ==∑为样本均值，1 2 2 11()1n x i i S x x n =?? ??? =--∑为样本的标准偏差。 注：适合大样本数据，建议测量次数≥50次。 代码实例（略）。 2. 肖维勒方法（等置信概率） 在 n 次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。 这实质上是规定了置信概率为1-1/2n ，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算： 10.4ln()n n ω=+
生产现场常见的问题及错误的解决方式 企业在其成长过程中，常常会经历各种不同的阶段和遇到不同层面的许多问题点。对于企业来说，发展战略是成功的坚实基础，但是企业往往失败在战术方面。所谓的战术失败，指的是在生产现场的问题点没能得到及时、有效的解决，从而也相应的使问题层出不穷。这种战术上的失败极有可能导致战略上的失败。因此，分析企业生产现场所常遇见的各类问题，以及研究企业对问题处理过程中所通常贯用的方式，是很有现实意义的。 一、常见的问题 所谓管理，就是要管理异常的事情，而正常的事情并不需要加以管理。作为管理干部，本身并不需要参与具体生产的活动，管理者所要做的就是在生产现场出现问题时，能及时、有效地排除异常的问题。生产现场的活动是很复杂的，其中可能包含了很多繁琐的流程。因 此，在生产现场将会遇到各方面的很多问题。 1、作业流程不顺畅 2、每一条生产线中，一般都包含多个流程。因此，生产现场最常见的问题就是作业流程不顺畅。作业流程不顺畅的最直接影响就是致使公司生产产品所需的平均工时增加，从而相应地降低了生产现场的工作效率，甚至导致产品不能按时交货。当遇到作业流程不顺畅时，最常用的方法是再增加同样的生产线。这样一来势必就浪费了不少工时，增加了企业对生产设备的投入，从而严重影响到公司产品生产的成本不断增加和效率不断下降。 3、 4、不良品的混入 5、如果生产现场不是井井有条，就会经常发生不良品混入的情况。所谓不良品的混入，指的是进料检验过程中出现的漏检，导致一部分不良的原料混入到生产线；或在进料检验过程中已经检验出来，并隔离在仓库，而在领料的过程中又粗心地领出来，混入了生产制造过程中；甚至有可能检验隔离出来的半成品，在进入下一道工序时又粗心地混入其中。 6、不良品的混入必然会造成重复返工。重复返工在作业过程中的经常发生，又相应地使产品的品质不断下降。最后，不合格的产品必将直接导致客户产生抱怨，要求退货，更为严重的是，客户以后不再愿意与企业合作。产品质量的好坏，直接影响到生产企业的声誉，
数据中异常值的检测与处理方法 一、数据中的异常值 各种类型的异常值： 数据输入错误：数据收集，记录或输入过程中出现的人为错误可能导致数据异常。例如：一个客户的年收入是$ 100,000。数据输入运算符偶然会在图中增加一个零。现在收入是100万美元，是现在的10倍。显然，与其他人口相比，这将是异常值。 测量误差：这是最常见的异常值来源。这是在使用的测量仪器出现故障时引起的。例如：有10台称重机。其中9个是正确的，1个是错误的。 有问题的机器上的人测量的重量将比组中其他人的更高/更低。在错误的机器上测量的重量可能导致异常值。 实验错误：异常值的另一个原因是实验错误。举例来说：在七名跑步者的100米短跑中，一名跑步者错过了专注于“出发”的信号，导致他迟到。 因此，这导致跑步者的跑步时间比其他跑步者多。他的总运行时间可能是一个离群值。 故意的异常值：这在涉及敏感数据的自我报告的度量中通常被发现。例如：青少年通常会假报他们消耗的酒精量。只有一小部分会报告实际价值。 这里的实际值可能看起来像异常值，因为其余的青少年正在假报消费量。 数据处理错误：当我们进行数据挖掘时，我们从多个来源提取数据。某些操作或提取错误可能会导致数据集中的异常值。 抽样错误：例如，我们必须测量运动员的身高。错误地，我们在样本中包括一些篮球运动员。这个包含可能会导致数据集中的异常值。 自然异常值：当异常值不是人为的（由于错误），这是一个自然的异常值。例如：保险公司的前50名理财顾问的表现远远高于其他人。令人惊讶的是，这不是由于任何错误。因此，进行任何数据挖掘时，我们会分别处理这个细分的数据。
在以上的异常值类型中，对于房地产数据，可能出现的异常值类型主 要有：(1)数据输入错误，例如房产经纪人在发布房源信息时由于输入错误，而导致房价、面积等相关信息的异常；在数据的提取过程中也可能会出现异常值，比如在提取出售二手房单价时，遇到“1室7800元/m 2”，提取其中的数字结果为“17800”，这样就造成了该条案例的单价远远异常于同一小区的其他房源价格，如果没有去掉这个异常值，将会导致整个小区的房屋单价均值偏高，与实际不符。(2)故意的异常值，可能会存在一些人，为了吸引别人来电询问房源，故意把价格压低，比如房屋单价为1元等等；(3)自然异常值。房价中也会有一些实际就是比普通住宅价格高很多的真实价格，这个就需要根据实际请况进行判断，或在有需求时单独分析。 二、数据中异常值的检测 各种类型的异常值检测： 1、四分位数展布法 方法[1]：大于下四分位数加倍四分位距或小于上四分位数减倍。 把数据按照从小到大排序，其中25%为下四分位用FL 表示，75%处为上四分位用FU 表示。 计算展布为：L U F F F d -=，展布（间距）为上四分位数减去下四分位数。 最小估计值（下截断点）：F L d F 5.1- 最大估计值（上截断点）：F U d F 5.1+ 数据集中任意数用X 表示，F U F L d F X d F 5.15.1+<<-， 上面的参数不是绝对的，而是根据经验，但是效果很好。计算的是中度异常，参数等于3时，计算的是极度异常。我们把异常值定义为小于下截断点，或者大于上截断点的数据称为异常值。
生产现场异常情况处理办法 本办法为规范长春市科海实业有限责任公司生产过程中现场出现异常情况的处理，根据公司的具体情况，并参照ISO/TS16949相关要求制定。 一、范围 本办法规定了公司在生产过程中，出现各类异常情况而影响产品实现过程时，各相关部门需采取的手段和应尽的职责。 本办法适用于公司产品的制造过程。 二、定义 异常——车间在执行制造部下达的生产计划时，碰到的各种影响制造过程因素。 材料——围绕着制造过程，车间领用的原材料、辅助材料、底质易耗品；上道序车间直供上线的半成品；第三方物流投送的毛坯、零件、部件。 三、职责 1 制造部 1.1 负责生产现场异常情况的协调、跟踪 1.2 负责生产现场异常情况有关责任方处理后的落实、检查工作 1.3 负责生产现场异常情况有关责任方职责不明的现场判定 1.4 负责生产现场人力资源跨车间的调度 1.5 负责生产现场异常情况时工艺的调整 1.6 负责生产现场异常情况的通报 2 经营发展部 2.1 负责制度重叠、脱节的修订和更改 3 质量部 3.1 负责生产现场有关材料、在制品、半成品、成品、配件质量异常情况的处理 3.2 负责生产现场监测、测量仪器异常情况的处理
4 设备动力部 4.1 负责生产现场设备异常情况的处理 4.2 负责生产现场设备事故的处理 4.3 负责生产现场安全事故的处理 5 采购部 5.1 负责生产现场紧急采购物资的采购工作 6 人力资源部 6.1 根据制造部的意见负责车间人力资源的调剂和培训工作 7 产品开发部 7.1 负责协助制造部、质量部就生产现场异常时有关技术文件的处理 8 第三方物流 8.1 负责生产现场异常情况时物料的补充和更换 四、培训和资格 本办法所涉及的相关操作人员，须接受本办法的培训。 五、工作内容 1 车间加、拖班 1.1 制造部调度统一安排生产车间加班、拖班。一般情况提前一小时书面通知，紧急情况电话通知。其他部门根据通知自行安排配合。 2 动力（水、电、压缩空气、冷气）出现异常 2.1 正常生产时，停水、电、压缩空气、冷气前，设备动力部须提前二小时通知制造部，特殊情况电话紧急通知有关车间。制造部调度及时进行跟踪，并在生产现场异常情况通报表中进行通报。
QC检验异常值处理标准操作规程 1目的 本程序规定了QC所涉及的各检验项目出现检验结果异常情况的处理原则和管理办法。通过实施本程序，对产品检验结果异常情况进行规范管理。 2 管理程序 1) 检验结果异常的处理原则 凡出现下列情况均属异常，必须填写《检验异常值发生的初期调查报告书》见附表一异常值：指在药品生产的试验检验中，相当于下面a～e的任何一个的所有测定值。 a 超出《药品生产批准、公定书，以及公司内部标准书中所规定的标准》的检验结果 b 虽然符合2.1的标准，但超过管理范围的检验结果。 c 在重复测定次数ｎ＝2以上的计量试验中，偏离检验标准规格幅度的1/2以上的最 大，最小的各试验结果。 d 检测以及验证等中，超出“期待结果”的试验结果 e 在长期稳定性试验中，超出质量标准时，或者特别做出的试验实施方案中，超出上 面所规定的规格的试验结果。 2) 管理范围：仅在最终成品检验的定量检验中设定。指和检验标准规格不同，为根据 日常的检验结果成品质量的偏差如下所示，作为范围数据化的值。考虑规格值和分析的精确度，难以设定管理范围的计量仪器除外。 3) 检验分析责任者：具有质量管理方面丰富的知识，在品质总责任者的领导下进行总管分析实施人的人员。 4)对照品：指过去没有发现异常的批留样中，最新的批次。用于初期调查。 5)再分析：供试品溶液，标准溶液的第二次分析（包括从同样的试验用标准溶液中的 稀释） 6) 复验：从同样的容器中准备的样品，作为初次检验的追加检验。 3 产生异常值时的处理 分析实施人要充分理解试验操作中对测定值造成较大影响的点。用于检验的装置都要进行校验。作为检验方法规定了系统符合性试验时，必须实施。
第二章 误差和分析数据处理 第一节 概 述 定量分析的任务是要准确地解决“量”的问题，但是定量分析中的误差是客观存在的，因此，必须寻找产生误差的原因并设法减免，从而提高分析结果的可靠程度，另外还要对实验数据进行科学的处理，写出合乎要求的分析报告。 第二节 测量误差 一、绝对误差和相对误差 1. 绝对误差 测量值与真实值之差称为绝对误差。δ = x - μ 2. 相对误差 绝对误差与真值的比值称为相对误差。 %100%100?-=?μ μμδ x 若真实值未知，但δ 已知，也可表示为 %100?x δ 3. 真值与标准参考物质 理论真值：如某化合物的理论组成等。 约定真值：如国际计量大会上确定的长度、质量、物质的量单位等。 相对真值：如标准参考物质的含量。 标准参考物质：经权威机构鉴定并给予证书的，又称标准试样。 实际工作中，常把最有经验的人用最可靠的方法对标准试样进行多次测定所得结 果的平均值作为真值的替代值。 二、系统误差和偶然误差 1. 系统误差（可定误差） 由某种确定的原因引起，一般有固定的方向，大小在试样间是恒定的，重复测定 时重复出现。
按系统误差的来源分类：方法误差、仪器或试剂误差、操作误差。 方法误差：滴定分析反应进行不完全、干扰离子的影响、滴定终点与化学计量点 不符、副反应的发生、沉淀的溶解、共沉淀现象、灼烧时沉淀的分解或挥发。 仪器或试剂误差：砝码、容量器皿刻度不准、试剂中含有被测物质或干扰物质。 操作误差：称样时未注意防止吸湿、洗涤沉淀过分或不充分、辨别颜色偏深（浅）、 读数偏高（低）。 按系统误差的数值变化规律分类：恒定误差、比例误差。 系统误差可用加校正值的方法予以消除。 2. 偶然误差（随机误差、不可定误差） 由于偶然的原因如温度、湿度波动、仪器的微小变化、对各份试样处理时的微小 差别等引起，其大小和正负都不固定。 偶然误差服从统计规律，可用增加平行测定次数加以减免。 三、准确度和精密度 1. 准确度与误差 准确度表示分析结果与真实值接近的程度。准确度的大小用绝对误差或相对误差 表示。评价一个分析方法的准确度常用加样回收率衡量。 2. 精密度与偏差 精密度表示平行测量的各测量值之间互相接近的程度。精密度的大小可用偏差、 相对平均偏差、标准偏差和相对标准偏差表示。重复性与再现性是精密度的常见别名。 偏差：d = x i - x 平均偏差： n x x d n i i ∑=-=1 相对平均偏差： %100/)(%1001?-=?∑=x n x x x d n i i 标准偏差（标准差）： 1 )(1 2 --= ∑=n x x S n i i
第二章 实验数据误差分析和数据处理 第一节 实验数据的误差分析 由于实验方法和实验设备的不完善，周围环境的影响，以及人的观察力，测量程序等限制，实验观测值和真值之间，总是存在一定的差异。人们常用绝对误差、相对误差或有效数字来说明一个近似值的准确程度。为了评定实验数据的精确性或误差，认清误差的来源及其影响，需要对实验的误差进行分析和讨论。由此可以判定哪些因素是影响实验精确度的主要方面，从而在以后实验中，进一步改进实验方案，缩小实验观测值和真值之间的差值，提高实验的精确性。 一、误差的基本概念 测量是人类认识事物本质所不可缺少的手段。通过测量和实验能使人们对事物获得定量的概念和发现事物的规律性。科学上很多新的发现和突破都是以实验测量为基础的。测量就是用实验的方法，将被测物理量与所选用作为标准的同类量进行比较，从而确定它的大小。 1.真值与平均值 真值是待测物理量客观存在的确定值，也称理论值或定义值。通常真值是无法测得的。若在实验中，测量的次数无限多时，根据误差的分布定律，正负误差的出现几率相等。再经过细致地消除系统误差，将测量值加以平均，可以获得非常接近于真值的数值。但是实际上实验测量的次数总是有限的。用有限测量值求得的平均值只能是近似真值，常用的平均值有下列几种: (1) 算术平均值 算术平均值是最常见的一种平均值。 设1x 、2x 、……、n x 为各次测量值，n 代表测量次数，则算术平均值为 n x n x x x x n i i n ∑==+???++=121 (2-1) (2) 几何平均值 几何平均值是将一组n 个测量值连乘并开n 次方求得的平均值。即 n n x x x x ????=21几 (2-2) （3）均方根平均值 n x n x x x x n i i n ∑==+???++= 1 222221均 (2-3) (4) 对数平均值 在化学反应、热量和质量传递中，其分布曲线多具有对数的特性，在这种情况下表征平均值常用对数平均值。 设两个量1x 、2x ，其对数平均值
A版 汇签： 制定：审核：批准：修订记录：
1.目的 2.为了规范产线发生异常时，能及时、准确地反映并能通过相关人员确认、分析、及时解决，确保生产正常进行。 3.适用范围 4.适用于客户与工厂合作产品之生产线发生的异常现象。 3. 职责 工厂品质：提出异常问题，确认是否属实。 工厂工程：负责产线异常分析，找出问题原因，提出改善对策。 工厂IQC：跟进改善结果及效果确认；对来料进行管控。 工厂品质：提供异常的最终处理方案，并对改善方案评估/验证；供应商改善报告回复及监控。 客户项目、结构、工程：负责结构、软/硬件异常问题的解决。 客户采购：负责来料异常商务方面的处理。 客户计划：负责异常发生时总体计划的协调和异常发生产生的工时和物料的签合。 质量总监：让步接收最终审批。 4. 异常处理流程 4.1工厂仓库按客户计划要求根据BOM及套料单领取物料安排生产！ 4.2产线在生产中发现产品与样板不符、功能缺失、装配出来的成品达不到标准要求或来料无法使用等现象时，
及时上报IPQC、工厂品质&工程等相关人员确认。 工厂品质确认异常可接受，通知产线继续生产；如确认异常成立则交工厂工程分析同时开出《生产异常报告》。 经工厂工程分析，给出初步分析结果，结果分为工艺问题、设计问题、来料问题。 由工厂工程分析为工艺问题，由工程辅导产线纠正生产工艺，工厂品质监督确认，产线恢复正常生产。 经工厂工程初步分析异常属于设计问题，在能力范围内能解决的自行处理，但需将解决办法知会客户，若无法解决的则书面知会客户品质、项目、结构、计划。由客户计划主导协调客户项目结构分析在30分钟内给出临时处理解决办法，经工厂品质确认合格恢复生产；对于后期的改善对策，由客户品质主导负责协调项目、结构工程等一起实施有效的解决对策并进行验证，得到工厂品质确认方可进行生产安排！ 由工厂工程及品质确认异常是来料问题，第一时间以邮件通知客户计划、品质、采购，并要求客户品质在30分钟内对物料问题给予回复处理意见(临时解决办法)，工厂给予相应配合和支持！同时客户品质联系供应商到工厂工厂及时解决，并要求供应商给出不良原因分析及改善报告回复，客户品质对其进行验证，同时要求供应商挑选符合品质标准的物料经品质确认后方可恢复生产。 4.6.1若供应商没在规定时间（原则上要求供应商4小时内）到工厂处理，先由采购或品质与供应商沟通，如 果供应商同意接收工厂工厂挑选并承担其挑选费用和不良物料，产线予以上线生产！ 4.6.2 由于A 物料来料不良比例较高，拆修时造成B物料不良，产线立即提报生产异常单和提报预估损耗比例， 让客户品质现场确认，后续以此作为退料依据！ .生产异常时产线处理： 4.7.1当产线单项不良超过20%，通过加工处理，不良率仍超过5%，经与客户计划协商，产线开出异常通知单，通知停线。工厂计划根据实际情况提报工时损耗及物料损耗明细，让客户计划汇签确认！ 生产过程中造成A类物料≥1%的损耗，连续二个小时达到此标准产线暂停线待处理，如超%应立即暂停线待分析处理。 生产过程中造成B类物料≥3%的损耗，应立即暂停线待分析处理。 4.7.4生产异常发生时如客户品质有人在工厂由客户品质确认，如无则由工厂品质确认，必须在接到异常半小时内确认，并知会客户计划是否正式停线或转投其它机型。如超过正常损耗还须投产，客户须在投产前将超过正常损耗的归属确认。 4.7.5 工厂工厂挑选工时按照每人30元/小时计算！工厂工厂只与客户对接结算！ 产线异常发生时，需在二小时内给出短期措施，一个工作日内给出有效的解决方案，工厂所有异常需在七天
. 一、 一、实验/实习过程 实验题1在程序中产生一个ArithmeticException类型被0除的异常，并用catch 语句捕获这个异常。最后通过ArithmeticException类的对象e 的方法getMessage给出异常的具体类型并显示出来。 package Package1; public class除数0 { public static void main(String args[]){ try{ int a=10; int b=0; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } } 实验题2在一个类的静态方法methodOne（）方法内使用throw 产生
ArithmeticException异常，使用throws子句抛出methodOne（）的异常，在main方法中捕获处理ArithmeticException异常。 package Package1; public class抛出异常 { static void methodOne() throws ArithmeticException{ System.out.println("在methodOne中"); throw new ArithmeticException("除数为0"); } public static void main(String args[]){ try{ int a=10; int b=0; int c=1; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } }
物理实验课的基本程序 物理实验的每一个课题的完成，一般分为预习、课堂操作和完成实验报告三个阶段。 §1 实验前的预习 为了在规定时间内，高质量地完成实验任务，学生一定要作好实验前的预习。 实验课前认真阅读教材，在弄清本次实验的原理、仪器性能及测试方法和步骤的基础上，在实验报告纸上写出实验预习报告。预习报告包括下列栏目： 实验名称 写出本次实验的名称。 实验目的 应简单明确地写明本次实验的目的要求。 实验原理 扼要地叙述实验原理，写出主要公式及符号的意义，画上主要的示意图、电路图或光路图。若讲义与实际所用不符，应以实际采用的原理图为准。 实验内容 简明扼要地写出实验内容、操作步骤。为了使测量数据清晰明了，防止遗漏，应根据实验的要求，用一张A4白纸预先设计好数据表格，便于测量时直接填入测量的原始数据。注意要正确地表示出有效数字和单位。 §2 课堂操作 进入实验室，首先要了解实验规则及注意事项，其次就是熟悉仪器和安装调整仪器（例如,千分 尺调零、天平调水平和平衡、光路调同轴等高等）。 准备就绪后开始测量。测量的原始数据（一定不要加工、修改）应忠实地、整齐地记录在预 先设计好的实验数据表格里，数据的有效位数应由仪器的精度或分度值加以确定。数据之间要留有间隙，以便补充。发现是错误的数据用铅笔划掉，不要毁掉，因为常常在核对以后发现它并没有错，不要忘记记录有关的实验环境条件（如环境温度、湿度等），仪器的精度，规格及测量量的单位。实验原始数据的优劣，决定着实验的成败，读数时务必要认真仔细。运算的错误可以修改，原始数据则不能擅自改动。全部数据必须经老师检查、签名，否则本次实验无效。两人同作一个实验时，要既分工又协作，以便共同完成实验。实验完毕后，应切断电源，整理好仪器，并将桌面收拾整洁方能离开实验室。 §3 实验报告 实验报告是实验工作的总结。要用简明的形式将实验报告完整而又准确地表达出来。实验报告 要求文字通顺，字迹端正，图表规矩，结果正确，讨论认真。应养成实验完后尽早写出实验报告的习惯，因为这样做可以收到事半功倍的效果。 完整的实验报告应包括下述几部分内容： 数据表格 在实验报告纸上设计好合理的表格，将原始数据整理后填入表格之中（有老师签 名的原始数据记录纸要附在本次报告一起交）。 数据处理 根据测量数据，可采用列表和作图法（用坐标纸），对所得的数据进行分析。按照 实验要求计算待测的量值、绝对误差及相对误差。书写在报告上的计算过程应是：公式→代入数据→结果，中间计算可以不写，绝对不能写成：公式→结果，或只写结果。而对误差的计算应是：先列出各单项误差,按如下步骤书写，公式→代入数据→用百分数书写的结果。 结果表达 按下面格式写出最后结果： ）N （）（N ）N （总绝对误差测量结果待测量?±=.. %100(??=N N ）Er 相对误差
1.目的 为更加规范生产现场在发生异常时,能及时准确地反映并能通过相关人员确认、分析、及时解决,确保生产顺利进行特制订此规定。 2.范围 适用公司生产中心下辖所有生产线上发生的异常现象。 3.权责 3.1生产线组长：负责提出异常与工程部、品质部、PMC配合处理，确 认异常是否属实，并按起异常信号指示灯。 3.2工程部：负责结构、设计方面异常分析，提出改善对策。 3.3品质部：负责生产线异常分析，提出改善对策并跟进改善结果及效 果确认，对来料进行管控，并对此类异常制定纠正预防措施。 3.4总经办：稽核项目、结构、来料异常的过程及异常解决情况。 3.5采购部：负责对来料异常与供应商的沟通协调异常处理。 3.6PMC部：负责异常产生的生产计划排程重新制定和异常工时的申报。 4.生产线出现异常处理规则及注意事项 4.1当生产线不良率超过15%时，立即开起红色信号灯。 4.2工程部、品质部、PMC接到异常信号指示灯（红灯亮）时，10分钟 到达生产线信号指示灯现场处理异常。 4.3生产现场发生异常时品质部或工程部确认后，并马上反馈给生产线 组长给予指示，如果生产线组长将异常反馈给工程部、品质部在30分钟内没给出指示的，生产线有权停线、待工。
4.4生产线异常发生时，品质部、工程部在30分钟内给出短期解决措施， 如需更改工艺或制做工装夹具的工部须在1H内给出解决措施。 4.5如果出现重大品质异常，不能完善解决问题，由工程部知会PMC组 织相关部门开会商计解决。 4.6工程部分析异常原因必须要正确、专业、给出解决方案要具有可操 作性，并能通过相关部同意方可有效。 4.7出现异常后如果需要更改工艺或返工、生产中心、品质部有权要求 工程部作出作业指导书，工程部在4H内作出简易的作业指导书或返工流程给相关部门确认，品质部现场跟进，监督生产作业。 4.8以上整个过程品质部要监督跟进，有任何问题要及时汇报。 4.9因来料异常由品质部判断归属物料不良的，由生产中心将物料退回 仓库进行换料。 4.10异常处理解决后由生产线将异常信号指示灯关毕。 4．11异常处理现场可以解决的，由工程部、品质部提供合格的样品（标准）给生产线，生产线按标准作业，对于工艺复杂、客人有特殊要求的重点工位由工程部提供作业指导书。 5.相关表单无
一、实验/实习过程 实验题1在程序中产生一个ArithmeticException类型被0除的异常，并用catch 语句捕获这个异常。最后通过ArithmeticException类的对象e 的方法getMessage给出异常的具体类型并显示出来。 package Package1; public class除数0 { public static void main(String args[]){ try{ int a=10; int b=0; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } } 实验题2在一个类的静态方法methodOne（）方法内使用throw 产生ArithmeticException异常，使用throws子句抛出methodOne（）的异常，
在main方法中捕获处理ArithmeticException异常。 package Package1; public class抛出异常 { static void methodOne() throws ArithmeticException{ System.out.println("在methodOne中"); throw new ArithmeticException("除数为0"); } public static void main(String args[]){ try{ int a=10; int b=0; int c=1; System.out.println("输出结果为："+a/b); } catch(ArithmeticException e){ System.out.println("除数不能为0"+e.getMessage()); } } }
误差分析和数据处理
误差和分析数据处理 1 数据的准确度和精度 在任何一项分析工作中，我们都可以看到用同一个分析方法，测定同一个样品，虽然经过多 少次测定，但是测定结果总不会是完全一样。这 说明在测定中有误差。为此我们必须了解误差产 生的原因及其表示方法，尽可能将误差减到最 小，以提高分析结果的准确度。 1.1 真实值、平均值与中位数 （一）真实值 真值是指某物理量客观存在的确定值。通常一个物理量的真值是不知道的，是我们努力要求 测到的。严格来讲，由于测量仪器，测定方法、 环境、人的观察力、测量的程序等，都不可能是 完善无缺的，故真值是无法测得的，是一个理想 值。科学实验中真值的定义是：设在测量中观察 的次数为无限多，则根据误差分布定律正负误差 出现的机率相等，故将各观察值相加，加以平均， 在无系统误差情况下，可能获得极近于真值的数 值。故“真值”在现实中是指观察次数无限多时， 所求得的平均值（或是写入文献手册中所谓的 “公认值”）。
（二）平均值 然而对我们工程实验而言，观察的次数都是 有限的，故用有限观察次数求出的平均值，只能 是近似真值，或称为最佳值。一般我们称这一最 佳值为平均值。常用的平均值有下列几种： （1）算术平均值 这种平均值最常用。凡测量值的分布服从正 态分布时，用最小二乘法原理可以证明：在一组 等精度的测量中，算术平均值为最佳值或最可信 赖值。 n x n x x x x n i i n ∑=++==121 式中： n x x x 21、——各次观测值；n ――观察 的次数。 （2）均方根平均值 n x n x x x x n i i n ∑=++==12 22221 均 （3）加权平均值 设对同一物理量用不同方法去测定，或对同 一物理量由不同人去测定，计算平均值时，常对 比较可靠的数值予以加重平均，称为加权平均。
目录 摘要......................................................................... I 关键词...................................................................... I 1引言 (1) 2异常值的判别方法 (1) 检验（3S）准则 (1) 狄克松（Dixon）准则 (2) 格拉布斯（Grubbs）准则 (2) 指数分布时异常值检验 (3) 莱茵达准则（PanTa） (3) 肖维勒准则（Chauvenet） (4) 3 实验异常数据的处理 (4) 4 结束语 (5) 参考文献 (6)
试验数据异常值的检验及剔除方法 摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析. 关键词：异常值检验；异常值剔除；DPS；测量数据
1 引言 在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度. 判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除. 利用计算机剔除异常值的方法许多专家做了详细的文献[1] 报告.如王鑫，吴先球，用Origin 剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文. 2 异常值的判别方法 判别异常值的准则很多，常用的有t 检验（3S ）准则、狄克松（Dixon ）准则、格拉布斯（Grubbs ）准则等准则.下面将一一简要介绍. 2.1 检验（3S ）准则 t 检验准则又称罗曼诺夫斯基准则，它是按t 分布的实际误差分布范围来判别异常值，对重复测量次数较少的情况比较合理. 基本思想：首先剔除一个可疑值，然后安t 分布来检验被剔除的值是否为异常值. 设样本数据为123,,n x x x x ，若认j x 为可疑值.计算余下1n -个数据平均值 1n x -及标准差1n s - ，即2 111,1,1n n i n i i j x x s n --=≠=-∑. 然后，按t 分布来判别被剔除的值j x 是否为异常值. 若1(,)n j x x kn a -->，则j x 为异常值，应予剔除，否则为正常值，应予以保留.其中：a 为显著水平；n 数据个数；(,)k n a 为检验系数，可通过查表得到.
data下拉菜单里有define variable properties,把变量选到右边的框里，点continue，在新窗口中有变量在样本中的所有取值，要定义某个值是异常值，就把相应的missing框勾上就ok 啦~~~然后再处理数据时这些值就已经被剔除，不参与分析了~~~ 使用箱型图Boxplot...发现异常值，然后把大于等于最小异常值或小于等于最大异常值的值 用Data主菜单里的Cases Select子菜单里的条件设置按钮，就可以自动剔除异常值。 spss里有个功能，好像是绘图吧。绘制Box plot图的。Box plot，可译成箱线图，由一个矩形箱和几条线段组合而成。针对一个数据批，其箱线图的绘制一般由以下几个步骤：第一、画数轴，度量单位大小和数据批的单位一致，起点比最小值稍小，长度比该数据批的全距稍长。 第二、画一个矩形盒，两端边的位置分别对应数据批的上下四分位数（Q1 和Q3）。在矩形盒内部中位数（X m）位置画一条线段为中位线。 第三、在Q3＋1.5IQR（四分位距）和Q1－1.5IQR处画两条与中位线一样的线段，这两条线段为异常值截断点，称其为内限；在F＋3IQR和F－3IQR处画两条线段，称其为外限。处于内限以外位置的点表示的数据都是异常值，其中在内限与外限之间的异常值为温和的异常值（mild outliers），在外限以外的为极端的异常值(extreme outliers)。 第四、从矩形盒两端边向外各画一条线段直到不是异常值的最远点，表示该批数据正常值的分布区间。 第五、用“〇”标出温和的异常值，用“＊”标出极端的异常值。相同值的数据点并列标出在同一数据线位置上，不同值的数据点标在不同数据线位置上。至此一批数据的箱线图便绘出了。统计软件绘制的箱线图一般没有标出内限和外限。箱线图示例可见下图。 我常用一下方法: 1、可以通过“分析”下“描述统计“下“频率”的”绘制“直方图”，看图发现频数出现最少的值，就可能是异常值，但还要看距离其它情况的程度。 2、可通过“分析”下的“描述统计”下的“探索”下的“绘制”选项的“叶茎图”，看个案偏离箱体边缘(上端、下端)的距离是箱体的几倍，“○”代表在1.5-3倍之间(离群点)，“*”代表超过3倍(极端离群点)。 3、可以通过“分析”下“描述统计“下“描述”下的选项“将标准化存为变量Z”，选择相应的变量，“确定”。将生成新变量，如果值超过2，肯定是异常值。
品质异常处理流程及方法Last revision on 21 December 2020
品质异常处理流程及方法 摘要：品质人员的工作职责之一就是要及时发现反馈生产中的品质异常状况，并督促现场执行改善措施、追踪其改善效果,保证只有合格的产品才能转入下一道工序,生产出高质量的产品. 品质人员的工作职责 1、熟悉所控制范围的工艺流程 2、来料确认 3、按照作业指导书规定进行检验（首检、巡检） 4、作相关的质量记录 5、及时发现反馈生产中的品质异常状况，并督促现场执行改善措施、追踪其改善效果 6、特殊产品的跟踪及质量记录 7、及时提醒现场对各物料及成品明显标识，以免混淆 8、及时纠正作业员的违规操作，督促其按作业指导书作业 9、对转下工序的产品进行质量及标识进行确认 品质异常可能发生的原因 生产现场的品质异常主要指的是在生产过程中发现来料、自制件批量不合格或有批量不合格的趋势。品质异常的原因通常有： A. 来料不合格包括上工序、车间的来料不合格 B. 员工操作不规范，不按作业指导书进行、新员工未经培训或未达到要求就上岗 C. 工装夹具定位不准 D. 设备故障 E. 由于标识不清造成混料 F. 图纸、工艺技术文件错误。
品质异常一般处理流程 1、判断异常的严重程度（要用数据说话） 2、及时反馈品质组长及生产拉长并一起分析异常原因（不良率高时应立即开出停线通知单） 3、查出异常原因后将异常反馈给相关的部门 （1）来料原因反馈上工序改善 （2）人为操作因素反馈生产部改善 （3）机器原因反馈设备部 （4）工艺原因反馈工程部 （5）测量误差反馈计量工程师 （6）原因不明的反馈工程部 4、各相关部门提出改善措施，IPQC督促执行 5、跟踪其改善效果，改善OK，此异常则结案，改善没有效果则继续反馈 怎样做才能尽可能的预防品质异常 是一款专门分析品质异常的工具,它主要是应用统计分析技术对项目过程进行实时监控，区分出过程中的随机波动与异常波动，了解每个工序有可能出现的品质异常、了解哪些工位容易出品质异常,从而对过程的异常趋势提出预警，以便及时采取措施，消除异常，恢复稳定，从而达到稳定过程,提高和控制质量的目的.
第二章实验数据误差分析和数据处理 第一节实验数据的误差分析 由于实验方法和实验设备的不完善，周围环境的影响，以及人的观察力，测量程序等限制，实验观测值和真值之间，总是存在一定的差异。人们常用绝对误差、相对误差或有效数字来说明一个近似值的准确程度。为了评定实验数据的精确性或误差，认清误差的来源及其影响，需要对实验的误差进行分析和讨论。由此可以判定哪些因素是影响实验精确度的主要方面，从而在以后实验中，进一步改进实验方案，缩小实验观测值和真值之间的差值，提高实验的精确性。 一、误差的基本概念 测量是人类认识事物本质所不可缺少的手段。通过测量和实验能使人们对事物获得定量的概念和发现事物的规律性。科学上很多新的发现和突破都是以实验测量为基础的。测量就是用实验的方法，将被测物理量与所选用作为标准的同类量进行比较，从而确定它的大小。 1.真值与平均值 真值是待测物理量客观存在的确定值，也称理论值或定义值。通常真值是无法测得的。若在实验中，测量的次数无限多时，根据误差的分布定律，正负误差的出现几率相等。再经过细致地消除系统误差，将测量值加以平均，可以获得非常接近于真值的数值。但是实际上实
验测量的次数总是有限的。用有限测量值求得的平均值只能是近似真值，常用的平均值有下列几种: (1) 算术平均值 算术平均值是最常见的一种平均值。 设1x 、2x 、……、n x 为各次测量值，n 代表测量次数，则算术平均值为 n x n x x x x n i i n ∑==+???++=1 21 (2-1) (2) 几何平均值 几何平均值是将一组n 个测量值连乘并开n 次方求得的平均值。即 n n x x x x ????=21几 (2-2) （3）均方根平均值 n x n x x x x n i i n ∑== +???++= 1 2222 21 均 (2-3) (4) 对数平均值 在化学反应、热量和质量传递中，其分布曲线多具有对数的特性，在这种情况下表征平均值常用对数平均值。 设两个量1x 、2x ，其对数平均值 2 1212 121ln ln ln x x x x x x x x x -=--=对 (2-4) 应指出，变量的对数平均值总小于算术平均值。当1x /2x ≤2时，可以用算术平均值代替对数平均值。 当1x /2x =2，对x =, =x , (对x -x )／对x =%, 即1x /2x ≤2，引起的误差不超过%。
数据预处理——剔除异常值及平滑处理 测量数据在其采集与传输过程中，由于环境干扰或人为因素有可能造成个别数据不切合实际或丢失，这种数据称为异常值。为了恢复数据的客观真实性以便将来得到更好的分析结果，有必要先对原始数据剔除异常值。 另外，无论是人工观测的数据还是由数据采集系统获取的数据，都不可避免叠加上“噪声”干扰（反映在曲线图形上就是一些“毛刺和尖峰”）。为了提高数据的质量，必须对数据进行平滑处理（去噪声干扰）。 （一）剔除异常值。 注：若是有空缺值，或导入Matlab 数据显示为“NaN ”（非数），需要忽略整条空缺值数据，或者填上空缺值。 填空缺值的方法，通常有两种：A. 使用样本平均值填充；B. 使用判定树或贝叶斯分类等方法推导最可能的值填充（略）。 一、基本思想： 规定一个置信水平，确定一个置信限度，凡是超过该限度的误差，就认为它是异常值，从而予以剔除。 二、常用方法：拉依达方法、肖维勒方法、一阶差分法。 注意：这些方法都是假设数据依正态分布为前提的。 1. 拉依达方法（非等置信概率） 如果某测量值与平均值之差大于标准偏差的三倍，则予以剔除。 3x i x x S ->
其中，11 n i i x x n ==∑为样本均值，1 2 211()1n x i i S x x n =?? ??? =--∑为样本的标准偏差。 注：适合大样本数据，建议测量次数≥50次。 代码实例（略）。 2. 肖维勒方法（等置信概率） 在 n 次测量结果中，如果某误差可能出现的次数小于半次时，就予以剔除。 这实质上是规定了置信概率为1-1/2n ，根据这一置信概率，可计算出肖维勒系数，也可从表中查出，当要求不很严格时，还可按下列近似公式计算： 10.4ln()n n ω=+ Tab1. 肖维勒系数表 如果某测量值与平均值之差的绝对值大于标准偏差与肖维勒系数之积，则该测量值被剔除。 n x i x x S ω-> 例1. 利用肖维勒方法对下列数据的异常值（2.5000）进行剔除： 1.5034 1.5062 1.5034 1.5024 1.4985 2.5000 1.5007
异常数据的处理 在使用“税务稽查查账软件”的过程中，其前提工作就是“企业数据采集”。通常可以使用奇星查账软件的“数据采集软件”完成企业电子账务数据的采集工作。但实际工作中，由于企业相关人员对“采集行为”的不理解、目前相关政策法规的不明确、企业服务器放在异地等情况，会造成无法通过“数据采集软件”完成正常的数据采集。这就需要通过一些技术手段，人工处理了。 通常对于无法正常采集的企业数据，我们采用下述三个环节进行处理： 一、要求企业从财务软件中，导出“余额表”及“序时账簿” 二、对企业提供的两个电子表进行格式化处理 三、将格式化处理的电子表利用查账软件中的“万能数据导入”还原到查账软件中，生 成电子账簿
出的格式会存在差异，我们对企业给出了规范性要求： 其一：余额表必须是对应数据年度的“一月份期初余额表”，表中所涉的会计科目应该“包含所有科目”，且所涉的会计科目级次应该是从“一级”到“最深科目级次”。并以Excel格式保存。 其二：序时账簿要求企业查询全年凭证，并根据数据量不同，按年、按季或分月导出为Excel。
需要进行处理后，才可使用 （一）处理“余额表” 企业提供的“余额表”中，应该含有科目代码、科目名称、借方余额、贷方余 额，如下图所示： 1、根据“查账软件”万能数据导入功能的要求，“科目名称”中不能含有科目代码信息，可通过Excel的替换功能，进行如下图所示操作，将类似“1002.01/”的信息清除掉
结果如下图所示 2、根据“查账软件”万能数据导入功能的要求，需要手工定义“科目性质”，即“资产”、“负债”、“所有者权益”等，在会计制度科目体系下，分别用“1——5”表示，在新准则下，分别用“1——6”表示 处理方法，通过Excel 的LEFT函数，取科目代码的“第一位”作为科目性质代码，如下图所示