可疑值取舍的方法
在数据分析和统计学中，可疑值是指与其余观测值相比较起来具有异常特征的数据点。当进行数据处理和分析时，我们常常需要决定如何对可疑值进行处理。
1. 检查数据的完整性
在处理可疑值之前，首先要确保数据的完整性。这包括检查数据是否有缺失值、异常值或错误值。如果发现了不完整的数据，应该先进行数据清洗，修正或删除这些数据。
2. 确定可疑值的原因
在决定如何处理可疑值之前，需要进一步分析探究造成可疑值的原因。可能的原因包括测量误差、人为错误、系统故障等。了解可疑值的原因可以帮助我们选择合适的处理方法。
3. 选择合适的取舍方法
针对可疑值，有多种取舍方法可供选择：
•删除法：直接删除可疑值。这种方法适用于可疑值对数据分析结果影响较小且不重要的情况。
•替换法：将可疑值替换为其他合理的数值，如均值、中位数或者使用回归分析等方法来预测该值。
•分组取舍法：根据数据特征将可疑值划分到不同的组别，并对每个组别进行单独处理。
•异常标记法：将可疑值标记为异常，以便在后续分析中进行更详细的研究。
4. 注意取舍带来的影响
在选择取舍方法时，需要考虑其对数据集和分析结果的影响：
•数据偏差：某些取舍方法可能导致数据整体偏离真实情况。
•信息丢失：删除或替换可疑值可能会导致相关的信息丢失。
•结果误差：取舍方法可能会对数据分析结果产生误差。
因此，在选择取舍方法时需要权衡利弊，并根据具体情况进行决策。
5. 记录处理过程
在进行可疑值取舍时，应该记录下所有的处理步骤、方法和结果。这有助于保持数据处理的透明性和可追溯性。
6. 数据分析报告
最后，将处理完可疑值的数据用于进一步的数据分析。在报告中应该明确提及可疑值的处理方法和原因，以及其对结果的可能影响。
注意：在进行数据处理和可疑值取舍时，请始终遵循相关的统计学和数据分析原则，并在有需要时咨询专业人士。
分析化学中的误差 定量分析的目的是准确测定试样中组分的含量，因此分析结果必须具有一定的准确度。在定量分析中，由于受分析方法、测量仪器、所用试剂和分析工作者主观条件等多种因素的限制，使得分析结果与真实值不完全一致。即使采用最可靠的分析方法，使用最精密的仪器，由技术很熟练的分析人员进行测定，也不可能得到绝对准确的结果。同一个人在相同条件下对同一种试样进行多次测定，所得结果也不会完全相同。这表明，在分析过程中，误差是客观存在，不可避免的。因此，我们应该了解分析过程中误差产生的原因及其出现的规律，以便采取相应的措施减小误差，以提高分析结果的准确度。 2.6.1 误差与准确度 分析结果的准确度（accuracy ）是指分析结果与真实值的接近程度，分析结果与真实值之间差别越小，则分析结果的准确度越高。准确度的大小用误差（error ）来衡量，误差是指测定结果与真值（true value ）之间的差值。误差又可分为绝对误差（absolute error ）和相对误差（relative error ）。绝对误差（E ）表示测定值（x ）与真实值（x T ）之差，即 E =x - x T （2-13） 相对误差（E r ）表示误差在真实值中所占的百分率，即 %100T r ?= x E E (2-14) 例如，分析天平称量两物体的质量分别为 g 和 g ，假设两物体的真实值各为 g 和 g ，则两者的绝对误差分别为： E 1= g E 2= g 两者的相对误差分别为： E r1=%1006381 .10001.0?-= % E r2=%1001638 .00001.0?-= % 由此可见，绝对误差相等，相对误差并不一定相等。在上例中，同样的绝对误差，称量物体越重，其相对误差越小。因此，用相对误差来表示测定结果的准确度更为确切。 绝对误差和相对误差都有正负值。正值表示分析结果偏高，负值表示分析结果偏低。 定量分析误差产生的原因 误差按其性质可以分为系统误差（systematic error ）和随机误差（random error ）两
目录 摘要......................................................................... I 关键词...................................................................... I 1引言 (1) 2异常值的判别方法 (1) 检验（3S）准则 (1) 狄克松（Dixon）准则 (2) 格拉布斯（Grubbs）准则 (2) 指数分布时异常值检验 (3) 莱茵达准则（PanTa） (3) 肖维勒准则（Chauvenet） (4) 3 实验异常数据的处理 (4) 4 结束语 (5) 参考文献 (6)
试验数据异常值的检验及剔除方法 摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析. 关键词：异常值检验；异常值剔除；DPS；测量数据
1 引言 在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度. 判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除. 利用计算机剔除异常值的方法许多专家做了详细的文献[1] 报告.如王鑫，吴先球，用Origin 剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文. 2 异常值的判别方法 判别异常值的准则很多，常用的有t 检验（3S ）准则、狄克松（Dixon ）准则、格拉布斯（Grubbs ）准则等准则.下面将一一简要介绍. 2.1 检验（3S ）准则 t 检验准则又称罗曼诺夫斯基准则，它是按t 分布的实际误差分布范围来判别异常值，对重复测量次数较少的情况比较合理. 基本思想：首先剔除一个可疑值，然后安t 分布来检验被剔除的值是否为异常值. 设样本数据为123,,n x x x x ，若认j x 为可疑值.计算余下1n -个数据平均值 1n x -及标准差1n s - ，即2 111,1,1n n i n i i j x x s n --=≠=-∑. 然后，按t 分布来判别被剔除的值j x 是否为异常值. 若1(,)n j x x kn a -->，则j x 为异常值，应予剔除，否则为正常值，应予以保留.其中：a 为显著水平；n 数据个数；(,)k n a 为检验系数，可通过查表得到.
一、选择题 1．如果要求分析结果的相对误差在 0.1%以下，使用万分之一分析天平称取试样时，至少应称取（ ） A. 0.1g B. 0.2g C. 0.05g D. 0.5g 解：选B 。根据下列公式可求得最少称样量： 相对误差试样质量 绝对误差 ×100% 万分之一分析天平称量的绝对误差最大范围为±0.0002g ，为了使测量时的相对误差在±0.1%以下，其称样量应大于0.2g 。 2．从精密度好就可断定分析结果准确度高的前提是（ ） A. 随机误差小 B. 系统误差小 C. 平均偏差小 D. 相对偏差小 解：选B 。精密度是保证准确度的先决条件，精密度差说明测定结果的重现性差，所得结果不可靠；但是精密度高不一定准确度也高，只有在消除了系统误差 之后，精密度越高，准确度才越高。 3．下列有关随机误差的论述不正确的是（ ） A.随机误差具有可测性 B.随机误差在分析中是不可避免的 C.随机误差具有单向性 D.随机误差是由一些不确定偶然因素造成的 解：选C 。分析测定过程中不可避免地造成随机误差。这种误差可大可小，可正可负，无法测量, 不具有单向性。但从多次重复测定值来看，在消除系统误 差后，随机误差符合高斯正态分布规律，特点为：单峰性、有限性、对称性、抵偿性。 4．下列各数中，有效数字位数为四位的是（ ） A. 0.0030 B. pH=3.24 C. 96.19% D. 4000 解：选C 。各个选项的有效数字位数为：A 两位 B 两位 C 四位 D 不确定 5．将置于普通干燥器中保存的Na 2B 4O 7.10H 2O 作为基准物质用于标定盐酸的浓度，则盐酸的浓度将（ ） A.偏高 B.偏低 C.无影响 D.不能确定 解：选B 。普通干燥器中保存的Na 2B 4O 7·10H 2O 会失去结晶水，以失水的 Na 2B 4O 7·10H 2O 标定HCl 时，实际消耗V （HCl ）偏高，故c （HCl ）偏低。
【Q检验法】 Q检验法又叫做舍弃商法，是迪克森(W．J．Dixon)在1951年专为分析化学中少量观测次数(n<10)提出的一种简易判据式。 按以下步骤来确定可疑值的取舍： （1）将各数据按递增顺数排列：X1，X2，X3，…，Xn-1，Xn。 （2）求出最大值与最小值的差值（极差）Xmax-Xmin. （3）求出可疑值与其最相邻数据之间的差值的绝对值。 （4）求出Q（Q等于（3）中的差值除以（2）中的极差）。 （5）根据测定次数n和要求的置信水平（如95%）查表（见下）得到值 （6）判断：若计算Q>Q表，则舍去可疑值，否则应予保留。 向左转|向右转 【F检验法】
F检验法是英国统计学家Fisher提出的，主要通过比较两组数据的方差S2，以确定他们的精密度是否有显著性差异。至于两组数据之间是否存在系统误差，则在进行F检验并确定它们的精密度没有显著性差异之后，再进行t 检验。 样本标准偏差的平方，即: 向左转|向右转 两组数据就能得到两个S2值， 向左转|向右转 向左转|向右转 由表中f大和f小（f为自由度n-1),查得F表， 然后计算的F值与查表得到的F表值比较，如果 F < F表表明两组数据没有显著差异； F ≥ F表表明两组数据存在显著差异。 【T检验法】 T检验法，亦称student t检验（Student's t test），主要用于样本含量较小（例如n<30），总体标准差σ未知的正态分布资料。 t检验是用t分布理论来推论差异发生的概率，从而比较两个平均数的差异是否显著。它与f检验、卡方检验并列。t检验是戈斯特为了观测酿酒质量而发明的。戈斯特在位于都柏林的健力士酿酒厂担任统计学家，基于Claude
可疑数据的取舍 21.3.3.1 可疑数据的取舍 为了使分析结果更符合客观实际，必须剔除明显歪曲试验结果的测定数据。正常数据总是有一定的分散性，如果人为删去未经检验断定其离群数据(Outliers)的测定值（即可疑数据），由此得到精密度很高的测定结果并不符合客观实际。因此对可疑数据的取舍必须遵循一定原则。 1. 取舍原则 (1)测量中发现明显的系统误差和过失错误，由此而产生的分析数据应随时剔除。 (2)可疑数据的取舍应采用统计学方法判别，即离群数据的统计检验。 2. 大样本离群数据的取舍（三倍标准差法）：根据正态分布密度函数，设测定值为Xi，可表示为Xi+3S 3μ3 Xi －3S。若Xi在Xi±3S范围内，此数据可用；若在Xi±3S范围外，此数据不可用，须舍弃（亦称莱特准则）。该判断的置信度在%以上，但测定次数增多时，出现可疑值机会就随之增加，应将取舍标准改变如下。 先计算多次测定结果的平均值X和标准差S，再计算Z值： X=X 1 + X 2 + … +X n / n (n 为包括可疑值尾数在内的 测定次数) S = [∑X2 -(∑X)2/n] / (n-1)
Z= (X - X ) / S (X 为可疑值) 然后查正态分布表，得对应于Z值的a值。如 n a<，则舍弃，>，则不舍弃。 例如：土壤全氮的5次平行测定结果(g·kg-1)为，，，，。其中为可疑值，需判断取舍。计算平均值X=；S=±；Z=－/=。查正态分布表a=，na=5×=，因na>，可疑值1.85g·kg-1不予舍弃。 3. 小样本离群数据取舍（n为有限数）：有几个统计检验方法来估测可疑数据，包括Dixon，Grubbs，Cochran和Youden检验法。可以对一个样品，一批样品，一台仪器或一组数据中可疑数据的检验。现介绍最常用的两种方法。 (1)狄克逊(Dixon)检验法：此法适用于一组测量值的一致性检验和剔除离群值，本法中对最小可疑值和最大可疑值进行检验的公式因样本的容量n的不同而异，检验方法如下： 将一组测量数据从小到大顺序排列为X1、X2…X3，X1和X n分别为最小可疑值和最大可疑值，按表计算公式求Q值。 根据表中给定的显著性水平a和样本容量n查得临界值Qa。 若Q≤，则检验的可疑值为正常值； 若
可疑值取舍的方法 在数据分析和统计学中，可疑值是指与其余观测值相比较起来具有异常特征的数据点。当进行数据处理和分析时，我们常常需要决定如何对可疑值进行处理。 1. 检查数据的完整性 在处理可疑值之前，首先要确保数据的完整性。这包括检查数据是否有缺失值、异常值或错误值。如果发现了不完整的数据，应该先进行数据清洗，修正或删除这些数据。 2. 确定可疑值的原因 在决定如何处理可疑值之前，需要进一步分析探究造成可疑值的原因。可能的原因包括测量误差、人为错误、系统故障等。了解可疑值的原因可以帮助我们选择合适的处理方法。 3. 选择合适的取舍方法 针对可疑值，有多种取舍方法可供选择： •删除法：直接删除可疑值。这种方法适用于可疑值对数据分析结果影响较小且不重要的情况。 •替换法：将可疑值替换为其他合理的数值，如均值、中位数或者使用回归分析等方法来预测该值。 •分组取舍法：根据数据特征将可疑值划分到不同的组别，并对每个组别进行单独处理。 •异常标记法：将可疑值标记为异常，以便在后续分析中进行更详细的研究。
4. 注意取舍带来的影响 在选择取舍方法时，需要考虑其对数据集和分析结果的影响： •数据偏差：某些取舍方法可能导致数据整体偏离真实情况。 •信息丢失：删除或替换可疑值可能会导致相关的信息丢失。 •结果误差：取舍方法可能会对数据分析结果产生误差。 因此，在选择取舍方法时需要权衡利弊，并根据具体情况进行决策。 5. 记录处理过程 在进行可疑值取舍时，应该记录下所有的处理步骤、方法和结果。这有助于保持数据处理的透明性和可追溯性。 6. 数据分析报告 最后，将处理完可疑值的数据用于进一步的数据分析。在报告中应该明确提及可疑值的处理方法和原因，以及其对结果的可能影响。 注意：在进行数据处理和可疑值取舍时，请始终遵循相关的统计学和数据分析原则，并在有需要时咨询专业人士。
离群数据的筛选可以使用下列方法 一、拉依达法 又称3倍标准偏差法，简称3S法。当某一测量数据与其测量结果的算术平均值之差大于3倍标准偏差时， 用公式表示为： 则该测量数据应舍弃。 二、肖维纳特法 以概率1/2n设定一判定范围（-KnS，KnS），当偏差超出该范围时，就应该舍去。判别范围由下式确定： Kn：肖维纳特系数与试验次数n有关。如下表： 肖维特系数表2-0-1 n Kn n Kn n Kn n Kn n Kn n Kn 3 1.388 1.8613 2.0718 2.2023 2.3050 2.58 4 1.539 1.9214 2.1219 2.2224 2.317 5 2.71 5 1.6510 1.9615 2.1320 2.2425 2.33100 2.81 6 1.7311 2.0016 2.1521 2.2630 2.39200 3.02 7 1.8012 2.0317 2.1722 2.2840 2.49500 3.20 因此肖维特法可疑数据舍弃的标准为：
三、格拉布斯法 将Xi 按值从小到大排列如下： 给出标准化顺序统计量g ： 最小值X1可疑，最大值Xn 可疑，为: 格拉布斯法的判别标准为：g > g[n][p] 格拉布斯表——临界值GP (n ) P n 0.95 0.99 P n 0.95 0.99 3 1.135 1.155 17 2.475 2.785 4 1.463 1.492 18 2.504 2.821 5 1.672 1.749 19 2.532 2.854 6 1.822 1.944 20 2.557 2.884
§1.4有效数字及其运算规则 一、有效数字的一般概念 1.有效数字 任何一个物理量，其测量结果必然存在误差。因此，表示一个物理量测量结果的数字取值是有限的。 我们把测量结果中可靠的几位数字，加上可疑的一位数字，统称为测量结果的有效数字。例如，2.78的有效数字是三位，2.7是可靠数字，尾位“8”是可疑数字。这一位数字虽然是可疑的，但它在一定程度上反映了客观实际，因此它也是有效的。 2.确定测量结果有效数字的基本方法 (1)仪器的正确测读 仪器正确测读的原则是：读出有效数字中可靠数部分是由被测量的大小与所用仪器的最小分度来决定。可疑数字由介于两个最小分度之间的数值进行估读，估读取数一位(这一位是有误差的)。 例如，用分度值为1mm的米尺测量一物体的长度，物体的一端正好与米尺零刻度线对齐，另一端如图1-1。 此时物体长度的测量值应记为L=83.87cm。其中，83.8是可靠数，尾数“7”是可疑数，有效数字为四位。 (2)对于标明误差的仪器，应根据仪器的误差来确定测量值中可疑数 所以用该电压表测量时，其电压值只需读到小数点后第一位。如某测量值为12.3V，若读出：12.32V，则尾数“2”无意义，因为它前面一位“3”本身就是可疑数字。
(3)测量结果的有效数字由误差确定。不论是直接测量还是间接测量，其结果的误差一般只取一位。测量结果有效数字的最后一位与误差所在的一位对齐。如L=(83.87±0.02)cm是正确的，而L=(83.868±0.02)cm和L=(83.9±0.02)cm 都是错误的。 3.关于“0”的问题 有效数字的位数与十进制的单位变换无关。末位“0”和数字中间的“0”均属于有效数字。如23. 20cm；10.2V等，其中出现的“0”都是有效数字。 小数点前面出现的“0”和它之后紧接着的“0”都不是有效数字。如 0.25cm或0.045kg中的“0”都不是有效数字，这两个数值都只有两位有效数字。 4.数值表示的标准形式 数值表示的标准形式是用10的方幂来表示其数量级。前面的数字是测得的有效数字，并只保留一位数在小数点的前面。如3.3×105m 8.25×10-3kg等。 二、有效数字的运算规则 在有效数字的运算过程中，为了不致因运算而引进误差或损失有效数字，影响测量结果的精确度，并尽可能地简化运算过程，因此，规定有效数字运算规则如下(例中加横线的数字代表可疑数字)： 1.有效数字的加减 的必要。
试验数据取舍的方法及应用探讨 一、试验数据进行取舍的必要性 在公路工程试验检测过程中采集的各种样本数据往往或多或少存在异常值或错误值。这些异常值或错误值主要来源于人为和非人为的因素，包括检测人员的误操作、仪器设备的偶然故障以及其他偶然的因素。由于这些异常值或错误值的存在，使得我们所采集的数据不能够客观反映检测路段的质量，特别是采用评定值进行判定时尤其突出。笔者通过长期的检测工作发现在检测路段进行评定时某一个单值的取舍往往影响到整个评定路段的结果，从而影响到对整个工程质量的判断。因此有必要对所采集的数据进行判别采取科学的方法进行合理的取舍。 二、试验数据的取舍方法 对试验数据的取舍可以采用数理统计的方法，按一定的保证率对数据进行取舍，一般有拉依达法、肖维纳特法和格拉布斯法，再次对三种方法介绍如下：1）拉依达法。当试验次数较多时，可简单的用3倍标准差作为可疑数据取舍的标准，即： ——某一试验数据 ——试验数据算术平均值 S——试验数据标准差 根据随机变量的正态分布，的概率为99.73%，在此范围之外的概率为0.27%这种小概率事件出现的可能性极小。因此在试验数据中一旦出现就认为是不可靠的，应当舍弃。 2）肖维纳特法。进行n次试验，其测量值服从正态分布，以概率设定一判定范围，当偏差（）超出该范围则意味着是可疑的应当舍弃。 ——概率为系数 ——某一试验数据 ——试验数据算术平均值 S——试验数据标准差
3）格拉布斯法。假设试验数据按正态分布，根据顺序统计量来确定可疑数据的取舍。将n个试验数据，，…，按从小到大顺序重新排列，根据顺序统计原则给出标准化顺序统计量g： 当可疑时： 当可疑时： 根据格拉布斯统计量的分部，在指定的显著性水平β（一般为0.05）下，求得可疑值的临界值，格拉布斯法判别标准为： ——试验数据算术平均值 ——参与计算数据的最小值 ——参与计算数据的最大值 S——试验数据标准差 β——指定的显著性水平 n¬——参与计算的数据数量 g——标准化顺序统计量 ——标准化顺序统计量在一定显著性水平下的临界值可查表求得 利用格拉布斯法每次只能舍去一个可疑值，有多个可疑值时应一个一个舍去，每舍去一个n=n-1，以此为基础判别下一个可疑数据。 三、试验数据取舍的工程应用 上述三种进行可疑值取舍的方法舍弃范围均可以写成范围以外的测定值，只是在系数k的取值上有所不同，这与《公路路基路面现场测试规程》（JTG E40-2007）附录B 检测路段数据整理方法是一致的，该规程规定当无特殊规定时，可疑数据的舍弃宜按照K倍標准差作为舍弃标准，即在资料分析当中，舍弃那些在范围以外的测定值，然后再重新计算整理。当试验数据N为3、4、5、6个时，k值分别为1.15、1.46、1.67、1.82，N 7时，k值宜采用3。K值采用3即拉依达法。因肖维纳特法判定范围仅与数据数量n有关与保证率无关工程实际应用效果不好，在此仅以工程实例对拉依达法和格拉布斯法进行讨论。
可以数据的取舍 一、可疑测定值的取舍 1.可疑值 在平行测定的数据中，有时会出现一二个与其它结果相差较大的测定值，称为可疑值或异常值（离群值、极端值）。 2.取舍方法 （1）Q 检验法： 由迪安（Dean ）和狄克逊（Dixon ）在1951年提出。步骤如下： ①将测定值由小至大按顺序排列：x 1，x 2，x 3，…x n -1，x n ，其中可疑值为x 1或x n 。 ②求出可疑值与其最邻近值之差x 2-x 1或x n -x n -1。 ③用上述数值除以极差，计算出Q ： 12111 n n n n x x x x Q Q x x x x ---==--或 ④根据测定次数n 和所要求的置信度P 查Q p ，n 值。（分析化学中通常取0.90的置信度）。 ⑤比较Q 和Q p ，n 的大小： 若Q ＞Q p ，n ，则舍弃可疑值； 若Q ＜Q p ，n ，则保留可疑值。 例如：4次测定铁矿石中铁的质量分数（%）得40.02, 40.16,40.18和40.20。 （2）格鲁布斯法： 格鲁布斯法的步骤如下： ①将测定值由小至大按顺序排列：x 1，x 2，x 3，…x n -1，x n ，其中可疑值为x 1或x n 。 ②计算出该组数据的平均值x 和标准偏差s 。 ③计算统计量G ： 若x 1为可疑值，则1= x x G s - 若x n 为可疑值，则=n x x G s - ④根据置信度P 和测定次数n 查表得G p ，n ，比较二者大小：
若G ＞G p ，n ，说明可疑值与相对平均值偏离较大，则舍去； 若G ＜G p ，n ，则保留。 注意：置信度通常取0.90或0.95。 例1：分析石灰石铁含量4次，测定结果为：1.61%, 1.53%,1.54%和1.83%。问上述各值中是否有应该舍弃的可疑值。（用格鲁布斯检验法检验 P=0.95） 例2：测定碱石灰中总碱的含量(以w(Na 2O)表示)，5次测定结果分别为：40.10%，40.11%，40.12%，40.12%和40.20% ①用格鲁布斯法检验40.20％是否应该舍去；②报告经统计处理后的分析结果；③用m 的置信区间表示分析结果(P=0.95)。 二、显著性检验 用统计的方法检验测定值之间是否存在显著性差异，以此推测它们之间是否存在系统误差，从而判断测定结果或分析方法的可靠性，这一过程称为显著性检验。 定量分析中常用的有t 检验法和F 检验法。 1.样本平均值与真值的比较（t 检验法） （1）原理 t 检验法用来检验样本平均值与标准值或两组数据的平均值之间是否存在显著性差异，从而对分析方法的准确度作出评价，其根据是样本随机误差的t 分布规律。 （2）步骤 ①计算平均值和平均值的标准偏差。 ②由式 ,=x t p f μ± 得：,-=p f x x T t S 得 -= x x T t S 根据上式计算t 值。 ③查表得t p,f ，比较t 值 若t ＞t p,f ，则二者之间存在显著性差异。 若t ＜t p,f ，则二者之间无显著性差异，说明测定方法正确可靠。（定量分析中， 常采用0.95或0.90的置信度） 例：一种新方法测得某标样中的SiO 2含量(%)：34.30，34.33，34.26，34.38，34.38，34.29，34.29，34.23。该标样中标准值为34.33%，问新分析方法是否存在系统误差? （3）两组平均值的比较
分析化学思考题及习题[1] 2误差及分析数据的统计处理 §2-1内容提要及重点难点 定量分析的任务是准确测定组分在试样中的含量。而在测定过程中，误差是客观存在的。我们应该了解分析过程中误差产生的原因及其出现的规律，采取相应措施，尽可能使误差减小。另一方面需要对测试数据进行正确的统计处理，以获得最可靠的数据信息。一．定量分析中的误差1．基本概念 （1）真值（μ）指在观测的瞬时条件下，质量特性的确切数值。实际工作中，真值无法获得，人们常用纯物质的理论值；国家提供的标准参考物质证书上给出的数值；或校正系统误差后多次测定结果的平均值当作真值。 （2）误差（E）指测定值与真值之间的差值，可用绝对误差和相对误差表示。 （3）偏差（di）指个别测定结果某i与几次测定结果的平均值某之间的差值，偏差有正有负。偏差的大小可用平均偏差、相对平均偏差、标准偏差、相对标准偏差或变异系数来表示。平均偏差（d）：各测量值偏差的绝对值的平均值。 nn11ddi某i某ni1ni1 相对平均偏差（ dr）：平均偏差与平均值的比值。
dr标准偏差()： d100%某 相对标准偏差（RSD），以r表示： 某i某i1n1n2rr如以百分率表示又称为变异系数CV。 某 CV100%某 在偏差的表示中，用标准偏差或相对标准偏差更合理，用平均偏差有 时不能反映真实情况。（4）准确度：测定平均值与真值接近的程度，常 用误差大小来表示。误差小，准确度高。 （5）精密度：在确定条件下，将测试方法实施多次，求出所得结果 之间的一致程度。精密度的高低常用偏差表示，或用重复性与再现性表示。 r22R22R（ （式中指标准偏差） R按教材（2—13）式计算） 精密度高，不一定准确度高，如无系统误差存在，则精密度高，准确 度也高。要保证分析结果有较高的准确度，必须要求首先达到一定的精密度。 （6）系统误差：由于方法不够完善、试剂纯度不够、测量仪器本身 缺陷、操作人员操作不当等原因造成。系统误差具有重复性、单向性、其 大小可以测定等性质。系统误差可采用选择标准方法或进行试剂的提纯和
1.拉依达准则法（3δ）：简单，无需查表。测量次数较多或要求不高时用。是最常用的异常值判定与剔除准则。但当测量次数《=10次时，该准则失效。 如果实验数据值的总体x是服从正态分布的，则 式中，μ与σ分别表示正态总体的数学期望和标准差。此时，在实验数据值中出现大于μ＋3σ或小于μ—3σ数据值的概率是很小的。因此，根据上式对于大于μ＋3σ或小于μ—3σ的实验数据值作为异常值，予以剔除。 在这种情况下，异常值是指一组测定值中与平均值的偏差超过两倍标准差的测定值。与平均值的偏差超过三倍标准差的测定值，称为高度异常的异常值。在处理数据时，应剔除高度异常的异常值。异常值是否剔除，视具体情况而定。在统计检验时，指定为检出异常值的显著性水平α=0.05，称为检出水平；指定为检出高度异常的异常值的显著性水平α=0.01，称为舍弃水平，又称剔除水平(reject level)。 标准化数值（Z-score）可用来帮助识别异常值。Z分数标准化后的数据服从正态分布。因此，应用Z分数可识别异常值。我们建议将Z分数低于-3或高于3的数据看成是异常值。这些数据的准确性要复查，以决定它是否属于该数据集。 2.肖维勒准则法（Chauvenet）：经典方法，改善了拉依达准则，过去应用较多，但它没有固定的概率意义，特别是当测量数据值n无穷大时失效。 3.狄克逊准则法（Dixon）：对数据值中只存在一个异常值时，效果良好。担当异常值不止一个且出现在同侧时，检验效果不好。尤其同侧的异常值较接近时效果更差，易遭受到屏蔽效应。 4.罗马诺夫斯基（t检验）准则法：计算较为复杂。 5.格拉布斯准则法（Grubbs）：和狄克逊法均给出了严格的结果，但存在狄克逊法同样的缺陷。朱宏等人采用数据值的中位数取代平均值，改进得到了更为稳健的处理方法。有效消除了同侧异常值的屏蔽效应。国际上常推荐采用格拉布斯准则法。 这些方法，都有各自的特点，例如，拉依达准则不能检验样本量较小（显著性水平为0.1时，n必须大于10）的情况，格拉布斯准则则可以检验较少的数据。在国际上，常推荐格拉布斯准则和狄克逊准则。 ▲概述：一组测量数据中，如果个别数据偏离平均值很远，那么这个(这些)数据称作“可疑值”。如果用统计方法—例如格拉布斯(Grubbs)法判断，能将“可疑值”从此组测量数据中剔除而不参与平均值的计算，那么该“可疑值”就称作“异常值(粗大误差)”。本文就是介绍如何用格拉布斯法判断“可疑值”是否为“异常值”。 ▲测量数据：例如测量10次(n＝10)，获得以下数据：8.2、5.4、14.0、7.3、4.7、9.0、6.5、10.1、7.7、6.0。
试验检测中数据的修约与取舍 [摘要] 工程质量的评价是以试验检测数据位依据的，试验检测采集得到的原始数据类多量大，有时杂乱无章，甚至还有错误，因此对试验检测得到的原始数据进行合理的修约后才能得到可靠的试验检测结果。本文通过介绍试验数据的修约规则和取舍方法，说明了数据处理在工程中的实际意义。 [关键词] 试验数据修约取舍 1.前言 工程质量的评价是以试验检测数据位依据的，试验检测采集得到的原始数据类多量大，有时杂乱无章，甚至还有错误，因此对试验检测得到的原始数据进行合理的修约后才能得到可靠的试验检测结果。 2.数据的修约规则 2.1数据分类 质量数据就其本身的特性来说，可以分为计量值数据和计数值数据。 （1）计量值数据。计量值数据是可以连续取值的数据，表现形式是连续型的。如长度、厚度、直径、强度等质量特征，一般都是可以用检测工具或仪器等测量（或试验）的，类似这些质量特征的测量数据，一般都带有小数，如长度为1.15m、1.18m等。在工程质量检验中得出的原始检验数据大部分是计量值数据。 （2）计数值数据。有些反映质量状况的数据是不能用测量器具来度量的。为了反映或描述属于这种类型内容的质量状况，而又必须用数据来表示时，便采用计数的办法，即用1、2、3、…连续地数出个数或次数，凡属于这样性质的数据即为计数值数据。 2.2数据的修约条件 数据获得后，还涉及数据的定位问题，也就是对规定精确程度范围之外的数字如何取舍的问题。 （1）修约间隔 系确定修约保留位数的一种方式。修约间隔的数值一经确定，修约值即应为该数值的整数倍。主要有0.1单位修约、0.2单位修约、0.5单位修约、1单位修约等。 例如指定修约间隔为0.1，修约值即应在0.1的整数倍中选取，相当于将数
分析结果可疑值的取舍 在常量分析实验中，一般对单个试样试液平行测定2～3次，此时测定结果可作如下简单处理：计算出相对平均偏差，假设其相对平均偏差≤％，可认为符合要求，取其平均值报出测定结果，否那么需重做。 对要求非常准确的分析，如标准试样成分的测定，考核新拟定的分析方法，对同一试样，往往由于实验室不同或操作者不同，做出的一系列测定数据会有差异，因此需要用统计的方法进行结果处理。首先把数据加以整理，剔除由于明显原因而与其它测定结果相差甚远的错误数据，对于一些精密度似乎不甚高的可疑数据，那么按本节所述的Q 检验或根据实验要求，按照其它有关规那么决定取舍，然后计算n 次测定数据的平均值x 与标准偏差S ，有了x 、s 、n 这三个数据，即可表示出测定数据的集中趋势和分散情况，就可进一步对总体平均值可能存在的区间作出估计。 一、数据集中趋势的表示方法 根据有限次测定数据来估计真值，通常采用算术平均值或中位数来表示数据分布的集中趋势。 1．算术平均值x 对某试样进行规次平行测定，测定数据为1,2,…n 那么 x =1/n 1 2 …n =l/n ∑=n i i x 1 根据随机误差的分布特性，绝对值相等的正、负误差出现的概率相等，所以算术平均值至是真值的最正确估计值。当测定次
数无限增多时，所得的平均值即为总体平均值μ。 μ=∑=∞ →n i i n n x 11 )(lim 2．中位数 中位数是指一组平行测定值按由小到大的顺序排列时的中间值。当测定次数规为奇数时，位于序列正中间的那个数值，就是中位数；当测定次数规为偶数时，中位数为正中间相邻的两个测定值的平均值。 中位数不受离群值大小的影响，但用以表示集中趋势不如平均值好，通常只有当平行测定次数较少而又有离群较远的可疑值时，才用中位数来代表分析结果。 二、数据分散程度的表示方法 随机误差的存在影响测量的精密度，通常采用平均偏差或标准偏差来表示数据的分散程度。 1．平均偏差d 计算平均偏差d 时，先计算各次测定对于平均值的偏差： d x x i -=1 i=1,2,…n 然后求其绝对值之和的平均值： d =1/n ()∑∑==-=n i i n i i x x n d 1 11 相对平均偏差那么是： %100⨯x d 2．标准偏差