实验结果可疑数据的取舍方法选择

可疑数据的取舍21.3.3.1 可疑数据的取舍为了使分析结果更符合客观实际，必须剔除明显歪曲试验结果的测定数据。

正常数据总是有一定的分散性，如果人为删去未经检验断定其离群数据(Outliers)的测定值（即可疑数据），由此得到精密度很高的测定结果并不符合客观实际。

因此对可疑数据的取舍必须遵循一定原则。

1. 取舍原则(1)测量中发现明显的系统误差和过失错误，由此而产生的分析数据应随时剔除。

(2)可疑数据的取舍应采用统计学方法判别，即离群数据的统计检验。

2. 大样本离群数据的取舍（三倍标准差法）：根据正态分布密度函数，设测定值为Xi，可表示为Xi+3S ³μ³ Xi －3S。

若Xi在Xi±3S范围内，此数据可用；若在Xi±3S范围外，此数据不可用，须舍弃（亦称莱特准则）。

该判断的置信度在99.7%以上，但测定次数增多时，出现可疑值机会就随之增加，应将取舍标准改变如下。

先计算多次测定结果的平均值X和标准差S，再计算Z值：X=X1 + X2+ … +Xn/ n (n 为包括可疑值尾数在内的测定次数)S = [∑X2 -(∑X)2/n] / (n-1)Z= (X - X ) / S (X 为可疑值)然后查正态分布表，得对应于Z值的a值。

如 n a<0.1，则舍弃，>0.1，则不舍弃。

例如：土壤全氮的5次平行测定结果(g·kg-1)为1.52，1.48，1.65，1.85，1.45。

其中1.85为可疑值，需判断取舍。

计算平均值X=1.59；S=±0.164；Z=(1.85－1.59)/0.164=1.585。

查正态分布表a=0.0565，na=5×0.0565=0.2825，因na>0.1，可疑值1.85g·kg-1不予舍弃。

3. 小样本离群数据取舍（n为有限数）：有几个统计检验方法来估测可疑数据，包括Dixon，Grubbs，Cochran和Youden检验法。

分析结果可疑值的取舍在常量分析实验中，一般对单个试样试液平行测定2～3次，此时测定结果可作如下简单处理：计算出相对平均偏差，假设其相对平均偏差≤％，可认为符合要求，取其平均值报出测定结果，否那么需重做。

对要求非常准确的分析，如标准试样成分的测定，考核新拟定的分析方法，对同一试样，往往由于实验室不同或操作者不同，做出的一系列测定数据会有差异，因此需要用统计的方法进行结果处理。

首先把数据加以整理，剔除由于明显原因而与其它测定结果相差甚远的错误数据，对于一些精密度似乎不甚高的可疑数据，那么按本节所述的Q 检验或根据实验要求，按照其它有关规那么决定取舍，然后计算n 次测定数据的平均值x 与标准偏差S ，有了x 、s 、n 这三个数据，即可表示出测定数据的集中趋势和分散情况，就可进一步对总体平均值可能存在的区间作出估计。

一、数据集中趋势的表示方法根据有限次测定数据来估计真值，通常采用算术平均值或中位数来表示数据分布的集中趋势。

1．算术平均值x对某试样进行规次平行测定，测定数据为1,2,…n 那么x =1/n 12…n =l/n ∑=ni i x 1根据随机误差的分布特性，绝对值相等的正、负误差出现的概率相等，所以算术平均值至是真值的最正确估计值。

当测定次数无限增多时，所得的平均值即为总体平均值μ。

μ=∑=∞→ni i n n x 11)(lim 2．中位数中位数是指一组平行测定值按由小到大的顺序排列时的中间值。

当测定次数规为奇数时，位于序列正中间的那个数值，就是中位数；当测定次数规为偶数时，中位数为正中间相邻的两个测定值的平均值。

中位数不受离群值大小的影响，但用以表示集中趋势不如平均值好，通常只有当平行测定次数较少而又有离群较远的可疑值时，才用中位数来代表分析结果。

二、数据分散程度的表示方法随机误差的存在影响测量的精密度，通常采用平均偏差或标准偏差来表示数据的分散程度。

1．平均偏差d计算平均偏差d 时，先计算各次测定对于平均值的偏差：d x x i -=1 i=1,2,…n然后求其绝对值之和的平均值：d =1/n ()∑∑==-=ni i ni i x x n d 111相对平均偏差那么是：%100⨯xd2．标准偏差标准偏差又称均方根偏差。

在实验室中，异常值的取舍是一个重要的数据处理步骤。

通常，这些异常值可能是由于测量误差、设备故障或其他未知因素引起的。

取舍异常值应遵循以下几个原则：
1. 可疑数据的判断：可疑数据是指与其它数据相比明显不一致的数据。

通常，这些数据可能是由于仪器故障、操作错误或其他异常情况引起的。

判断可疑数据时，可以采用一些统计方法，如格鲁布斯检验法等。

2. 判断依据：判断异常值的标准通常基于数据的分布特性和统计规律。

例如，在正态分布中，异常值通常被定义为远离平均值的数据点，可以根据标准偏差来判定。

3. 处理方法：一旦确定了异常值，应采取适当的处理方法。

常用的方法包括删除异常值、对异常值进行修正或用平均值等方法替代。

在进行处理时，应考虑数据的可靠性和完整性。

4. 记录和解释：在处理异常值时，应详细记录处理的理由和依据。

这有助于确保结果的可靠性和可重复性，也有助于对实验结果进行解释和评估。

总之，实验室中异常值的取舍应基于数据的分布特性和统计规律，采取合适的处理方法，确保数据的可靠性和完整性。

同时，应详细记录处理的过程和依据，以供后续研究和解释使用。

可疑数据的取舍方法当我们进行数据分析或研究时，经常会遇到一些可疑数据，这些数据可能是错误的、异常的或者无意义的。

在分析中使用这些可疑数据可能会导致错误的结论或误导。

因此，正确地挑选和处理可疑数据是非常重要的。

以下是一些可疑数据的取舍方法：1. 数据质量检查：首先，我们应该对数据进行质量检查，以确定哪些数据属于可疑数据。

这些检查可以包括查找缺失值、非数字字符、极端值、不合理值等。

通过这些检查，我们可以较快地识别出问题数据。

2. 数据可信度评估：对于可疑数据，我们需要对其可信度进行评估。

在评估可信度时，可以考虑数据来源的可靠性、收集数据的方法和过程、数据记录的一致性等因素。

如果数据来自于一个不可信的来源或者存在一些不一致性，那么这些数据应该被视为可疑数据，并且应该考虑排除它们。

3. 数据分布分析：数据分布的分析可以帮助我们理解数据的特征和模式。

如果可疑数据与其他数据存在显著的差异，那么这些数据可能是异常数据。

通过绘制直方图、箱线图等图表可以更直观地观察数据的分布情况。

4. 上下文分析：在分析可疑数据时，我们应考虑到数据所处的背景和环境。

如果这些数据在特定的背景下无法被解释，那么它们可能是错误的或异常的。

我们可以通过与其他相关数据或可信的指标进行比较来验证数据的合理性。

5. 数据修复：如果可疑数据的原因是显而易见的错误或者缺失值，我们可以尝试进行数据修复。

修复数据的方法包括插值、平均值替代、回归模型等。

但是，在进行数据修复时，我们应该注意修复方法的适用性和局限性。

6. 数据剔除：对于那些无法修复或无法解释的可疑数据，我们应该考虑将其从分析中剔除。

剔除数据的原则是数据的可靠性和代表性。

这种方法适用于可疑数据对分析结果产生较大影响的情况。

7. 敏感性分析：对于那些无法确定是否剔除的可疑数据，我们可以进行敏感性分析。

敏感性分析是在不同情景和假设下对数据进行分析，以了解可疑数据对结果的影响。

通过敏感性分析，我们可以评估可疑数据的影响程度，从而决定该是否保留或剔除。

试验检测中数据的修约与取舍[摘要] 工程质量的评价是以试验检测数据位依据的，试验检测采集得到的原始数据类多量大，有时杂乱无章，甚至还有错误，因此对试验检测得到的原始数据进行合理的修约后才能得到可靠的试验检测结果。

本文通过介绍试验数据的修约规则和取舍方法，说明了数据处理在工程中的实际意义。

[关键词] 试验数据修约取舍1.前言工程质量的评价是以试验检测数据位依据的，试验检测采集得到的原始数据类多量大，有时杂乱无章，甚至还有错误，因此对试验检测得到的原始数据进行合理的修约后才能得到可靠的试验检测结果。

2.数据的修约规则2.1数据分类质量数据就其本身的特性来说，可以分为计量值数据和计数值数据。

（1）计量值数据。

计量值数据是可以连续取值的数据，表现形式是连续型的。

如长度、厚度、直径、强度等质量特征，一般都是可以用检测工具或仪器等测量（或试验）的，类似这些质量特征的测量数据，一般都带有小数，如长度为1.15m、1.18m等。

在工程质量检验中得出的原始检验数据大部分是计量值数据。

（2）计数值数据。

有些反映质量状况的数据是不能用测量器具来度量的。

为了反映或描述属于这种类型内容的质量状况，而又必须用数据来表示时，便采用计数的办法，即用1、2、3、…连续地数出个数或次数，凡属于这样性质的数据即为计数值数据。

2.2数据的修约条件数据获得后，还涉及数据的定位问题，也就是对规定精确程度范围之外的数字如何取舍的问题。

（1）修约间隔系确定修约保留位数的一种方式。

修约间隔的数值一经确定，修约值即应为该数值的整数倍。

主要有0.1单位修约、0.2单位修约、0.5单位修约、1单位修约等。

例如指定修约间隔为0.1，修约值即应在0.1的整数倍中选取，相当于将数值修约到一位小数。

（2）有效位数对没有小数位且以若干个零结尾的数值，从非零数字最左一位向右数得到的位数减去无效零(即仅为定位用的零)的个数；对其他十进位数，从非零数字最左一位向右数而得到的位数，就是有效位数。

可疑数据的取舍,格勒布斯(Grubbs)方法
郑金安
【期刊名称】《上海国土资源》
【年(卷),期】1980(000)002
【摘要】一、引言由试验室提供的土的物理力学性质指标或野外原位测试所提供的测定数据中,有时在同一土层中的一个样本数据中,往往可能有一个或数个过大或过小的数据。

过去地质人员根据主观的判断加以取舍。

结果,数据的取舍因人而异,缺乏统一的准则。

一般讲取自于同一土层的一个样本数据应该都来自同一土层,但是由于试验或测试上的原因,混入了另一个土层的数据;另一种可能是土样取自“过渡层”或二层交界面的情况确实是存在的,对于这种数据的取舍问题过去也往往采用人为的舍弃,这样的数据往往在值上的反映是过小或过大,我们
【总页数】4页(P27-30)
【作者】郑金安
【作者单位】上海勘察院
【正文语种】中文
【中图分类】F27
【相关文献】
1.浅谈可疑数据的取舍方法——格拉布斯法 [J], 雷晓平
2.统计分析中可疑数据的取舍 [J], 闵传新
3.运用数理统计取舍分析中的可疑数据 [J], 高增臣
4.论《隆福寺格斯尔》与木刻本《格斯尔》的双重关系:《隆福寺格斯尔》第十、十二章文本对比分析 [J], 玉兰;
5.PC-1500袖珍计算机在实验数据可疑值取舍中的应用 [J], 李昌世;邹帮仁
因版权原因，仅展示原文概要，查看原文内容请购买。

可疑值取舍的方法
在面对可疑值时，可以采用以下方法进行取舍：
1. 反复测量：如果存在可疑值，可以进行多次测量，比较各次结果，找出重复性较好的数据。

2. 查看可疑值的来源：检查实验或观察过程中是否存在可能导致异常结果的误操作或异常情况，如仪器故障、操作失误等。

3. 使用统计方法：将可疑值与其他测量值进行比较，如果可疑值与其他数据差异显著，可以考虑将其排除。

4. 验证测量结果与预期结果之间的一致性：根据实验或观察的目的，对结果进行合理性判断，例如与已有理论或经验知识进行对比。

5. 参考相关文献或领域专家的建议：查阅相关文献或咨询领域专家，以获得更多关于可疑值的解释和建议。

6. 其他辅助方法：如使用误差棒图、回归分析、再测量等方法来评估可疑值的影响和重要性。

最终，取舍可疑值时需要全面考虑以上因素，并结合具体情况进行综合判断，以
确保得到尽可能准确和可靠的结果。

可疑数据的取舍21.3.3.1 可疑数据的取舍为了使分析结果更符合客观实际，必须剔除明显歪曲试验结果的测定数据。

正常数据总是有一定的分散性，如果人为删去未经检验断定其离群数据(Outliers)的测定值（即可疑数据），由此得到精密度很高的测定结果并不符合客观实际。

因此对可疑数据的取舍必须遵循一定原则。

1. 取舍原则(1)测量中发现明显的系统误差和过失错误，由此而产生的分析数据应随时剔除。

(2)可疑数据的取舍应采用统计学方法判别，即离群数据的统计检验。

2. 大样本离群数据的取舍（三倍标准差法）：根据正态分布密度函数，设测定值为Xi，可表示为Xi+3S ³μ³ Xi －3S。

若Xi在Xi±3S范围内，此数据可用；若在Xi±3S范围外，此数据不可用，须舍弃（亦称莱特准则）。

该判断的置信度在%以上，但测定次数增多时，出现可疑值机会就随之增加，应将取舍标准改变如下。

先计算多次测定结果的平均值X和标准差S，再计算Z值：X=X1 + X2+ … +Xn/ n (n 为包括可疑值尾数在内的测定次数)S = [∑X2 -(∑X)2/n] / (n-1)Z= (X - X ) / S (X 为可疑值)然后查正态分布表，得对应于Z值的a值。

如 n a<，则舍弃，>，则不舍弃。

例如：土壤全氮的5次平行测定结果(g·kg-1)为，，，，。

其中为可疑值，需判断取舍。

计算平均值X=；S=±；Z=－/=。

查正态分布表a=，na=5×=，因na>，可疑值1.85g·kg-1不予舍弃。

3. 小样本离群数据取舍（n为有限数）：有几个统计检验方法来估测可疑数据，包括Dixon，Grubbs，Cochran和Youden检验法。

可以对一个样品，一批样品，一台仪器或一组数据中可疑数据的检验。

现介绍最常用的两种方法。

(1)狄克逊(Dixon)检验法：此法适用于一组测量值的一致性检验和剔除离群值，本法中对最小可疑值和最大可疑值进行检验的公式因样本的容量n的不同而异，检验方法如下：将一组测量数据从小到大顺序排列为X1、X2…X3，X1和X n分别为最小可疑值和最大可疑值，按表计算公式求Q值。

可疑值取舍的方法在数据分析和统计学中，可疑值是指与其余观测值相比较起来具有异常特征的数据点。

当进行数据处理和分析时，我们常常需要决定如何对可疑值进行处理。

1. 检查数据的完整性在处理可疑值之前，首先要确保数据的完整性。

这包括检查数据是否有缺失值、异常值或错误值。

如果发现了不完整的数据，应该先进行数据清洗，修正或删除这些数据。

2. 确定可疑值的原因在决定如何处理可疑值之前，需要进一步分析探究造成可疑值的原因。

可能的原因包括测量误差、人为错误、系统故障等。

了解可疑值的原因可以帮助我们选择合适的处理方法。

3. 选择合适的取舍方法针对可疑值，有多种取舍方法可供选择：•删除法：直接删除可疑值。

这种方法适用于可疑值对数据分析结果影响较小且不重要的情况。

•替换法：将可疑值替换为其他合理的数值，如均值、中位数或者使用回归分析等方法来预测该值。

•分组取舍法：根据数据特征将可疑值划分到不同的组别，并对每个组别进行单独处理。

•异常标记法：将可疑值标记为异常，以便在后续分析中进行更详细的研究。

4. 注意取舍带来的影响在选择取舍方法时，需要考虑其对数据集和分析结果的影响：•数据偏差：某些取舍方法可能导致数据整体偏离真实情况。

•信息丢失：删除或替换可疑值可能会导致相关的信息丢失。

•结果误差：取舍方法可能会对数据分析结果产生误差。

因此，在选择取舍方法时需要权衡利弊，并根据具体情况进行决策。

5. 记录处理过程在进行可疑值取舍时，应该记录下所有的处理步骤、方法和结果。

这有助于保持数据处理的透明性和可追溯性。

6. 数据分析报告最后，将处理完可疑值的数据用于进一步的数据分析。

在报告中应该明确提及可疑值的处理方法和原因，以及其对结果的可能影响。

注意：在进行数据处理和可疑值取舍时，请始终遵循相关的统计学和数据分析原则，并在有需要时咨询专业人士。

离群数据的筛选可以使用下列方法一、拉依达法又称3倍标准偏差法，简称3S法。

当某一测量数据与其测量结果的算术平均值之差大于3倍标准偏差时，用公式表示为：则该测量数据应舍弃。

二、肖维纳特法以概率1/2n设定一判定范围（-KnS，KnS），当偏差超出该范围时，就应该舍去。

判别范围由下式确定：Kn：肖维纳特系数与试验次数n有关。

如下表：肖维特系数表2-0-1n Kn n Kn n Kn n Kn n Kn n Kn3 1.388 1.8613 2.0718 2.2023 2.3050 2.584 1.539 1.9214 2.1219 2.2224 2.3175 2.715 1.6510 1.9615 2.1320 2.2425 2.33100 2.816 1.7311 2.0016 2.1521 2.2630 2.39200 3.027 1.8012 2.0317 2.1722 2.2840 2.49500 3.20因此肖维特法可疑数据舍弃的标准为：三、格拉布斯法将Xi 按值从小到大排列如下：给出标准化顺序统计量g ：最小值X1可疑，最大值Xn 可疑，为:格拉布斯法的判别标准为：g > g[n][p]格拉布斯表——临界值GP (n )Pn0.95 0.99 Pn0.95 0.99 3 1.135 1.155 17 2.475 2.785 4 1.463 1.492 18 2.504 2.821 5 1.672 1.749 19 2.532 2.854 61.8221.944202.5572.8847 1.938 2.097 21 2.580 2.9128 2.032 2.231 22 2.603 2.9399 2.110 2.323 23 2.624 2.96310 2.176 2.410 24 2.644 2.98711 2.234 2.485 25 2.663 3.00912 2.285 2.550 30 2.745 3.10313 2.331 2.607 35 2.811 3.17814 2.371 2.659 40 2.866 3.24015 2.409 2.705 45 2.914 3.29216 2.443 2.747 50 2.956 3.336。

试验数据取舍的方法及应用探讨一、试验数据进行取舍的必要性在公路工程试验检测过程中采集的各种样本数据往往或多或少存在异常值或错误值。

这些异常值或错误值主要来源于人为和非人为的因素，包括检测人员的误操作、仪器设备的偶然故障以及其他偶然的因素。

由于这些异常值或错误值的存在，使得我们所采集的数据不能够客观反映检测路段的质量，特别是采用评定值进行判定时尤其突出。

笔者通过长期的检测工作发现在检测路段进行评定时某一个单值的取舍往往影响到整个评定路段的结果，从而影响到对整个工程质量的判断。

因此有必要对所采集的数据进行判别采取科学的方法进行合理的取舍。

二、试验数据的取舍方法对试验数据的取舍可以采用数理统计的方法，按一定的保证率对数据进行取舍，一般有拉依达法、肖维纳特法和格拉布斯法，再次对三种方法介绍如下：1）拉依达法。

当试验次数较多时，可简单的用3倍标准差作为可疑数据取舍的标准，即：——某一试验数据——试验数据算术平均值S——试验数据标准差根据随机变量的正态分布，的概率为99.73%，在此范围之外的概率为0.27%这种小概率事件出现的可能性极小。

因此在试验数据中一旦出现就认为是不可靠的，应当舍弃。

2）肖维纳特法。

进行n次试验，其测量值服从正态分布，以概率设定一判定范围，当偏差（）超出该范围则意味着是可疑的应当舍弃。

——概率为系数——某一试验数据——试验数据算术平均值S——试验数据标准差3）格拉布斯法。

假设试验数据按正态分布，根据顺序统计量来确定可疑数据的取舍。

将n个试验数据，，…，按从小到大顺序重新排列，根据顺序统计原则给出标准化顺序统计量g：当可疑时：当可疑时：根据格拉布斯统计量的分部，在指定的显著性水平β（一般为0.05）下，求得可疑值的临界值，格拉布斯法判别标准为：——试验数据算术平均值——参与计算数据的最小值——参与计算数据的最大值S——试验数据标准差β——指定的显著性水平n¬——参与计算的数据数量g——标准化顺序统计量——标准化顺序统计量在一定显著性水平下的临界值可查表求得利用格拉布斯法每次只能舍去一个可疑值，有多个可疑值时应一个一个舍去，每舍去一个n=n-1，以此为基础判别下一个可疑数据。