粗大误差四种判别准则的比较
- 格式:doc
- 大小:71.50 KB
- 文档页数:6
粗大误差四种判别准则的比较粗大误差是指在测量过程中,偶尔产生的某些不应有的反常因素造成的测量数值超出正常测量误差范围的小概率误差。
含有粗大误差的数据会干扰对实验结果的分析,甚至歪曲实验结果。
若不按统计的原理剔除异常值,而把一些包含较大正常误差但不属于异常值的数据舍弃或保留一些包含较小粗大误差的异常值,就会错估了仪器的精确等级。
因此,系统检验测量数据是否含有粗大误差是保证原始数据的可靠及其有关计算的准确的前提。
排除异常数据有四种较常用的准则,分别是拉伊达准则、格拉布斯准则、肖维勒准则和狄克逊准则。
每种判别准则都有其处理方法,导致用不同准则对异常值判别的结果有时会不一致。
目前异常值的剔除还没有统一的准则,本文综合判别粗大误差四种方法的特点,系统归纳各种准则的应用,以便更好地发现和判别含有粗大误差的数据。
1.四种判别粗大误差准则的特点1.1拉伊达准则拉伊达准则[4]是以三倍测量列的标准偏差为极限取舍标准,其给定的置信概率为99.73%,该准则适用于测量次数n>10或预先经大量重复测量已统计出其标准误差σ的情况。
Xi为服从正态分布的等精度测量值,可先求得它们的算术平均值 X、残差vi和标准偏差σ。
若|Xi- X|>3σ,则可疑值Xi含有粗大误差,应舍弃;若|Xi- X|≤3σ,则可疑值Xi为正常值,应保留。
把可疑值舍弃后再重新算出除去这个值的其他测量值的平均值和标准偏差,然后继续使用判别依据判断,依此类推。
1.2格拉布斯准则格拉布斯准则适用于测量次数较少的情况(n<100),通常取置信概率为95%,对样本中仅混入一个异常值的情况判别效率最高。
其判别方法如下:先将呈正态分布的等精度多次测量的样本按从小到大排列,统计临界系数G(a,n)的值为G0, 然后分别计算出G1、Gn:G1=( X-X1)/σ,Gn=(Xn- X)/σ (1)若G1≥Gn且G1>G0,则X1应予以剔除;若Gn≥G1且Gn>G0,则Xn应予以剔除;若G1<G0且Gn<G0,则不存在“坏值”。
粗大误差的剔除的四种准则粗大误差的剔除,哎呀,这可是个大话题,咱们平常做实验、搞研究的时候,常常会碰上那些“调皮捣蛋”的数据,它们就像小孩子一样,总爱跑偏。
今天咱们就聊聊,这四种准则,帮助我们把这些“捣乱分子”踢出局。
先说说第一种准则,大家都知道的——极端值法。
这一招就像是大排档里那些大菜,一眼就能看出来,放眼望去,如果某个数据跟其他的完全不搭调,就该打上“叉”了。
想象一下,大家都在吃水饺,结果你一上来就给大家端了个榴莲,这不就是极端值嘛,果断剔除,谁爱吃谁吃去。
再说说第二种准则,标准差法,听上去挺高大上的,其实也没啥,简单来说,就是把数据的波动性考虑进去。
数据之间要有个“家族感”,如果有某个数据孤零零的站在一边,距离其他数据太远,那可就得考虑是不是有问题了。
就像打麻将,四个人围着,突然你有个五个的牌,那肯定不对劲,哎哟,赶紧检查一下。
接着是第三种准则,啥?比值法,这个可以算是个“盲盒”玩法。
你得看看数据之间的比例关系,假如比例失衡,那就得好好瞅瞅了。
就像你跟朋友一起去喝酒,他喝了十瓶,你才喝了一口,那明显不对嘛,赶紧问问怎么回事。
最后一个,离群值法,名字听起来就很神秘,其实就是识别那些不合群的数据。
生活中总有些人,哪怕人群再热闹,他们的存在感也弱得可怜,像个隐形人。
数据也是一样,如果有某个数据跟大多数差得离谱,就得认真思考,究竟是数据出问题,还是测量的过程出了纰漏。
这四个准则,就像咱们生活中的小规则一样,大家都得遵守。
想想看,如果不把这些“糟心”的数据剔除掉,咱们的结论岂不是跟瞎子摸象一样,摸来摸去,根本不知道对不对。
这就好比大家一起去春游,结果你背了个五十斤的包,别的同学轻装上阵,结果到了目的地,你累得跟条狗似的,整场活动都没法好好玩儿了。
所以啊,剔除粗大误差,绝对是研究工作中的一门艺术,也是科学精神的体现,务必不能马虎。
说到底,数据就像一颗颗珍珠,得把那些不合适的剔除,才能串成一条闪闪发光的项链。
粗大误差四种判别准则的比较
粗大误差是指在测量过程中,偶尔产生的某些不应有的反常因素造成的测量数值超出正常测量误差范围的小概率误差。
含有粗大误差的数据会干扰对实验结果的分析,甚至歪曲实验结果。
若不按统计的原理剔除异常值,而把一些包含较大正常误差但不属于异常值的数据舍弃或保留一些包含较小粗大误差的异常值,就会错估了仪器的精确等级。
因此,系统检验测量数据是否含有粗大误差是保证原始数据的可靠及其有关计算的准确的前提。
排除异常数据有四种较常用的准则,分别是拉伊达准则、格拉布斯准则、肖维勒准则和狄克逊准则。
每种判别准则都有其处理方法,导致用不同准则对异常值判别的结果有时会不一致。
目前异常值的剔除还没有统一的准则,本文综合判别粗大误差四种方法的特点,系统归纳各种准则的应用,以便更好地发现和判别含有粗大误差的数据。
1.四种判别粗大误差准则的特点
1.1拉伊达准则
拉伊达准则[4]是以三倍测量列的标准偏差为极限取舍标准,其给定的置信概率为99.73%,该准则适用于测量次数n>10或预先经大量重复测量已统计出其标准误差σ的情况。
Xi为服从正态分布的等精度测量值,可先求得它们的算术平均值X、残差vi和标准偏差σ。
若|Xi- X|>3σ,则可疑值Xi含有粗大误差,应舍弃;
若|Xi- X|≤3σ,则可疑值Xi为正常值,应保留。
把可疑值舍弃后再重新算出除去这个值的其他测量值的平均值和标准偏差,然后继续使用判别依据判断,依此类推。
1.2格拉布斯准则
格拉布斯准则适用于测量次数较少的情况(n<100),通常取置信概率为95%,对样本中仅混入一个异常值的情况判别效率最高。
其判别方法如下:
先将呈正态分布的等精度多次测量的样本按从小到大排列,统计临界系数G(a,n)的值为G0, 然后分别计算出G1、Gn:G1=( X-X1)/σ,Gn=(Xn- X)/σ (1)
若G1≥Gn且G1>G0,则X1应予以剔除;
若Gn≥G1且Gn>G0,则Xn应予以剔除;
若G1<G0且Gn<G0,则不存在“坏值”。
然后用剩下的测量值重新计算平均值和标准偏差,还有G1、Gn和G0,重复上述步骤继续进行
判断,依此类推。
1.3肖维勒准则
肖维勒准则是建立在频率p=m/n趋近于概率P{|Xi- X|>Zcσ}的前提下的(其中m是绝对值大于Ecσ的误差出现次数,P是置信概率)。
设等精度且呈正态分布的测量值为Xi,若其残差vi≥Zcσ则Xi可视为含有粗大误差,此时把读数Xi应舍弃。
把可疑值舍弃后再重新计算和继续使用判别依据判断,依此类推。
1.4狄克逊准则
狄克逊准则是一种用极差比双侧检验来判别粗大误差的准则。
它从测量数据的最值入手,一般取显著性水平a为0.01.此准则的特点是把测量数据划分为四个组,每个组都有相应的极端异常值统计量R1、R2的计算方法,再根据测量次数n和所对应的统计临界系数D(a,n)按照以下方法来判别:
若R1>R2,R1>D(a,n),则判别X1为异常值,应舍弃;
若R2>R1,R2>D(a,n),则应舍弃Xn;
若R1<D(a,n)且R2<D(a,n),则没有异常值。
2.四种判别粗大误差准则的比较
2.1四种判别粗大误差准则的归纳
实际上教学实验中的测量样本大多比较小,四种准则所要求的正态分布前提不容易满足,标准偏差会由于偏离正态分布而不准确。
若不考虑具体的临界系数与置信水平,这四种准则的思维方法都可归纳为:首先计算某组测量值X1,X2,X3……Xn的平均值x、残差vi和标准偏差σ。
对于第i次测量值,如果vi>kσ (2)则可判别为含有粗大误差,其中k为统计临界系数。
狄克逊准则是用极差比来检测异常值的,它的统计临界系数与其他准则不具有可比性。
除狄克逊准则外,作拉伊达准则、格拉布斯准则和肖维勒准则在测量次数3≤n≤250的曲线关系,见图1。
2.2四种判别粗大误差准则的比较讨论
拉伊达准则、格拉布斯准则和肖维勒准则的对比曲线可以看出:对应于相同的测量次数,各判别准则的统计临界系数各不相同,以拉伊达准则的统计临界系数3为线索,当n=25时,格拉布斯准则(a=0.01)的统计临界系数刚好到达3以上,而当n=185时,肖维勒准则的统计临界系数刚好也到达3。
因此可把总范围分为以下三个小范围。
(1)在3≤n<25这个范围内,建议用狄克逊准则或格拉布斯准则(a=0.01)来判别可疑数据。
在
少量样品时,拉伊达准则的统计临界系数相对比较大,不易及时发现异常数据,使用它会比较苛刻。
而肖维勒准则的
(2)在25≤n≤185的范围内,建议用格拉布斯准则(a=0.05)或肖维勒准则来判别可疑数据。
统计临界系数最大的是格拉布斯准则(a=0.01),虽然肖维勒准则的统计临界系数偏小,但在这一范围内肖维勒准则可以补充拉伊达准则的不足,因此判别数据时采用格拉布斯准则(a=0.05)或肖维勒准则比较合适。
(3)在测量次数n>185时,建议采用拉伊达准则。
因为此时肖维勒准则的统计临界系数偏大,在剔除异常值时容易把含有较小粗大误差的数据遗漏掉。
因此,为了更好地对测量数据作出确切的判断且尽量避免让被剔除的数据丢失总体信息,可以采用以下方法:
判别前最好先按照从小到大排列测量数据。
首先怀疑最值,如果最值不是异常值则其他值也就不会含有粗大误差了。
对此四种准则的综合判别方法,见表1。
表1综合判别方法
结论
综上所述,由于四种判别准则在理论上剔除异常值是各自相对于某个精度而言的,它们的检验范围和判别效果不同,在不同的情况下应用不同的准则的严格程度不同,但不加比较随便使用某一种准则来判别测量值是否含有粗大误差,这样有时会得到相对不准确的结论,可能把仅包含正常误差的可疑值剔除了,或者保留了含有粗大误差的异常值。
本文中的图1直观明了、使用方便,因此采用本文建议的综合归纳方法可以使在数据处理中判别粗大误差有据可依,并使剔除异常数据的效率有所提高,得出相对准确的测量计算结果。
在目前还没有一个适用于所有情况的判别粗大误差的准则,因此对数据是否含有粗大误差的判别仍然是一个需要逐步研究和更多实践的问题。
本文的建议和尝试,仍需理论研究分析和进一步完善。
THANKS !!!
致力为企业和个人提供合同协议,策划案计划书,学习课件等等
打造全网一站式需求
欢迎您的下载,资料仅供参考。