下载文档原格式
工 程 技 术1 引言长期以来,为了探测和削弱粗差对数据处理造成的影响,国内外许多专家学者进行了广泛深入的研究,并就此发表了大量论著,提出了不少办法和措施。
这些方法归纳起来大致可分为两大类:一是把粗差看做非随机的,从粗差主要影响观测值的均值的角度开展研究和消除,即使用污染误差模型中的均值移动模型作为误差模型。
即将粗差归为函数模型,又称为均值漂移模型[1],其思想是在正式进行最小二乘平差之前探测和定位粗差,然后剔除含粗差的观测值,得到一组比较净化的观测值,以便符合最小二乘平差只具有偶然误差的条件(如的数据探测法);二是把粗差看做一种随机的大误差,从粗差主要影响观测方差的角度开展研究,使用污染误差模型中的方差扩大模型作为误差模型。
即将粗差归为随机模型,又称为方差膨胀模型[2],方法是根据逐次迭代平差的结果来不断地改变观测值的权或方差-协方差,最终使粗差观测值的权趋近于零或方差-协方差趋近于无穷大,这种方法可以保证所估的参数少受模型误差,特别是粗差的影响(如稳健估计法)。
2 粗差的检测对于一维粗差的检测,较为典型的方法是[3]提出的检验和提出的检验。
它们的基本思想是:首先利用某种方法进行粗差的探测和定位,剔除粗差得到较为纯净的观测值,然后用最小二乘法进行计算。
但是,这些方法对于观测值只含一个粗差的数据检测较为有效,当存在多个粗差时,它只对数据进行逐个检验,由于粗差对每个观测值都有影响,这样就很有可能使含有粗差的观测值并不一定有最大的残差,因此,第一步探测中,很有可能剔除的是不含粗差的观测值,从而造成错误的判断。
对于多维粗差,国际上的Carosio曾于1983年建议对残差的协方差矩阵进行谱分解,然后再进行主分量检验,Sarjakoski [4](1986年)则建议用人工智能启发式搜索技术在状态空间发现和改进粗差,另外, Benciolion(1982年)等人也在这方面做过一些研究。
1982年我国测绘学者杨凯、王任享等在赴荷兰国际航测与地学学院进修园满回国后,首先将的理论(粗差探测理论)及稳健估计的理论引到国内测绘界, 1983年,我国著名教授王之卓[5]对粗差探测理论作了系统详细的介绍,使粗差探测和稳健估计的研究在我国测绘界得到迅速的发展。
粗大误差四种判别准则的比较粗大误差是指在测量过程中,偶尔产生的某些不应有的反常因素造成的测量数值超出正常测量误差范围的小概率误差。
含有粗大误差的数据会干扰对实验结果的分析,甚至歪曲实验结果。
若不按统计的原理剔除异常值,而把一些包含较大正常误差但不属于异常值的数据舍弃或保留一些包含较小粗大误差的异常值,就会错估了仪器的精确等级。
因此,系统检验测量数据是否含有粗大误差是保证原始数据的可靠及其有关计算的准确的前提。
排除异常数据有四种较常用的准则,分别是拉伊达准则、格拉布斯准则、肖维勒准则和狄克逊准则。
每种判别准则都有其处理方法,导致用不同准则对异常值判别的结果有时会不一致。
目前异常值的剔除还没有统一的准则,本文综合判别粗大误差四种方法的特点,系统归纳各种准则的应用,以便更好地发现和判别含有粗大误差的数据。
1.四种判别粗大误差准则的特点1.1拉伊达准则拉伊达准则[4]是以三倍测量列的标准偏差为极限取舍标准,其给定的置信概率为99.73%,该准则适用于测量次数n>10或预先经大量重复测量已统计出其标准误差σ的情况。
Xi为服从正态分布的等精度测量值,可先求得它们的算术平均值 X、残差vi和标准偏差σ。
若|Xi- X|>3σ,则可疑值Xi含有粗大误差,应舍弃;若|Xi- X|≤3σ,则可疑值Xi为正常值,应保留。
把可疑值舍弃后再重新算出除去这个值的其他测量值的平均值和标准偏差,然后继续使用判别依据判断,依此类推。
1.2格拉布斯准则格拉布斯准则适用于测量次数较少的情况(n<100),通常取置信概率为95%,对样本中仅混入一个异常值的情况判别效率最高。
其判别方法如下:先将呈正态分布的等精度多次测量的样本按从小到大排列,统计临界系数G(a,n)的值为G0, 然后分别计算出G1、Gn:G1=( X-X1)/σ,Gn=(Xn- X)/σ (1)若G1≥Gn且G1>G0,则X1应予以剔除;若Gn≥G1且Gn>G0,则Xn应予以剔除;若G1<G0且Gn<G0,则不存在“坏值”。
测绘技术中的误差分析方法测绘技术是一门应用广泛的学科，它在地理信息系统、工程测量、地理测量等领域中扮演着重要的角色。
然而，由于各种因素的影响，测绘过程中难免会产生误差。
误差是指实际测量值与真实值之间的差异，误差的存在常常使得测绘结果与实际情况存在偏差。
因此，误差分析在测绘技术中具有重要的意义，可以帮助测绘工程师更准确地评估测量结果的可靠性，并且为进一步的工作提供依据。
一、粗差检测粗差是指与其他测量数据差异较大的异常值，粗差检测是误差分析的第一步，主要目的是排除明显错误和异常值。
常见的粗差检测方法包括比较法、线性关系法和平均方差法。
1. 比较法是通过与其他测量数据进行比较来检测粗差。
将测量结果按照从小到大的顺序排列，然后比较相邻测量数据的差异，如果某个差值明显大于其他差值，那么该测量数据就可以被视为粗差。
2. 线性关系法是通过分析测量数据之间的线性关系来检测粗差。
假设测量数据之间存在线性关系，那么通过拟合线性模型可以得到拟合误差，将拟合误差与实际测量偏差进行比较，如果拟合误差显著大于实际测量偏差，那么该测量数据可以被视为粗差。
3. 平均方差法是通过计算测量数据与均值之间的差异来检测粗差。
具体而言，可以计算每个测量数据与均值之间的离差平方和，然后将离差平方和与阈值进行比较，如果离差平方和显著大于阈值，那么该测量数据可以被视为粗差。
二、理论误差评定理论误差评定是指通过数学模型对测量误差进行分析和评估。
理论误差评定主要包括误差方程的建立和误差影响因素的定量分析。
1. 误差方程的建立是理论误差评定的基础，它描述了测量结果与真实值之间的关系。
通过建立误差方程，可以获得各个误差来源的权重，并且可以定量分析各个误差来源对测量结果的影响程度。
2. 误差影响因素的定量分析是理论误差评定的核心内容。
误差影响因素可以分为系统性误差和随机性误差。
系统性误差是由于测量仪器、人为因素等引起的，它具有一定的规律性和可重复性；随机性误差是由于环境因素、测量条件等引起的，它具有不规则性和难以预测性。
1、粗差定位及方法分类粗差定位是在平差过程中，自动发现粗差的存在，并正确的指出粗差的位置，从而将它从平差中剔除。
它不仅仅是个理论问题，而更主要的是算法上的问题，要针对不同平差系统和可能出现的不同类型的粗差，进行由程序控制的自动探测过程。
处理观测值中的粗差有两种不同的模型，一种是所谓“数学期望平移”模型，另一种是“方差扩大”模型。
一、数学期望平移模型这种方法的思想是在正式进行最小二乘平差之前探测和定位粗差，然后剔除含粗差的观测值，得到一组比较净化的观测值，然后再作最小二乘平差。
含粗差的观测值可以看作与其它同类观测值具有相同的方差、不同的期望的一个子样，即：i L ～)),((2σi L E N （1）j L ～),)((2σj g j L E N ∆+ （2）i L 为正常观测值，j L 为含粗差的观测值。
它意味着将粗差视为函数模型的一部分。
可见，平均漂移模型是将含粗差的观测值j L 看作为与正常观测值i L 有相同方差不同期望。
对此模型，可根据平差的结果严格构建相应的统计量，在给定得显著水平0α下，便可与临界值a K 相比较，从而判断相应的观测值是否包含粗差。
二、方差扩大模型含粗差的观测值可以看作与其它同类观测值具有相同的期望，但不同的方差的子样，含粗差观测值的方差将异常得大，即：i L ～)),((2σi L E N （3）j L ～1),),((222>a a L E N j σ (4)可见，方差扩大模型是将含粗差的观测值j L 与正常观测值i L 视为有相同的期望， 不同的方差，而且2a 通常比1大的多。
因此，平均漂移模型可以解释为将粗差归入函数模型，方差扩大模型则解释为将粗差归入随机模型。
2、粗差归入函数模型时的粗差检测方法当粗差归入函数模型时，单个粗差的检测方法即知名的数据探测法。
一、经典粗差检测法对于观测数据中可能存在的粗差进行检验，传统上大多采用几何条件闭合差W 。
在常规大地测量中，由于粗差和极限误差的界限难以清晰的区分，因此用W 探测粗差存在着一定的困难，特别是对于那些接近极限误差的W ，情况更是如此。
gps非差数据处理中的粗差处理方法及其应用粗差处理是GPS数据处理的重要一环，它的正确处理不仅有利于提高定位精度，而且有助于改进数据质量、判别可能存在的故障。
GPS非差数据处理中的粗差处理方法及其应用包括：一、基础概念1. 粗差：粗差是指当一个观测值在一定条件下（如在同一次观测时间段内）原始数据集中与其他观测值比较落后很多的一种异常值；2. 粗差指标：粗差指标用来检测是否存在粗差数据，它包括静态统计检测指标（如标准差、上下限限制值）和动态统计检测指标（如窗口检测、指数平滑模型）；二、粗差处理方法1. 直接删除法：它是指将明显的粗差数据根据统计分析的结果直接删除；2. 逐个改正法：它是指将程度较轻的粗差数据进行逐一改正后重新插入到数据集中；3. 等角改正法：它是指将一段粗差数据以某种特定的角度线性改正，再插入到原始数据集中；4. 联系改正法：它是指将一段粗差数据相对于其前后数据进行相似性改正，再插入回原数据集中；三、粗差处理应用1. 清理受干扰的卫星数据：粗差处理方法及其应用可以有效的去除由外部物理因素（如雷电放电、太阳活动等）导致的卫星数据；2. 校正探测仪飞行数据：粗差处理方法及其应用可以提高探测仪采集数据的准确度；3. 优化卫星干涉数据：粗差处理方法及其应用可以有效的减少卫星干涉数据的空间位置误差；4. 调整轨道轨迹：粗差处理方法及其应用可以有效的改进GPS接收机轨道轨迹的准确性；5. 改善GPS空间坐标信息：粗差处理方法及其应用可以有效的校正GPS空间坐标信息，以获得最准确的位置信息。
四、结论GPS数据处理中的粗差处理方法及其应用有效的提高了GPS定位准确度，在精准定位技术中发挥了重要作用。
粗差检测指标可以有效的抑制不利因素对GPS定位的影响，而且还可以通过粗差处理技术有效的分析故障和清理异常数据。
此外，粗差处理还可以有效的提高GPS定位精度，提升GPS空间坐标信息的准确性，优化卫星测量数据，从而实现定位跟踪与测量精度提高。
第25卷第3期2005年8月大地测量与地球动力学J OU RNAL O F GEOD ESY AND GEOD YNAMICSVol.25,No.3 Aug.,2005 文章编号:167125942(2005)0320029205粗差检定的两种途径3刘根友 郝晓光 柳林涛(中国科学院测量与地球物理研究所,武汉 430077)摘 要 给出了解决粗差问题的两种计算方案:①将粗差作为待估参数,采用拟稳平差思路解秩亏问题,直接获得粗差;②选取部分观测值作为准观测值,采用部分最小二乘法获得待估参数,将非准观测值的残差作为粗差。
结果表明,两种方案与“拟准检定法”具有相同的效果,具有粗差的观测值在平差时不起作用。
关键词 平差因子 粗差 准观测值 部分最小二乘法 拟准检定法中图分类号:P207 文献标识码:ATWO APPROACHES TO GROSS ERROR DETECTIONLiu Genyou,Hao Xiaoguang and Liu Lintao(I nstit ute of Geodes y and Geop hysics,CA S,W uhan 430077)Abstract Two app roaches to gro ss error detection are propo sed in t his paper.The first approach is t hat t he gro ss errors(G)are treated as parameters to be estimated,and t he idea of“Quasi2Stable adjust2 ment”(G T r G r=min)for solving rank deficient p ro blem is adopted.The second approach is t hat part obser2 vations are selected as accurate observations,t he p rinciple of partial least2square estimation(V T r V r=min) is used,and t han t he residuals of t he ot her observatio ns are t reated as gro ss errors.The result s by t hese two approaches are t he same as by QUAD(Quasi Accurate Detection),and t he observations wit h gross er2 ror no longer affect s t he adjust ment.K ey w ords:adjust ment factor,gro ss error,quasi2accurate observation,part least2square estimation, QUAD(Quasi Accurate Detection)1 引言粗差是指观测值中离群较大的误差(一般被定义为大于观测中误差的3倍),它不同于偶然误差,一般只是少数,在进行参数估计时,应首先将粗差剔除[1]。
1、粗差定位及方法分类粗差定位是在平差过程中，自动发现粗差的存在，并正确的指出粗差的位置，从而将它从平差中剔除。
它不仅仅是个理论问题，而更主要的是算法上的问题，要针对不同平差系统和可能出现的不同类型的粗差，进行由程序控制的自动探测过程。
处理观测值中的粗差有两种不同的模型，一种是所谓“数学期望平移”模型，另一种是“方差扩大”模型。
一、数学期望平移模型这种方法的思想是在正式进行最小二乘平差之前探测和定位粗差，然后剔除含粗差的观测值，得到一组比较净化的观测值，然后再作最小二乘平差。
含粗差的观测值可以看作与其它同类观测值具有相同的方差、不同的期望的一个子样，即：i L ～)),((2σi L E N （1）j L ～),)((2σj g j L E N ∆+ （2）i L 为正常观测值，j L 为含粗差的观测值。
它意味着将粗差视为函数模型的一部分。
可见，平均漂移模型是将含粗差的观测值j L 看作为与正常观测值i L 有相同方差不同期望。
对此模型，可根据平差的结果严格构建相应的统计量，在给定得显著水平0α下，便可与临界值a K 相比较，从而判断相应的观测值是否包含粗差。
二、方差扩大模型含粗差的观测值可以看作与其它同类观测值具有相同的期望，但不同的方差的子样，含粗差观测值的方差将异常得大，即：i L ～)),((2σi L E N （3）j L ～1),),((222>a a L E N j σ (4)可见，方差扩大模型是将含粗差的观测值j L 与正常观测值i L 视为有相同的期望， 不同的方差，而且2a 通常比1大的多。
因此，平均漂移模型可以解释为将粗差归入函数模型，方差扩大模型则解释为将粗差归入随机模型。
2、粗差归入函数模型时的粗差检测方法当粗差归入函数模型时，单个粗差的检测方法即知名的数据探测法。
一、经典粗差检测法对于观测数据中可能存在的粗差进行检验，传统上大多采用几何条件闭合差W 。
在常规大地测量中，由于粗差和极限误差的界限难以清晰的区分，因此用W 探测粗差存在着一定的困难，特别是对于那些接近极限误差的W ，情况更是如此。
粗大误差处理方法在一组条件完全相同的重复试验中，个别的测量值可能会出现异常。
如测量值过大或过小，这些过大或过小的测量数据是不正常的，或称为可疑的。
对于这些可疑数据应该用数理统计的方法判别其真伪，并决定取舍。
常用的方法有拉依达法、肖维纳特（Chavenet）法。
格拉布斯（Grubbs）法等。
一、拉依达法当试验次数较多时，可简单地用3倍标准偏差（3S）作为确定可疑数据取舍的标准。
当某一测量数据（xi）与其测量结果的算术平均值（x-‘）之差大于3倍标准偏差时，用公式表示为：︳xi －x-‘︳＞3S则该测量数据应舍弃。
这是美国混凝土标准中所采用的方法，由于该方法是以3倍标准偏差作为判别标准，所以亦称3倍标准偏差法，简称3S法。
取3S的理由是：根据随机变量的正态分布规律，在多次试验中，测量值落在x-‘一3S与x-‘十3S之间的概率为99.73％，出现在此范围之外的概率仅为0.27%，也就是在近400次试验中才能遇到一次，这种事件为小概率事件，出现的可能性很小，几乎是不可能。
因而在实际试验中，一旦出现，就认为该测量数据是不可靠的，应将其舍弃。
另外，当测量值与平均值之差大于2倍标准偏差（即︳xi －x-‘︳＞2S）时，则该测量值应保留，但需存疑。
如发现生产（施工）、试验过程屯有可疑的变异时，该测量值则应予舍弃。
拉依达法简单方便，不需查表，但要求较宽，当试验检测次数较多或要求不高时可以应用，当试验检测次数较少时（如n<10）在一组测量值中即使混有异常值，也无法舍弃。
二、肖维纳特法进行n次试验，其测量值服从正态分布，以概率1／（2n）设定一判别范围（一knS，knS），当偏差（测量值xi与其算术平均值x-‘之差）超出该范围时，就意味着该测量值xi 是可疑的，应予舍弃。
判别范围由下式确定：肖维纳特法可疑数据舍弃的标准为：︳xi一x-‘︳/S≥kn三、格拉布斯法格拉布斯法假定测量结果服从正态分布，根据顺序统计量来确定可疑数据的取舍。
粗差的定位与估计1实验目的今有一模拟的立体像对〔f 为100.5mm ，摄影比例尺为1:12000，像点坐标量测中误差为2.8μm 〕，在y 坐标中人为的加入4бo~100бo 的粗差，请用本课程的知识将这些粗差一一找出。
2粗差的定位方法2.1概述可靠性理论给出了平差系统发现粗差的能力和不可发现的粗差对平差结果的影响，同时也给出了检测和发现粗差的统计检验量。
但是可靠性研究的一个最终目标是如何在平差过程中自动的发现粗差的存在，并正确的指出粗差的位置，从而将它从平差中剔除，这就是所谓的粗差定位问题。
它不仅仅是一个理论问题，而更主要的是算法上的问题。
2.2选权迭代法的基本思路选权迭代法的基本思想是：由于粗差未知，平差仍从惯常的最小二乘法开始，但在每次平差后，根据其残差和有关其他参数，按所选择的权函数，计算每一个观测值在下一步迭代平差中的权。
如果权函数选择得当，且粗差可定位，则含粗差观测值的权将愈来愈小，直到趋近于零。
迭代终止时，相应的残差将直接指出粗差的值，而平差的结果将不受粗差的影响。
这样便实现了粗差的自动定位和改正。
该方法从下列最小条件出发：min 2→∑i i v p (1)式中权函数,...)()()1(v i v i v f p =+）（,...2,1=v (2)对于目前已提出的各种权函数，可以按其内容区分为：(1)残差v i 的函数)(1i i v f p =(3)(2)标准化残差w i 的函数)w (1i i f p =(4)(3)方差估计i l ˆσ的函数 )ˆ(l 1i f p i σ=(5) 若按其形式，则可以区分为幂函数和指数函数。
已见到的一些权函数可列举如下：1）L q 迭代法〔最小X 数迭代法〕该法由最小X 数法min q →∑i v 演变而来，当q=1和q=0时，相应的权函数为 〔6〕〔7〕式中，c 为一适当小的正数。
引入它是为了在改正数为零时不至引起迭代求解的困难。
由于此解法中的第一步仍为惯常的最小二乘平差，所以它与严格的最小X 数解法有明显的区别。
1、粗差定位及方法分类粗差定位是在平差过程中，自动发现粗差的存在，并正确的指出粗差的位置，从而将它从平差中剔除。
它不仅仅是个理论问题，而更主要的是算法上的问题，要针对不同平差系统和可能出现的不同类型的粗差，进行由程序控制的自动探测过程。
处理观测值中的粗差有两种不同的模型，一种是所谓“数学期望平移”模型，另一种是“方差扩大”模型。
一、数学期望平移模型这种方法的思想是在正式进行最小二乘平差之前探测和定位粗差，然后剔除含粗差的观测值，得到一组比较净化的观测值，然后再作最小二乘平差。
含粗差的观测值可以看作与其它同类观测值具有相同的方差、不同的期望的一个子样，即：i L ～)),((2σi L E N （1）j L ～),)((2σj g j L E N ∆+ （2）i L 为正常观测值，j L 为含粗差的观测值。
它意味着将粗差视为函数模型的一部分。
可见，平均漂移模型是将含粗差的观测值j L 看作为与正常观测值i L 有相同方差不同期望。
对此模型，可根据平差的结果严格构建相应的统计量，在给定得显著水平0α下，便可与临界值a K 相比较，从而判断相应的观测值是否包含粗差。
二、方差扩大模型含粗差的观测值可以看作与其它同类观测值具有相同的期望，但不同的方差的子样，含粗差观测值的方差将异常得大，即：i L ～)),((2σi L E N （3）j L ～1),),((222>a a L E N j σ (4)可见，方差扩大模型是将含粗差的观测值j L 与正常观测值i L 视为有相同的期望， 不同的方差，而且2a 通常比1大的多。
因此，平均漂移模型可以解释为将粗差归入函数模型，方差扩大模型则解释为将粗差归入随机模型。
2、粗差归入函数模型时的粗差检测方法当粗差归入函数模型时，单个粗差的检测方法即知名的数据探测法。
一、经典粗差检测法对于观测数据中可能存在的粗差进行检验，传统上大多采用几何条件闭合差W 。
在常规大地测量中，由于粗差和极限误差的界限难以清晰的区分，因此用W 探测粗差存在着一定的困难，特别是对于那些接近极限误差的W ，情况更是如此。
