抗差估计的概念及其任务
- 格式:pdf
- 大小:625.12 KB
- 文档页数:4
抗差最小二乘在 GNSS 导航系统中的应用摘要:针对传统最小二乘无法抵御导航卫星数据粗差的问题,本文结合抗差估计原理构造抗差等价权,通过迭代给出导航卫星系统的抗差解过程。
利用统计模型,对含有粗差的观测历元进行抗差估计,并对模拟数据进行解算。
结果表明,在抗差最小二乘模型下求解的导航用户位置,其精度优于传统最小二乘。
关键词:抗差估计;最小二乘;GNSS;等价权引言随着卫星导航定位系统的发展,相同时间内获得的数据大大增加,随之误差的种类及出现的机率也逐渐增多 [1],而卫星导航定位精度是它能否作为导航的重要因素。
为了减少定位误差对定位精度的影响,很多学者提出了导航系统的完备性(包括接收机自主完备性 [2] [3]、卫星自主完备性 [4]、地面增强系统 [5] 等),并给出了相应的算法 [6] [7][8],现有的算法对于单粗差能起到很好的效果,但对于多粗差很多时候却无能为力,且不论是单、多粗差也会有漏检的情况。
因此如何提高导航定位精度是我们迫切需要解决的问题。
本文提出将异常值归入随机模型,采用统计检验方法,在传统最小二乘的基础上提出抗差最小二乘,实验表明该方法效果不错。
1.传统最小二乘原理据 GPS 定位原理,伪距观测方程可表示为:2.抗差最小二乘模型2.1抗差估计定义所谓抗差估计,是在粗差不可避免的情况下,选择适当的估计方法,使参数估值尽可能减免其影响,得出正常模式下的最优或接近最优的参数估值 [9]。
一个好抗差估计应该具备以下性质 [9]:(1)在采用的假定模型下,所估计的参数对于经典的假定模型而言应该是合理的,即使不是最优也是接近最优的;(2)如果实际模型与假定模型存在较小的偏差,则对应的参数估计收到的影响应比较小;(3)即使实际模型也假定模型有较大偏差,参数估计性能也不应太差,亦即不至于对参数估计值造成灾难性的后果。
由上述性质可知,当观测值不含粗差时,其估值与经典估计相同;当观测值含有粗差时,其估值也应是接近最优的。
抗差估计的概念及其任务{刭,测绘通报1994年第4期潮量抗嫠最小=乘估计理论系列讲座(一)歹一,7抗差估计的概念及其任务翌垄且三编者按7’抗差估计是一门年轻的分支学科,它在测最由的应用为最数据的处理打开了一条广阔而深邃的研究天地研究成果已遍及大地铡量,工程测量,航空摄影侧量等学科.但是作为应用学科的测量抗差估计理论不应只停旧在研究阶段.为此,本讲座力求将深奥的抗差估计理论浅显化将复杂的估值模型简单化,并将计算方法和计算过程尽量程式化,使其与大家熟知的最小二乘理论相对应.本讲座计划骨六讲:第一讲:抗差估计的概念及其任务第二讲:异常影响诊断与抗差估计第兰讲:等价权原理——参数平差模型的抗差最小二乘解第四讲:条件平差,混合平差模型的抗差最小二乘解第五讲:聩亏抗差最小二录估计原理第六讲:相关观测抗差最小=乘估计抗差估计区别于最小二乘估计的显着特点是它具有较强的抗差能力(抵制异常册影响的能力),这对日渐发展的自动化测量技术具有一定的应甩潜力,通过该系列讲座,力图使广大测绘工程技术人员像熟悉最小=乘法那样熟悉现代抗差估计原理.本系列讲座的主要内容将在测绘出版社即将出版的《抗差最小二乘法》一中系统论述.抗差估计(RobustEstimation)是一门年轻的学科,经过统计学界和应用科学界20多年的耕耘,已在许多领域显示出勃勃生机和强大生命力.她正以多姿的步伐逐渐跨出纯统计学界,并渗透到应用数据处理的各个学科.本讲主要介绍抗差估计的概念,任务及其发展简史.一,一般性描述传统的,广为人们接受的最小二乘(Lea-staqu~res)估计理论,在实践中有着广泛而成功的应用.当观测样术服从正态分布时,参数的最小二乘估计具有无偏,一致,忧效性.在眨函分析理论的支持下,最小二乘估计又呈现出明晰,直观的几何意义和简捷的计算程式.但是,当测值有悖于正惑分布假设,样本遭受异常污染时,避小二乘估计又具有明显的负面,即估值不具有抗=F扰蛀,单个测值的偏差即可能导致解案而目全非.源于此,~种迎异于最小二乘估计的新理论一抗差估计应运而生.抗差估计在测量界的引入与发展,为测绘领域打开了一个广阔而深邃韵研究天地研究成果遍及大地,航测,及工程测量.但是具有系统性和普适性的研究成果尚不多见.作为应用学科和基础学科并举的测绘学科,它有着不同于数理统计学的数据背景和模型方程.我ffJ 不能也不可能照搬抗差统计学的理论和定则, 而应致力于测量实际,不断灌注抗差估计以丰沛的新内容}建立起相对独立且自成体系的理论和方法演绎出适于应用且计算简便的解式{ 加强并拓宽这门学科的外沿,探寻新的广阔的应用前景.抗差估计与最小二泵估计各有千秋,它们只在特定的前景,特定准则下显示其优越性.l994年第4期测绘通报37不存在后者一致忧于前者的结论,反之亦然.在抗差估计内部,各种方法也有优劣,它们各倚为根据的种种假设也不相同.显然,在研究过程中很难给出一个在所有准则下均为最优的抗差估计方法.但我们将本着”两害相较弃其煎,两利相较取其大”的比较原则,以决定各种方法的应用范围.=,抗整估计概念“抗善估计一也称稳健估计,源于统计学中的抗差性概念.在众多统计学文献中,有关抗差性的陈述并不相同.归纳起来,可做如下一般性描述.一个估计方法当其依为根据的模型与实际模型有微小差异时,其估计方法的性能只受到微小的影响,即怙计方法具有一定的”稳定性. 因若不然,则针对理论模型假设下的估值之优良性不仅没有实际意义,还可能导致使用者误入歧途.这是估计方法抗差性意义的一个方面. 估计方法抗差性的另一个方面的意义是,当观测样本中混入少量粗差(outlier)时,估计量的数值受其影响不大,即估计方法具有一定的”抗干扰性.因若不然,则极少数的观测粗差都可能导致估计量面目全非.这种既能抵制模型偏差又能抗拒异常观测扰动的估值方法称为抗差怙计法.从一定意义上说,上述抗差性的两种含义是相通的.因为当数据受到粗差污染时,该数据可被视为来自另一个总体,其分布与原来模型所规定者不同.反之,模型偏差也可视作污染观测所为.上述关于抗差性的描述是定性的,相对的.事实上不存在什么”最抗差一的怙计方法.所谓抗差性的优劣,往往是相对于某种范围和准则而言的,如方差(variance)准则,偏差(bias)准则,标准差(mean—squareerror)准则等,各种准则均有侧重.Tukey曾建议综合各类抗差准则,组成新的目标函数,以达到综合抗差之目的.顺便指出:本讲采用周江文教授提出的“抗差估计”一词而不采用”稳健”,其基本理由是,在数学学科中,稳健常被看成一组稳定性要求,类似于微分方程中的稳定性.我们研究”robustness”主要针对估值左模型分布与实际分布有差异时,估俺所具有的抵制能力. 既然如此,为了与数学上解方程的稳定性(stability)相区别,我们认为采用”抗差估计”更确切.三,抗整估计的任务在描述抗差估计概念时,曾把估计方法的抗差性理解为其性能对模型的微小变化不敏感,但是一个估值如果只具备这一特性,并不一定有用.例如,不管观测样本如何,总是用一个固定的常数去估计某参数,显然,样本中的异常值不可能影响该参数估值,但这类怙值又有何意义!因此,抗差估计所追求的并非只具有抗差性,还应具有其它的良好性能.Huber 曾提到抗差怙计的三个主要目标:(1)在所假定的模型下,估值具有合理的优效性(最优或接近最优)}(2)在实际模型与假设模型有微小差异时,其估值或统计方法(如怙值的渐近方差或检验量的检验功效等)所受的影响也较小. (3)在实际模型与假定模型有严重偏离时,其怙值的性能仍能”过得去或者说,不致使估值受到破坏性影响.Hampel等提出了与之相类似的四个抗差估计目标:(1)估值应最优地拟台于观测样本(数据群体),(2)估值方法应能识别异常值(3)对于不平衡设计空间,怙值方法照能识别强影响观测J(4)估值方法应能处理与假设相关结构有偏离的数据.在其它文献中,还有许多抗差估计目标.如高渐近相对效率(relativeefficiency)或高绝对效率(absoluteefficiency)等.怛这些目标与前面提到的抗差目标相比要次要一些.88测绘通报1994年第4期四,进一步说明现就Hampel等的四个抗差估计目标作如下说明:Hampel等的第一个抗差目标意味着,当测值中台有少数异常值时,其估值的受害应限制在一定范围内.这种少数异常值对估值影响的最大允许比率一般用”崩溃污染率(brea—kdownpoint)度量.当崩溃污染率达到50时(如样本中位数),即可保证估值只取决于优质数据抗差估计的第二个目标是指抗差估值能自动显示出测值粗差.最小二乘估计常常使粗差转移或被掩盖(smearedOfmasked),而且基于残差算得的均方差也随之增大,使得粗差探测愈加复杂.尽管在许多理想情况下,经过仔细分析能够探测出粗差,但是对于多维, 非平衡设计,大样本空问,最小二乘估计仍无法探测出所有的粗差.有些常用的粗差探测准则并不可靠,甚至使用最普通的学生化残差也只能探测出1O的粗差.抗差估计则要求能够解决多维,非平衡观测数据的粗差探测.抗差估计的第三个目标提示人们,当观测数据平衡,没有极弱观测结构时,可以找到非常好的抗差估计方法,以便在理想模型下获得几乎最优效的估计量.但是当观测值中有保差观测时,仅基于残差的抗差估计法(如Huber 的M估计)已不能完全达到抗差目的.对于保差观测的处理也应分成两种情况:如果保差观测是正常测值,则降低其权的抗差法必然损失效率}如果保差观测含有粗差,则不降权处理又必然影响估值的可靠性,甚至使估值面目垒非一崩溃.目前最好的方法只能是分别采取降权法和不降权法处理保差观测,然后进行比较,如果两种方法的结果相差较大,则表明部分保差讽测为异常观测值.显然对于保差观测的处理应十分谨慎.在大地测量中,保差讽测与观测方程的设计矩阵有关,设计矩阵又与观测方案有关,所以在进行粗差探测时,应充分利用设计空间的信息.经典的粗差探测技术已经烦及到了设计空间和残差向量两个方面的影响,有时考虑两种影响的乘积,但是这些探测技术通常又是基于最小二乘原理而不是抗差估计原理,故由于隐差(masking)现象的不可避免,使得粗差探测变得相当棘手.抗差估计的第四个目标告诉人们,长期观测序列中可能存在相关现象.所有依据独立假设得出的参数估计,置信区间,统计检验可能都不可靠.应该指出,Hampel等尽管认识到相关观测抗差估计的重要性,然而这方面的研究成果尚不多见.在大地测量,航空摄影测量中,即使是非时序观测也可能存在相关问题.对于这类相关观测的抗差估计问题将是本系列讲座要介绍的主要问题之一.五,蔫量抗差估计的发展简史抗差估计理论的提出也许可以追溯到统计学的史前时期.认真审查数据和反复检桉可疑观测正是朝向抗差性迈出的第一步.如果将剔除异常值的讨论也算作抗差性讨论的起源的话,则至少可以追逆到16世纪伯努利,丹尼尔时代.伯努利及当时天文学家在天文观测中已经普遍开始拒绝异常观测值,但直到1927年才由Student正式提出使用重复观测结合异常值剔除的技术.正式使用抗差估计名词是1904年,Huber在他的着名论文”位置参数的抗差估计”中,对”正态污染模型”首次提出了Minimax型抗差解的严格定量理论,并正式起用了”M一估计”一词.M估计是一个很广泛的估计类.它容纳了经典最小二乘估计, 极大似然估计和其他L,(=1,2,…)估计.在测量数据处理中,抗差估计也有广泛研究.如Baarda,Pope,Koch,Kok,Kubiket81,Cross等的单个粗差和多个粗差数据探测法.Lugae的多个粗差探测的应变分析法等.在国内,粗差探测的研究也比较普及,如选权迭代法进行粗差探测,未标定的粗差检验问题等.1994年第4期测绘通报39直到1980年抗差估计理论才被丹麦的Krarup和Kubik等人引入测量界.提出了着名的”丹麦法”.德国人Caspary和Borutta等也作了一系列应用研究,如抗差估计在形变模型中的应用,位置参数与标准差因子同时求解的抗差估计问题.国内抗差估计研究基本与国外同时起步,且研究成果具有一定深度和广度.如抗差估计的IGG方案;将权函数分成三段,正常段(主段)采用LS估计,可疑段(次段)采用L-范数解,对显着粗差段采用淘汰法.从实用的观点看,IGG方案的思想更适于测量实际.且计算较简单j此外关于L范数估计的应用性研究,也引起许多学者的关注.近几年周江文教授带领的研究小组对测量抗差估计作了系统研究,并取得了一系列成果, 且大多数成果可直接用于各类测量平差计算. 参考文献周江兑:经典误差理论与抗差估计,铷绘,V oll8,,1989.周江兑,杨元喜,欧吉坤,王跃进:抗差估计论(上接第24页)标准串口(RS2~2C):主计算机,MODEM(有线,无线),串口打印机,终端智能仪器仪表,一红外接口:专用红外收发器条形码设备接El:光笔,CCD扫描器,激光扫描器,卡槽并行打印机接口:并行打印机专用总线:与PC机的高速并行通讯接口,ZZP系列擞型机打印机,分时计费器接口板,数据采集(A/D)转换板二,软件(1)ZZ19oO采用ZBASIC语言.与PC-1500BASIC语言基本兼容,仅显示语句(ZZ1500为4×l0汉字.8×21西文,128×84点阵显示屏幕,故原PC-1599程序耍有所改动)和打印输出语句(ZBAS—Ic驱动并行打印机和ZZ系列微型打印机)要有所改改动,其它语句和函数可保持不变ZBASIC还增加了一些用支持掌上电脑的专有功能.ZBASIC可以使用lZS/256KB的存贮空间,字符型变量采用动态管理疗,长度不限.ZBASIC还支持顺序和随机文件操作.(2)ZZlS00具有一个请晰的操作系统层(ZZ- OS),具有文件系统及动态内存管理功能.文集,测蛙出版社,1992.3.栖元喜:抗差估计及其在大地捌量中的应用,博士论文,中科舞瓤I量与地球物理研究所,1991.4.黄幼才:数据探侧与抗差估计,测绘出版社,I990.5.王任享:增强选代权函数的探讨,测绘,V o1.15,.6.李德仁:误差处理和可靠性理论,测绘出版社, I988,W.andBorutta,H.,Robust estimationindeformationmodels,Survey Revie,,NO.223,1987.,F.R,Roachetli,E.M,Ro—USSeCJUW,P.J.,Stahel,.,RobustStatistics,Th:ApproachBasedOnInflUO—IlCeFuactions,Wiley,NowYork,1988.,P..,RobustStatistics,Wiley,NewYork,1981.10,Tukey,J.W.,Studyofrobustnessbysi—mulation:Partieularlyinimprovementby adjustmentandcombination,inRobustness inStatistics,edirodbyLauller,Wilkinso~,.,NeYork,1979.(3)ZZIb00的软件设计采用层狄和模块结构,易于扩充和移植.(4)ZZlSOO上可存储最多选64个文件.每个文件都有一个文件名,用户可用菜单选择执行某文件(5)ZZIS00掌上电脑的ROM内不但固化有键盘,显示,声音,时钟,通讯,打印,条码等基本输人输出程序,还固化有ZBASIC语言的解释程序.ZZIb0O系统开发及管理软件主要的就是提供一个ZB- ASIC的编译程寄以及对ZZ1500文件管理拘程序. (9)ZZ19oo的魏组维数最多可选7维;变量个数可多选数千(仅受内存影响,个数没有限制);数值精度高速l4位有效数字;图形软件丰富,可绘制各种常见图形内置译码器,可识别各种常见条码(7)此外,zZ系列袖珍计算机上还可以运行zzDBASE语言程序,该语言与dBAsE数据库语言在功能,结构及语句形式上极为相似车螭辑部与北京振中公司定于1994年10B24B在擐中公司举办ZZI500型袖珍计算机演示报告童,玫j虫有兴趣的潮培再冠行出席.北京振申公司地址:北京2704信箱(北京中关村4学院南路6号);电话;264443~,2565583—153;邮编;100090;电传:2568152.。
技术平台储客户的信息,这样能够帮助银行辨别哪一些客户是不应该给其办理信用卡的,哪一些又是优质客户。
建立这样的系统能够加强银行对信用卡安全风险的控制,并且能够针对拖欠欠款的用户做出相应的处理。
针对信用卡犯罪与网络银行安全控制的关键点在于政府是否有制定相关的法律法规来对其做出硬性约束,而在技术防范不法分子进行诈骗与信用卡犯罪的这块我国做的并不够完善,目前我国主要是利用技术分析法来防范信用卡犯罪,保证网络银行安全,这种分析法主要有以下两个内容:一是前摄性分析,该分析需要掌握的是预先了解客户的消费习惯,当发现客户的交易有别于往日时,这就是所存在的消费疑点,这时就应该尽快与持卡人取得联系,确认这笔交易是否是本人所致,以此来保证持卡人的个人利益。
二是反应性分析,该分析所要求的是持卡人在交易完成后,发卡行若发现这笔交易可能是信用卡诈骗与网络银行诈骗,则应该立即冻结此账户,以这样的方式来避免持卡人的经济损失进一步扩大。
当然,这些分析方法都只是进行预防的方法之一,若将这些方法与法律规范相结合能够更好的保证网络银行与信用卡的安全。
4 总结目前,信用卡与网络银行都成为我们日常生活中所不可或缺的一种支付工具,在未来,信用卡与网络银行或将成为主流支付方式。
但是因为我国针对这一块的监管力度并不够严格,使得一部分不法分子利用漏洞来获取非法利益,所以为了能够进一步保障我国消费者的个人利益,国家有必要加强法律建设,以此来保证各方的利益,促进信用卡及网络银行的发展。
参考文献:[1]曹叶丹.探析银行信用卡的风险及防范措施[J].现代企业文化,2009,(36):197-198.[2]郭进莲,张维彪.我国银行信用卡国际化经营风险防范研究[J].商场现代化,2008,(27):349.[3]刘昌明.对网络银行信息安全技术应用的研究[J].计算机光盘软件与应用,2012(20):40-46.[4]华凌.抓住网络中的“第三只手”——英开发出应对网络犯罪的“远程取证”系统[J].今日科苑,2007(21):34-35.[5]周付安,张裕淇.网络银行安全问题与防范措施[J].实验技术与管理,2012(03):360-362,367.独立测边网中常用抗差估计方法的有效性研究姜佃高,许珊娜(江西水利职业学院,江西 南昌 330013)摘 要:抗差估计方法是一种很好的抵抗粗差的方法。