衡量点估计量好坏的标准(修)

第三讲点估计的评价标准副教授主讲教师叶宏在前两讲中我们介绍了两种点估计法，发现了点估计的不唯一性，即对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题:应该选用哪一种估计量?用何标准来评价一个估计量的好坏?常用标准(1) 无偏性(3) 一致性(2) 有效性这一讲我们介绍估计量是随机变量，对于不同的样本值会得到不同的估计值. 我们希望估计值在未知参数真值附近摆动，而它的期望值等于未知参数的真值. 这就导致无偏性这个标准.(1) 无偏性θθ=)ˆ(E 则称为的无偏估计.θˆθ),,(ˆ1n X X θ设是未知参数的估计量，若θ.真值∙∙∙∙∙∙∙∙∙∙∙∙∙∙),,,(21n X X X 是总体X 的样本,证明: 不论X 服从什么分布(但期望存在),是k μ的无偏估计量.证∑∑====n i k i n i k i k X E n X n E A E 11)(1)1()(例设总体X 的k 阶矩)(k k X E =μ存在，因而ni X E k k i ,,2,1)( ==μ由于k k n n μμ=⋅⋅=1∑==n i k i k X n A 11特别地样本二阶矩∑==n i i X n A 1221是总体二阶矩是总体期望E ( X ) 的X 样本均值无偏估计量)(22X E =μ的无偏估计量例设总体X 的期望与方差存在,X 的样本为),,,(21n X X X (1) 不是D ( X )的无偏估计; ∑=-=n i i n X X n S 122)(1(2) 是D ( X ) 的无偏估计. ∑=--=n i i X X n S 122)(11原样本方差样本修正方差2221)(σσ≠-=nn S E n ()22σ=S E 2221lim ()lim n n n n E S nσσ→∞→∞-==是D ( X )的渐进无偏估计2n S无偏估计以方差小者为好, 这就引进了有效性的概念12ˆˆ,θθ一个参数往往有不止一个无偏估计, 若θ都是参数的无偏估计量，我们可以比较的大小来决定谁更优.21)ˆ(θθ-E 和22)ˆ(θθ-E 211)ˆ()ˆ(θθθ-=E D 由于222)ˆ()ˆ(θθθ-=E D (2) 有效性(2) 有效性D ( )< D ( )2ˆθ1ˆθ则称较有效.2ˆθ1ˆθ都是参数的无偏估计量，若有),,(ˆ11n X X θ),,(ˆˆ122n X X θθ==1ˆθ设和θ*1ˆˆ()()D D θθ≤*ˆθ是的任一无偏估计.θ则称为的最小方差无偏估计.θθˆ若321232111254131ˆ)(31ˆX X X X X X ++=++=μμ都是μ的无偏估计量1ˆμ最有效例如X ~ N ( μ,σ2) ,样本是.,,321X X X μμμ==)ˆ()ˆ(21E E 22217225)ˆ(31)ˆ(σμσμ=<=D D 推广i n i i X c ∑==1ˆμ是μ的无偏估计量X X c i ni i 中∑==1ˆμ最有效11n i i c ==∑当时ˆlim ()1n P θθε→∞-<=则称θˆ是参数θ的一致(或相合)估计量.(3) 一致性(相合性)即,0>∀ε一致性估计量仅在样本容量n 足够大时,才显示其优越性.定义设是总体参数θ),,,(ˆˆ21n X X X θθ=θˆ的估计量. 若n →∞时, 依概率收敛于θ,关于一致性的常用结论样本k 阶矩是总体k 阶矩的一致性估计量由大数定律可证明矩法得到的估计量一般为一致估计量为方便鉴别有效性，引进定理： 1lim (),lim ()(,,0)n n nn n n n X X E D θθθθθθ→∞→∞=== 设是未知参数的估计量，若定理 n θθ则是的一个相合估计量.212221~(,),,,1()1n n i i X N X X X S X X n μσσ==--∑ 设总体是的样本则是的一致例估计量.22211()1ni i S X X n σ==--∑是的一致估计量.证明2222(1)(1)1,2(1)n S n S E n D n σσ⎛⎫⎛⎫--=-=- ⎪ ⎪⎝⎭⎝⎭()222lim (),lim 0n n E S D S σ→∞→∞⇒==222(1)~(1)n S n χσ-- ()()42222,1E S D S n σσ=∴=-由卡方分布性质知。

第二节点估计的优良性标准首先说明一下问题的提出，介绍以下三种评价标准：1、无偏性2、有效性3、相合性一、问题的提出从前一节可以看到，对于同一个参数，用不同的估计方法求出的估计量可能不相同,如第一节的例4和例1() •而且，很明显，原则上任何统计屋都可以作为未知参数的估计虽.问题(1)对于同一个参数究竞采用哪一个估计量好？(2)评价估计量的标准是什么？您下面介绍几个常用标准.在介绍估计量的评选标准之前，我们必须强调指出：评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由多次试验结果来衡量.这是因为估计量是样本的函数，是随机变量•因此，由不同的观测结果，就会求得不同的参数估计值•因此一个好的估计，应在多次试验中体现出优良性.二、常用的几条标准是:1・无偏性2.有效性3・一致性（相合性）这里我们重点介绍前面两个标准・1、无偏性若x「*2,…,为总体X的一个样本，0^0是包含:在总体X的分布中的待估参数,(<9是&的取值范若估计量％0"显2,…，乙)的数学期望E(0)存在，且对于任意0e®有E(0) = 4则称0是0的无偏估计量定义的合理性我们不可能要求每一次由样本得到的估计值与真值都相等，但可以要求这些估计值的期望与真值相等.无偏性的实际意义是指没有系统性的偏差・例如，用样本均值作为总体均值的估计时，虽无法说明一次估计所产生的偏差，但这种偏差随机地在0的周围波动，对同一统计问题大量重复使用不会产生系统偏差.例2、对于均值“，方差都存在的总体■若均为未知，则肝的估计量却=2工电-*)'是有偏的(即不是无偏估计).证材=If X；-*2= A *2,因为E(A2) = x/2 = a2+//\2 又因为E(X2) = D(X)+[E(X)]2 =穴 +//, n所以E(&2) = E(A2-X2)=E(A2)-E(X2)例3、设总体X服从参数为0的指数分布，概率密度护，“°,[0, 其他其中参数0>0,又设…,X”是来自总体X的样本，试证X 和“Z =/i[min(X1,X2, .,XJ]都是0 的无偏估计.证明因为E(X) = E(X) = 0,所以X是0的无偏估计量2、有效性比较参数0的两个无偏估计量A和玄，如果在样本容疑〃相同的情况下，&的观察值在真值0的附近较玄更密集，则认为&较玄有效・由于方差是随机变量取值与其数学期望的偏离程度.所以无偏估计以方差小者为好.设0严&…，乙)与玄=玄(乙,禺,…,X”) 都是&的无偏估计量若有则称内较玄有效.3、一致性（相合性）若3 = 3（X“X2，・・・,X”）为参数啲估计量若对于任t^€0,当“TOO时,8（八*2,…,X“）依概率收敛于仇则称4为0的一致估计量一致性只是在样本容量非常大的时候才显现出优势，在实际问题中常常使用无偏性、有效性这两个标准.中未知参数0的极大似然估计量不是无偏估计.K 解U 因为®的极大似然估计用为0 = max{X }0,0<x<^, x>6.0 = mix[X,]的分布函数为 \<i^no, z<o, 巧⑵= [F(z)f = ^7，0<z"1,z>0.b故其概率密度为练习：试证明均匀分布 0, 0 < ,v < 0, 其它 厶⑵彳歹0, 0 < Z 5 09其它，而总体分布函数E@) = jS(zMz 衣/z + l 从而，j不是。

参数估计一般用样本统计量作为总体参数的点估计值，而样本统计量是一个随机变量，因此就有必要给出评价点估计值好坏的标准。

点估计值好坏的评价标准有以下3个。

1.无偏性
无偏性是指用来估计总体参数的样本统计量的分布是以总体参数真值为中心的，在一次具体的抽样估计中，估计值或大于或小于总体参数，但在多次重复抽样估计的过程中，所有估计值的平均数应该等于待估计的总体参数。

可以证明，样本平均数x是总体均值μ的无偏估计，样本方差[图片]是总体方差σ2的无偏估计。

2.有效性
有效性是指在同一总体参数的两个无偏估计量中，标准差越小的估计量对总体参数的估计越有效。

3.一致性
一致性是指随着样本容量的增加，点估计量的值越来越接近总体参数的真值。

换句话说，一个大样本给出的估计量要比一个小样本给出的估计量更接近总体参数。

6.2点估计的评价标注我们已经看到，点估计有各种不同的求法，为了在不同点估计间进行比较选择，就必须对各种点估计的好坏给出评价标准.数理统计中给出了众多的估计量评价标准，对同一估计量实用不同的评价标准可能会得到完全不同的结论，因此在评价某一个估计好坏时首先要说明是在哪一个标准下，否则所论好坏则毫无意义.但不管怎么说，有一个基本标准时所有的估计都应该满足的，它是衡量一个估计是否可行的必要条件，这就是估计的相合性，我们就从相合性开始。

6.2.1 相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。

但如果我们有足够的观测值，根据格里文科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下：定义6.2.1 设θ∈Θ为未知参数，()12,,,n n n x x x θθ∧∧= 是θ的一个估计量，n 是样本容量，若对任何一个0ε>，有()ˆlim 0nn P θθε→∞->= 则称ˆnθ为参数θ的相合估计。

相合性被认为是对估计的一个最基本的要求，如果一个估计量，在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计值是很值得怀疑的。

通常，不满足相合性要求的估计一般不予考虑。

证明估计的相合性一般可应用大数定律或直接由定义来证。

若把依赖于样本量n 的估计量ˆn θ看作一个随机变量序列，相合性就是ˆnθ依概率收敛于θ，所以证明估计的相合性可应用依概率收敛的性质以及各种大数定律。

例6.2.1 设12,,x x 是来自正态总体()2,N μσ的样本，则有辛钦大数定律及依概率收敛的性质知：x 是μ的相合估计；*2s 是2σ相合估计；2s 也是2σ的相合估计。

由此可见参数的相合估计不止一个。

在判断估计的相合性时下述两个定理是很有用的。

§7.2 点估计的评价标准同一参数可以有几种不同的估计，这时就需要判断采用哪一种估计为好的问题。

另一方面，对于同一个参数，用矩法和极大似然法即使得到的是同一个估计, 也存在衡量这个估计优劣的问题。

估计量的评选标准就是：评价一个估计量“好”与“坏”的标准。

评价一个估计量的好坏, 不能仅仅依据一次试验的结果, 而必须由多次试验结果来衡量. 因为估计量是样本的函数, 是随机变量. 故由不同的观测结果, 就会求得不同的参数估计值. 因此一个好的估计, 应在多次重复试验中体现出其优良性.估计量的评价一般有三条标准:1. 无偏性;2. 有效性;3. 相合性（一致性）一.无偏性估计量是随机变量, 对于不同的样本值会得到不同的估计值. 一个自然的要求是希望估计值在未知参数真值的附近, 不要偏高也不要偏低. 由此引入无偏性标准.定义1 设),,(ˆ1nX X θ是未知参数θ的估计量, 若,)ˆ(θθ=E 则称θˆ为θ的无偏估计量. 若ˆ()E θθ≠称ˆθ为有偏估计量，ˆ()E θθ-并称为估计量 ˆθ的偏差.如果ˆθ是有偏估计量,ˆˆlim (),n E θθθθ→∞=但，则称是的渐近无偏估计量 注: 无偏性是对估计量的一个常见而重要的要求, 其实际意义是指估计量没有系统偏差，只有随机偏差. 在科学技术中, 称θθ-)ˆ(E 为用θˆ估计θ而产生的系统误差.定理1 设12,,n X X X 为取自总体X 的样本,总体X 的均值为μ, 方差为2σ.则(1) 样本均值X 是μ的无偏估计量;(2) 样本方差2S 是2σ的无偏估计量;(3) 样本二阶中心矩2211()ni i B X X n ==-∑是2σ的不是无偏估计量.,是渐近无偏估计量证明：(1)因为 12,,n X X X 独立同分布，且()i E X μ=所以11111()()n n i i i i E X E X E X n n n n μμ==⎡⎤===⋅=∑∑⎢⎥⎣⎦ 故X 是μ的无偏估计量;(2)因2222221111111()2()111n n n n i i i i i i i i S X X X X X nX X nX n n n ====⎡⎤⎛⎫=-=-+=-∑∑ ⎪⎢⎥---⎣⎦⎝⎭∑∑ 注意到22222222()()[()],()()[()],i i i E X D X E X n E X D X E X σμσμ=+=+=+=+于是，有22222222111()()()().11n i i E S E X nE X n n n n n σσμμσ=⎡⎤⎛⎫⎡⎤=-=+-+=∑⎢⎥ ⎪⎢⎥⎣⎦--⎝⎭⎣⎦故样本方差2S 是2σ的无偏估计量; (3)222111()n i i n B X X S n n=-=-=∑ 222211()()n n E B E S n nσσ--==≠ 故2B 是2σ的有偏估计量.2221lim ()lim n n n E B nσσ→∞→∞-== 故2B 是2σ的渐近无偏估计量.二.有效性一个参数θ常有多个无偏估计量,在这些估计量中,自然应选用对θ的偏离程度较小的为好,即一个较好的估计量的方差应该较小.由此引入评选估计量的另一标准—有效性.定义2 设),,(ˆˆ111n X X θθ=和),,(ˆˆ122nX X θθ=都是参数θ的无偏估计量, 若)ˆ()ˆ(21θθD D <,则称1ˆθ较2ˆθ有效. 例1:设123,,X X X 是总体X 的样本,证明11231ˆ (),3X X X μ=++21231ˆ ()2X X X μ=-+33121ˆ ()42X X X μ=++ 都是总体均值()E X 的无偏估计量,并比较哪个更有效.解: 112311ˆE( )[()()()][()()()]()33E X E X E X E X E X E X E X μ=++=++= 212311ˆE( )()()()()22E X E X E X E X μ=-+= 3123111ˆE( )()()()()442E X E X E X E X μ=++= 故1ˆ μ,2ˆ ,μ3ˆ μ都是总体均值()E X 的无偏估计量 112311ˆD( )[()()()]()93D X D X D X D X μ=++= 212313ˆD( )[()()]()()42D X D X D X D X μ=++= 3123113ˆD( )[()()]()()1648D X D X D X D X μ=++= 则132ˆˆˆD( )D( )D( )μμμ<<,故1ˆ μ较2ˆ ,μ3ˆ μ更有效 三.一致性 (相合性)我们不仅希望一个估计量是无偏的, 并且具有较小的方差, 还希望当样本容量无限增大时, 估计量能在某种意义下任意接近未知参数的真值, 由此引入相合性(一致性)的评价标准.定义 3 设),,(ˆˆ1nX X θθ=为未知参数θ的估计量, 若当n →∞时,θˆ依概率收敛于θ, 即对任意0>ε, 有,1}|ˆ{|lim =<-∞→εθθP n 或,0}|ˆ{|lim =≥-∞→εθθP n则称θˆ为θ的一致估计量.例2:证明样本k 阶原点矩11n k k i i A X n ==∑是总体k 阶原点矩)(k X E 的一致估计量. 证明: 样本k 阶原点矩11n k k i i A X n ==∑依概率收敛于总体k 阶原点矩)(k X E 即对任意的0ε>,有111111lim |()lim |()1,n n n k k k k i i i n n i i i P X E X P X E X n n n εε→∞→∞===⎧⎫⎧⎫-<=-<=⎨⎬⎨⎬⎩⎭⎩⎭∑∑∑ 所以k A 是总体)(k X E 的一致估计量.注:1样本方差2S 是总体方差2σ的一致估计量．由于样本k 阶原点矩与样本方差分别作为总体k 阶原点矩与总体方差的估计是无偏的、一致的，因此是较好的估计，2.若12(,,)l g t t t 是连续函数，),,,(ˆ21n X X X θ是ˆ(1,2,)i i l θ=的一致估计量，则12ˆˆˆ(,,)lg θθθ是12(,,)l g θθθ的一致估计量，所以用矩估计法确定的统计量一般是一致估计量．人们还证明了在相当广泛的情况下，极大似然估计量也是一致估计量．。

判断点估计好坏的标准
点估计是统计学中重要的一种估计方法，是用一个确定的数据点来估计参数的值。

用点估计的结果来衡量估计的好坏，一般会有两个方面考虑：一是点估计的准确度；二是点估计的一致性。

首先，点估计的准确度。

较好的点估计应该是接近真实参数值的值，差别越小表明点估计效果越好，反之，参数估计效果越差。

一般来说，准确度较好的点估计能精确地体现出参数的可靠性。

其次，点估计的一致性。

在对比点估计结果时，一致性也是一个非常重要的考量因素，从这个角度看，一致性越强的点估计效果就越好。

一致性的好坏可以通过使用检验统计学的技术来评价，例如t检验，F检验等。

从技术上来讲，一致性较好的点估计能更有效地体现出参数的稳定性。

总之，判断点估计的好坏，一般可以从两个方面考虑：一是点估计的准确度；二是点估计的一致性。

准确度越高的点估计能更精确地反应参数的真实性，而一致性越强的点估计则能更有效地体现参数的稳定性。

因此，综合评价两个方面，才能准确判断点估计的好坏。