§7.2 点估计的评价标准
- 格式:docx
- 大小:70.96 KB
- 文档页数:3
第三讲点估计的评价标准副教授主讲教师叶宏在前两讲中我们介绍了两种点估计法,发现了点估计的不唯一性,即对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题:应该选用哪一种估计量?用何标准来评价一个估计量的好坏?常用标准(1) 无偏性(3) 一致性(2) 有效性这一讲我们介绍估计量是随机变量,对于不同的样本值会得到不同的估计值. 我们希望估计值在未知参数真值附近摆动,而它的期望值等于未知参数的真值. 这就导致无偏性这个标准.(1) 无偏性θθ=)ˆ(E 则称为的无偏估计.θˆθ),,(ˆ1n X X θ设是未知参数的估计量,若θ.真值∙∙∙∙∙∙∙∙∙∙∙∙∙∙),,,(21n X X X 是总体X 的样本,证明: 不论X 服从什么分布(但期望存在),是k μ的无偏估计量.证∑∑====n i k i n i k i k X E n X n E A E 11)(1)1()(例设总体X 的k 阶矩)(k k X E =μ存在,因而ni X E k k i ,,2,1)( ==μ由于k k n n μμ=⋅⋅=1∑==n i k i k X n A 11特别地样本二阶矩∑==n i i X n A 1221是总体二阶矩是总体期望E ( X ) 的X 样本均值无偏估计量)(22X E =μ的无偏估计量例设总体X 的期望与方差存在,X 的样本为),,,(21n X X X (1) 不是D ( X )的无偏估计; ∑=-=n i i n X X n S 122)(1(2) 是D ( X ) 的无偏估计. ∑=--=n i i X X n S 122)(11原样本方差样本修正方差2221)(σσ≠-=nn S E n ()22σ=S E 2221lim ()lim n n n n E S nσσ→∞→∞-==是D ( X )的渐进无偏估计2n S无偏估计以方差小者为好, 这就引进了有效性的概念12ˆˆ,θθ一个参数往往有不止一个无偏估计, 若θ都是参数的无偏估计量,我们可以比较的大小来决定谁更优.21)ˆ(θθ-E 和22)ˆ(θθ-E 211)ˆ()ˆ(θθθ-=E D 由于222)ˆ()ˆ(θθθ-=E D (2) 有效性(2) 有效性D ( )< D ( )2ˆθ1ˆθ则称较有效.2ˆθ1ˆθ都是参数的无偏估计量,若有),,(ˆ11n X X θ),,(ˆˆ122n X X θθ==1ˆθ设和θ*1ˆˆ()()D D θθ≤*ˆθ是的任一无偏估计.θ则称为的最小方差无偏估计.θθˆ若321232111254131ˆ)(31ˆX X X X X X ++=++=μμ都是μ的无偏估计量1ˆμ最有效例如X ~ N ( μ,σ2) ,样本是.,,321X X X μμμ==)ˆ()ˆ(21E E 22217225)ˆ(31)ˆ(σμσμ=<=D D 推广i n i i X c ∑==1ˆμ是μ的无偏估计量X X c i ni i 中∑==1ˆμ最有效11n i i c ==∑当时ˆlim ()1n P θθε→∞-<=则称θˆ是参数θ的一致(或相合)估计量.(3) 一致性(相合性)即,0>∀ε一致性估计量仅在样本容量n 足够大时,才显示其优越性.定义设是总体参数θ),,,(ˆˆ21n X X X θθ=θˆ的估计量. 若n →∞时, 依概率收敛于θ,关于一致性的常用结论样本k 阶矩是总体k 阶矩的一致性估计量由大数定律可证明矩法得到的估计量一般为一致估计量为方便鉴别有效性,引进定理: 1lim (),lim ()(,,0)n n nn n n n X X E D θθθθθθ→∞→∞=== 设是未知参数的估计量,若定理 n θθ则是的一个相合估计量.212221~(,),,,1()1n n i i X N X X X S X X n μσσ==--∑ 设总体是的样本则是的一致例估计量.22211()1ni i S X X n σ==--∑是的一致估计量.证明2222(1)(1)1,2(1)n S n S E n D n σσ⎛⎫⎛⎫--=-=- ⎪ ⎪⎝⎭⎝⎭()222lim (),lim 0n n E S D S σ→∞→∞⇒==222(1)~(1)n S n χσ-- ()()42222,1E S D S n σσ=∴=-由卡方分布性质知。
第七章参数估计内容介绍本章主要内容是参数的点估计、估计量的评价标准以及参数的区间估计等.内容讲解引言:本章将讨论统计推断,所谓统计推断就是由样本来推断总体. 当总体的某个参数未知时,用样本来对它进行估计,就是参数估计. 至于参数,目前没有准确的定义,只有一些具体的参数,本书指出三类参数:①分布中含有的未知参数θ;②θ的函数;③分布的各种特证数。
§ 7.1点估计1.点估计定义:设x1,x2,…x n是总体X的一个样本,θ是它的未知参数,用一个关于x1,x2,…x n的统计量的取值作为θ的估计值,称为θ的点估计.2.点估计的两种常用方法(1)替换原理和矩法估计① 替换原理:替换原理常指如下两句话:一是:用样本矩替换总体矩;二是:用样本矩的函数替换相应的总体矩的函数.② 矩估计的方法:根据替换原理,用样本矩或样本矩的函数对总体的矩或矩的函数进行估计。
例如:用样本均值估计总体均值E(X),即;用样本二阶中心矩估计总体方差,即;用事件A的频率估计事件A的概率等.例题1. P146【例7-1】对某型号的20辆汽车记录其每5L汽油的行驶里程(km),观测数据如下:29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.728.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9【答疑编号12070101】(2)概率函数p(x;θ)已知时未知参数的矩法估计设总体具有已知的概率函数p(x;θ1,…,θk),(θ1,…,θk)是未知参数或参数向量,x1,…,x n是样本,假定总体的k阶原点矩μk存在,则对所有的j(0<j<k),μj都存在。
(3)若假设θ1,…,θk能够表示成μ1,…,μk的函数θj=θj(μ1,…,μk),则可给出诸θj的矩法估计。
例题2. P146【例7-2】设总体为指数分布,其密度函数为【答疑编号12070102】这说明矩估计可能是不惟一的,这是矩法估计的一个缺点,此时通常应该尽量采用低阶矩给出未知参数的估计。
§7.2 点估计的评价标准
同一参数可以有几种不同的估计,这时就需要判断采用哪一种估计为好的问题。
另一方面,对于同一个参数,用矩法和极大似然法即使得到的是同一个估计, 也存在衡量这个估计优劣的问题。
估计量的评选标准就是:评价一个估计量“好”与“坏”的标准。
评价一个估计量的好坏, 不能仅仅依据一次试验的结果, 而必须由多次试验结果来衡量. 因为估计量是样本的函数, 是随机变量. 故由不同的观测结果, 就会求得不同的参数估计值. 因此一个好的估计, 应在多次重复试验中体现出其优良性.
估计量的评价一般有三条标准:1. 无偏性;2. 有效性;3. 相合性(一致性)
一.无偏性
估计量是随机变量, 对于不同的样本值会得到不同的估计值. 一个自然的要求是希望估计值在未知参数真值的附近, 不要偏高也不要偏低. 由此引入无偏性标准.
定义1 设),,(ˆ1n
X X θ是未知参数θ的估计量, 若,)ˆ(θθ=E 则称θˆ为θ的无偏估计量. 若ˆ()E θ
θ≠称ˆθ为有偏估计量,ˆ()E θθ-并称为估计量 ˆθ的偏差.如果ˆθ是有偏估计量,ˆˆlim (),n E θθθθ→∞
=但,则称是的渐近无偏估计量 注: 无偏性是对估计量的一个常见而重要的要求, 其实际意义是指估计量没有
系统偏差,只有随机偏差. 在科学技术中, 称θθ
-)ˆ(E 为用θˆ估计θ而产生的系统误差.
定理1 设12,,n X X X 为取自总体X 的样本,总体X 的均值为μ, 方差为2σ.则
(1) 样本均值X 是μ的无偏估计量;
(2) 样本方差2S 是2σ的无偏估计量;
(3) 样本二阶中心矩221
1()n
i i B X X n ==-∑是2σ的不是无偏估计量.,是渐近无偏估计量
证明:(1)因为 12,,n X X X 独立同分布,且()i E X μ=所以
11
111()()n n i i i i E X E X E X n n n n μμ==⎡⎤===⋅=∑∑⎢⎥⎣⎦ 故X 是μ的无偏估计量;
(2)因
2222221111111()2()111n n n n i i i i i i i i S X X X X X nX X nX n n n ====⎡⎤⎛⎫=-=-+=-∑∑ ⎪⎢⎥---⎣⎦⎝⎭
∑∑ 注意到
2
2222222()()[()],()()[()],
i i i E X D X E X n E X D X E X σμσμ=+=+=+=+
于是,有
22
222222111()()()().11n i i E S E X nE X n n n n n σσμμσ=⎡⎤⎛⎫⎡⎤=-=+-+=∑⎢⎥ ⎪⎢⎥⎣⎦--⎝⎭⎣⎦
故样本方差2S 是2σ的无偏估计量; (3)222111()n i i n B X X S n n
=-=-=∑ 222211()()n n E B E S n n
σσ--==≠ 故2B 是2σ的有偏估计量.
2221lim ()lim n n n E B n
σσ→∞→∞-== 故2B 是2σ的渐近无偏估计量.
二.有效性
一个参数θ常有多个无偏估计量,在这些估计量中,自然应选用对θ的偏离程度较小的为好,即一个较好的估计量的方差应该较小.由此引入评选估计量的另一标准—有效性.
定义2 设),,(ˆˆ111n X X θθ=和),,(ˆˆ122n
X X θθ=都是参数θ的无偏估计量, 若)ˆ()ˆ(21θθD D <,则称1ˆθ较2
ˆθ有效. 例1:设123,,X X X 是总体X 的样本,证明
11231ˆ (),3X X X μ=++21231ˆ ()2X X X μ=-+33121ˆ ()42
X X X μ=++ 都是总体均值()E X 的无偏估计量,并比较哪个更有效.
解: 112311ˆE( )[()()()][()()()]()33
E X E X E X E X E X E X E X μ=++=++= 212311ˆE( )()()()()22
E X E X E X E X μ=-+= 3123111ˆE( )()()()()442
E X E X E X E X μ=++= 故1ˆ μ
,2ˆ ,μ3ˆ μ都是总体均值()E X 的无偏估计量 112311ˆD( )[()()()]()93
D X D X D X D X μ=++= 212313ˆD( )[()()]()()42
D X D X D X D X μ=++= 3123113ˆD( )[()()]()()1648
D X D X D X D X μ=++= 则132ˆˆˆD( )D( )D( )μ
μμ<<,故1ˆ μ较2ˆ ,μ3ˆ μ更有效 三.一致性 (相合性)
我们不仅希望一个估计量是无偏的, 并且具有较小的方差, 还希望当样本容量无限增大时, 估计量能在某种意义下任意接近未知参数的真值, 由此引入相合性(一致性)的评价标准.
定义 3 设),,(ˆˆ1n
X X θθ=为未知参数θ的估计量, 若当n →∞时,θˆ依概率收敛于θ, 即对任意0>ε, 有
,1}|ˆ{|lim =<-∞
→εθθP n 或
,0}|ˆ{|lim =≥-∞→εθθ
P n
则称θˆ为θ的一致估计量.
例2:证明样本k 阶原点矩1
1n k k i i A X n ==∑是总体k 阶原点矩)(k X E 的一致估计量. 证明: 样本k 阶原点矩1
1n k k i i A X n ==∑依概率收敛于总体k 阶原点矩)(k X E 即对任意的0ε>,有
111111lim |()lim |()1,n n n k k k k i i i n n i i i P X E X P X E X n n n εε→∞→∞===⎧⎫⎧⎫-<=-<=⎨⎬⎨⎬⎩⎭⎩⎭
∑∑∑ 所以k A 是总体)(k X E 的一致估计量.
注:1样本方差2S 是总体方差2σ的一致估计量.由于样本k 阶原点矩与样本方差分别作为总体k 阶原点矩与总体方差的估计是无偏的、一致的,因此是较好的估计,
2.若12(,,)l g t t t 是连续函数,),,,(ˆ21n X X X θ是ˆ(1,2,)i i l θ=的一致估计量,则12ˆˆˆ(,,)l
g θθθ是12(,,)l g θθθ的一致估计量,所以用矩估计法确定的统计量一般是一致估计量.人们还证明了在相当广泛的情况下,极大似然估计量也是一致估计量.。