当前位置：文档之家 › 应用数理统计2.2 估计量的评判准则

应用数理统计2.2 估计量的评判准则

  • 格式：ppt
  • 大小：475.50 KB
  • 文档页数：16

下载文档原格式

  / 16

合集下载

估计量的评选标准与区间估计

估计量的评选标准与区间估计
式的估计称为区间估计。
置信区间 设总体X的分布函数F(x;)含有一个未知 参数. 对于给定值a(0<a<1), 若由样本X1 ,X2 ,…,Xn确定 的两个统计量 ( X1, X 2 ,..., X n )和 ( X1, X 2 ,..., X n ) 满足
P{ ( X1, X 2 ,..., X n ) ( X1, X 2 ,..., X n )} 1 a, 则称随机区间 ( , )是的置信度为1 a的置信区间,和 分
n 1
S 2

1 n 1
n
(Xi
i 1

X 2 ).
这就是说S2是2的无偏估计，因此，一般都是取S2作为 方差2的估计量。
例3 设总体X服从参数为的指数分布，概率密度为
f
( x,




பைடு நூலகம்
ex /
,
x 0,
0,
其它。
其中>0为未知,又设X1 ,X2 ,…,Xn是来自X的样本,试证
都是统计量 , 那么( , )就是的一个置信度为1 a的置信区间。
函数Z(X1 ,X2,…,Xn ; )的构造, 可以从 的点估计着 手考虑。
(三)单个总体N(,2)的情况
设已给定置信度为1-a, 并设X1 ,X2,…,Xn为总体N(,2)
的样本. X, S2分别是样本均值和样本 方差。
2的无偏估计为S2 由第六章2定理一知
(n 1)S 2 ~ 2 (n 1), 2
故
P{
2 1-a/2
(n
1)

(n 1)S 2
2


2 a/2
(n

2[1].2估计量的评选标准

2[1].2估计量的评选标准

§2 估计量的评选标准问题：用不同的方法求出的同一参数的估计量可能不同，哪个估计量更好？怎样衡量？2.1 无偏估计引例：有一大批产品，废品率为)10(<<p p 未知，现任取n 件产品进行检验，获取子样观测值，构造统计量来估计未知参数p .如果pp >∧，则不利于产品卖方；如果pp <∧，则不利于产品买方。

事实上，∧p的值随每次抽样结果而变，因此自然希望抽样检验长期进行的话，在平均意义下能有一个不偏不倚的结果，即pp E =∧)(.——这就是估计量的无偏性要求。

定义：设∧θ是未知参数θ的估计量， ①若θθ=∧)(E ，则称∧θ是θ的无偏估计(unbiased estimator)，简记为UE ； ②若θθ≠∧)(E ，则称∧θ是θ的有偏估计(biased estimator)；③若θθ=∧∞→)(lim E n ，则称∧θ是θ的渐近无偏估计(asymptotic unbiased estimator).例 2.2.1 n X X X ,,,21 是来自母体X的一个子样，证明：X 是)(X E 的无偏估计，但子样方差∑=-=ni i n X X nS 122)(1不是)(X D 的无偏估计。

证明：)()(1)1()(11X E X E nX nE X E ni ini i ===∑∑==，故X是)(X E =μ的无偏估计；)1()(1222∑=-=ni inX XnE S E)()()(122122X E EXX E X E nni i-=-=∑=)]()([)]()([22X E X D X E X D +-+=)()(1)()(22X E X D nX E X D --+=)()(1X D X D nn ≠-=故∑=-=ni i n X X nS 122)(1不是)(2X D =σ的无偏估计，但由于)()](1[lim )(lim 2X D X D nn S E n nn =-=∞→∞→故∑=-=ni i n X X nS 122)(1是)(2X D =σ的渐近无偏估计.为得)(X D 的无偏估计，对2nS 进行修正（称为纠偏），令：∑=--=-=ni i n n X X n S n n S 1222*)(111则22*)(σ=n S E . 即2*nS 是)(X D 的无偏估计，此即修正样本方差.例 2.2.2 设母体),(~2σμN X，则Rd n1=∧σ是σ的无偏估计.例 2.2.3 nX X X ,,,21是来自母体)(~λP X 的一个子样，证明：2*)1(nS X ααλ-+=∧是λ的无偏估计。

2.2估计量的好坏标准

2.2估计量的好坏标准

ˆ 若：E(θ ) = θ
ˆ 则称 θ 为 θ 的无偏估计 .
ˆ ˆ 注: 若 Eθ ≠ θ , 其偏差为 Eθ − θ
ˆ ˆ 当 lim Eθ = θ 时, 称θ 是θ的渐近无偏估计量.
n →+∞
例1 设 X 1 , X 2 , L X n是 总 体 X 的 样 本 ， 则
1 n (1)X = ∑ X i 是总体均值µ的无偏估计量; n i =1 (2)S
1 2
ˆ ˆ 则称θ1 较θ 2更有效 .
２）最小方差无偏估计
ˆ ˆ 在θ的所有无偏估计量中, 若∃θ0使得对于任意无偏估计量θ 有 ˆ ˆ Dθ ≤ Dθ
0
ˆ 则称θ0是θ的最小方差无偏估计量.
３）优效估计量
(给 罗 − 克拉美不等式 (给出了无偏估计量方差的下界) 记为 1 ˆ≥ 连续型: Dθ = IR +∞ ∂ ln f ( x,θ ) n∫ ( )2 f ( x,θ )dx −∞ ∂θ 1 ˆ≥ 离散型: Dθ ∂ ln P( x,θ ) 2 n∑( ) P ( x, θ ) ∂θ x
§2 估计量的好坏标准
评价一个估计量的好坏， 评价一个估计量的好坏，不能仅仅依据一次试验 的结果，而必须由多次试验结果来衡量 . 的结果， 这是因为估计量是样本的函数,是随机变量 这是因为估计量是样本的函数 是随机变量. 由不同 是随机变量 的观测结果,就会求得不同的参数估计值 就会求得不同的参数估计值. 的观测结果 就会求得不同的参数估计值 因此一个 好的估计,应在多次试验中体现出优良性 好的估计 应在多次试验中体现出优良性 . 2.1．无偏性 ． ˆ 设 θ ( X1 , X2 ,L, Xn ) 是未知参数θ 的估计量， 的估计量，
(1)指出T1 , T2 , T3中哪些是θ的无偏估计量。 (2)在上述θ的无偏估计量中指出哪一个更有效。

估计量的评选标准

估计量的评选标准

均为未知, 则 2 的估计量ˆ 2
1n n i1 ( X i
X )2 是有偏
的(即 不 是 无 偏 估 计) .
证明
ˆ 2
1n n i1
X
2 i
X2
A2 X 2 ,
因为 E( A2 ) 2 2 2 , 又因为 E( X 2 ) D( X ) [E( X )]2 2 2 ,
1
e
x 2
x
n11
2 dx
n1
22
1 n
1
2
0
x n1
e 2 x 2 dx
2
n
n 2
2
1
,
E(S)
n
2
1
n
n 2
1
2
,
故 S 不是 的无偏估计量,
n
2
1
n
2
1
n 2
S
是
的无偏估计量.
例4 设总体 X 在 [0, ]上服从均匀分布,参数 0,
0,
0 x ,
其他
所以
E(Xh)
0
x
nx
n1
n dx
n ,
n1
故有
E
n
n
1
X
h
,
故
n
n
1
max(
X1
,
X
2
,,
X
n
)
也是
的
无
偏估
计量.
例5 设总体 X 服从参数为 的指数分布, 概率密度
f
(
x;
)
1
x
e
,
0,
x 0, 其他.

应用统计方法第二章参数估计

应用统计方法第二章参数估计

2
1 1
2 x 1 1
2 2
2 dx
1 12
(
2
1 ) 2
令
X
S 2
1 2
(1
2
)
1 12
( 2
1)
解上述关于
1
,
2
的方程得
1 2
X X
3S 3S
8
.
Example 2.4 贝努利试验中，事件 A 发生的频率是该事件 发生概率的矩法估计。 Solution 此处，实际上我们视总体 X 为“唱票随机变量”， 即 X 服从两点分布：
此,必须采用求极值的办法，即对对数似然函数关于 i 求导， 再令之为 0，即得
ln L( ) i
(Xi
X )2
S2
记为ˆ 2 S 2 ．第三步等号再一次用到习题 1.4．
7
.
Example 2.3 设 X 为[1, 2 ]上的均匀分布， X1, X 2 ,, X n
为样本，求1, 2 的矩估计。
Solution
a 1
2 xdx
1 2 1
2 2
12
2( 2 1 )
1 2
(
1
2)
2
.
Chapter 2 参数估计
(Parameter Estimation)
1
.
§2.1 点估计(Point Estimation) §2.2 估计量的评价准则 §2.3 区间估计(Interval Estimation)
2
.
§2.1 点估计(Point Estimation)
一、 矩估计法
若总体 X 的期望存在，E(X ) , X1, X 2 ,, X n 是出 自X 的样本，则由柯尔莫哥洛夫强大数定律,以

数理统计2_2

数理统计2_2
由大数定律证明
用切贝雪夫不 等式证明
矩法得到的估计量一般为相合估计量 在一定条件下, 极大似然估计具有相合性
三、有效性
ˆ ˆ 定义 设 θ1 , θ 2 都是θ 的无偏估计量, 若
ˆ ˆ D(θ1 ) < D(θ 2 )
则称 θˆ1 比 θˆ2 有效。 若θ 的所有二阶矩存在的无偏估计量中存 ˆ ˆ 在估计量 θ0 , 使对任意无偏估计量 θ 有 ˆ ˆ Dθ0 ≤ Dθ ˆ 则称 θ0 是θ 的最小方差无偏估计量
i =1 n
ˆ 证 (1) E ( μ1 ) = ∑ ci E ( X i ) = ∑ ci μ = μ
i =1 i =1
n
n
(2)
而
ˆ1 ) = ∑ ci2 D( X i ) = σ 2 ∑ ci2 D( μ
i =1 i =1
n ⎛ ⎞ 2 1 = ⎜ ∑ ci ⎟ = ∑ ci + 2 ∑ ci c j i =1 1≤ i < j ≤ n ⎝ i =1 ⎠ n 2
⎛ ( x − μ) 1 ⎞ − 2⎟ ⎜ 4−
( x−μ )2 2σ 2
dx
(
)
2
1 2π
e
−
y2 2
dy =
1 2σ 4
2σ 4 2 得 σ 的罗-克拉美下界 IR = n 2σ 4 ∗2 2 DS ∗2 = > IR ES = σ ,
n−1
所以 S ∗2 不是 σ 2 的优效估计。 注: S 是 σ 的最小方差无偏估计。
x
2
2
⎛ ∂ ln f ( X , θ ) ⎞ ⎛ 1 X⎞ E⎜ ⎟ = E⎜−θ +θ2 ⎟ ∂θ ⎝ ⎠ ⎝ ⎠ 1 1 DX 2 = 4 E( X − θ ) = 4 = 2

2.2 点估计的评价标准


例1 设总体X 的 k 阶矩 k E ( X ) 存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布(但期望存在), 1 n 则 Ak X ik 是 k 的无偏估计量. n i 1 证 由于 E ( X ik ) k i 1,2, , n 因而
智商
组别
人数
智商平均数
样本标准差
甲 组 乙 组
n 6
46
x 78
99
s
19 16
由此结果推断母亲嗜酒是否影响下一 代的智力？若有影响，推断其影响程度有 多大? 提示 前一问题属假设检验问题 后一问题属区间估计问题
解 智商一般受诸多因素的影响.从而可以
假定两组儿童的智商服从正态分布.
N (u1 , )和N (u 2 , )
n
2
因而
n n 1 1 2 2 2 E ( X i X ) E ( X i ) E ( X ) n i 1 n i 1 2 2 2 2 ( ) ( ) n n 1 2 2 n 1 n 2 2 (Xi X ) 故 E 证毕. n 1 i 1
2
估计量
例2 设总体 X 的期望 与方差存在, X 的 样本为 ( X 1 , X 2 , , X n ) (n > 1) . 证明
n 1 2 2 (1) S n ( X i X ) 不是 D( X )的无偏估 n i 1
量; 1 2 (2) S
n 1 i 1
2 ( X X ) i
1 2 故 (n n) p X i X m i 1
2 2
m

[教育]应用统计方法第二章参数估计

要正确理解区间估计的概念，学会求单个正态总体的均值和 方差的置信区间以及两个正态总体的均值差和方差比的置信 区间。了解贝叶斯估计法。
统计方法
统计方法
统计方法
统计方法 •2.3.3 Bayes估计
统计方法
统计方法
统计方法
•注：假如不用先验信息，只用样本和总体信息，那么事件A 发生的概率的最大似然估计为：
•例如：在产品抽检中，只区分合格品与不合格品，对质 量好的一批产品，抽检的产品常为合格品． • 但“抽检３个全为合格品” • “抽检的１０个全为合格品”（更信得过）
本章中介绍了参数估计的基本方法。
参数的估计有点估计、贝叶斯估计和区间估计。矩估计法和 极大似然估计法是求参数的点估计量的两种最基本的方法， 务必牢固掌握。衡量估计量好坏的标准有无偏性，最小方差 无偏估计，有效性和相合性（一致性）等，要学会验证一个 估计量是符合哪种标准的估计量，这对了解估计量的特性是 非常重要的。
•(3)先验信息:抽样或试验之前有关统计问题的一些信息.一般说来,
•先验信息来自经验或历史资料.先验信息在日常生活和工作中是很 重要的
统计方法
•Bayes统计学:基于三种信息所进行的统计推断的统计学
•Bayes统计重视总体信息和样本信息的同时,还注意先验 信息的收集,挖掘和加工,使它数量化,形成先验分布,参加到 统计推断中来.以提高统计推断的质量,忽略先验信息的利 用,有时是一种浪费,有时还会导出不合理的结论. •Bayes学派的基本观点:任一未知参数都可以看成随机变量, 可用一个概率分布去描述,这个分布称为先验分布.在获得样 本之后,总体分布,样本,和先验分布通过Bayes公式结合起来 得到关于未知参数的新的分布…..后验分布
当样本符合或接近统计模型的假设时， 该估计应有好的或较好的估计效果；当 样本偏离偏离模型的假设时，即受到干 扰时，该估计量应具有一定的抗干扰能 力而不至于使估计效果变得太坏。

2.2估计的质量评价

2.2估计的质量评价 如何对某个数字特征值进行估计，估计的方法不止一种评价估计的常用指标θ——表示广义平稳随机过程序列的某个数字特征值（均值、方差、相关函数等）θ∧表示θ的估计值 []E θ∧表示估计的均值 2.2.1 估计的偏估计的偏定义为：()[]bia E θθθ∧∧=-——反映估计的均值与真值的偏离程度如果：()E θθ∧=，则()0b i a θ∧=——无偏估计（否则有偏） 当样本数：N →∞时，若()0bia θ∧→——渐进无偏估计2.2.2 估计的方差估计的方差定义为2var()[([])]E E θθθ∧∧∧=-如果1θ∧和2θ∧都是θ的无偏估计就要考虑估值的方差var(•).1、对无偏估计——因[]E θθ∧=，所以2v a r ()[()]E θθθ∧∧=-2、若12var()var()θθ∧∧<，则1θ∧比2θ∧更紧密地聚集在真值的附近，1θ∧比2θ∧好 3、若对于所有估计值'θ，有var()var()θθ∧'≤，则θ∧为最小方差估计2.2.3 估计的均方误差和一致性如果1θ∧和2θ∧不都是θ的无偏估计，这时方差就不再是有效性的唯一测度，需要同时考虑方差和偏差——以MSE （均方误差）为有效性的测度均方误差：2[()]MSE E θθ∧=- 经过简单推导：22[()][(M S E E E E θθθθθ∧∧∧∧=-=-+0可见，均方差同时反映了估计的偏差和方差。

1、最小均方误差准则选择均方误差较小的θ∧作为所希望的估计——最小均方误差准则。

2、一致估计若当样本数：N →∞时，估计的均方差0MSE →——一致估计 令θ∧是基于N 个观测样本获得的θ的估计，如果：1）lim []N E θθ∧→∞= 2）2lim [([])]0N E E θθ∧∧→∞-= 则θ∧是θ的一个一致估计+ + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +2.3均值、方差、自相关函数的估计 + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +2.3相关函数与功率谱。

估计量的评价标准


计量是有偏的，称 E ˆ 为估计量ˆ的偏差 .
例1 设总体X的一阶和二阶矩存在，分布是任
意的，记E X ，D( X ) 2.
证明：样本均值X 是的无偏估计.
样本方差Sn2是 2的渐近无偏估计.
修正样本方差Sn2是 2的无偏估计.
证
E X ,
E
Sn2
n 1 2,
n
E Sn2 2
定义6.4 设ˆ1和ˆ2均为的无偏估计量,若对任意
样本容量n有D ˆ1 D ˆ2 ,则称ˆ1比ˆ2有效.
如果存在 一个无偏估计量 ˆ0 ,使对 的任意无偏 估计量 ˆ ,都有
Dˆ0 Dˆ
则称ˆ0 是 的最小方差无偏估计(量).
缩写为MVUE. 最小方差无偏估计是一种最优估计.
例3 设总体 X 服从区间 0， 上的均匀分布,
1
2
E[
ˆn Eˆn
2
2
ˆn Eˆn
Eˆn
Eˆn
2
]
1
2
[
Dˆn
Eˆn
2
]
令 n , 由定理的假设得
lim
n
P{ ˆn
}0
即 ˆn 是 的相合估计．
例9 若总体 X 的 EX和 DX都存在 , 证明 X 是总体
均值 EX 的相合估计.
证 因为 EX EX
DX DX 0 n
n
定理6.2设ຫໍສະໝຸດ ˆn是的一个估计量,
若 lim
n
E
ˆn
,
且
lim
n
D(ˆn
)
0,
则
ˆn 是
的相合估计(或一致估计).
证明 由于
0 P{ˆn }
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

i1
i1
也是 的无偏估计量;
评述：
• 无偏的概率意义，即反复使用，整体平均下，估 计准确。
• 其局限性，若仅有一次或导弹命中精度或系统误 差等情形，就不能说明问题了。
3
2.2.2 最小方差性和有效性 用 ˆ 估计θ时，仅具有无偏性是不够的．我们
希望 ˆ 的取值能集中于θ附近,而且密集的程度 越高越好．方差是描述随机变量取值的集中程 度的，所以无偏估计以方差小者为好, 这就引进了有 效性这一标准.
ˆ X , 或
ˆ 1 n
n
(Xi X)2
i 1
即使用同一方法得出的估计量也不同。
1
2.2.1．无偏性
定义2.1：
• 如果E(ˆ) ，则称估计量为无偏估计量；
•
如果 lim n
|
E(ˆ( X 1 ,
X
2
,...,X
n
)
|
0
记作 lim b() 0 ，则称估计量为渐进无 n
偏估计量。其中 b( ) 称作偏差。
(1)集合{ x : f ( x; ) 0}与无关;
(2)g( )与f ( x; ) 存在,且对一切 ,
f
( x;
)dx
f
( x;
)dx
令I( )
ln E (
f ( X1, ))2
Fisher信息量
则有
:
D
(T
(
X
))
[
g( )]2 nI( )
克拉美劳下界
特殊地，当g( )
T(X1, X2,
n
, X n ) [ i1
f ( Xi ; )]dX1
dX n
注: 1.满足正则条件的估计量称为正规估计.
2.Rao Cramer不等式的下界仅是正规无偏估计 类的方差下界
D [g'( )]2 nI( )
3. Fisher信息量
I (
)
E
(
ln
f (X1,
) )2
1,则 称T是 渐近 有效 的。
例2.15 设总体X~N(,2),,2均未知，又设X1, X2,...,Xn 为总体X 的样本, 则的无偏估计X是有效的,2 的无偏
估计
S
2 *
是渐近有效的。
例2.16 若总体X~ (), 考虑未知参数 的矩估计量为
ˆ X的有效性。
13
2.2.3 其它几个准则
• （一）最小均方误差准则 前述的最小方差性（有效性）只对无偏估计
为了计算信息量I( )方便，我们可以证明
令I (
)
E
2 (
ln f ( X1, 2
))
定 义2.3
称en
[g'( )]2 为g( )的 无偏 估计 量T D (T ( X ))nI( )
的 效率(显 然由C R不 等式 ，en 1).又 当T的 效率 等于1时 ，
称T是
有
效
的
；
若lim n
en
（即 依 0概, lni率m P收{|敛T (于X1）, X，2 ,..则.,X称n )T是g(相) |合 统} 计0量。
实际应用中，要求样本信息量（即n）较大， 但给出了一种保证，即只要能够获取足够的信息， 就一定能得到足够精确的估计。
1、 对 于 无 偏 估 计 ， 由 切贝 雪 夫 不 等 式
时, 即为:
D
(T ( X
))
1
nI (
)
由数学期望的定义:
g( , Xn ) f ( X1; ) f ( Xn; )dX1 dXn
联合概率密度
g'( )
T ( X1, X 2 , , X n ) f ( X1; ) f ( X n; )dX1 dX
§2．2 估计量的评价准则
由例2.3和例2.10的结果看出，对均匀分布 总体参数的估计不一样，哪个好？
aˆ X bˆ X
3 n ( X X )2 ,
n
i 1
3 n ( X X )2
n
i 1
aˆ
min
1in
X
i
,
bˆ
max
1in
X
i
例2.12 若总体X~ (), 则未知参数 的矩估计量为
证明估计 时,
ˆ 1 X 1 X 较
2 2 1
1
2
ˆ 1 X 3 X
4 4 2
1
2
有效.
证明 因为 ˆ1, ˆ 2 均为 的无偏估计， 又因为
D(ˆ ) D( X ) D(1 X 1 X ) 1 D( X ) 1 D( X ) 1 2
1
21 22 4
14
22
D(ˆ ) D(1 X 3 X ) 1 D( X ) 9 D( X ) 5 2
可以验证 X是总体均值的无偏估计[例2.13]；
但 S 2 不是总体方差的无偏估计，是渐进无偏 的。
而
S*2
n S2 n 1
1 n 1
n i 1
(Xi
X )2
是无偏的[例2.14]。
2
例2.13’ 设总体X的数学期望 与方差2存在,
X1, X2,...,Xn为总体X 的样本, 证明：
n
n
ˆ 2 ci X i ,其中 ci 1,ci 0,i 1,2,, n
2
4 1 4 2 16
1 16
28
所以 D(ˆ1) D(ˆ 2 )
由定义知 ˆ1 较 ˆ 2有效．
5
我们自然希望无偏估计量的方差越小越好， 那 么 能 够 小 到 什 么 程 度?即 有 无 下 界? 什 么 条 件 下方差下界存在？
在实际应用中，找出最小方差的估计量不容易， 若在一类分布和估计中找出所有无偏估计中方差 的一个下界，则当某一估计量达到或接近即认为 可行了。
P{|T ( X1, X 2 ,
下面我们就来讨论建立一个方差下界的 克拉美 劳不等式
6
克拉美—劳不等式
p 41-42
设X 1 ,
X 2 ,
,
X
为
n
取
自
具
有
概
率
函
数f (
x;
),
{ : a b}的母体的一个子样,其中a, b为已知常数,
且可设a , b . 又T T ( X1, X2 , , Xn )是g( )的一
个无偏估计, 且满足正则条件
• 定义2.2 如果 T T ( X1, X 2 ,..., X n ) 是g( ) 的无偏估
计量，且对于其任意无偏估计量T ，均有， D(T) D(T )
对一切 （参数空间），则称T为最小方差
的无偏估计量（或最优无偏估计量）。
4
例2.14’ 设总体X的数学期望,方差2存在，X1,X2是X的样本，
而言，对有偏估计量无意义。
为使ˆ 与 尽量接近，考虑
Mse(ˆ) E(ˆ )2 ——称均方误差
• 由 min Mse(ˆ) ˆ
得到的估计量称作最小均方误差估计量。 对于无偏估计，均方误差最小和方差最小是
一致的。
14
（二）相合性（相合估计量） 定义2.4 设T T ( X1, X 2 ,..., X n ) 是g( ) 的估计量，