[课件]概率与统计7.2估计量的优良性准则(精)

电子科技大学
估计量的优良性准则
Dec-09
令
Y = m Xi , ax
1≤i≤3
Z = m Xi in
1≤i≤3
先求X与 的概率密度函数, 证 1) 先求 与Y 的概率密度函数, 已知分布函数
; 0, x < 0 x F (x) = , 0 ≤ x <θ; X θ 1, x ≥θ.
电子-09
7.2.3定义 设 θn =θ(X1, X2,..., Xn)是未知参 定义
的估计量, 数θ的估计量,若对任意的 ,有 的估计量 若对任意的ε>0,
n→ ∞
lim P{θn θ < ε} =1
则称 θ 为θ的相合估计量. 相合估计量. 相合估计量的证明(1) 相合估计量的证明 相合估计量的证明(2) 相合估计量的证明
设总体X~U[0,θ], θ >0 未知 (X1,X2, 未知, 例7.2.3 设总体 X3)是取自 的一个样本 是取自X的一个样本 是取自 1) 试证
= 4m X , ax i θ1 3 1≤i≤3
θ 2 = 4m Xi in
1≤i≤3
都是θ的无偏估计; 都是 的无偏估计; 的无偏估计 2) 上述两个估计量中哪个的方差最小? 上述两个估计量中哪个的方差最小? 分析: 要判断估计量是否是无偏估计量, 分析: 要判断估计量是否是无偏估计量, 需要计算统计量的数学期望. 需要计算统计量的数学期望.
2
3 y 2 ; ( ) , 0≤ y ≤ θ ∴ fY ( y) = θ θ 0 , else.
电子科技大学
估计量的优良性准则
Dec-09
E(Y) =
θ3 ∫0
3
θ
3 y dy = θ, 4

任一统计量，则对 T ( x ) p ( x , ) ，积分
分可交换次序，即 T ( x ) p ( x , ) dx dx 1 n T ( x ) p ( x , ) dx dx 1 n 当仅有（1）成立时，我们可以定义所谓的

2
2
2

1 所以由 由于 w 2 , 2 的值域包含内点， 2 定理4.2可知完全充分统计量为
T (x ) ( x x). i,
i 1 i 1 2 i n n
1n 而我们已经知道 x x 是 的无偏估 i n i 1 2 且是完全充分统计量 T( x)的函数， 故当 未
2
2
2 求参数 和 的 UMVUE 。 样本。
x ,x 是来自总体的 ( , ) 未知， 1, x 2, n
解
首先求完全充分统计量。 由于
2 1 ( x ) p ( x , ) exp 2 2 2
1 2
2 2 1 2 2 e exp x x
知时，的UMVUE为 x 。
x 都是 的 UMVU 。 注： 无论 2 是已知或未知，
n n 1 1 2 2 2 2 又 S ( x x ) x n x i i n 1 n 1 i 1 i 1
2
是 的无偏估计，且是 完全充分统 T ( x )
为直线上的一个开区间 。 满足下述条件的分布
设分布族为 { P , } ，密度函 p ( x , ) ，
Cramer-Rao正则族： 族 { P , } 称为

n
电子科技大学
#
估计量的优良性准则
Dec-10
证明 S2 是σ2 的无偏估计量 例7.2.2 设总体的方差 D(X)=σ2 >0，则样本 ， 方差S 的无偏估计. 方差 2 是σ2的无偏估计 证
(n −1)S = ∑( Xi − X) = ∑ Xi − nX 2
2 2 2 i =1 i =1
n 2 2
证明无偏性判断有效性(1) 证明无偏性判断有效性 证明无偏性判断有效性(2) 证明无偏性判断有效性 和S2 分别是μ和σ2 的最小方差无偏估计 X
电子科技大学
估计量的优良性准则
Dec-10
3. 相合性 无偏性： 无偏性：反映估计量相对待估参数有无系 统偏差. 统偏差 有效性： 有效性：在无偏类中反映估计量相对待估 参数的偏离程度. 参数的偏离程度. 例7.2.5 问题： 问题：在“偏差性”和“离散性”两者 偏差性” 离散性” 兼顾的原则下建立估计量为“最优”准则 兼顾的原则下建立估计量为“最优”准则.
电子科技大学
估计量的优良性准则
Dec-10
的相合估计量; X 是μ的相合估计量; S2 和M2 都是 2的相合估计量 都是σ 的相合估计量.
部分证明
电子科技大学
估计量的优良性准则
Dec-10
例7.2.1 设总体的方差 D(X)=σ2 >0，有 ，
1 E( X) = E( ∑Xi ) = E( X) = µ n i=1 1 2 2 2 2 2 E( X ) = D( X) +[E( X)] = σ + µ ≠ µ n
2
θ2
ˆ ˆ . θ2比θ1更有效
2 ˆ) D(θ2 3n 而且 lim = = 0. 2 n→∞ D θ ) (n + 1) (n + 2) (ˆ 1

ˆ 若E ( ) , ˆ是 无偏估计 (量 ). 则称 的
ˆ是 ˆ) 若 的 一 列 估 lim 计 E ( 量 , 且 n n ，
n
ˆ是 则称 的 渐近无偏估计 (量 ). n
X的 k阶矩 k E(Xk) (k 1 )存在 , 例1 设总体 1n k 总体服从什么分布 , k阶样本矩 A Xi 是 k ni1 k阶总体矩 k的无偏估计 .
的波动越小，即方差 2 ˆ ˆ ˆ D ( ) E [ E ( )]
n 1 n 1 n n 12 2 . n 1 n

2 * 2 S 是 的无偏估计量 . n
例3 设总体X的方差D(X)存在，且 D(X) > 0, (X1, X2 , · · ·, Xn ) 为来自总体X的样本，试选择适 当的常数C，使得
2 C ( X X ) i1 i i 1 n 1
C2D(X) C 2 ( n 1 ) D ( X )
2 E [ C ( X X ) D ( X ) 依题意，要求： i 1 i ]
i 1 n1
i1
n 1
即 C 2 ( n 1 ) D ( X ) D ( X ) E ( X X ) E ( X ) E ( X ) 0 i 1 i i 1 i 1 . D ( X ) 0 C i 1 , 2 , , n ) 2 (n1 )(
2
1 2 [ D ( X ) ( EX ) ] [D ( X ) ( EX ) ] n
n 1 2 n1 2 D (X) E(Sn)
n
n
2 2 lim E ( S ) n n
2 2 S 是 D (X ) 的渐近无偏估计量 n

D( 2 )
16 2 9 2 1 2 26 2 0.72 2 ,
36 36 36 36
D( 3 )
1 2
9
12
9
12
9
1 2
3
0.33 2.
D(3) D(1) D(2 ) ,因此 3 最为有效.
10
一般地,有如下基本结论：
例4. 设 X1, X2,, Xn 是来自任意总体 X 的一组样本，
7
定义2 设ˆ1,ˆ2都是未知参数的无偏估计量，如果 Dˆ1 Dˆ2
则称（ˆ1和ˆ2作为参数的估计量）ˆ1比ˆ2更有效。
例3 设为 X1, X 2 , X3 取自总体 X 的样本,EX= ,DX= 2 0 , 证明:下列三个统计量均为 的无偏估计量，并比较有效性.
1
2 10
X
1
3 10

)
EX
2 i
EX
2 i 1
2EX i1EX i
EX
2 i
( 2 2 ) 2 2 ( 2 2 ) 2 2
n1
Eˆ 2 c E( X i1 X i )2 c 2(n 1) 2 2,
i 1
1
c
.
2(n 1)
6
二、有效性
例如，设总体X ,而X1, X 2, X3是来自总体X的样本，EX 未知，则
则称ˆ 为 的无偏估计量.否则称为有偏估计量.
2
Eˆ ，E(ˆ ) 0.
无偏估计量的含义是：ˆ 作为样本的函数 是一个随机变量，它在 的真值附近波动，但其 平均值恰好是 的真值。
3
设 X1, , X n 为取自总体 X 的样本，
样本均值
X
1 n
n

的置信度为0.95的置信区间为 (144.720, 149.946).
3.小结
点估计不能反应估计旳精度, 故而本节引入 了区间估计.
置信区间是一个随机区 间 ( , ), 它覆盖未知参
数具有预先给定的概率 (置信水平 ), 即对于任
意的 , 有 P{ } 1 .
求置信区间旳一般环节(分三步).
,
n
L2
n
( z0.04
z0.01 )
4.08
,
n
显然 L1 L2 . 置信区间短表达估计旳精度高.
阐明: 对于概率密度旳图形是单峰且有关纵坐标
轴对称旳情况, 易证取a和b有关原点对称时,能使 置信区间长度最小.
阐明 评价一种置信区间旳好坏有两个原因：
一是精度，这可用区间长度 二是置信水平 1 .
7.2 估计量旳评选原则
1、问题旳提出 2、无偏性 3、有效性 4、相合性 5、小结
1.问题旳提出
从前一节能够看到, 对于同一种参数, 用不 同旳估计措施求出旳估计量可能不相同, 如第一 节旳例1和例8. 而且, 很明显, 原则上任何统计量 都能够作为未知参数旳估计量. 问题 (1)对于同一种参数究竟采用哪一种估计量好? (2)评价估计量旳原则是什么?
有关定义旳阐明
被估计的参数虽然未知, 但它是一个常数 , 没有随机性, 而区间( , )是随机的.
因此定义中下表达式
P{ ( X1, X2 ,, Xn ) ( X1, X2 ,, Xn )} 1
的本质是 :
随机区间( , )以1 的概率包含着参数 的真值, 而不能说参数以1 的概率落入随机区间( , ).
所以T1 X是三个估计量中最有效的估计量
4.相合性

三、T 统计量的分位点

t

2

2
t / 2
0.05, n 21, t 1.721 0.01, n 21, t 2.52
0.05, n 21, t / 2 2.08 0.01, n 21, t / 2 2.83
置信区间的求法
n
,
2 ( X ) i i 1
n
12 2 ( n)
]即为所求.
例4 设X1,…Xn是取自N ( , 2 )的样本， 未知, 求参数 2的置信度为 1 的置信区间. 解：因均值未知，取 2 ( n 1) S ~ 2 ( n 1) 2 对给定的置信度 1 ,确定分位数 2 2 1 2 (n 1) , 2 (n 1) , 使 2 P{ 12 2 ( n 1) 2 2 ( n 1)} 1 2 2
查表得： t 2 2.31
X P{| | t 2 } 1 S n 从中解得
使
S S P{ X t 2 X t 2 } 1 n n
又 x 20.01, n 9, s 0.203 ， 代入上式，得到

的0.95置信区间为：
(19.85, 20.17)mm

n
u 2 }
于是所求 的 置信区间为
[X

n
u 2 , X

n
u 2 ]
也可简记为
X

n
u 2
从例1解题的过程，我们归纳出求置 信区间的一般步骤如下:
1. 明确问题, 是求什么参数的置信区间? 置信水平 1 是多少? 2. 寻找一个包含待估参数 的统计量 g ( ) ， 且其分布为已知. 3. 对于给定的置信水平1 ，根据 g ( ) 的 分布，确定常数a, b，使得 P(a ≤ g ( )≤b)=

解：根据无偏估计的概念，E(S )= =D(X),
2 2
即
1 1 E ( S ) D( X )= 2 = 4
2
例3：设X1,X2,…,Xn 为来自二项分布总体 2 B(n,p)的简单随机样本， 与 分别为样本均 S X 2 2 X + kS 为 np 值与样本方差. 若 的无偏估计， 则k=_______.
ˆ X, 1 n ˆ i X j. n 1 j 1
j i
我们看到: 显然两个估计都是 的无偏 估计。计算二者的方差： 2 ˆ ) Var( X ) Var( , n 2 2 n 1 ˆ i ) Var( . Var( X j )
1 1 n 1 n (1) E ( X ) E X i E ( X i ) n ； n n i 1 n i 1
1 n 2 2 (2)首先化简 S X nX ( P128习题6.3结论) i i 1 n 1
2
i 1
2、有效性 定义2
ˆ 与 ˆ 都是未知参数的无偏估计, 设 1 2
若对于任意的 , 有 ˆ ) D ( ˆ ), D ( 1 2 ˆ比 ˆ 有效. 则称
1 2
上一页
下一页
返回
例5
设X 1，X 2， ，X n是取自总体X 的样本，
2
ˆ1 X， ˆ2 X 2 且E ( X ) ，D( X ) ，则
2 ( X i X ) X 2( X i ) X nX 2 i 1 n 2 i i 1
n
n
n
X i2 nX 2 ,
i 1
注意到
E ( X ) Var( X ) [ E ( X )]2

L(c1 , c2 ,… , cn; )
n
c2i
+λ(
n
1一8
ci)
i1
i 1
L(c1,c2 … cn; λ)
n
c2 i
n
λ( 1一 8
ci)
i 1
i 1
L
cni
ci
2ci
1.
0;
i 1
(i 1, 2,… , n)
解得:
2
n
ci
1, n
i 1, 2,… , n
即函数
f ( c1,c2, … , cn)
要 求.
相合性 定 义 :
设 .( Ｘ1 , Ｘ2 ,..., Ｘn )是未知 参数 9 的 估 计量, 若 对任 意的 s>0
有
lim P{. } 1
n
则称
.
为9
的 相合估
计量。
即
.
P
总结
1.由于相合性 是在极限意义 下定 义 的 . 因此 , 只 有当 样本容量 充分大 时, 才显示 出优 越性 ,
无 偏估计的实际意义就在于无 系统误差.
例1: 设 总体Ｘ的 k 阶矩
k
E
(
Ｘ k
)
存在,(
Ｘ
,
Ｘ
,…
,Ｘ
)
是总体Ｘ的 样本,
12
n
证明不 论 Ｘ服从 什么 分布,
则 是 Ak
1 n
n i1
Ｘk i
k 的 无 偏 估 计量.
证:
由于
E(
Ｘk i
)
k
i 1,2,… , n 因而
E( Ak) E(

电子科技大学
估计量的优良性准则
Oct-18
1. 无偏性
q
定义7.2.1 若参数θ的估计量 qˆ T ( X 1 , X 2 ,..., X n ) 对一切 n 及θ∈Ω ，有
ˆ ) E[T ( X , X ,..., X )] q E (q n 1 2 n
ˆ 为θ的无偏估计量. 若 称q n ˆ ) q ] 0 lim b lim [ E (q
估计量的优良性准则
Oct-18
FY ( y ) P {Y y } P {max X i y }
P{ X 1 y , X 2 y , X 3 y } P{ X 1 y } P{ X 2 y } P{ X 3 y }
ˆ ) D(q ˆ ), q D(q 1 2
ˆ 比q ˆ 有效( 优效). 称q 1 2
电子科技大学
估计量的优良性准则
Oct-18
ˆ 是θ的无偏估计，如果对θ的任何一个 设q 0
无偏估计量 q ˆ 都有
ˆ ) D(q ˆ ), q D(q 0
ˆ 为θ的最小方差无偏估计量. 称q 0
估计量的优良性准则
Oct-18
§7.2 估计量的优良性准则
对于总体的参数，可用各种不同的方法去 估计它，因此一个参数的估计量不唯一. 如 X~U(0,q ) , q 的矩法估计量为 2 X ， 极大似然估计量为 max{ X i }
1 i n
在众多的估计量中选哪一个更好？
选取的标准是什么？ 三个常用准则：无偏性、有效性、相合性.
电子科技大学
估计量的优良性准则
Oct-18
令
Y maxX i ,
1 i 3