最小方差无偏估计

X n )T 是 , X n )是g( )
( 2)
f ( x; ) 存在且对中一切 有 f ( x; ) f ( x; )dx dx ,





T ( x1 , x2 ,
, xn ) L( x , )dx1dx2 , xn ) L( x , )dx1dx2
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分统计

个样本，如果T T ( X 1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ * E ( ˆ |T) 量，
则有 ˆ* , E ˆ * D ˆ, D
, ,
x( n )
n I( 0, ) ( x( n) )
其中I( 0, ) ( x) 1当0 x , 显然X( n)是的充分统计量
又由于X( n)的分布密度为
n n1 nx f X( n ) ( x ) 0 0 x 其他
利用完备分布族定义可以验证该分布族具有完备性. 又由于
dxn dxn


T ( x1 , x2 ,
n
其中L( x , ) f ( xi ; );
i 1
ln f ( X ; ) 2 (3) I ( ) E ( ) 0 ( g ' ( ))2 则对一切 ，有 D(T ( X )) ,其中 nI ( ) ( g ' ( ))2 为罗－克拉美下界，I ( )称为Fisher信息量。 nI ( ) 1 特别是当g( ) 时，有 D(T ( X )) . nI ( )
'

(2) 根据定理4, 若g( ) 的无偏估计量T 的方差VarT
达到下界, 则T必为g( ) 的最小方差无偏估计. 但
是它不一定存在,也就是说,C-R不等式有时给出的 下界过小.
(3)当等号成立时， T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。 有效估计一定是 UMVUE.（反之不真）
(2) I()的另一表达式为
I
(
)
E(
2
ln p(x; 2
)
),
(若
2
p(x; 2
)
存在)
例3 设总体为Poisson分布，即
p(x; ) x e , x 0,1, 2.....
x!
则 I ( ) 1 .
例4 设总体为指数分布Exp(1/θ)，即
p(x; ) 1 exp{ x}, x 0, 0.
(1)是实数轴上的一个开区间
(2) 支撑S {x | p(x; ) 0}与无关;
(3) p(x; ) 存在且对中一切 有
p(x; )dx
p( x; )
dx
(4) E( ln p(x; ))2 存在
则称
I
(
)
def
E(
ln
p(x;
)
)2
为总体分布的Fisher信息量.
注：
(1)I(θ)越大,总体分布中包含未知参数的信息越多。
估计. 反之,却不一定成立.
由此, 求证T是g()的有效估计的步骤为:
(1) 验证T是g( )的无偏估计,即E(T ) g( );
第六章第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式

xi 2
−
5s
2
,
ϕ

=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 ， Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2


dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明

是其样本，T=T(x1, x2 , …, xn )是 的充分统计量，则
对 的任一无偏估计
，令 ，
则 也是 的无偏估计，且
定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。
(5) 期望
存在；则称
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念， 很多的统计结果都与费希尔信息量有关。如 极大似然估计的渐近方差，无偏估计的方差
的下界等都与费希尔信息量I( )有关。I( )的 种种性质显示，“I( )越大”可被解释为总 体分布中包含未知参数 的信息越多。
一个无偏估计，
存在，且对一切∈Θ ，
微分可在积分号下进行，则有
➢ 上式称为克拉美-罗（C-R）不等式;
➢ [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。
➢ 特别，对 的无偏估计 ,有
;
➢ 如果等号成立，则称 T=T(x1, …, xn) 是
g( )的有效估计，有效估计一定是UMVUE。
例6.3.3 设总体为泊松分布P()分布，则
于是
例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是
定理6.3.4（Cramer-Rao不等式）
设定义6.3.2的条件满足，x1, x2 , …, xn 是来自
该总体的样本，T=T(x1, x2 , …, xn )是g( )的任