最小方差无偏估计

格式：ppt
大小：329.50 KB
文档页数：18

下载文档原格式

第六章第三节最小方差无偏估计

(2) 根据定理4, 若g( ) 的无偏估计量T 的方差VarT
达到下界, 则T必为g( ) 的最小方差无偏估计. 但
是它不一定存在,也就是说,C-R不等式有时给出的下界过小.
(3)当等号成立时， T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。有效估计一定是 UMVUE.（反之不真）
(2) I()的另一表达式为
I
(
)
E(
2
ln p(x; 2
)
),
(若
2
p(x; 2
)
存在)
例3 设总体为Poisson分布，即
p(x; ) x e , x 0,1, 2.....
x!
则 I ( ) 1 .
例4 设总体为指数分布Exp(1/θ)，即
p(x; ) 1 exp{ x}, x 0, 0.
(1)是实数轴上的一个开区间
(2) 支撑S {x | p(x; ) 0}与无关;
(3) p(x; ) 存在且对中一切有
p(x; )dx
p( x; )
dx
(4) E( ln p(x; ))2 存在
则称
I
(
)
def
E(
ln
p(x;
)
)2
为总体分布的Fisher信息量.
注：
(1)I(θ)越大,总体分布中包含未知参数的信息越多。
估计. 反之,却不一定成立.
由此, 求证T是g()的有效估计的步骤为:
(1) 验证T是g( )的无偏估计,即E(T ) g( );
第六章第三节
最小方差无偏估计
一、Rao-Blackwell定理二、最小方差无偏估计三、 Cramer-Rao不等式

最小方差无偏估计

xi 2
−
5s
2
,
ϕ

=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节最小方差无偏估计内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的一个无偏估计， Var(θˆ) < ∞ 。如果对任意一个满足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2

dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明

最小方差无偏估计

是其样本，T=T(x1, x2 , …, xn )是的充分统计量，则
对的任一无偏估计
，令，
则也是的无偏估计，且
定理6.3.2说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差。换言之，考虑的估计问题只需要在基于充分统计量的函数中进行即可，该说法对所有的统计推断问题都是正确的，这便是所谓的充分性原则。
(5) 期望
存在；则称
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差
的下界等都与费希尔信息量I( )有关。I( )的种种性质显示，“I( )越大”可被解释为总体分布中包含未知参数的信息越多。
一个无偏估计，
存在，且对一切∈Θ ，
微分可在积分号下进行，则有
➢ 上式称为克拉美-罗（C-R）不等式;
➢ [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差的C-R下界，简称g( )的C-R下界。
➢ 特别，对的无偏估计 ,有
;
➢ 如果等号成立，则称 T=T(x1, …, xn) 是
g( )的有效估计，有效估计一定是UMVUE。
例6.3.3 设总体为泊松分布P()分布，则
于是
例6.3.4 设总体为指数分布，其密度函数为可以验证定义6.3.2的条件满足，且于是
定理6.3.4（Cramer-Rao不等式）
设定义6.3.2的条件满足，x1, x2 , …, xn 是来自
该总体的样本，T=T(x1, x2 , …, xn )是g( )的任

第2.3节最小方差无偏估计和有效估计

例1(p54例2.20) 设X ( X1 , X 2 ,
, X n )T 是来自总
*2 体( , 2 )的一个样本，已知X 和Sn 是和 2 的无偏 *2 估计，证明X 和Sn 分别是和 2 的MVUE .
证设L( X )满足EL( X ) 0, 则

因而
L exp{

Βιβλιοθήκη T ( x1 , x2 ,
, xn ) L( x , )dx1dx2 , xn ) L( x , )dx1dx2
dxn dxn

T ( x1 , x2 ,
n
其中L( x , ) f ( xi ; );
i 1
ln f ( X ; ) 2 (3) I ( ) E ( ) 0 ( g( ))2 则对一切，有 D(T ( X )) ,其中 nI ( ) ( g( ))2 为罗－克拉美下界，I ( )称为Fisher 信息量。 nI ( ) 1 特别是当g( ) 时，有 D(T ( X )) . nI ( )
定理2.9 设总体X的分布函数为F ( x , ), 是
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分完备
*
个样本，如果T T ( X1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ E ( ˆ |T) 统计量，
ˆ *是的唯一的MVUE . 则
1
ˆ( X )] 2 E{[ L( X ) EL( X )][( ˆ( X ) E ˆ( X )]} D[ L( X )] D[ ˆ( X )] D[ ˆ( X )] D[ L( X )] D[

§2.3 最小方差无偏估计与充分统计量(发)

n n n n
这个分布依赖于未知参数p，这说明样本中关于p 的信息没有完全包含在统计量S 中. 因而 S X 1 X 2 (n 2)不是参数p 的充分统计量.
注：对例1而言 T1 ( X 1 , X 2 , X 3 ,, X n ), T2 ( X 1 X 2 , X 3 ,, X n ) Tn 1 ( X i , X n ),
P{ X 1 x1 , X 2 x2 ,, X n xn | X k n}
P{ X 1 x1 , X 2 x2 ,, X n xn } . P{ X i k }
P{ X 1 x1 }P{ X 2 x2 } P{ X n xn } P { X i k } p xi (1 p)n xi 1 , xi k , k , xi k , k k nk C n p (1 p) Cn 0, 其他. 0, 其他. 显然该条件分布与p无关，因而X 是p的充分统计量. 对S X 1 X 2 (n 2). 由于它只用了前面两个样本观测值，显然没有包含样本中所有关于的信息,在给定S的取值s后,对任意的一组x1 ,, xn ( x1 +x2 =s ).有
X 1 x1 ,, X n xn T t
P ( X 1 x1 ,, X n xn | T t ) P (T t ; ) h( x1 ,, xn ) g( t , ) 其中g( t , ) P (T t ; )，而 h( x1 ,, xn ) P ( X 1 x1 ,, X n xn | T t ) 与无关. 必要性得证. 充分性，由于 P (T t ; ) ( x1 ,, xn ):T t P ( X 1 x1 ,, X n xn ; ) ( x1 ,, xn ):T t g( t , )h( x1 ,, xn ) 对任给( x1 ,, xn )和 t 满足( x1 ,, xn ) A( t ), 有

最小方差无偏估计

最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。

定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。

如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。

2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。

θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。

()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。

例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。

求最小方差无偏估计。

解：首先找一个无偏估计，很显然是无偏。

1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。

1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。

最小方差无偏估计UMVUE

i 1
ˆ (t )=E (1 | T t ), 其中t xi
t (t 1)
故
= T (T 1)
n( n 1)
n ( n 1)
为θ的无偏估计.且 Var ( ) Var ( 1 )
二、最小方差无偏估计
ˆ 定义: 设是的一个无偏估计量, 若对于的任一方差存在的无偏估计量 , 都有 ˆ Var ( ) Var ( ) , ˆ 则称是的一致最小方差无偏估计, 记为UMVUE.

的微分可在积分号下进行，即

i 1
n g ( ) T ( x1 , x2 ,, xn ) ( p( xi ; ))dx1 dxn i 1
n T ( x1 , x2 ,, xn )[ ln( p( xi ; ))] i 1
n
而 x ln p( x, ) ln ,

d 1 x d ln p( x, ) 2
2
2
2
1 X I ( ) E ln p( X , ) E 2
例7 ( x1 , x2 ,, xn )是P( )( 0)的一个样本, 证明 : x是的有效估计
证明 : 因为x是样本均值, 故, E x EX , x是的U .E Var ( X ) Var ( x) n n
总体X的分布律为 : P{ X x}
(1)I(θ)越大,总体分布中包含未知参数的信息越多。 (2) I()的另一表达式为
2 ln p( x; ) I ( ) E ( ), 2 2 p( x; ) ( 存在,满足正则条件) 2

2-3 最小方差无偏估计和有效估计

2 n
由定理 2.9
ˆ E(X |T ) X
ˆ 2 E (Sn | T ) Sn
2 2
，
。
分别是
2 和惟一的最小方差无偏估计。
13
例 2.21
设 ( X1 , X 2 ,, X n ) 是来自总体 X 服从区间 (0, )
上均匀分布的一个样本。求的最小方差无偏估计。
由式（2.19）得
ˆ1 | T ) E ( ˆ2 | T )] 0 ，对一切。 E [ E (
由于T 是完备统计量，由定义 1.5 得
ˆ1 | T ) E ( ˆ2 | T )) 1，对一切， P ( E (
ˆ * E ˆ1 | T 是的最小方差无偏估计。
ˆ1 ( X ) D[ L( X ) ˆ ( X )] DL( X ) D ˆ( X ) D ˆ ( X ) E ˆ ( X )] 2 E [ L( X ) EL( X )][
ˆ ( X ) D ˆ( X ) ， DL( X ) D
ˆ( X ) 是的 MVUE。故
是的最小方差无偏估计。
16
1.最小方差无偏估计提供了一种优良的估计，然而一个更深入的问题是：无偏估计的方差是否可以任意小？如果不可以，那么它的下界是多少？这个下界等否达到？
2. 要直接验证某个估计量是最小方差无偏估计量是困难的. 若能求出无偏估计中方差的下界, 而且又能说明参数的一切无偏估计中存在某个估计的方差能达到这个下界，那么就是的最小方差无偏估计. 下面给出一个判别准则：
即的充分偏估计是惟一的。再由定理 2.8 知，
11

4-一致最小方差无偏估计

例设总体为泊松分布 ( ), 计算Fisher信息量. P 解 P( )的分布列为 x p( x; ) e , x 0 ,1, , x! 可以看出正则条件满足，且
于是
ln p( x; ) xln ln( x! ) , x ln p( x; ) 1.
关于相合性的两个常用结论
1. 样本 k 阶原点矩是总体 k 由大数定律证明阶原点矩的相合估计.
ˆ 2. 设 n是的无偏估计 ˆ 量, 且 lim Var( n ) , 则 0
ˆ n 是的相合估计.
n
用切比雪夫不等式证明
ˆ ˆ 定理设θn θn ( x1 ,x2 , xn )是的一个估计量， ˆ ˆ lim E (θn ) θ, lim Var( θn ) 0 , 若
注：定理说明若无偏估计不是充分统计量的函数，则将其对充分统计量求条件期望可以得到一个新的无偏估计，从而降低了无偏估计的方差 .
统计的一个基本原则：在充分统计量存在时，任何统计推断可以基于充分统计量进行，这可以简化统计推断的程序，通常将该原则称为充分性原则 .
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本，则X是p 的充分统计量.求 p 2的无偏估计.
推广
ˆ ˆ 定理若 n1，， nk 分别是 1，， k的相合估计， g( 1，， k )是 1，， k的连续函数，则 ˆ ˆ ˆ g( ，， )是的相合估计.
n1 nk
注：样本均值是总体均值的相合估计
样本方差是总体方差的相合估计样本标准差是总体标准差的相合估计
相合估计量仅在样本容量 n 足够大时,才显示其优越性.

一致最小方差无偏估计的判断

一致最小方差无偏估计的判断一致最小方差无偏估计（Uniform Minimum Variance Unbiased Estimator, UMVUE）是统计学中一种重要的估计方法。

它在许多实际问题中具有广泛应用，可以有效地对未知参数进行估计，并且满足无偏性和方差最小的要求。

UMVUE的判断需要满足以下几个要素。

首先，一个无偏估计是指估计量的期望值与真实参数值相等。

也就是说，对于任意一个未知参数θ，UMVUE的期望值应该恰好等于θ。

无偏性是估计方法的一个重要性质，它确保了估计结果的准确性和可靠性。

一般来说，UMVUE的无偏性是通过数学推导和证明得出的，具有较高的可信度。

其次，UMVUE还要求具有最小的方差。

方差是对估计量精确性的度量，方差越小，估计结果越准确。

UMVUE的方差要比其他估计方法的方差小，这意味着UMVUE相对于其他估计方法更具优越性。

通过比较不同估计方法的方差，可以选择出UMVUE，从而得到更准确的估计结果。

UMVUE的判断还需要满足一致性的要求。

一致性是指当样本容量逐渐增大时，估计结果逐渐接近真实参数值。

UMVUE在大样本情况下应该是一致的，即当样本容量趋于无穷大时，UMVUE将趋于真实参数值。

这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。

判断一个估计方法是否为UMVUE，一般需要通过数学推导和证明进行验证。

然而，在实际应用中，我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。

一般来说，如果一个估计方法已经被证明是无偏的，并且在方差上具有较小的表现，那么它很可能是一个UMVUE。

UMVUE作为一种重要的估计方法，为我们解决实际问题提供了有力的工具。

它不仅可以提供准确可靠的估计结果，还能够为我们提供关于未知参数的更多信息。

在统计建模、实验设计、市场调研等领域，UMVUE的应用非常广泛。

它能够帮助我们更好地了解事物的本质和规律，为决策和预测提供科学的依据。

总之，UMVUE是一种重要的统计估计方法，具有无偏性、最小方差和一致性的特点。

最小方差无偏估计量

最小方差无偏估计量
最小方差无偏估计量是一种最有效的估计量，它能够有效地减少变量的变异性和误差，并提供较低的偏差。

它在统计学，机器学习和其他数据分析领域都具有重要意义。

MVUE诞生于20世纪70年代，由MarkLee发明，据说它是由卡斯梅尔比例采样而获得的，因此也被称为“卡斯梅尔估计”。

它的目的是确定一个量值，使得估计量在平均意义上偏离最小。

MVUE的定义可以理解为：“均方根偏差（RMSE）最小的评估量，它所产生的偏差无偏”。

它是一个非常强大的估计量，它能够有效地减少数据的变异性和误差，找到最能够描述样本的量值。

MVUE有许多优点：例如，它不受数据的偏性影响；它有极大的信度及准确度；它能够有效地降低RMSE，并提供最低的偏差；另外它还消除了可能存在的任何不一致性。

MVUE被广泛应用于许多领域，例如它可以用于估计总体的均值和方差，也可以用于估计函数的极值，如此等等。

它被广泛用于机器学习中的参数估计和特征选择，也被用于估计统计量，如相关系数和卡方检验，等等。

总之，最小方差无偏估计量是一种强大且有效的估计量，可以有效地减少数据的变异性和误差，并提供较低的偏差，它在统计学，机器学习和其他数据分析领域都具有重要意义。

第三节一致最小方差无偏估计

I( ) E[ ln p( X ; )]2
为总体分布的费希尔 (Fisher) 信息量.
Fisher 信息量是统计学中的一个基本概念，很多的统计结果都与Fisher信息量 I ( )有关。
解释为总体分布中性质显示，“
的信息越多
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本，则X是p 的充分统计量.求 p 2的无偏估计.
解
1, X 1 1, X 2 1; ˆ 构造估计 1 0, 其他.
ˆ ) P ( x 1, x 1) p p E ( 1 1 2 ˆ E ( ˆ | T t ) P ( ˆ 1| T t)
xp( x , y )dxdy EX
[ x ( y )]{ [ ( y ) ]h( x | y )dx } pY ( y )dy 0
[ x ( y )][ ( y ) ] pY ( y )h( x | y )dxdy
证明 2ln p( X ; θ )
E θ
2

2ln p( x; θ ) θ 2 p( x; θ )dx

1 p( x; θ ) p( x; θ )dx θ θ p( x; θ )

1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ 1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ

数理统计：最小方差无偏估计

最小方差无偏估计有效估计

f
(xj
,
) dx
j
0
则有 E( ln L( x, ))2 n E( ln f ( x, ))2 nI( )
i 1
综上所述
( g'( ))2
D(T ( X ))
nI( )
例4(p55例2.22)
设X1, X2 ,L
,
X
是来自泊松分布
n
P ( )的一个样本，试求的无偏估计的方差下界。
解由于f ( x;) x e , E( X ) , D( X ) ,
L( x, )}{ L( x, ) L( x, )}dx L( x, )
由施瓦兹不等式可知
( g'( ))2 {(T ( x) g( ))2 L( x, )dx
1
L( x,
)
L( x,
(
) )2 dx
D(T ( X
))
1
L( x, )
( L( x, ))2dx
D(T( X
))
(
ln
L( x,
X ;
))2
0
则对一切，有 D(T( X )) (g'( ))2 ,其中 nI( )
(g'( ))2 为罗－克拉美下界，I( )称为Fisher信息量。 nI( )
特别是当g( ) 时，有 D(T ( X )) 1 . nI( )
由此可见，统计量的方差不可以无限的小，存在下界。当其方差达到下界，它一定是MVUE. 但最小方差无偏估计不一定达到下界.
1),因而D(Sn*2 )
2 4
. n 1
3、有效估计
定义2.8 设ˆ(或T( X ))是 (或g( ))的一个无偏估计，若

最小方差无偏估计

最⼩⽅差⽆偏估计Last edited timeTags⽆偏估计量⽆偏估计意味着估计量的平均值为未知参数的真值：估计量的⽆偏性只是最优估计需要具备的其中⼀种性质，并不意味着⽆偏估计就是好的估计。

但是估计量有偏的话意味着永远⽆法收敛到真值。

例⼦如下：对于同⼀参数的多个可⽤估计，可以采⽤求平均的⽅式来获得⼀个性能更好的估计：⽐较⼀下⽆偏估计和有偏估计的不同结果：1. 如果每个估计量都⽆偏且⽅差相同互不相关:显⽽易⻅，随着可⽤估计数量n 的增多，估计值的⽅差和期望都将趋近于真实值。

2. 如果每个估计量都是有偏的：@March 4, 2023 4:24 PM E ()=θ^θ{,,…,}θ^1θ^2θ^n =θ^n 1i =1∑nθ^iE ()=θ^θvar ()=θ^var ()=n 21i =1∑nθ^i nvar ()θ^1意味着⽆论对多少估计量求平均都⽆法收敛到真值，这样的估计就是不好的估计。

最⼩⽅差准则寻找最佳估计量过程中除了⽆偏性以外，还需要其它⼀些评判准则，例如均⽅误差（mean square error, MSE ）:为了⽅便理解，将mse 写成单⼀变量的函数：说明mse 是由估计量的⽅差和偏差共同决定的。

要使得mse 最⼩需要对估计进⾏修正，但是修正系数与对应的估计量有关，任何与偏差有关的准则都推导不出可实现的估计量，因此我们通常需要限定在⽆偏性的条件下进⾏估计。

E ()=θ^i θ+b (θ)→E ()=θ^θ+b (θ)mse()=θ^E [(−θ^θ)]2mse ()θ^=E {[(−E ())+(E ()−θ)]}θ^θ^θ^2=var()+[E ()−θ]θ^θ^2=var()+b (θ)θ^2最⼩⽅差⽆偏估计（minimum variance unbiased, MVU ）：放弃最⼩MSE 估计，约束偏差为零，从⽽求出使⽅差最⼩的估计量，称为最⼩⽅差⽆偏估计量。

⽆偏估计量的MSE 正好是⽅差：最⼩⽅差⽆偏估计的存在性求最⼩⽅差⽆偏估计量即使MVU 存在，也有可能⽆法求出。

2-3 最小方差无偏估计和有效估计 PPT课件

了。假若的充分无偏估计量是惟一的，则这个充分无偏
估计量就一定是最小方差无偏估计量。那么，在什么情况下，它才是惟一的呢？显然，如果它又是完备统计量，便可保证其惟一性。
9
定理 2.9 设总体 X 的分布函数为F( x; ), ,
( X , X , , X )为其样本，若T T( X , X , X )是的
1
2
n
1
2
n
充分完备统计量，ˆ为的一个无偏估计，则
ˆ E(ˆ | T )
（2.18）
为的惟一的最小方差无偏估计。
证明设ˆ 和ˆ 是的任意两个无偏估计，由定理 2.8
1
2
知， E(ˆ | T )和E(ˆ | T )也是的无偏估计，
1
2
即对一切，有
E
[E(ˆ 1
|
T
)]
，
E
[E(ˆ 2
|
T
§2.3 最小方差无偏估计
最小方差无偏估计和有效估计是在某种意义下的最优估计，两者既有区别又有密切的关系。如果求出
参数的一个估计量ˆ，判别其是否为最小方差无偏
估计或有效估计，显然具有重要的意义。倘若能直
接求出参数的最小方差无偏估计或有效估计，则
将更加令人满意，本节将研究这些问题。
1
一、最小方差无偏估计
ˆ*
E
ˆ 1
|T
是的最小方差无偏估计。
11
注意: 定理 2.9 提供了一种寻求的最小方差无偏估
计量的方法，即先找到的一个充分完备统计量 T T (X1, X2,L , X n ) 和一个无偏估计ˆ ，再求条件数学期望 E(ˆ | T ) 即可。例如，对泊松总体 P() ，由例 1.9 知 X 是参数的充分完备统计量且又是的一个无偏估计，所以 E(X | X ) X 是的最小方差无偏估计。

最小方差无偏估计

偏估计类，在各估计量方差均有限的场合下，g ( x) U g
^
是 g(θ) 的 UMVUE 的充要条件为：
ˆ ,U ) E ( g ˆ U ) 0, U U 0 , Cov ( g
上述条件等价于 g(θ) 的 UMVUE g ( x) 与任意一个 0的无偏估计都不相关。
定义2.3.3：假如参数的无偏估计存在，则称此参数为
可估参数。定义2.3.4：设 F ={p(x; θ): θ∈Θ}是一个参数分布族。 g(θ) 是 Θ 上的一个可估参数，Ug 是 g(θ) 的无偏估计类。假如 g ( x) 是这样的一个无偏估计，对一切 g ( x) U ( g )，有
^*
上式左端作为a的二次多项式，可求得： ˆ ( )) Cov 2 (U , g 左端最小值为 0 Var (U )
ˆ ( )) 0. 因此Cov (U , g
(充分性“” ) 设g ˆ ( )满足Cov ( g ˆ ,U ) 0， U U 0 , .
~( ) - g ˆ ( ), 对任意一个其它的无偏估计g ( ), 令U g ~( ) - g ˆ ( )为0的无偏估计。则U g ~( )) Var (U g ˆ ( )) 则 : Var( g
但当估计类缩小时，一致最小均方差估计有可能存在。
三、一致最小方差无偏估计
由上一节知，一致最小均方误差估计不存在。我们现在把
范围缩小到无偏估计来考虑。由 MSE 的定义可知无偏估计的均方误差就是方差。所以最
好的无偏估计就是方差最小的无偏估计。这里我们将参数 θ 用其函数 g(θ) 代替，g(θ) 的估计用
均方误差要求系统偏差和随机误差越小越好
例2.3.3：设 x1, x2, …, xn是来自正态分布 N(μ, σ2) 的一个

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

下界，所以是的有效估计，它也是的
UMVUE。
例6.3.6
设总体为指数分布Exp(1/ )，它满足定
义6.3.2的所有条件，例6.3.4中已经算出该分布
的费希尔信息量为I( ) = -2，若x1, x2, …, xn 是
样本，则的C-R下界为(nI( ))-1= 2/n。而
两端对求导得
这说明
，从而
由定理6.3.3，它是的UMVUE。
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件： (1) 参数空间Θ是直线上的一个开区间； (2) 支撑 S={x: P(x, )>0}与无关； (3) 导数对一切∈Θ都存在； (4) 对P(x, )，积分与微分运算可交换次序； (5) 期望存在；则称
一个无偏估计，存在，且对一切 ∈Θ ，微分可在积分号下进行，则有
上式称为克拉美-罗（C-R）不等式; [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差的C-R下界，简称g( )的C-R下界。特别，对的无偏估计 ,有
如果等号成立，则称 T=T(x1, …, xn) 是 g( )的有效估计，有效估计一定是UMVUE。
费希尔信息量的主要作用体现在极大似然估计。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ， Θ为非退化区间，假定 (1) 对任意的x，偏导数，和
对所有∈Θ都存在；
(2) ∀∈Θ, 有
，
其中函数F1(x) , F2(x), F3(x)可积.
(3) ∀∈Θ, 若 x1, x2 , …, xn 是来自该总体的样本，则存在未知参数的极大似然估计且具有相合性和渐近正态性: ，
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I( )有关。I( )的种种性质显示，“I( )越大”可被解释为总
体分布中包含未知参数的信息越多。
例6.3.3 设总体为泊松分布P()分布，则
于是
例6.3.4 设总体为指数分布，其密度函数为
可以验证定义6.3.2的条件满足，且
于是
定理6.3.4（Cramer-Rao不等式）设定义6.3.2的条件满足，x1, x2 , …, xn 是来自该总体的样本，T=T(x1, x2 , …, xn )是g( )的任
§6.3 最小方差无偏估计
6.3.1 Rao-Blackwell定理
定理6.3.1 设X和Y是两个随来自变量,EX =,Var(X)>0. 定义则有其中等号成立的充要条件是X和几乎处处相等.
以下定理说明：好的无偏估计都是充分统计量的函数。
定理6.3.2 设总体概率函数是 p(x, )， x1, x2 , …, xn
是的无偏估计，且其方差等于 2/n，达到了CR下界，所以，是的有效估计，它也是的 UMVUE。
能达到C-R下界的无偏估计不多: 例6.3.7 设总体为N(0, 2 )，满足定义6.3.2 的条件，且费希尔信息量为，令 ,
则的C-R下界为而的UMVUE为 ,
其方差大于C-R下界。这表明所有的无偏估计的方差都大于其C-R下界。
是其样本，T=T(x1, x2 , …, xn )是的充分统计量，则对的任一无偏估计则也是的无偏估计，且，令，
定理6.3.2说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差。换言之，考虑的估计问题只需要在基于充分统计量的函数中进行即可，该说法对所有的统计推断问题都是正确的，这便是所谓的充分性原则。
定义6.3.1 对参数估计问题，设是的一个无偏估计，如果对另外任意一个的无偏估计，在参数空间Θ上都有
则称是的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分统计量的函数。
关于UMVUE，有如下一个判断准则。
定理6.3.3 设 x=(x1, x2 , …, xn) 是来自某总体的一
例6.3.1
设 x1, x2 , …, xn 是来自b(1, p)的样本，则是p 的充分统计量。为估计 =p2，可令
由于，所以是的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求关于充分统计量的条件期望，得
6.3.2
最小方差无偏估计
;
例6.3.5
设总体分布列为p(x, )= (1- )
x
1-x
,
x=0,1，它满足定义6.3.2的所有条件，可以算得该分布的费希尔信息量为
-1
，
若 x1, x2, …, xn 是该总体的样本，则的C-R
下界为(nI( )) = (1- )/n。因为是的无
偏估计，且其方差等于 (1- )/n，达到C-R
个样本，
是的一个无偏估计，
如果对任意一个满足E((x))=0的(x)，都有则是的UMVUE。
例6.3.2 设 x1,x2 ,…,xn 是来自指数分布Exp(1/ )的样本，则T = x1+…+xn 是的充分统计量，而是的无偏估计。设 =(x1 , x2 , …, xn)是0的任一无偏估计，则

最小方差无偏估计UMVUE分解

页数:22
第六章第三节最小方差无偏估计

页数:31
3.1-3.2.1-估计量的性质、最小方差无偏估计

页数:13
最小方差无偏估计

页数:12
第三节一致最小方差无偏估计.

页数:33
Erlang_平稳二项过程模型结构可靠度一致最小方差无偏估计_柯俊斌

页数:4
最小方差无偏估计

页数:18
最小方差无偏估计

页数:18
《小方差无偏估计》PPT课件

页数:22
最小方差无偏估计UMVUE

页数:22

最小方差无偏估计

合集下载

第六章第三节最小方差无偏估计

最小方差无偏估计

最小方差无偏估计

第2.3节最小方差无偏估计和有效估计

§2.3 最小方差无偏估计与充分统计量(发)

最小方差无偏估计

最小方差无偏估计UMVUE

2-3 最小方差无偏估计和有效估计

4-一致最小方差无偏估计

一致最小方差无偏估计的判断

最小方差无偏估计量

第三节一致最小方差无偏估计

数理统计：最小方差无偏估计

最小方差无偏估计有效估计

最小方差无偏估计

2-3 最小方差无偏估计和有效估计 PPT课件

最小方差无偏估计

文档推荐

最新文档

最小方差无偏估计

合集下载

第六章第三节 最小方差无偏估计

最小方差无偏估计

最小方差无偏估计

第2.3节 最小方差无偏估计和有效估计

§2.3 最小方差无偏估计与充分统计量(发)

最小方差无偏估计

最小方差无偏估计UMVUE

2-3 最小方差无偏估计和有效估计

4-一致最小方差无偏估计

一致最小方差无偏估计的判断

最小方差无偏估计量

第三节一致最小方差无偏估计

数理统计：最小方差无偏估计

最小方差无偏估计有效估计

最小方差无偏估计

2-3 最小方差无偏估计和有效估计 PPT课件

最小方差无偏估计

文档推荐

最新文档

第六章第三节最小方差无偏估计

第2.3节最小方差无偏估计和有效估计