当前位置：文档之家 › 最小方差无偏估计

最小方差无偏估计

  • 格式：ppt
  • 大小：329.50 KB
  • 文档页数：18

下载文档原格式

  / 18

合集下载

第六章第三节 最小方差无偏估计

第六章第三节 最小方差无偏估计
(2) 根据定理4, 若g( ) 的无偏估计量T 的方差VarT
达到下界, 则T必为g( ) 的最小方差无偏估计. 但
是它不一定存在,也就是说,C-R不等式有时给出的 下界过小.
(3)当等号成立时， T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。 有效估计一定是 UMVUE.（反之不真）
(2) I()的另一表达式为
I
(
)
E(
2
ln p(x; 2
)
),
(若
2
p(x; 2
)
存在)
例3 设总体为Poisson分布，即
p(x; ) x e , x 0,1, 2.....
x!
则 I ( ) 1 .
例4 设总体为指数分布Exp(1/θ)，即
p(x; ) 1 exp{ x}, x 0, 0.
(1)是实数轴上的一个开区间
(2) 支撑S {x | p(x; ) 0}与无关;
(3) p(x; ) 存在且对中一切 有
p(x; )dx
p( x; )
dx
(4) E( ln p(x; ))2 存在
则称
I
(
)
def
E(
ln
p(x;
)
)2
为总体分布的Fisher信息量.
注：
(1)I(θ)越大,总体分布中包含未知参数的信息越多。
估计. 反之,却不一定成立.
由此, 求证T是g()的有效估计的步骤为:
(1) 验证T是g( )的无偏估计,即E(T ) g( );
第六章第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式

最小方差无偏估计

最小方差无偏估计

xi 2
−
5s
2
,
ϕ

=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 ， Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2


dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明

最小方差无偏估计

最小方差无偏估计

是其样本，T=T(x1, x2 , …, xn )是 的充分统计量，则
对 的任一无偏估计
，令 ，
则 也是 的无偏估计，且
定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。
(5) 期望
存在；则称
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念， 很多的统计结果都与费希尔信息量有关。如 极大似然估计的渐近方差，无偏估计的方差
的下界等都与费希尔信息量I( )有关。I( )的 种种性质显示，“I( )越大”可被解释为总 体分布中包含未知参数 的信息越多。
一个无偏估计，
存在，且对一切∈Θ ，
微分可在积分号下进行，则有
➢ 上式称为克拉美-罗（C-R）不等式;
➢ [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。
➢ 特别，对 的无偏估计 ,有
;
➢ 如果等号成立，则称 T=T(x1, …, xn) 是
g( )的有效估计，有效估计一定是UMVUE。
例6.3.3 设总体为泊松分布P()分布，则
于是
例6.3.4 设总体为指数分布，其密度函数为 可以验证定义6.3.2的条件满足，且 于是
定理6.3.4（Cramer-Rao不等式）
设定义6.3.2的条件满足，x1, x2 , …, xn 是来自
该总体的样本，T=T(x1, x2 , …, xn )是g( )的任

第2.3节 最小方差无偏估计和有效估计

第2.3节 最小方差无偏估计和有效估计

例1(p54例2.20) 设X ( X1 , X 2 ,
, X n )T 是来自总
*2 体( , 2 )的一个样本，已知X 和Sn 是 和 2 的无偏 *2 估计，证明X 和Sn 分别是 和 2 的MVUE .
证 设L( X )满足EL( X ) 0, 则

因而
L exp{


Βιβλιοθήκη T ( x1 , x2 ,
, xn ) L( x , )dx1dx2 , xn ) L( x , )dx1dx2
dxn dxn




T ( x1 , x2 ,
n
其中L( x , ) f ( xi ; );
i 1
ln f ( X ; ) 2 (3) I ( ) E ( ) 0 ( g( ))2 则对一切 ，有 D(T ( X )) ,其中 nI ( ) ( g( ))2 为罗－克拉美下界，I ( )称为Fisher 信息量。 nI ( ) 1 特别是当g( ) 时，有 D(T ( X )) . nI ( )
定理2.9 设总体X的分布函数为F ( x , ), 是
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分完备
*
个样本，如果T T ( X1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ E ( ˆ |T) 统计量，
ˆ *是的唯一的MVUE . 则
1
ˆ( X )] 2 E{[ L( X ) EL( X )][( ˆ( X ) E ˆ( X )]} D[ L( X )] D[ ˆ( X )] D[ ˆ( X )] D[ L( X )] D[

§2.3 最小方差无偏估计与充分统计量(发)

§2.3 最小方差无偏估计与充分统计量(发)
n n n n
这个分布依赖于未知参数p，这说明样本中关 于p 的信息没有完全包含在统计量S 中. 因而 S X 1 X 2 (n 2)不是参数p 的充分统计量.
注：对例1而言 T1 ( X 1 , X 2 , X 3 ,, X n ), T2 ( X 1 X 2 , X 3 ,, X n ) Tn 1 ( X i , X n ),
P{ X 1 x1 , X 2 x2 ,, X n xn | X k n}
P{ X 1 x1 , X 2 x2 ,, X n xn } . P{ X i k }
P{ X 1 x1 }P{ X 2 x2 } P{ X n xn } P { X i k } p xi (1 p)n xi 1 , xi k , k , xi k , k k nk C n p (1 p) Cn 0, 其他. 0, 其他. 显然该条件分布与p无关，因而X 是p的充分统计量. 对S X 1 X 2 (n 2). 由于它只用了前面两个样本 观测值，显然没有包含样本中所有关于的信息,在 给定S的取值s后,对任意的一组x1 ,, xn ( x1 +x2 =s ).有
X 1 x1 ,, X n xn T t
P ( X 1 x1 ,, X n xn | T t ) P (T t ; ) h( x1 ,, xn ) g( t , ) 其中g( t , ) P (T t ; )，而 h( x1 ,, xn ) P ( X 1 x1 ,, X n xn | T t ) 与 无关. 必要性得证. 充分性，由于 P (T t ; ) ( x1 ,, xn ):T t P ( X 1 x1 ,, X n xn ; ) ( x1 ,, xn ):T t g( t , )h( x1 ,, xn ) 对任给( x1 ,, xn )和 t 满足( x1 ,, xn ) A( t ), 有

最小方差无偏估计

最小方差无偏估计

最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。

定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。

如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。

2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。

θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。

()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。

例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。

求最小方差无偏估计。

解：首先找一个无偏估计，很显然是无偏。

1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。

1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。

最小方差无偏估计UMVUE

i 1
ˆ (t )=E (1 | T t ), 其中t xi
t (t 1)
故
= T (T 1)
n( n 1)
n ( n 1)
为θ的无偏估计.且 Var ( ) Var ( 1 )
二、最小方差无偏估计
ˆ 定义: 设 是的一个无偏估计量, 若对于的任一方差 存在的无偏估计量 , 都有 ˆ Var ( ) Var ( ) , ˆ 则称 是 的一致最小方差无偏估计, 记为UMVUE.

的微分可在积分号下进行，即

i 1
n g ( ) T ( x1 , x2 ,, xn ) ( p( xi ; ))dx1 dxn i 1
n T ( x1 , x2 ,, xn )[ ln( p( xi ; ))] i 1
n
而 x ln p( x, ) ln ,

d 1 x d ln p( x, ) 2
2
2
2
1 X I ( ) E ln p( X , ) E 2
例7 ( x1 , x2 ,, xn )是P( )( 0)的一个样本, 证明 : x是 的有效估计
证明 : 因为x是样本均值, 故, E x EX , x是的U .E Var ( X ) Var ( x) n n
总体X的分布律为 : P{ X x}
(1)I(θ)越大,总体分布中包含未知参数的信息越多。 (2) I()的另一表达式为
2 ln p( x; ) I ( ) E ( ), 2 2 p( x; ) ( 存在,满足正则条件) 2

2-3 最小方差无偏估计和有效估计

2 n
由定理 2.9
ˆ E(X |T ) X
ˆ 2 E (Sn | T ) Sn
2 2
，
。
分别是
2 和 惟一的最小方差无偏估计。
13
例 2.21
设 ( X1 , X 2 ,, X n ) 是来自总体 X 服从区间 (0, )
上均匀分布的一个样本。求 的最小方差无偏估计。
由式（2.19）得
ˆ1 | T ) E ( ˆ2 | T )] 0 ，对一切 。 E [ E (
由于T 是完备统计量，由定义 1.5 得
ˆ1 | T ) E ( ˆ2 | T )) 1，对一切 ， P ( E (
ˆ * E ˆ1 | T 是 的最小方差无偏估计。
ˆ1 ( X ) D[ L( X ) ˆ ( X )] DL( X ) D ˆ( X ) D ˆ ( X ) E ˆ ( X )] 2 E [ L( X ) EL( X )][
ˆ ( X ) D ˆ( X ) ， DL( X ) D
ˆ( X ) 是 的 MVUE。 故
是 的最小方差无偏估计。
16
1.最小方差无偏估计提供了一种优良的估计， 然而一个更深入的问题是：无偏估计的方差是否可 以任意小？如果不可以，那么它的下界是多少？这 个下界等否达到？
2. 要直接验证某个估计量是最小方差无偏估计量 是困难的. 若能求出无偏估计中方差的下界, 而且又 能说明参数 的一切无偏估计中存在某个估计 的 方差能达到这个下界，那么 就是 的最小方差无 偏估计. 下面给出一个判别准则：
即 的 充 分 偏 估 计 是 惟 一 的 。 再 由 定 理 2.8 知 ，
11

4-一致最小方差无偏估计


例 设总体为泊松分布 ( ), 计算Fisher信息量. P 解 P( )的分布列为 x p( x; ) e , x 0 ,1, , x! 可以看出正则条件满足 ，且
于是
ln p( x; ) xln ln( x! ) , x ln p( x; ) 1.
关于相合性的两个常用结论
1. 样本 k 阶原点矩是总体 k 由大数定律证明 阶原点矩的相合估计.
ˆ 2. 设 n是 的无偏估计 ˆ 量, 且 lim Var( n ) , 则 0
ˆ n 是 的相合估计.
n
用切比雪夫不 等式证明
ˆ ˆ 定理 设θn θn ( x1 ,x2 , xn )是的一个估计量， ˆ ˆ lim E (θn ) θ, lim Var( θn ) 0 , 若
注：定理说明若无偏估 计不是充分统计量的函 数， 则将其对充分统计量求 条件期望可以得到一个 新 的无偏估计，从而降低 了无偏估计的方差 .
统计的一个基本原则： 在充分统计量存在时， 任何统计推断可以基于 充分 统计量进行，这可以简 化统计推断的程序，通 常将该原 则称为充分性原则 .
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本，则X是p 的充分统计量.求 p 2的无偏估计.
推广
ˆ ˆ 定理 若 n1， ， nk 分别是 1， ， k的相合估计， g( 1， ， k )是 1， ， k的连续函数，则 ˆ ˆ ˆ g( ， ， )是的相合估计.
n1 nk
注： 样本均值是总体均值的 相合估计
样本方差是总体方差的 相合估计 样本标准差是总体标准 差的相合估计
相合估计量仅在样本容量 n 足够大时,才显示其优越性.

一致最小方差无偏估计的判断

一致最小方差无偏估计的判断一致最小方差无偏估计（Uniform Minimum Variance Unbiased Estimator, UMVUE）是统计学中一种重要的估计方法。

它在许多实际问题中具有广泛应用，可以有效地对未知参数进行估计，并且满足无偏性和方差最小的要求。

UMVUE的判断需要满足以下几个要素。

首先，一个无偏估计是指估计量的期望值与真实参数值相等。

也就是说，对于任意一个未知参数θ，UMVUE的期望值应该恰好等于θ。

无偏性是估计方法的一个重要性质，它确保了估计结果的准确性和可靠性。

一般来说，UMVUE的无偏性是通过数学推导和证明得出的，具有较高的可信度。

其次，UMVUE还要求具有最小的方差。

方差是对估计量精确性的度量，方差越小，估计结果越准确。

UMVUE的方差要比其他估计方法的方差小，这意味着UMVUE相对于其他估计方法更具优越性。

通过比较不同估计方法的方差，可以选择出UMVUE，从而得到更准确的估计结果。

UMVUE的判断还需要满足一致性的要求。

一致性是指当样本容量逐渐增大时，估计结果逐渐接近真实参数值。

UMVUE在大样本情况下应该是一致的，即当样本容量趋于无穷大时，UMVUE将趋于真实参数值。

这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。

判断一个估计方法是否为UMVUE，一般需要通过数学推导和证明进行验证。

然而，在实际应用中，我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。

一般来说，如果一个估计方法已经被证明是无偏的，并且在方差上具有较小的表现，那么它很可能是一个UMVUE。

UMVUE作为一种重要的估计方法，为我们解决实际问题提供了有力的工具。

它不仅可以提供准确可靠的估计结果，还能够为我们提供关于未知参数的更多信息。

在统计建模、实验设计、市场调研等领域，UMVUE的应用非常广泛。

它能够帮助我们更好地了解事物的本质和规律，为决策和预测提供科学的依据。

总之，UMVUE是一种重要的统计估计方法，具有无偏性、最小方差和一致性的特点。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
下界，所以 是 的有效估计，它也是 的
UMVUE。
例6.3.6
设总体为指数分布Exp(1/ )，它满足定
义6.3.2的所有条件，例6.3.4中已经算出该分布
的费希尔信息量为I( ) = -2，若x1, x2, …, xn 是
样本，则 的C-R下界为(nI( ))-1= 2/n。而
两端对 求导得
这说明
，从而
由定理6.3.3，它是 的UMVUE。
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件： (1) 参数空间Θ是直线上的一个开区间； (2) 支撑 S={x: P(x, )>0}与 无关； (3) 导数 对一切∈Θ都存在； (4) 对P(x, )，积分与微分运算可交换次序； (5) 期望 存在；则称
一个无偏估计， 存在，且对一切 ∈Θ ，微分可在积分号下进行，则有
上式称为克拉美-罗（C-R）不等式; [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。 特别，对 的无偏估计 ,有
如果等号成立，则称 T=T(x1, …, xn) 是 g( )的有效估计，有效估计一定是UMVUE。
费希尔信息量的主要作用体现在极大似然估计。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ， Θ为非退化区间，假定 (1) 对任意的x，偏导数 ， 和
对所有∈Θ都存在；
(2) ∀∈Θ, 有
，
其中函数F1(x) , F2(x), F3(x)可积.
(3) ∀∈Θ, 若 x1, x2 , …, xn 是来自该总体的样本，则存在 未知参数 的极大似然估计 且 具有相合性和渐近正态性: ，
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念， 很多的统计结果都与费希尔信息量有关。如 极大似然估计的渐近方差，无偏估计的方差 的下界等都与费希尔信息量I( )有关。I( )的 种种性质显示，“I( )越大”可被解释为总
体分布中包含未知参数 的信息越多。
例6.3.3 设总体为泊松分布P()分布，则
于是
例6.3.4 设总体为指数分布，其密度函数为
可以验证定义6.3.2的条件满足，且
于是
定理6.3.4（Cramer-Rao不等式） 设定义6.3.2的条件满足，x1, x2 , …, xn 是来自 该总体的样本，T=T(x1, x2 , …, xn )是g( )的任
§6.3 最小方差无偏估计
6.3.1 Rao-Blackwell定理
定理6.3.1 设X和Y是两个随来自变量,EX =,Var(X)>0. 定义 则有 其中等号成立的充要条件是X和 几乎处处相等.
以下定理说明：好的无偏估计都是充分统计量的函数。
定理6.3.2 设总体概率函数是 p(x, )， x1, x2 , …, xn
是 的无偏估计，且其方差等于 2/n，达到了CR下界，所以， 是 的有效估计，它也是 的 UMVUE。
能达到C-R下界的无偏估计不多: 例6.3.7 设总体为N(0, 2 )，满足定义6.3.2 的条件，且费希尔信息量为 ， 令 ,
则 的C-R下界为 而 的UMVUE为 ,
其方差大于C-R下界。这表明所有 的无偏 估计的方差都大于其C-R下界。
是其样本，T=T(x1, x2 , …, xn )是 的充分统计量，则 对 的任一无偏估计 则 也是 的无偏估计，且 ，令 ，
定理6.3.2说明：如果无偏估计不是充分统计 量的函数，则将之对充分统计量求条件期 望可以得到一个新的无偏估计，该估计的 方差比原来的估计的方差要小，从而降低 了无偏估计的方差。换言之，考虑 的估 计问题只需要在基于充分统计量的函数中 进行即可，该说法对所有的统计推断问题 都是正确的，这便是所谓的充分性原则。
定义6.3.1 对参数估计问题，设 是 的一个无 偏估计，如果对另外任意一个 的无偏估计 ， 在参数空间Θ上都有
则称 是 的一致最小方差无偏估计，简记为 UMVUE。如果UMVUE存在，则它一定是充分 统计量的函数。
关于UMVUE，有如下一个判断准则。
定理6.3.3 设 x=(x1, x2 , …, xn) 是来自某总体的一
例6.3.1
设 x1, x2 , …, xn 是来自b(1, p)的样本，则 是p 的充分统计量。为估计 =p2，可令
由于 ，所以 是 的无偏 估计。这个只使用了两个观测值的估计并不好.下 面我们用Rao-Blackwell定理对之加以改进：求 关于充分统计量 的条件期望，得
6.3.2
最小方差无偏估计
;
例6.3.5
设总体分布列为p(x, )= (1- )
x
1-x
,
x=0,1，它满足定义6.3.2的所有条件，可以算 得该分布的费希尔信息量为
-1
，
若 x1, x2, …, xn 是该总体的样本，则 的C-R
下界为(nI( )) = (1- )/n。因为 是 的无
偏估计，且其方差等于 (1- )/n，达到C-R
个样本，
是 的一个无偏估计，
如果对任意一个满足E((x))=0的(x)，都有 则 是 的UMVUE。
例6.3.2 设 x1,x2 ,…,xn 是来自指数分布Exp(1/ )的样本， 则T = x1+…+xn 是 的充分统计量，而 是 的无偏估计。设 =(x1 , x2 , …, xn)是0的任一无偏估计， 则