最小方差无偏估计

格式：pdf
大小：152.19 KB
文档页数：12

下载文档原格式

第2.3节最小方差无偏估计和有效估计

X n )T 是 , X n )是g( )
( 2)
f ( x; ) 存在且对中一切有 f ( x; ) f ( x; )dx dx ,

T ( x1 , x2 ,
, xn ) L( x , )dx1dx2 , xn ) L( x , )dx1dx2
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分统计

个样本，如果T T ( X 1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ * E ( ˆ |T) 量，
则有 ˆ* , E ˆ * D ˆ, D
, ,
x( n )
n I( 0, ) ( x( n) )
其中I( 0, ) ( x) 1当0 x , 显然X( n)是的充分统计量
又由于X( n)的分布密度为
n n1 nx f X( n ) ( x ) 0 0 x 其他
利用完备分布族定义可以验证该分布族具有完备性. 又由于
dxn dxn

T ( x1 , x2 ,
n
其中L( x , ) f ( xi ; );
i 1
ln f ( X ; ) 2 (3) I ( ) E ( ) 0 ( g ' ( ))2 则对一切，有 D(T ( X )) ,其中 nI ( ) ( g ' ( ))2 为罗－克拉美下界，I ( )称为Fisher信息量。 nI ( ) 1 特别是当g( ) 时，有 D(T ( X )) . nI ( )
'

第六章第三节最小方差无偏估计

(2) 根据定理4, 若g( ) 的无偏估计量T 的方差VarT
达到下界, 则T必为g( ) 的最小方差无偏估计. 但
是它不一定存在,也就是说,C-R不等式有时给出的下界过小.
(3)当等号成立时， T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。有效估计一定是 UMVUE.（反之不真）
(2) I()的另一表达式为
I
(
)
E(
2
ln p(x; 2
)
),
(若
2
p(x; 2
)
存在)
例3 设总体为Poisson分布，即
p(x; ) x e , x 0,1, 2.....
x!
则 I ( ) 1 .
例4 设总体为指数分布Exp(1/θ)，即
p(x; ) 1 exp{ x}, x 0, 0.
(1)是实数轴上的一个开区间
(2) 支撑S {x | p(x; ) 0}与无关;
(3) p(x; ) 存在且对中一切有
p(x; )dx
p( x; )
dx
(4) E( ln p(x; ))2 存在
则称
I
(
)
def
E(
ln
p(x;
)
)2
为总体分布的Fisher信息量.
注：
(1)I(θ)越大,总体分布中包含未知参数的信息越多。
估计. 反之,却不一定成立.
由此, 求证T是g()的有效估计的步骤为:
(1) 验证T是g( )的无偏估计,即E(T ) g( );
第六章第三节
最小方差无偏估计
一、Rao-Blackwell定理二、最小方差无偏估计三、 Cramer-Rao不等式

最小方差无偏估计

是其样本，T=T(x1, x2 , …, xn )是的充分统计量，则
对的任一无偏估计
，令，
则也是的无偏估计，且
定理6.3.2说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差。换言之，考虑的估计问题只需要在基于充分统计量的函数中进行即可，该说法对所有的统计推断问题都是正确的，这便是所谓的充分性原则。
(5) 期望
存在；则称
为总体分布的费希尔(Fisher) 信息量。
费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差
的下界等都与费希尔信息量I( )有关。I( )的种种性质显示，“I( )越大”可被解释为总体分布中包含未知参数的信息越多。
一个无偏估计，
存在，且对一切∈Θ ，
微分可在积分号下进行，则有
➢ 上式称为克拉美-罗（C-R）不等式;
➢ [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差的C-R下界，简称g( )的C-R下界。
➢ 特别，对的无偏估计 ,有
;
➢ 如果等号成立，则称 T=T(x1, …, xn) 是
g( )的有效估计，有效估计一定是UMVUE。
例6.3.3 设总体为泊松分布P()分布，则
于是
例6.3.4 设总体为指数分布，其密度函数为可以验证定义6.3.2的条件满足，且于是
定理6.3.4（Cramer-Rao不等式）
设定义6.3.2的条件满足，x1, x2 , …, xn 是来自
该总体的样本，T=T(x1, x2 , …, xn )是g( )的任

第2.3节最小方差无偏估计和有效估计

例1(p54例2.20) 设X ( X1 , X 2 ,
, X n )T 是来自总
*2 体( , 2 )的一个样本，已知X 和Sn 是和 2 的无偏 *2 估计，证明X 和Sn 分别是和 2 的MVUE .
证设L( X )满足EL( X ) 0, 则

因而
L exp{

Βιβλιοθήκη T ( x1 , x2 ,
, xn ) L( x , )dx1dx2 , xn ) L( x , )dx1dx2
dxn dxn

T ( x1 , x2 ,
n
其中L( x , ) f ( xi ; );
i 1
ln f ( X ; ) 2 (3) I ( ) E ( ) 0 ( g( ))2 则对一切，有 D(T ( X )) ,其中 nI ( ) ( g( ))2 为罗－克拉美下界，I ( )称为Fisher 信息量。 nI ( ) 1 特别是当g( ) 时，有 D(T ( X )) . nI ( )
定理2.9 设总体X的分布函数为F ( x , ), 是
未知参数，X ( X1 , X 2 ,
, X n )T 是来自总体X的一 , X n )是的充分完备
*
个样本，如果T T ( X1 , X 2 ,
ˆ是的任一无偏估计，记 ˆ E ( ˆ |T) 统计量，
ˆ *是的唯一的MVUE . 则
1
ˆ( X )] 2 E{[ L( X ) EL( X )][( ˆ( X ) E ˆ( X )]} D[ L( X )] D[ ˆ( X )] D[ ˆ( X )] D[ L( X )] D[

§2.3 最小方差无偏估计与充分统计量(发)

n n n n
这个分布依赖于未知参数p，这说明样本中关于p 的信息没有完全包含在统计量S 中. 因而 S X 1 X 2 (n 2)不是参数p 的充分统计量.
注：对例1而言 T1 ( X 1 , X 2 , X 3 ,, X n ), T2 ( X 1 X 2 , X 3 ,, X n ) Tn 1 ( X i , X n ),
P{ X 1 x1 , X 2 x2 ,, X n xn | X k n}
P{ X 1 x1 , X 2 x2 ,, X n xn } . P{ X i k }
P{ X 1 x1 }P{ X 2 x2 } P{ X n xn } P { X i k } p xi (1 p)n xi 1 , xi k , k , xi k , k k nk C n p (1 p) Cn 0, 其他. 0, 其他. 显然该条件分布与p无关，因而X 是p的充分统计量. 对S X 1 X 2 (n 2). 由于它只用了前面两个样本观测值，显然没有包含样本中所有关于的信息,在给定S的取值s后,对任意的一组x1 ,, xn ( x1 +x2 =s ).有
X 1 x1 ,, X n xn T t
P ( X 1 x1 ,, X n xn | T t ) P (T t ; ) h( x1 ,, xn ) g( t , ) 其中g( t , ) P (T t ; )，而 h( x1 ,, xn ) P ( X 1 x1 ,, X n xn | T t ) 与无关. 必要性得证. 充分性，由于 P (T t ; ) ( x1 ,, xn ):T t P ( X 1 x1 ,, X n xn ; ) ( x1 ,, xn ):T t g( t , )h( x1 ,, xn ) 对任给( x1 ,, xn )和 t 满足( x1 ,, xn ) A( t ), 有

最小方差无偏估计

最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。

定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。

如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。

2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。

θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。

()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。

例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。

求最小方差无偏估计。

解：首先找一个无偏估计，很显然是无偏。

1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。

1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。

最小方差无偏估计UMVUE

i 1
ˆ (t )=E (1 | T t ), 其中t xi
t (t 1)
故
= T (T 1)
n( n 1)
n ( n 1)
为θ的无偏估计.且 Var ( ) Var ( 1 )
二、最小方差无偏估计
ˆ 定义: 设是的一个无偏估计量, 若对于的任一方差存在的无偏估计量 , 都有 ˆ Var ( ) Var ( ) , ˆ 则称是的一致最小方差无偏估计, 记为UMVUE.

的微分可在积分号下进行，即

i 1
n g ( ) T ( x1 , x2 ,, xn ) ( p( xi ; ))dx1 dxn i 1
n T ( x1 , x2 ,, xn )[ ln( p( xi ; ))] i 1
n
而 x ln p( x, ) ln ,

d 1 x d ln p( x, ) 2
2
2
2
1 X I ( ) E ln p( X , ) E 2
例7 ( x1 , x2 ,, xn )是P( )( 0)的一个样本, 证明 : x是的有效估计
证明 : 因为x是样本均值, 故, E x EX , x是的U .E Var ( X ) Var ( x) n n
总体X的分布律为 : P{ X x}
(1)I(θ)越大,总体分布中包含未知参数的信息越多。 (2) I()的另一表达式为
2 ln p( x; ) I ( ) E ( ), 2 2 p( x; ) ( 存在,满足正则条件) 2

2-3 最小方差无偏估计和有效估计

2 n
由定理 2.9
ˆ E(X |T ) X
ˆ 2 E (Sn | T ) Sn
2 2
，
。
分别是
2 和惟一的最小方差无偏估计。
13
例 2.21
设 ( X1 , X 2 ,, X n ) 是来自总体 X 服从区间 (0, )
上均匀分布的一个样本。求的最小方差无偏估计。
由式（2.19）得
ˆ1 | T ) E ( ˆ2 | T )] 0 ，对一切。 E [ E (
由于T 是完备统计量，由定义 1.5 得
ˆ1 | T ) E ( ˆ2 | T )) 1，对一切， P ( E (
ˆ * E ˆ1 | T 是的最小方差无偏估计。
ˆ1 ( X ) D[ L( X ) ˆ ( X )] DL( X ) D ˆ( X ) D ˆ ( X ) E ˆ ( X )] 2 E [ L( X ) EL( X )][
ˆ ( X ) D ˆ( X ) ， DL( X ) D
ˆ( X ) 是的 MVUE。故
是的最小方差无偏估计。
16
1.最小方差无偏估计提供了一种优良的估计，然而一个更深入的问题是：无偏估计的方差是否可以任意小？如果不可以，那么它的下界是多少？这个下界等否达到？
2. 要直接验证某个估计量是最小方差无偏估计量是困难的. 若能求出无偏估计中方差的下界, 而且又能说明参数的一切无偏估计中存在某个估计的方差能达到这个下界，那么就是的最小方差无偏估计. 下面给出一个判别准则：
即的充分偏估计是惟一的。再由定理 2.8 知，
11

数理统计求umvue

在数理统计中，UMVUE（最小方差无偏估计量）是一种非常重要的概念，它描述的是一种最优的统计量，即具有最小方差的无偏估计量。

UMVUE在很多统计推断问题中都有广泛的应用，例如线性回归模型的参数估计、方差分量估计等等。

要找到UMVUE，我们需要满足两个条件：无偏性和最小方差性。

无偏性意味着估计量的期望值等于参数的真实值，而最小方差性则要求估计量的方差达到所有无偏估计量中的最小值。

具体来说，假设我们要估计一个参数θ，一个无偏估计量是所有可能的估计量中的一个，如果它的期望值等于参数的真实值，即E(θ^)=θ。

而UMVUE则是所有无偏估计量中方差最小的那个。

对于一些特定的分布，UMVUE是已知的，例如正态分布的均值和方差的UMVUE分别是样本均值和样本方差。

然而，对于更一般的分布，找到UMVUE通常是一个复杂的问题，可能需要使用优化算法或者数值计算方法来解决。

在实践中，我们通常会使用一些常见的估计量作为UMVUE的近似值，例如在回归模型中，我们通常使用普通最小二乘估计量作为参数的估计值，这个估计量是线性无偏的，并且在大多数情况下具有相对较小的方差。

最小方差无偏估计量

最小方差无偏估计量
最小方差无偏估计量是一种最有效的估计量，它能够有效地减少变量的变异性和误差，并提供较低的偏差。

它在统计学，机器学习和其他数据分析领域都具有重要意义。

MVUE诞生于20世纪70年代，由MarkLee发明，据说它是由卡斯梅尔比例采样而获得的，因此也被称为“卡斯梅尔估计”。

它的目的是确定一个量值，使得估计量在平均意义上偏离最小。

MVUE的定义可以理解为：“均方根偏差（RMSE）最小的评估量，它所产生的偏差无偏”。

它是一个非常强大的估计量，它能够有效地减少数据的变异性和误差，找到最能够描述样本的量值。

MVUE有许多优点：例如，它不受数据的偏性影响；它有极大的信度及准确度；它能够有效地降低RMSE，并提供最低的偏差；另外它还消除了可能存在的任何不一致性。

MVUE被广泛应用于许多领域，例如它可以用于估计总体的均值和方差，也可以用于估计函数的极值，如此等等。

它被广泛用于机器学习中的参数估计和特征选择，也被用于估计统计量，如相关系数和卡方检验，等等。

总之，最小方差无偏估计量是一种强大且有效的估计量，可以有效地减少数据的变异性和误差，并提供较低的偏差，它在统计学，机器学习和其他数据分析领域都具有重要意义。

数理统计：最小方差无偏估计

最小方差无偏估计

最⼩⽅差⽆偏估计Last edited timeTags⽆偏估计量⽆偏估计意味着估计量的平均值为未知参数的真值：估计量的⽆偏性只是最优估计需要具备的其中⼀种性质，并不意味着⽆偏估计就是好的估计。

但是估计量有偏的话意味着永远⽆法收敛到真值。

例⼦如下：对于同⼀参数的多个可⽤估计，可以采⽤求平均的⽅式来获得⼀个性能更好的估计：⽐较⼀下⽆偏估计和有偏估计的不同结果：1. 如果每个估计量都⽆偏且⽅差相同互不相关:显⽽易⻅，随着可⽤估计数量n 的增多，估计值的⽅差和期望都将趋近于真实值。

2. 如果每个估计量都是有偏的：@March 4, 2023 4:24 PM E ()=θ^θ{,,…,}θ^1θ^2θ^n =θ^n 1i =1∑nθ^iE ()=θ^θvar ()=θ^var ()=n 21i =1∑nθ^i nvar ()θ^1意味着⽆论对多少估计量求平均都⽆法收敛到真值，这样的估计就是不好的估计。

最⼩⽅差准则寻找最佳估计量过程中除了⽆偏性以外，还需要其它⼀些评判准则，例如均⽅误差（mean square error, MSE ）:为了⽅便理解，将mse 写成单⼀变量的函数：说明mse 是由估计量的⽅差和偏差共同决定的。

要使得mse 最⼩需要对估计进⾏修正，但是修正系数与对应的估计量有关，任何与偏差有关的准则都推导不出可实现的估计量，因此我们通常需要限定在⽆偏性的条件下进⾏估计。

E ()=θ^i θ+b (θ)→E ()=θ^θ+b (θ)mse()=θ^E [(−θ^θ)]2mse ()θ^=E {[(−E ())+(E ()−θ)]}θ^θ^θ^2=var()+[E ()−θ]θ^θ^2=var()+b (θ)θ^2最⼩⽅差⽆偏估计（minimum variance unbiased, MVU ）：放弃最⼩MSE 估计，约束偏差为零，从⽽求出使⽅差最⼩的估计量，称为最⼩⽅差⽆偏估计量。

⽆偏估计量的MSE 正好是⽅差：最⼩⽅差⽆偏估计的存在性求最⼩⽅差⽆偏估计量即使MVU 存在，也有可能⽆法求出。

2-3 最小方差无偏估计和有效估计 PPT课件

了。假若的充分无偏估计量是惟一的，则这个充分无偏
估计量就一定是最小方差无偏估计量。那么，在什么情况下，它才是惟一的呢？显然，如果它又是完备统计量，便可保证其惟一性。
9
定理 2.9 设总体 X 的分布函数为F( x; ), ,
( X , X , , X )为其样本，若T T( X , X , X )是的
1
2
n
1
2
n
充分完备统计量，ˆ为的一个无偏估计，则
ˆ E(ˆ | T )
（2.18）
为的惟一的最小方差无偏估计。
证明设ˆ 和ˆ 是的任意两个无偏估计，由定理 2.8
1
2
知， E(ˆ | T )和E(ˆ | T )也是的无偏估计，
1
2
即对一切，有
E
[E(ˆ 1
|
T
)]
，
E
[E(ˆ 2
|
T
§2.3 最小方差无偏估计
最小方差无偏估计和有效估计是在某种意义下的最优估计，两者既有区别又有密切的关系。如果求出
参数的一个估计量ˆ，判别其是否为最小方差无偏
估计或有效估计，显然具有重要的意义。倘若能直
接求出参数的最小方差无偏估计或有效估计，则
将更加令人满意，本节将研究这些问题。
1
一、最小方差无偏估计
ˆ*
E
ˆ 1
|T
是的最小方差无偏估计。
11
注意: 定理 2.9 提供了一种寻求的最小方差无偏估
计量的方法，即先找到的一个充分完备统计量 T T (X1, X2,L , X n ) 和一个无偏估计ˆ ，再求条件数学期望 E(ˆ | T ) 即可。例如，对泊松总体 P() ，由例 1.9 知 X 是参数的充分完备统计量且又是的一个无偏估计，所以 E(X | X ) X 是的最小方差无偏估计。

伽马分布的最小方差无偏估计量-概述说明以及解释

伽马分布的最小方差无偏估计量-概述说明以及解释1.引言1.1 概述伽马分布是一种重要的概率分布，广泛应用于统计学和概率论中。

它具有许多特点和应用场景，因此对其进行研究和参数估计是非常有意义的。

伽马分布在统计学中应用较为广泛，特别适用于描述一些不连续的正数型随机变量，例如等待时间、寿命或到达时间等。

伽马分布的概率密度函数具有两个参数，分别为形状参数和尺度参数，这使得它非常灵活，能够适应各种类型的数据。

对于伽马分布的参数估计，一般有多种方法可供选择，例如矩估计、最大似然估计和贝叶斯估计等。

其中，最小方差无偏估计量是一种常用的参数估计方法，它能够使估计量的方差最小化，并且在样本充分大时具有无偏性。

本文主要研究伽马分布的最小方差无偏估计量。

首先，将介绍伽马分布的定义和基本特点，包括概率密度函数的形式和参数的含义。

其次，将探讨伽马分布的参数估计方法，包括矩估计、最大似然估计和贝叶斯估计等。

最后，重点研究伽马分布的最小方差无偏估计量的推导和应用，通过数学推导和实例分析展示其优越性和实用性。

通过详细介绍伽马分布的特点、参数估计方法和最小方差无偏估计量的推导，本文旨在提供对这一概率分布的深入理解和研究。

理论推导和实际应用的结合将对统计学和概率论领域的研究和应用产生积极的影响。

同时，本文也将探讨研究的局限性和未来展望，为后续相关研究提供参考和启示。

2. 正文2.1 伽马分布的定义和特点2.2 伽马分布的参数估计方法2.3 伽马分布的最小方差无偏估计量3. 结论3.1 总结3.2 结论3.3 研究的局限性和未来展望1.2 文章结构本文将从三个方面对伽马分布的最小方差无偏估计量进行论述。

首先，我们将介绍伽马分布的定义和特点，包括其概率密度函数和分布函数的形式、参数的意义和范围，以及伽马分布的一些常见应用领域。

然后，我们将探讨伽马分布的参数估计方法，包括最大似然估计法、矩估计法和贝叶斯估计法，并比较它们的优缺点。

最后，我们将介绍伽马分布的最小方差无偏估计量，包括其定义、推导过程和数学性质，以及如何使用这个估计量进行参数估计。

最小方差无偏估计

偏估计类，在各估计量方差均有限的场合下，g ( x) U g
^
是 g(θ) 的 UMVUE 的充要条件为：
ˆ ,U ) E ( g ˆ U ) 0, U U 0 , Cov ( g
上述条件等价于 g(θ) 的 UMVUE g ( x) 与任意一个 0的无偏估计都不相关。
定义2.3.3：假如参数的无偏估计存在，则称此参数为
可估参数。定义2.3.4：设 F ={p(x; θ): θ∈Θ}是一个参数分布族。 g(θ) 是 Θ 上的一个可估参数，Ug 是 g(θ) 的无偏估计类。假如 g ( x) 是这样的一个无偏估计，对一切 g ( x) U ( g )，有
^*
上式左端作为a的二次多项式，可求得： ˆ ( )) Cov 2 (U , g 左端最小值为 0 Var (U )
ˆ ( )) 0. 因此Cov (U , g
(充分性“” ) 设g ˆ ( )满足Cov ( g ˆ ,U ) 0， U U 0 , .
~( ) - g ˆ ( ), 对任意一个其它的无偏估计g ( ), 令U g ~( ) - g ˆ ( )为0的无偏估计。则U g ~( )) Var (U g ˆ ( )) 则 : Var( g
但当估计类缩小时，一致最小均方差估计有可能存在。
三、一致最小方差无偏估计
由上一节知，一致最小均方误差估计不存在。我们现在把
范围缩小到无偏估计来考虑。由 MSE 的定义可知无偏估计的均方误差就是方差。所以最
好的无偏估计就是方差最小的无偏估计。这里我们将参数 θ 用其函数 g(θ) 代替，g(θ) 的估计用
均方误差要求系统偏差和随机误差越小越好
例2.3.3：设 x1, x2, …, xn是来自正态分布 N(μ, σ2) 的一个

第三节一致最小方差无偏估计13

?
I(? ) ?
E?? X ? ?
2
? ?
?
1
.
?? ? ?
例设总体为指数分布 Exp( 1 ), 计算Fisher信息量 .
? 解总体的密度函数为
p(
x;?
)
?
1
?
exp?? ? ?
x
?
? ? ?
,
x ? 0,? ? 0.
可以验证正则条件满足 ,且
?
??
ln p( x;?
)?
1
?
?
x
?2
?
?
? P( X1 ? 1, X2 ? 1, Xi ? t ? 2)
?
i? 3
P(T ? t)
n
T ? ? Xi i?1
n
? P( X1 ? 1, X2 ? 1, Xi ? t ? 2)
?
i?3
P(T ? t)
?
p
?
p
?????
n? t?
2 2
????
pt
?
2
(1
-
p)n? t
????
n t
????
pt
e?
x ? 0,
? ? 0 为常数
? ?
0
x? 0
( X1 , X 2 ,? , X n ) 为 X 的一个样本
X 与 n min{ X1 , X2 ,? , Xn }都是? 的无偏
估计
X 比n min{ X1 , X2 ,? , Xn }更有效. X 是充分统计量
例设总体 X，且 E( X )=? , Var( X )=? 2
( X1 , X2 ,? , Xn )为总体 X 的一个样本

5-一致最小方差无偏估计

p( x; ) (5) 若亦存在，且进一步有 2 2 p( x; ) dx p( x; )dx 0 2
2
2ln p( X ; ) 则 I ( ) E 2
证明 ln p( X ; θ )
二、Cramer-Rao 不等式 p( x; ), 满足定义2 设总体概率密度函数是下列条件： (1)参数空间是直线上的一个开区间； (2)支撑集S { x : p( x; ) 0}与无关； (3)导数 p( x; )对一切都存在； (4)对p( x; )，积分与微分运算可交换次序，即
对任意一个满足 E( ( X )) 0的 ( X )，都有 ˆ , ) 0, , Cov (

定理给出了一致最小方差无偏估计的充要条件 .
无偏估计的最小方差到底能小到什么程度呢？下面将介绍著名的 Cramer Rao不等式.
0 p( x; )dx p( x; )dx 2 (5)期望E[ ln p( X ; )] 存在，则称 2 I( ) E[ ln p( X ; )] 为总体分布的费希尔 (Fisher) 信息量. 称该分布族为 C R正则分布族， (1) - (5)称为正则条件 .
一、最小方差无偏估计 ˆ 对于参数估计问题，设是的一个无偏估定义1 ~ 计，如果对另外任意一个的无偏估计，在参数空间上都有 ~ ˆ Var ( ) Var ( ) ˆ是的一致最小方差无偏估则称计,简记为UMVUE .
Uniform Minimun Variance Unbiased Estimator
Var( X ) 1 X I ( ) E 2. 2 4

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

xi 2
−
5s
2
,
ϕ

=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节最小方差无偏估计内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的一个无偏估计， Var(θˆ) < ∞ 。如果对任意一个满足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2

dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明
E ( g − g ) T = E(g T ) − E E ( g T ) T = E(g T ) − E ( g T ) = 0 ，
于是
E[( g − g )( g −θ )] = E{E ( g − g )( g −θ ) T } = E{( g −θ ) E ( g − g ) T } = 0
则称该期望 I (θ ) 为总体分布的费歇 (Fisher) 信息量。
如果二阶导数对一切θ ∈ Θ 都存在，则 I (θ ) 还可用下式计算
I
(θ
)
=
−E

∂2 ∂θ 2
ln
p
(
x;θ
)
。
5、常用分布的费歇信息量。
二点分布 b(1,p) 的费歇信息量 I ( P) = [P(1− ]P) −1
泊松分布 p (λ ) 的费歇信息量 I (λ ) = λ −1
指数分布 Exp (λ ) 的费歇信息量 I (λ ) = λ 2
正态分布 N ( µ,1) 的费歇信息量 I ( µ ) = 1
( ) ( ) 正态分布 N
0,σ 2
的费歇信息量 I
σ2
=1 2σ 4
( ) ( ) 正态分布 N µ,σ 2 的费歇信息量（信息矩阵） I µ,σ 2 = 1/σ 2 0
因而 MSE ( gˆ ) = E ( gˆ − g )2 + MSE ( g ) ≥ MSE ( g )
2. 证明：若θˆ 是θ 的 UMVUE，则对任一满足 Eθ (ϕ(x)) = 0 且 0 < Varθ (ϕ(x)) < ∞ 的 ϕ(x) 有
Covθ (θˆ,ϕ(x)) = 0 ， θ ∈ Θ
∑ 解：（1）
上题已经证明了 x
和 s2
=
1 n −1
n
( xi
i=1
− x )2
分别是 µ
和σ 2 的UMVUE ，则
由本节习题 3 知 3x + 4s2 是 3µ + 4σ 2 的最小方差无偏估计。
( ) （2）对任意一个 0 的无偏估计ϕ （即 Eϕ = 0 ）有 Cov x 2,ϕ = 0 （见本节第 5 题证
以获得一个新的无偏估计θ = E(θˆ | T ) ，且方差比原估计的方差要小；
考虑θ 的估计时，只需要在其充分统计量的函数中寻找即可，该说法对所有统计推
断都是正确的。这便是充分性原则。
4、费歇信息量 I (θ )
设总体的概率函数 p(x;θ ),θ ∈ Θ 满足下列条件：
（1）参数空间 Θ 是直线上的一个开区间；
（2）支撑 S = {x : p(x;θ ) > 0}与θ 无关；
（3）导数 ∂ p(x;θ ) 对一切θ ∈ Θ 都存在； ∂θ
∫ ∫ （4）对 p(x;θ ) ，积分与微分运算可交换次序，即 ∂ ∞ p(x;θ )dx = ∞ ∂ p(x;θ )dx
∂θ −∞
−∞ ∂θ
1
（5）期望 I (θ ) = E[ ∂ ln p(x;θ )]2 存在 ∂θ
⋅
p
(
x;θ
)
dx
=
E

∂2
ln p ( x;θ
∂θ 2
)

则
∫ ∫ ∏ Eϕ = ∞ −∞
∞
n
ϕ⋅
−∞ i =1
1 2π σ
exp −
( xi − µ )2
2σ 2
dx1
dxn = 0
即
∫ ∫ ( ) ∑ ∞ −∞
∞ −∞
ϕ⋅
2πσ 2
−n 2
exp
−
1 2σ
2
n i =1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2

dx1
∂ ln p ( x;θ )
证：记 Sθ =
∂θ
，则
ESθ
=
∫∞ −∞
p
(
1 x;θ
)
⋅
∂p
( x;θ
∂θ
)
⋅
p ( x;θ
) dx
=
∫∞ −∞
∂p ( x;θ
∂θ
)
dx
=
∂ ∂θ
∫∞ −∞
p ( x;θ ) dx
=
0
所以 ∂ESθ = 0 。另一方面， ∂θ
6
∫ ∫ ( ) ∂ESθ = ∂
∂θ ∂θ
由上题结论有 C ov (Ti ,φ ) = 0, i = 1, 2 ，于是 E (aT1 + bT2 ) = aθ1 + bθ2 Cov (aT1 + bT2 ,φ ) = aC ov (T1,φ ) + bC ov (T2 ,φ ) = 0
因此 aT1 + bT2 是 aθ1 + bθ2 的 UMVUE。
+
nx σ2
µ
−
nµ 2 2σ 2

dx1
dxn
∫ ∫ ( ) ∑ ∞
− −∞
∞ −∞
nx σ2
⋅
nµ σ2
ϕ
⋅
2πσ 2
−
n 2
exp
−
1 2σ
2
n i =1
xi2
+
nx σ2
µ
−
nµ 2σ
2 2

dx1
dxn = 0
( ) 由此可以得到 E x 2ϕ = 0 ，下一步，将（*）式两端对σ 2 求导，略去几个前面已经指出积
∞ −∞
Sθ
p
(
x;θ
)
dx
=
∞∂ −∞ ∂θ
Sθ ⋅ p ( x;θ ) dx
∫=
∞
−∞
∂Sθ ∂θ
⋅
p ( x;θ
)+
Sθ
⋅
∂p ( x;θ )
∂θ
dx
=
∫∞ −∞
∂2
ln p ( x;θ
∂θ 2
)
⋅
p
(
x;θ
)
dx
+
∫∞ −∞

∂
ln
p ( x;θ
∂θ
)
2
3
Varθ0 (θ ) = Eθ0 (θ + bϕ(x) −θ )2 = Eθ0 (θ −θ )2 + b2Eθ0 (ϕ(x))2 + 2bEθ0 ((θ −θ )ϕ(x)) = Varθ0 (θ ) + b2Varθ0 (ϕ(x)) + 2ab < Varθ0 (θ ) 这与θˆ 是θ 的 UMVUE 矛盾，这就证明了对参数空间 Θ 中任意的θ 都有 Covθ (θˆ,ϕ(x)) = 0 ，也即定理 6.3.3 的逆也对。由此我们知道，条件“对任意满足 Eθ (ϕ(x)) = 0 的 ϕ(x) 有 Covθ (θˆ,ϕ(x)) = 0 ”是“θˆ 是θ 的 UMVUE”的充分必要条件。 3．设T1,T2 分别是θ1,θ2 的 UMVUE，证明：对任意的（非零）常数 a, b ， aT1 + bT2 是 aθ1 + bθ2 的 UMVUE。证：由于T1,T2 分别是θ1,θ2 的 UMVUE，故 ETi = θi ，且对任意一个φ(x) ，满足 Eφ = 0 ，
0
1/(2σ 4 )
6、C-R 不等式
设T
=
T (x1,…,
xn ) 是未知参数
g(θ ) 的一个无偏估计，若
g
'(θ )
=
∂g(θ ) ∂θ
存在，则在费
歇信息量 I (θ ) 也存在的条件下有
Var(T ) ≥ [g '(θ )]2 /(nI (θ ))
上式称为克拉美-罗（C-R）不等式，[g '(θ )]2 /(nI (θ )) 称为 g(θ ) 的无偏估计的方差的 C-R 下界，简称 g(θ ) 的 C-R 下界。特别，对θ 的无偏估计θˆ ，有Var(θˆ) ≥ (nI (θ ))−1 。

最小方差无偏估计UMVUE分解

页数:22
第六章第三节最小方差无偏估计

页数:31
3.1-3.2.1-估计量的性质、最小方差无偏估计

页数:13
最小方差无偏估计

页数:12
第三节一致最小方差无偏估计.

页数:33
Erlang_平稳二项过程模型结构可靠度一致最小方差无偏估计_柯俊斌

页数:4
最小方差无偏估计

页数:18
最小方差无偏估计

页数:18
《小方差无偏估计》PPT课件

页数:22
最小方差无偏估计UMVUE

页数:22

最小方差无偏估计

合集下载

第2.3节最小方差无偏估计和有效估计

第六章第三节最小方差无偏估计

最小方差无偏估计

第2.3节最小方差无偏估计和有效估计

§2.3 最小方差无偏估计与充分统计量(发)

最小方差无偏估计

最小方差无偏估计UMVUE

2-3 最小方差无偏估计和有效估计

数理统计求umvue

最小方差无偏估计量

数理统计：最小方差无偏估计

最小方差无偏估计

2-3 最小方差无偏估计和有效估计 PPT课件

伽马分布的最小方差无偏估计量-概述说明以及解释

最小方差无偏估计

第三节一致最小方差无偏估计13

5-一致最小方差无偏估计

文档推荐

最新文档

最小方差无偏估计

合集下载

第2.3节 最小方差无偏估计和有效估计

第六章第三节 最小方差无偏估计

最小方差无偏估计

第2.3节 最小方差无偏估计和有效估计

§2.3 最小方差无偏估计与充分统计量(发)

最小方差无偏估计

最小方差无偏估计UMVUE

2-3 最小方差无偏估计和有效估计

数理统计求umvue

最小方差无偏估计量

数理统计：最小方差无偏估计

最小方差无偏估计

2-3 最小方差无偏估计和有效估计 PPT课件

伽马分布的最小方差无偏估计量-概述说明以及解释

最小方差无偏估计

第三节一致最小方差无偏估计13

5-一致最小方差无偏估计

文档推荐

最新文档

第2.3节最小方差无偏估计和有效估计

第六章第三节最小方差无偏估计

第2.3节最小方差无偏估计和有效估计