当前位置：文档之家 › 第六章第三节 最小方差无偏估计

第六章第三节 最小方差无偏估计

  • 格式：ppt
  • 大小：612.50 KB
  • 文档页数：31

下载文档原格式

  / 31

合集下载

华东师范大学茆诗松《概率论与数理统计教程》第6章 参数估计.

华东师范大学茆诗松《概率论与数理统计教程》第6章 参数估计.

ˆ (a , , a ), j j 1 k
其中
1 n j a j xi n i1
j 1, , k ,
25 November 2018
华东师范大学
第六章 参数估计
第7页
例6.1.2 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为
ˆ 1/ x
华东师范大学
第六章 参数估计
第8页
例 6.1.3 x1, x2, …, xn 是来自 (a,b) 上的均匀分布 U(a,b) 的样本， a 与 b 均是未知参数，这里 k=2 ， 由于
ab EX , 2 (b a ) 2 Var( X ) , 12
不难推出
a EX 3Var( X ), b EX 3Var( X ),
L( ) ( ) [2 (1 )] [(1 ) ]
2 n1 n2 2 n3
2
n2
2 n1 n 2
(1 )
2 n3 n2
其对数似然函数为
ln L( ) (2n1 n2 ) ln (2n3 n2 ) ln(1 ) n2 ln 2
1 n n n 2 2 ln L( , ) 2 ( xi ) ln ln(2) 2 i 1 2 2
2
25 November 2018
华东师范大学
第六章 参数估计
第14页
将 lnL(, 2) 分别关于两个分量求偏导并令 其为0, 即得到似然方程组
ln L( , 2 ) 1 n 2 ( xi ) 0 i 1 ln L( , 2 ) 1 n n 2 4 ( xi ) 2 0 2 2 i 1 2

最小方差无偏估计

最小方差无偏估计

xi 2
−
5s
2
,
ϕ

=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 ， Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2


dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明

无偏估计方差

无偏估计方差

无偏估计方差无偏估计方差是统计学中一个重要的概念，其意义在于通过一定的数据采样，能够准确地估计出总体的方差。

在实际应用中，无偏估计方差被广泛地应用于各种数据分析、统计建模和实证研究等领域，尤其是在样本量较小、总体分布未知或难以获取的情况下，更具有实际意义和价值。

首先，我们需要明确无偏估计方差的定义和含义。

在统计学中，方差是指一组数据与其平均值之差的平方的平均值，用来反映数据的离散程度。

然而，在实际应用中，我们往往不能直接计算总体的方差，而只能通过样本数据来进行估计。

而无偏估计方差就是指通过样本数据来估计总体方差时，所得结果的期望值等于总体方差的数值。

也就是说，无偏估计方差是一种无偏性良好的估计方法，能够准确地反映总体方差的大小和变异程度。

其次，我们需要了解无偏估计方差的计算方法和应用场景。

在实际应用中，无偏估计方差的计算方法有多种，例如样本方差、修正样本方差等。

其中，样本方差的计算公式为：S^2 = Σ(xi- x̄)^2 / (n-1)其中，xi表示第i个样本数据的数值，x̄表示样本均值，n表示样本量。

而修正样本方差的计算公式为：S’^2 = Σ(xi- x̄)^2 / n-1显然，无偏估计方差的计算方法与样本量、样本分布等因素密切相关，需要根据具体的数据特点和应用场景进行选择和调整。

最后，我们需要注意无偏估计方差的局限和应用注意事项。

无偏估计方差虽然具有较好的性质和可靠性，但也存在一定的局限和风险。

例如，当样本量过小时，无偏估计方差容易产生较大的方差和偏差，从而导致估计结果失真或不可信。

此外，由于样本分布的不确定性和偏斜性，无偏估计方差在实际应用中也需要注意其有效性和适用性，避免产生误导或错误的结论。

综上所述，无偏估计方差是统计学中一种重要的估计工具，能够帮助我们准确地估计总体方差和数据变异性。

在实际应用中，我们需要灵活选择和调整估计方法，注意样本量、样本分布和应用场景的特点和差异，以保证估计结果的可靠和有效。

最小方差无偏估计

最小方差无偏估计
下界，所以 是 的有效估计，它也是 的
UMVUE。
例6.3.6
设总体为指数分布Exp(1/ )，它满足定
义6.3.2的所有条件，例6.3.4中已经算出该分布
的费希尔信息量为I( ) = -2，若x1, x2, …, xn 是
样本，则 的C-R下界为(nI( ))-1= 2/n。而
两端对 求导得
这说明
，从而
由定理6.3.3，它是 的UMVUE。
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件： (1) 参数空间Θ是直线上的一个开区间； (2) 支撑 S={x: P(x, )>0}与 无关； (3) 导数 对一切∈Θ都存在； (4) 对P(x, )，积分与微分运算可交换次序； (5) 期望 存在；则称
一个无偏估计， 存在，且对一切 ∈Θ ，微分可在积分号下进行，则有
上式称为克拉美-罗（C-R）不等式; [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。 特别，对 的无偏估计 ,有
如果等号成立，则称 T=T(x1, …, xn) 是 g( )的有效估计，有效估计一定是UMVUE。
费希尔信息量的主要作用体现在极大似然估计。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ， Θ为非退化区间，假定 (1) 对任意的x，偏导数 ， 和
对所有∈Θ都存在；
(2) ∀∈Θ, 有
，
其中函数F1(x) , F2(x), F3(x)可积.
(3) ∀∈Θ, 若 x1, x2 , …, xn 是来自该总体的样本，则存在 未知参数 的极大似然估计 且 具有相合性和渐近正态性: ，

小方差无偏估计UMVUE

小方差无偏估计UMVUE
局限性
UMvue方法在某些特定情况下可能无法提供准确的方差估计。例如，当数据存在异常值或离群点时，该方法的 效果可能会受到影响。此外，对于一些复杂的数据结构和模型，UMvue方法的适用性和性能可能需要进行进一 步的研究和验证。
04
小方差无偏估计
定义与性质
定义
小方差无偏估计（UMvue）是指估计量不仅无偏，而且具有较小的方差。
重要性及应用领域
重要性
umvue方法在统计学中具有重要地位，因为它能够提供更精 确的参数估计，尤其是在样本量较小的情况下。通过最小化 方差，umvue方法有助于提高估计的准确性和可靠性。
应用领域
umvue方法广泛应用于各种统计领域，如回归分析、线性模 型、方差分析等。它对于处理小样本数据、非线性和非正态 分布的情况特别有用，能够提供更稳健和可靠的估计结果。
实例三：复杂统计模型的小方差无偏估计
复杂统计模型
实例分析
复杂统计模型是指包含多个变量和复 杂关系的统计模型，例如时间序列分 析、多元回归分析等。
我们可以使用实际数据或模拟数据来 估计复杂统计模型的参数，并评估小 方差无偏估计的准确性和效率。
小方差无偏估计
在复杂统计模型中，小方差无偏估计 需要使用更高级的算法和技术来实现， 例如贝叶斯推断、马尔科夫链蒙特卡 罗等方法。
02
无偏估计
定义与性质
定义
无偏估计是指一个估计量的期望值等于被估计参数的真实值。
性质
无偏估计具有一致性、无偏性和有效性的性质，即随着样本量的增加，无偏估 计量逐渐趋近于真实值，且其方差最小。
无偏估计的优缺点
优点
无偏估计能够提供被估计参数的较准 确的估计，特别是在样本量较大时， 其估计精度较高。

有效估计和一致最小方差无偏估计

有效估计和一致最小方差无偏估计

如何选择有效估计和一致最小方差无偏估计在统计学中，估计是一项常见的任务。

估计是用样本数据来推断
一个或多个总体参数的过程。

通常需要比较不同的估计方法，以选择
最好的估计方法。

本文将介绍有效估计和一致最小方差无偏估计的定义、特点和使用方法。

1. 有效估计
有效估计是指一个估计方法产生的估计值的方差最小。

方差是估
计误差的度量，估计误差是真实参数值与估计值之差的绝对值。

因此，方差越小，估计误差越小。

有效估计被广泛用于无偏估计和最小方差
无偏估计的选择。

2. 一致最小方差无偏估计
一致最小方差无偏估计是指估计值与参数真值的差别尽可能小，
而方差也保持尽可能小。

一般而言，一致最小方差无偏估计需要满足
以下条件：
① 无偏性：估计值的期望值等于真实参数值；
② 一致性：随着样本量增加，估计值接近于真实参数值；
③ 最小方差性：估计值方差最小。

3. 如何选择估计方法
当我们需要选择估计方法时，我们需要考虑估计方法的特点和适用场景。

任何估计方法没有绝对优劣，它们的优缺点和适用条件都需要考虑。

对于无偏估计和最小方差无偏估计，我们应该选择有效估计和一致最小方差无偏估计。

如果数据分布不确定，我们可以使用参数估计法进行估计。

4. 总结
在统计学中，估计是一项重要的任务，我们可以利用不同的估计方法进行不同的推断。

有效估计和一致最小方差无偏估计是常见的估计方法，在选择估计方法时，我们需要考虑估计方法的特点和适用场景。

方差的无偏估计

方差的无偏估计什么是方差？方差是统计学中常用的一个概念，它是衡量一组数据的离散程度的量。

在概率论和统计学中，方差是随机变量的离散程度的度量。

方差越大，表示数据越分散；方差越小，表示数据越集中。

方差公式：对于一组有n个元素的数据集合，它们的平均值为μ，则这组数据的方差σ²可用以下公式来计算：![image.png](attachment:image.png)其中xi表示第i个数值，n表示总数。

无偏估计在统计学中，我们常常需要通过样本来推断总体参数。

而样本所得到的参数通常有两种估计方法：无偏估计和有偏估计。

无偏估计指的是样本所得到的参数与总体参数之间没有系统性偏差，即期望值等于总体参数。

而有偏估计则指样本所得到的参数与总体参数之间存在系统性偏差。

在实际应用中，我们更倾向于使用无偏估计方法来推断总体参数。

因为无偏估计方法得到的结果更加接近真实情况，并且具有更高的精度和可信度。

方差的无偏估计对于方差的无偏估计，我们需要使用样本方差s²来代替总体方差σ²。

但是，由于样本方差是根据n-1个自由度计算得到的，因此它会存在一个偏差。

为了消除这个偏差，我们需要对样本方差进行修正，得到无偏估计的样本方差s'²。

具体地，我们可以使用以下公式来计算：![image-2.png](attachment:image-2.png)其中xi表示第i个数值，n表示总数。

推导过程如下：首先，我们可以将样本方差s²展开为：![image-3.png](attachment:image-3.png)然后，我们可以将分子中的每一项拆开，并对每一项进行平方和展开：![image-4.png](attachment:image-4.png)接着，我们可以将每一项中的xi²拆成xi(xi - x) + xi·x，并且对每一项进行合并和化简：![image-5.png](attachment:image-5.png)最后，我们将分母中的(n - 1)替换成n，并且对分子中的每一项进行合并和化简：![image-6.png](attachment:image-6.png)因此，无偏估计的样本方差s'²就是通过将原始样本方差s²乘以修正系数(n - 1)/n来得到的。

第六章点估计教案要点

第六章参数估计在实际问题中, 当所研究的总体分布类型已知, 但分布中含有一个或多个未知参数时, 如何根据样本来估计未知参数，这就是参数估计问题.参数估计问题分为点估计问题与区间估计问题两类.点估计就是用某一个函数值作为总体未知参数的估计值；区间估计就是对于未知参数给出一个范围，并且在一定的可靠度下使这个范围包含未知参数.参数估计问题的一般提法:设有一个统计总体, 总体的分布函数为),(x F ,其中为未知参数(可以是向量). 现从该总体中随机地抽样, 得一样本nX X X ,,,21,再依据该样本对参数作出估计, 或估计参数的某已知函数).(g 第一节点估计问题概述一、点估计的概念设n X X X ,,,21是取自总体X 的一个样本, n x x x ,,,21是相应的一个样本值. 是总体分布中的未知参数, 为估计未知参数, 需构造一个适当的统计量),,,,(?21n X X X 然后用其观察值),,,(?21n x x x 来估计的值.称),,,(?21n X X X 为的估计量. 称),,,(?21n x x x 为的估计值. 在不致混淆的情况下,估计量与估计值统称为点估计,简称为估计, 并简记为?.注: 估计量),,,(?21n X X X 是一个随机变量, 是样本的函数，即是一个统计量, 对不同的样本值,的估计值?一般是不同的.例1设X 表示某种型号的电子元件的寿命(以小时计)，它服从指数分布：.0,00,1),(~/xx ex f X x 为未知参数, 0. 现得样本值为168, 130, 169, 143, 174, 198, 108, 212, 252,试估计未知参数.二、评价估计量的标准估计量的评价一般有三条标准:无偏性; 有效性; 相合性（一致性）.1．无偏性定义1设),,(?1n X X 是未知参数的估计量, 若,)?(E 则称?为的无偏估计量.注: 无偏性是对估计量的一个常见而重要的要求, 其实际意义是指估计量没有系统偏差，只有随机偏差. 在科学技术中, 称)?(E 为用?估计而产生的系统误差.定理1 设n X X ,,1为取自总体X 的样本,总体X 的均值为, 方差为2.则(1) 样本均值X 是的无偏估计量;(2) 样本方差2S 是2的无偏估计量;(3) 样本二阶中心矩ni iX X n12)(1是2的有偏估计量.2．有效性定义2设),,(??111n X X 和),,(??122n X X 都是参数的无偏估计量, 若)?()?(21D D ,则称1?较2?有效.注:在数理统计中常用到最小方差无偏估计, 其定义如下:设n X X ,,1是取自总体X 的一个样本, ),,(?1n X X 是未知参数的一个估计量,若?满足:(1) ,)?(E 即?为的无偏估计;(2) ),?()?(E ?是的任一无偏估计.则称?为的最小方差无偏估计(也称最佳无偏估计).3．相合性(一致性) 定义 3 设),,(??1n X X 为未知参数的估计量, 若?依概率收敛于, 即对任意0, 有,1}|?{|lim P n或,0}|?{|lim P n则称?为的(弱)相合估计量.例2设总体),0(~2N X ,n x x x ,,,21是来自这一总体的样本.(1) 证明ni ix n1221?是2的无偏估计;(2) 求).?(2D 例3设n X X X ,,,21为来自总体X 的样本, X ,),,2,1(n i X i 均为总体均值)(X E 的无偏估计量, 问哪一个估计量有效?例4 设总体),(~2N X ,n X X ,,1为其样本. 试证样本方差2S 是2的相合估计量.课堂练习设总体X 的k 阶矩)1)((kX E kk存在, 又设nX X X ,,,21是X 的一个样本. 试证明不论总体服从什么分布, k 阶样本矩ni k ikXnA 11是k 阶总体矩k的无偏估计量.课后作业：P137 T 3、4第二节点估计的常用方法（1）一、矩估计法矩估计法的基本思想是用样本矩估计总体矩. 因为由在大数定理知, 当总体的k 阶矩存在时,样本的k 阶矩依概率收敛于总体的k 阶矩.例如, 可用样本均值X 作为总体均值)(X E 的估计量, 一般地, 记总体k 阶矩);(kkX E 样本k 阶矩ni kik X n A 11;总体k 阶中心矩;)]([kk X E X E V 样本k 阶中心矩.)(11ni kikX X nB 用相应的样本矩去估计总体矩的方法就称为矩估计法. 用矩估计法确定的估计量称为矩估计量. 相应的估计值称为据估计值. 矩估计量与矩估计值统称为矩估计.求矩估计的方法：设总体X 的分布函数),,;(1k x F 中含有k 个未知参数k,,1, 则(1) 求总体X 的前k 阶矩k,,1，一般都是这k 个未知参数的函数, 记为k i g ki i,,2,1),,,(1（*）(2) 从（*）中解得kjh kj j,,2,1),,,(1(3) 再用),,2,1(k ii 的估计量i A 分别代替上式中的i,即可得),,2,1(k i j的矩估计量:.,,2,1),,,(?1k j A A h k j j注：求,,,1k V V 类似于上述步骤，最后用kB B ,,1代替k V V ,,1，求出矩估计j?),,2,1(k I。

概率论与数理统计第6章参数估计

参数估计的形式有两种：点估计与区间估计。
设 x1, x2,…, xn 是来自总体 X 的一个样本，
我们用一个统计量 ˆ ˆ(x1,的,取xn值) 作为 的 估计值， 称为ˆ的点估计（量），简称估计。 在这里如何构造统计量 并没有明ˆ确的规定，
只要它满足一定的合理性即可。这就涉及到 两个问题：
k阶原点矩 k的无偏估计。但对中心矩则不一样， 譬如，由于 E(s *2 ) ，n 样1本2 方差s*2不是总体方差 2
的无偏估计，对此，有n 如下两点说明：
(1) 当样本量趋于无穷时，有E(s*2) 2，
我们称 s*2 为 2的渐近无偏估计。
(2)
若对s*2作如下修正：
s2

个无偏估计为1

2X ,2

n 1 n
Xn
，判别1与2哪个有效 n

2时？
解：Var
1

Var
2X


4 n
2
12

2
3n
由
f
n

x



nxBiblioteka n1 n 00 x
其它
E
X
2
n

0
nxn1
n
dx

n
n

2
2
于是Var
第六章 参数估计
§6.1 点估计的概念与无偏性 §6.2 矩估计及相合性 §6.3 最大似然估计与EM算法 §6.4 最小方差无偏估计 §6.5 贝叶斯估计 §6.6 区间估计
一般常用 表示参数，参数 所有可能取值
组成的集合称为参数空间，常用表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。

最小方差无偏估计

最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。

定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。

如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。

2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。

θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。

()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。

例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。

求最小方差无偏估计。

解：首先找一个无偏估计，很显然是无偏。

1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。

1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(2) 根据定理4, 若g( ) 的无偏估计量T 的方差VarT
达到下界, 则T必为g( ) 的最小方差无偏估计. 但
是它不一定存在,也就是说,C-R不等式有时给出的 下界过小.
(3)当等号成立时， T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。 有效估计一定是 UMVUE.（反之不真）
(2) I()的另一表达式为
I
(
)
E(
2
ln p(x; 2
)
),
(若
2
p(x; 2
)
存在)
例3 设总体为Poisson分布，即
p(x; ) x e , x 0,1, 2.....
x!
则 I ( ) 1 .
例4 设总体为指数分布Exp(1/θ)，即
p(x; ) 1 exp{ x}, x 0, 0.
(1)是实数轴上的一个开区间
(2) 支撑S {x | p(x; ) 0}与无关;
(3) p(x; ) 存在且对中一切 有
p(x; )dx
p( x; )
dx
(4) E( ln p(x; ))2 存在
则称
I
(
)
def
E(
ln
p(x;
)
)2
为总体分布的Fisher信息量.
注：
(1)I(θ)越大,总体分布中包含未知参数的信息越多。
估计. 反之,却不一定成立.
由此, 求证T是g()的有效估计的步骤为:
(1) 验证T是g( )的无偏估计,即E(T ) g( );
第六章第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式
一、Rao-Blackwell 定理 优良的无偏估计都是充分统计量的函数.
定理1: 设X和Y是两个r.v.,EX=μ,VarX>0,令
(y) E(X | Y y) 则有
E(Y ) ,Var((Y )) Var(X )
其中等号成立的充要条件为X与 (Y)几乎处处相等.
将之应用在参数估计中可得:
定理2: 设总体的概率函数为p(x;θ), x1,L , xn
是样本,T T (x1,K , xn ) 是θ的充分统计量,
对θ的任一无偏估计 ˆ $(x1,K , xn ),令% E(ˆ | T ),则
% 也是的无偏估计,且Var% Varˆ
且对中一切有
n
g( ) L
T (x1, x2 ,L , xn )
p(xi ; )dx1 L dxn
的微分可在积分号下进行，即 i1
g '( ) L
T (x1, x2 ,L
,
xn
)
n
(
i 1
p(xi ; ))dx1 L
dxn
L
T (x1, x2 ,L
, xn )[
Cov ($,) 0,
则ˆ是的UMVUE. 反之亦成立.
例2
设 n
x1
,L
, xn 为来自Exp(1/θ) 的样本,则
T xi 为θ 的充分统计量,证明:
i1
x T 为θ的UMVUE. n
三、罗-克拉美（Cramer–Rao ）不等式
1、 Fisher信息量的定义.
设总体X 的概率函数为p(x; ),,且满足条件:
X ~ N(, 2),
I () 2
I() 1
I ( 2 ) 1 2 4
1
I
(,
2
)
2
0
0
1
2
4
2、定理4 (Cramer-Rao不等式)
设总体X 的概率函数为p(x ; ),, 满足上面定义中的
条g(件)的；一x1,个…无.,x偏n 是估来计自. 总体gX (的 )一个g样(本) 存, T在(x,1,….,xn )是
t(t 1)
n(n 1)
Var ($1 )
二、最小方差无偏估计
定义 设ˆ是的一个无偏估计量,若对于的任一方差 存在的无偏估计量°, 在参数空间,都有
Var(ˆ) Var(%) 则称ˆ是 的一致最小方差无偏估计,记为UMVUE.
注：一致最小方差无偏估计是一种最优估计.由定理2, 只要它存在.它一定是充分统计量的函数.一般地,若依赖 于充分统计量的无偏估计只有一个,它一定是UMVUE.
n
ln(
i 1
p(xi ; ))]
n
p(xi ; )dx1 L dxn
i 1
则有 Var(T ) [g特'(别)]地2 对θ的无偏估计有
nI ( )
Var(T ) 1
nI ( )
上述不等式的右端称为C-R下界, I() 为Fisher信息量.
注
(1) 定理对离散型总体也适用.只需改积分号为求和号。
注:定理2表明:若无偏估计不是充分统计量的函数,则将之
对充分统计量求条件期望可得一个新的无偏估计且为充分
统计量的函数,且方差会减小. 即, 考虑点估计只需在充
分统计量的函数中进行, 这就是 — 充分性原则.
例1: 设 (x1 ,L , xn ) 为来自b(1,p) 的样本, 求p2的U.E
解：前已求过: x(或T nx) 为p 的பைடு நூலகம்分统计量
则
I
(
)
1
2
.
注： 常见分布的信息量 I()公式
两点分布X ~ b(1,p)
I ( p) 1
P(X x) px (1 p)1x , x 0,1
p(1 p)
泊松分布 X ~ P(), 0.
I () 1
指数分布 X ~ Exp(), 正态分布 X ~ N(,1),
X ~ N(0, 2 ),
3. 有效估计
定义 设ˆ是的任一无偏估计量, 称
1
e($)
def
nI ( ) Var(ˆ)
为估计量ˆ的效率.
注:显然 得任一无偏估计量ˆ的效率满足 0 e(ˆ) 1
定义
如果的无偏估计量$的效率e($) 1则称$为的有效估计.
如果lim e(ˆ) 1则称ˆ为的渐近有效估计. n
注:如果ˆ是的有效估计,则它也是一致最小方差无偏
令θ=p2 ,则
进一步改进：
ˆ1
1
x1
0
1, x2 else
1
为θ的无偏估计.
n
因为 T xi是充分统计量 ,由定理2, 从而可令
i1 $=E($1 | T ) (T ),
(t
故
)=E(ˆ1 | T
$= T (T 1)
n(n 1)
n
t), 其中t xi 可得 (t)=
i 1
为θ的无偏估计.且 Var($)
Problem： 无偏估计的方差是否可以任意小? 如果不能任意小, 那么它的下界是什么?
定理3: (UMVUE准则)设 x1,L , xn是总体X的样本,
ˆ $(x1,K , xn ) 是θ的任一无偏估计, Var$
如果对任一个满足 E(x1,K , xn ) 0的(x1,K , xn ),都有