最小方差无偏估计UMVUE分解

最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。

定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。

如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。

2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。

θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。

()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。

例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。

求最小方差无偏估计。

解：首先找一个无偏估计，很显然是无偏。

1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。

1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。

一致最小方差无偏估计量（UMVUE）和最小方差无偏估计量（MVUE）是统计学中重要的概念，它们在参数估计中起着关键的作用。

本文将针对这两个概念展开讨论，并探究它们在统计学中的重要性。

一、一致最小方差无偏估计量（UMVUE）1.1 UMVUE的定义一致最小方差无偏估计量是指在无偏估计量的基础上，使得方差达到最小的估计量。

在统计学中，我们常常需要对未知参数进行估计，而UMVUE则是通过对参数进行无偏估计的使得估计的方差达到最小。

1.2 UMVUE的重要性UMVUE具有很强的有效性，它不仅是无偏估计量，而且在一定的条件下，它的方差是所有可能的估计量中最小的。

UMVUE在统计学中具有非常重要的地位，它可以帮助我们更准确地估计未知参数，提高统计分析的精度。

1.3 UMVUE的计算UMVUE的计算需要依赖于样本分布和参数的性质，通常会涉及到一些复杂的数学推导和统计推断。

对于不同的参数和分布，需要针对具体情况来进行计算，这也是统计学中的一个研究热点。

二、最小方差无偏估计量（MVUE）2.1 MVUE的定义最小方差无偏估计量是指在所有无偏估计量中，使得方差达到最小的估计量。

与UMVUE类似，MVUE也是在保持无偏性的基础上，尽可能减小估计的方差。

2.2 MVUE的重要性MVUE在统计学中具有非常重要的作用，它可以帮助我们更准确地估计未知参数，并且提供了估计的方差的下限。

MVUE在参数估计的理论研究和实际应用中都具有重要的地位。

2.3 MVUE的计算MVUE的计算也需要依赖于具体的样本分布和参数的性质，通常需要借助于一些复杂的数学方法和统计推断。

针对不同的参数和分布，需要采用不同的计算方法，并且有时候需要进行一些特殊的推导。

三、UMVUE与MVUE的关系3.1 UMVUE与MVUE的一致性UMVUE与MVUE的概念在很大程度上是一致的，它们都是在无偏性的基础上，寻求使得估计的方差达到最小的估计量。

从某种程度上来说，UMVUE和MVUE是一致的，并且在一定的条件下，它们可能是等价的。

一致最小方差无偏估计的判断一致最小方差无偏估计（Uniform Minimum Variance Unbiased Estimator, UMVUE）是统计学中一种重要的估计方法。

它在许多实际问题中具有广泛应用，可以有效地对未知参数进行估计，并且满足无偏性和方差最小的要求。

UMVUE的判断需要满足以下几个要素。

首先，一个无偏估计是指估计量的期望值与真实参数值相等。

也就是说，对于任意一个未知参数θ，UMVUE的期望值应该恰好等于θ。

无偏性是估计方法的一个重要性质，它确保了估计结果的准确性和可靠性。

一般来说，UMVUE的无偏性是通过数学推导和证明得出的，具有较高的可信度。

其次，UMVUE还要求具有最小的方差。

方差是对估计量精确性的度量，方差越小，估计结果越准确。

UMVUE的方差要比其他估计方法的方差小，这意味着UMVUE相对于其他估计方法更具优越性。

通过比较不同估计方法的方差，可以选择出UMVUE，从而得到更准确的估计结果。

UMVUE的判断还需要满足一致性的要求。

一致性是指当样本容量逐渐增大时，估计结果逐渐接近真实参数值。

UMVUE在大样本情况下应该是一致的，即当样本容量趋于无穷大时，UMVUE将趋于真实参数值。

这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。

判断一个估计方法是否为UMVUE，一般需要通过数学推导和证明进行验证。

然而，在实际应用中，我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。

一般来说，如果一个估计方法已经被证明是无偏的，并且在方差上具有较小的表现，那么它很可能是一个UMVUE。

UMVUE作为一种重要的估计方法，为我们解决实际问题提供了有力的工具。

它不仅可以提供准确可靠的估计结果，还能够为我们提供关于未知参数的更多信息。

在统计建模、实验设计、市场调研等领域，UMVUE的应用非常广泛。

它能够帮助我们更好地了解事物的本质和规律，为决策和预测提供科学的依据。

总之，UMVUE是一种重要的统计估计方法，具有无偏性、最小方差和一致性的特点。

一致最小方差无偏估计设)(θg 为可估参数，我们把)(θg 的所有无偏估计组成的类记为g U . 定义：设)(θg 是可估参数，如果)(X T 是)(θg 的无偏估计，且对g U 中的任一估计量）（X ϕ，有Θθϕθθ∈∀≤)),((V ))((V X ar X T ar则称)(X T 是)(θg 的一致最小方差无偏估计（Uniformly Minimum Variance Unbiased Estimate ），简记为UMVUE 。

引理：设)(X S 是分布族{}Θθθ∈,p 的充分统计量，）（X ϕ是)(X T 的无偏估计，令）（)(|)(E )(X S X X T ϕ=，则)(X T 也是)(θg 的无偏估计，且))((V ))((V X ar X T ar ϕ≤.证明：因为)(X S 是充分统计量，故）（)(|)(E )(X S X X T ϕ=与θ无关，)(X T 是统计量.易见[])(E )(|E E )(E θϕϕg X X S X X T ===））（（）（（）（而[]))((Var ))()((E ))((E ))()()((E ))()((E E )(E (X))Var(22222X T g X T X T X g X T X T X g X X X ≥-+-=-+-=-=-=θϕθϕθϕϕϕϕ）（）（））（（其中交叉项的乘积[][]{}[]{}0)(|))()((E ))()((E )(|))()())(()((E E ))()())(()((E =--=--=--X S X T X g X T X S g X T X T X g X T X T X ϕθθϕθϕ 证毕由证明可以看出，只要))((V ))((V ,))((V X ar X T ar X ar ϕϕθθθ=∞<则的充分必要条件是)()(X X T ϕ=，由此可见，恰当的使用充分统计量可以降低无偏估计的方差.问题是，什么样的充分统计量可以最大程度的降低方差，另外，这样得到的无偏估计是否是UMVUE 呢？下面的定理回答了这两个问题.定理：设)(X S 是{}Θθθ∈,p 的完备充分统计量，)(θg 为可估参数，则)(θg 的UMVUE 存在，它是)(X S 的函数且几乎处处意义下是唯一的. 证明：因为)(θg 是可估参数，故g U 非空，在g U 中取定）（X ϕ，令）（)(|)(E )(X S X X T ϕ=，则)(X T 是)(X S 的函数，由引理知，g U X T ∈)(，且))((V ))((V X ar X T ar ϕθθ≤.任取g U g ∈)(^θ，令，则）（)(|)(E )(^*X S X g X T =，则Θθ∈∀=-,0))()((E *X T X T而)(X T ，)(*X T 均是)(X S 的函数，由)(X S 的完备性知)()(*X T X T =.此即Θθ∈∀≤，))((V ))((V ^X g ar X T ar由此，从g U 中任一估计出发均可得到一个相同的)(X T ，该)(X T 是)(X S 的函数，它是)(θg 的唯一的UMVUE.证毕.例题由上述讨论，只要完备统计量存在，可估参数的UMVUE 一定存在.上述定理及其证明提供了两种求UMVUE 得方法.方法1：寻找完备充分统计量的函数使之成为)(θg 的无偏估计；方法2：任取)(θg 的一个无偏估计并将之对完备充分统计量求条件期望.例1 设n X X ，，⋯⋯1是来自10),,1(<<θθb ，的一个样本，由指数型分布族的性质知，∑=i X X S )(是完备充分统计量.（1）对θ，因为,))((E θn X S =因而，n X S X /)(=-是θ的无偏估计，从而也是θ的UMVUE.（2）对）为整数，（n k k g k n k ≤≤-+=-0)1()(θθθ.要直接找一个)(X S 的函数))((X S h 使之成为)(θg 的无偏估计是很困难的，但我们可以方便的找到)(θg 的一个无偏估计.令⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧==⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧==∑∑+==其它其它）（,00,1)(,0,11211nk i i ki i X X k X X ϕϕ令)()()(21X X X ϕϕϕ+=， 则kn k j i nk i i ki i i n k j X P k i X P X P k X P X -+==-+=⋯⋯+==+⋯⋯====+==∑∑)1(),1,0(),1,1()0()())((E 1θθϕ，， 可见）（X ϕ是)(θg 的一个无偏估计，由定理知))(|)((E X S X ϕ是)(θg 的UMVUE.余下只要就算出）（)(|)(E )(X S X X T ϕ=即可.记)(X S 取值为s ，当s k ≤时，⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛--=-⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫⎝⎛--⋅==-=======---=+=∑∑s n k s k n s n k s k n s X S P k s X k X P s X S X P s X S X s n s sn k s k ki nk i i i )1()1())((),())(|1)(())(|)((E 1111θθθθθϕϕ当s k >时，0))(|)((E 1==s X S X ϕ，同理s k ≥时，⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛=s n s k X S X ）（)(|)(E 2ϕ而s k <时，0))(|)((E 2==s X S X ϕ.因此，)(θg 的UMVUE 为⎪⎪⎪⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎧=⎪⎪⎭⎫ ⎝⎛>⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫⎝⎛<⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛--=sk s n sk s n s k sk s n k s k n X T ,2,,)(例2：某工厂的产品其废品率为θ，现将该产品包装成盒。

数理统计8：点估计的有效性、⼀致最⼩⽅差⽆偏估计（UMVUE）、零⽆偏估计法在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的⽆偏性与相合性。

然⽽，仅有这两个性质是不⾜的，⽆偏性只能保证统计量的均值与待估参数⼀致，却⽆法控制统计量可能偏离待估参数的程度；相合性只能在⼤样本下保证统计量到均值的收敛性，但却对⼩样本情形束⼿⽆策。

今天我们将注重于统计量的有效性，即⽆偏统计量的抽样分布的⽅差。

由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题：如何刻画⼀个统计量的有效程度？注意到，⼀个统计量的取值既可能⾼于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要⽤平⽅均衡这种双向偏差，因此，提出均⽅误差的概念：若ˆg(X)是g(θ)的估计量，则ˆg(X)的均⽅误差定义为MSE(ˆg(X))=E[ˆg(X)−g(θ)]2.对于确定的统计量ˆg(X)⽽⾔，MSE(ˆg(X))是θ的函数。

显然，⼀个统计量的均⽅误差越⼩，它就越在待估参数真值附近环绕，由此，⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。

如果对于g(θ)的两个估计量ˆg1(X)和ˆg2(X)，恒有MSE(ˆg1(X))≤MSE(ˆg2(X))，且严格不等号⾄少在某个θ处成⽴，就称ˆg1(X)在均⽅误差准则下优于ˆg2(X)。

如果我们能找到均⽅误差最⼩的统计量ˆg(X)，就相当于找到了均⽅误差准则下的最优统计量。

不过，均⽅误差是θ的函数，这就导致了某些统计量在θ=θ1时均⽅误差⼩，在θ=θ2时均⽅误差⼤，⼀致最⼩均⽅误差估计量便不存在，需要增加约束条件，找到更可能存在的“最优”。

基于此，我们提出⼀致最⼩⽅差⽆偏估计(UMVUE)的概念，它将g(θ)的估计量限制在了⽆偏估计之中，这使得UMVUE的存在可能性得以提⾼。

并且，由于E(ˆg(X))=g(θ)，所以MSE(ˆg(X))=E(ˆg(X)−g(θ))2=E[ˆg(X)−E(ˆg(X))]2=D(ˆg(X)),即⽆偏估计的均⽅误差就是⽆偏估计的⽅差。

6.3 最小方差无偏估计6.3.1 Rao-Blackwell 定理我们在例6.2.6和例6.2.7中分别比较了两个无偏估计的优劣,在这两个例子中,好的一个无偏估计都是充分统计量的函数,这不是偶然的,下面我们介绍这方面的有关结论.先从Rao-Blackwell 定理谈起.定理6.3.1 （Rao-Blackwell 定理）设X 和Y 是两个随机变量,()E X μ=,()0Var X >.我们用条件期望构造一个新的随机变量()Y ϕ,其定义为()(|),Y E X Y y ϕ==则有(),(())()E Y Var Y Var X ϕμϕ=≤其中等号成立的充分必要条件是X 和()Y ϕ几乎处处相等.证明：我们以X 和Y 都是连续型随机变量为例加以证明,设(,)p x y ,()Y p y ,(|)h x y 分别为X 和Y 的联合密度函数,Y 的边际密度函数和给定Y y =下X 的条件密度函数,于是条件期望()(,)()|(|),()Y xp x y dx y E X Y y xh x y dx p y ϕ====⎰⎰()()()(,),Y E Y y p y dy xp x y dxdy EX ϕϕμ====⎰⎰⎰这证明了第一个结论,下证第二个结论,我们将()Var X 写成如下形式：()()()()()()222()()()()()2()()Var X E X Y Y E X Y E Y E X Y Y ϕϕμϕϕμϕϕμ=-+-⎡⎤⎣⎦=-+-+-⋅-⎡⎤⎣⎦（6.3.1） 由于[]()(|)(|)()0,x y h x y dx E X Y y y ϕϕ-==-=⎰故(6.3.1)右端第三项为()()[][][][][][]{}()()()()(,)()()()(|)()()(|)()0Y YE X Y Y x y y p x y dxdy x y y p y h x y dxdy y x y h x y p y dyϕϕμϕϕμϕϕμϕμϕ--⎡⎤⎣⎦=--=--=--=⎰⎰⎰⎰⎰⎰而(6.3.1)右端第二项正是()Y ϕ的方差,由此即有()()2()()()Var X E X Y Var Y ϕϕ=-+ (6.3.2)由于上式右端第一项非负,这就证明了第二个结论.进一步,等号成立(即()()()Var X Var Y ϕ=）的充要条件为()()01P X Y ϕ-== （6.3.3）即X 与()Y ϕ几乎处处相等.将定理6.3.1应用到参数估计问题中可得到如下重要结论：定理 6.3.2 设总体概率密度函数是(,)p x θ,12,,,n x x x 是其样本,()1,,n T T x x = 是θ的充分统计量,则对θ的任一无偏估计()1ˆˆ,,nx x θθ= ,令()|E T θθ= ,则θ 也是θ的无偏估计,且()ˆ()Var Var θθ≤ （6.3.4） 证明：由于()1,,n T T x x = 是充分统计量,故而()|E T θθ= 与θ无关,因此它也是一个估计（统计量）,只要在定理6.3.1中取ˆX θ=,Y T =即可完成本定理的证明. 定理 6.3.2说明,如果无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可以得到一个新的无偏估计,该估计的方差比原来的估计的方差要小,从而降低了无偏估计的方差.换言之,考虑θ的估计问题只需要在基于充分统计量的函数中进行即可,该说法对所有的统计推断问题都是正确的,这便是所谓的充分性原则.例6.3.1 设12,,,n x x x 是来自(1,)b p 的样本,则x （或T nx =）是p 的充分统计量.为估计2p θ=,可令1211,1,1ˆ0,x x θ==⎧=⎨⎩其他由于112ˆE()(1,1)P x x p p θθ====⋅=, 所以1ˆθ是θ的无偏估计.这个估计并不好,它只使用了两个观测值,下面我们用Rao-Blackwell 定理对之加以改进：求1ˆθ关于充分统计量1ni i T x ==∑的条件期望,过程如下.()()()()()1121232ˆˆ|ˆ1|1,1,1,1,22(1)2(1)2(1),2(1)ni i t n tt n t E T tP T t P X X T t P T t P X X X t P T t n p p p p t n p p t n n t t t t n n θθθ=---==========⎛⎫===- ⎪⎝⎭==-⎛⎫⋅⋅- ⎪-⎝⎭=⎛⎫- ⎪⎝⎭-⎛⎫⎛⎫-==⎪ ⎪--⎝⎭⎝⎭∑ 其中1ni i t x ==∑.可以验证,ˆθ是θ的无偏估计,且()ˆ()Var Var θθ≤ .6.3.2 最小方差无偏估计定义6.3.1 对参数估计问题,设ˆθ是θ第一个无偏估计,如果对另外任意一个θ的无偏估计θ ,在参数空间Θ上都有()ˆ()Var Var θθ≤ （6.3.5） 则称ˆθ是θ的一致最小方差无偏估计,简记为UMVUE. 关于UMVUE,有如下一个判断准则.定理 6.3.3 设12,,,n X x x x = 是来自某总体的一个样本,ˆˆ()X θθ=是θ的一个无偏估计,ˆ()Var θ<+∞.如果对任意一个满足(())0E X ϕ=的()X ϕ,都有 ˆ(,)0,Cov θϕθ=∀∈Θ （6.3.6） 则ˆθ是θ的UMVUE.证明 对θ的任意一个无偏估计θ,令ˆϕθθ=- ,则 ˆ()()()0E E E ϕθθ=-= 于是222ˆ()()ˆˆ()()ˆˆ()()2(,)ˆ().Var E E E Var Cov Var θθθθθθθϕθϕθθ=-⎡⎤=-+-⎣⎦=++≥定理得证.例 6.3.2 设12,,,n x x x 是来自指数分布(1/)Exp θ的样本,则根据因子分解定理可知,1n T x x =++ 是θ的充分统计量,由于ET nθ=,所以x T n =是θ的无偏估计.设()1,,n x x ϕϕ= 是0的任一无偏估计,则()/110011(),,0i nx n n i E T x x e dx dx θϕϕθ+∞+∞-=⎧⎫=⋅⋅=⎨⎬⎩⎭∏⎰⎰即()1()/110,,0n x x n n x x e dx dx θϕ+∞+∞-++⋅=⎰⎰两端对θ求导,得()1()/112,,0nx x n n nxx x e dx dx θϕθ+∞+∞-++⋅=⎰⎰这说明()0E x ϕ⋅=,从而(,)()()()0Cov x E x E x E ϕϕϕ=⋅-=由定理6.3.3,x 是θ的UMVUE.6.3.3 Cramer-Rao 不等式我们在定理6.3.5中将指出,最大似然估计的渐进方差主要由费希尔信息量()I θ决定,本节先介绍()I θ,然后讲述Cramer-Rao 不等式,有时它可用来判断UMVUE. 定义6.3.2 设总体的概率函数(,),p x θθ∈Θ满足下列条件：(1) 参数空间Θ是直线上的一个开区间； (2) 支撑{}:(;)0S x p x θ=>与θ无关； (3) 导数(;)p x θθ∂∂对一切θ∈Θ都存在； (4) 对(,)p x θ,积分和微分运算可交换次序,即(;)(;)p x dx p x dx θθθθ+∞+∞-∞-∞∂∂=∂∂⎰⎰(5) 期望2ln (;)E p x θθ∂⎡⎤⎢⎥∂⎣⎦存在,则称 2()(;)I E p x θθθ∂⎡⎤=⎢⎥∂⎣⎦(6.3.7)为总体分布的费希尔（Fisher ）信息量.费希尔信息量是数理统计学中的一个基本概念,很多的统计结果都与费希尔信息量有关.如最大似然估计的渐进方差,无偏估计的方差的下界等都与费希尔信息量()I θ有关.()I θ的种种性质显示,“()I θ 越大”可被解释为总体分布中包含未知参数θ的信息就越多. 例 6.3.3 设总体为泊松分布()P λ分布,其分布列为(;),0,1,!xp x e x x λλλ-==可以看出定义6.3.2的条件满足,且ln (;)ln ln(!)p x x x λλλ=--,ln (;)1x p x λλλ∂=-∂ 于是21()X I E λλλλ-⎛⎫== ⎪⎝⎭例 6.3.4 设总体为指数分布,其密度函数为1(,)exp ,0,0x p x x θθθθ⎧⎫=->>⎨⎬⎩⎭可以验证定义6.3.2的条件满足,且221ln (;)x x p x θθθθθθ∂-=-=-∂ 于是2242()1()x Var x I E θθθθθ-⎛⎫=== ⎪⎝⎭定理 6.3.4（Cramer-Rao 不等式）设定义6.3.2的条件满足,12,,,n x x x 是来自该总体的样本,()1,,n T T x x = 是()g θ的任一个无偏估计,()'()g g θθθ∂=∂存在,且对Θ中一切θ,对 ()111(),,(,)nn i n i g T x x p x dx dx θθ+∞+∞-∞-∞==⋅∏⎰⎰的微分可在积分号下进行,即()()1111111'(),,(,),,ln (,)(;)n n i ni nnn i i ni i g T x x p x dx dx T x x p x p x dx dx θθθθθθ+∞+∞-∞-∞=+∞+∞-∞-∞==∂⎛⎫=⋅ ⎪∂⎝⎭⎡⎤∂⎛⎫=⋅⎢⎥ ⎪∂⎝⎭⎣⎦∏⎰⎰∏∏⎰⎰ （6.3.8）对离散总体,则将上述积分改为求和符号后,等式仍然成立.则有[]2()'()()Var T g nI θθ≥ （6.3.9）（6.3.9）称为克拉美-罗(C-R)不等式,[]2'()()g nI θθ称为()g θ的无偏估计的方差的C-R下界,简称()g θ的C-R 下界.特别,对θ的无偏估计ˆθ,有()1ˆ()()Var nI θθ-≥. 证明 以连续总体为例加以证明.由(;),1,,i i p x dx i n θ+∞-∞=⎰两边对θ求导,由于积分与微分可交换次序,于是有0(;)ln (;)(;)ln (;)i i i p x dx p x p x dxE p x θθθθθθθ+∞+∞-∞-∞∂∂⎡⎤==⎢⎥∂∂⎣⎦∂⎡⎤=⎢⎥∂⎣⎦⎰⎰记11ln (;)ln (;)n n i i Z p x p x θθθθ==∂∂==∂∂∑∏,则1ln (;)0ni i EZ E p x θθ=∂⎡⎤==⎢⎥∂⎣⎦∑,从而2211()()ln (;)ln (;)()nn i i i i E Z Var Z Var p x E p x nI θθθθθ==∂∂⎛⎫⎛⎫==== ⎪ ⎪∂∂⎝⎭⎝⎭∑∑ （6.3.10）又由6.3.8'()()((()))g E T Z E T g Z θθ=⋅=-⋅,据施瓦茨不等式,有[]()()()222'()(()g E T g E Z Var T Var Z θθ⎡⎤≤-⋅=⎣⎦由此,6.3.9中等号成立,则称()1,,n T T x x = 是()g θ的有效估计,有效估计一定是UMVUE.例6.3.5 设总体分布列为1(;)(1),0,1x xp x x θθθ-=-=它满足定义6.3.2的所有条件,可以算的该分部的费希尔信息量为1()(1)I θθθ=-,若1,,n x x 是该总体的样本,则θ的C-R 下界为()1()(1)/nI n θθθ-=-,达到了C-R 下界所以,x 是θ的有效估计,它也是θ的UMVUE.例6.3.6 设总体为指数分布(1/)Exp θ,它满足定义6.3.2的所有条件,例6.3.4中已经算出该分布的费希尔信息量为2()I θθ-=,若1,,n x x 是样本,则θ的C-R 下界为()12()/nI n θθ-=.而11n i i x x n ==∑是θ的无偏估计,且其方差等于2/n θ,达到了C-R 下界,所以x 是θ的有效估计,它也是θ的UMVUE.应该指出,能达到C-R 下界的无偏估计（如上两例）并不多,大多数场合无偏估计都达不到其C-R 下界,下面是这样的一个例子.例 6.3.7 设总体为正态分布2(0,)N σ,它满足定义6.3.2的所有条件,下面计算它的费希尔信息量.由于()21/2222(;)2exp 2x p x σπσσ-⎧⎫=-⎨⎬⎩⎭,注意到222~(1)x χσ,故()222222422244()ln (;)1221/412I E p x x E Var x σσσσσσσσ∂⎡⎤=⎢⎥∂⎣⎦⎡⎤=-⎢⎥⎣⎦==令2()g σσ==则σ的C-R 下界为[]()222224'()1/(2)()2/2g nI nn σσσσσ⎡⎤⎣⎦== σ的无偏估计（参见例6.2.5）为ˆσ=可以证明,这是σ的UMVUE.且其方差大于C-R 下界.这表明所有的σ的无偏估计的方差都大于其C-R 下界.费希尔信息量的另一个主要作用体现在最大似然估计.下面我们不加证明地给出关于最大似然估计的渐进正态性的结论.定理6.3.5 设总体X 有密度函数(;)p x θ,θ∈Θ,Θ为非退化区间,假定(1) 对任意的x ,偏导数对所有θ∈Θ都存在； (2) θ∀∈Θ,有1(),p F x θ∂<∂ 222(),p F x θ∂<∂ 333()pF x θ∂<∂ 其中函数1()F x ,2()F x ,3()F x 满足1()F x dx +∞-∞<+∞⎰,2()F x dx +∞-∞<+∞⎰3()(;)Sup F x p x dx θθ+∞∈Θ-∞<+∞⎰(3) θ∀∈Θ,2ln 0()(;)p I p x dx θθθ+∞-∞∂⎛⎫<≡<+∞ ⎪∂⎝⎭⎰. 若1,,n x x 是来自该总体的样本,则存在未知参数θ的最大似然估计()1ˆˆ,,n n n x x θθ= ,且ˆnθ具有相合性和渐进正态性,1ˆ~,()n N nI θθθ⎛⎫⎪⎝⎭. 定理6.3.5表明,最大似然估计通常是渐进正态的,且其渐进方差()12()()n nI σθθ-=有一个统一的形式,主要依赖于费希尔信息量.例 6.3.8 设1,,n x x 是来自2(,)N μσ的样本,可以验证该总体分布在已知或者μ已知时均满足定理6.3.5的三个条件.(1) 在2σ已知时,μ的MLE 为ˆx μ=,由定理6.3.5知ˆμ,服从渐进正态分布,下面求()I μ.()2221ln ()ln 22x p x μσσ-=--2ln p x μμσ∂-=∂ 2221()x I E μμσσ-⎛⎫== ⎪⎝⎭从而有.2ˆ~(,/)N n μμσ,该近似分布与ˆμ的精确分布相同. (2) 在μ已知时,2σ的MLE 为2211ˆ()ni i x n σμ==-∑,下求()2I σ. 2222244ln 11()()222p x x μσμσσσσ∂--=-+-=∂()()()()222282844142E X I VarX μσσσμσσ⎡⎤--⎣⎦=-==从而有.224ˆ~(,2/)N n σσσ.。

ls定理 umvueUMVUE（Uniformly Minimum Variance Unbiased Estimator）是指在所有无偏估计量中方差最小的估计量。

UMVUE是统计学中一个重要的概念，它具有很高的实用性和理论价值。

本文将围绕UMVUE展开讨论，介绍其定义、特性以及在实际问题中的应用。

一、UMVUE的定义UMVUE是指在所有无偏估计量中方差最小的估计量。

为了更好地理解UMVUE的概念，我们先来了解一下无偏估计量的定义。

无偏估计量是指估计量的期望值等于被估计参数的真实值。

无偏估计量的定义表明其在大样本情况下具有较好的性质，但并不保证方差最小。

而UMVUE则在所有无偏估计量中选取方差最小的作为估计量，使得估计结果更加精确和可靠。

二、UMVUE的特性UMVUE具有以下几个重要的特性：1. UMVUE是无偏估计量：UMVUE的定义要求其是无偏估计量，即其期望值等于被估计参数的真实值。

2. UMVUE是唯一的：在一定条件下，UMVUE是唯一的，即不存在其他无偏估计量的方差更小。

3. UMVUE的方差最小：UMVUE是所有无偏估计量中方差最小的估计量，因此具有较好的精确性和可靠性。

4. UMVUE的有效性：UMVUE在大样本情况下具有较好的有效性，即方差较小。

三、UMVUE的应用UMVUE在实际问题中有着广泛的应用，下面我们将介绍一些常见的应用场景。

1. 参数估计：UMVUE常用于对参数的估计，例如正态分布的均值和方差的估计等。

在参数估计中，UMVUE可以提供较为准确的估计结果。

2. 假设检验：UMVUE在假设检验中也有重要的应用。

例如，利用UMVUE可以进行对总体均值、总体方差等参数的假设检验。

3. 回归分析：在回归分析中，UMVUE可以用于对回归系数的估计。

通过选择UMVUE作为估计量，可以使得回归模型的拟合效果更好。

4. 变量选择：UMVUE还可以用于变量选择。

在变量选择中，通过选择UMVUE可以排除掉冗余的变量，提高模型的解释能力。

在数理统计中，UMVUE（最小方差无偏估计量）是一种非常重要的概念，它描述的是一种最优的统计量，即具有最小方差的无偏估计量。

UMVUE在很多统计推断问题中都有广泛的应用，例如线性回归模型的参数估计、方差分量估计等等。

要找到UMVUE，我们需要满足两个条件：无偏性和最小方差性。

无偏性意味着估计量的期望值等于参数的真实值，而最小方差性则要求估计量的方差达到所有无偏估计量中的最小值。

具体来说，假设我们要估计一个参数θ，一个无偏估计量是所有可能的估计量中的一个，如果它的期望值等于参数的真实值，即E(θ^)=θ。

而UMVUE则是所有无偏估计量中方差最小的那个。

对于一些特定的分布，UMVUE是已知的，例如正态分布的均值和方差的UMVUE分别是样本均值和样本方差。

然而，对于更一般的分布，找到UMVUE通常是一个复杂的问题，可能需要使用优化算法或者数值计算方法来解决。

在实践中，我们通常会使用一些常见的估计量作为UMVUE的近似值，例如在回归模型中，我们通常使用普通最小二乘估计量作为参数的估计值，这个估计量是线性无偏的，并且在大多数情况下具有相对较小的方差。