第三节一致最小方差无偏估计.

数理统计8：点估计的有效性、⼀致最⼩⽅差⽆偏估计（UMVUE）、零⽆偏估计法在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的⽆偏性与相合性。

然⽽，仅有这两个性质是不⾜的，⽆偏性只能保证统计量的均值与待估参数⼀致，却⽆法控制统计量可能偏离待估参数的程度；相合性只能在⼤样本下保证统计量到均值的收敛性，但却对⼩样本情形束⼿⽆策。

今天我们将注重于统计量的有效性，即⽆偏统计量的抽样分布的⽅差。

由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题：如何刻画⼀个统计量的有效程度？注意到，⼀个统计量的取值既可能⾼于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要⽤平⽅均衡这种双向偏差，因此，提出均⽅误差的概念：若\hat g(\boldsymbol{X})是g(\theta)的估计量，则\hat g(\boldsymbol{X})的均⽅误差定义为\mathrm{MSE}(\hat g(\boldsymbol{X}))= \mathbb{E}[\hat g(\boldsymbol{X})-g(\theta)]^2.对于确定的统计量\hat g(\boldsymbol{X})⽽⾔，\mathrm{MSE}(\hat g(\boldsymbol{X}))是\theta的函数。

显然，⼀个统计量的均⽅误差越⼩，它就越在待估参数真值附近环绕，由此，⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。

如果对于g(\theta)的两个估计量\hat g_1(\boldsymbol{X})和\hat g_2(\boldsymbol{X})，恒有\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hatg_2(\boldsymbol{X}))，且严格不等号⾄少在某个\theta处成⽴，就称\hat g_1(\boldsymbol{X})在均⽅误差准则下优于\hat g_2(\boldsymbol{X})。

一致最小方差无偏估计设)(θg 为可估参数，我们把)(θg 的所有无偏估计组成的类记为g U . 定义：设)(θg 是可估参数，如果)(X T 是)(θg 的无偏估计，且对g U 中的任一估计量）（X ϕ，有Θθϕθθ∈∀≤)),((V ))((V X ar X T ar则称)(X T 是)(θg 的一致最小方差无偏估计（Uniformly Minimum Variance Unbiased Estimate ），简记为UMVUE 。

引理：设)(X S 是分布族{}Θθθ∈,p 的充分统计量，）（X ϕ是)(X T 的无偏估计，令）（)(|)(E )(X S X X T ϕ=，则)(X T 也是)(θg 的无偏估计，且))((V ))((V X ar X T ar ϕ≤.证明：因为)(X S 是充分统计量，故）（)(|)(E )(X S X X T ϕ=与θ无关，)(X T 是统计量.易见[])(E )(|E E )(E θϕϕg X X S X X T ===））（（）（（）（而[]))((Var ))()((E ))((E ))()()((E ))()((E E )(E (X))Var(22222X T g X T X T X g X T X T X g X X X ≥-+-=-+-=-=-=θϕθϕθϕϕϕϕ）（）（））（（其中交叉项的乘积[][]{}[]{}0)(|))()((E ))()((E )(|))()())(()((E E ))()())(()((E =--=--=--X S X T X g X T X S g X T X T X g X T X T X ϕθθϕθϕ 证毕由证明可以看出，只要))((V ))((V ,))((V X ar X T ar X ar ϕϕθθθ=∞<则的充分必要条件是)()(X X T ϕ=，由此可见，恰当的使用充分统计量可以降低无偏估计的方差.问题是，什么样的充分统计量可以最大程度的降低方差，另外，这样得到的无偏估计是否是UMVUE 呢？下面的定理回答了这两个问题.定理：设)(X S 是{}Θθθ∈,p 的完备充分统计量，)(θg 为可估参数，则)(θg 的UMVUE 存在，它是)(X S 的函数且几乎处处意义下是唯一的. 证明：因为)(θg 是可估参数，故g U 非空，在g U 中取定）（X ϕ，令）（)(|)(E )(X S X X T ϕ=，则)(X T 是)(X S 的函数，由引理知，g U X T ∈)(，且))((V ))((V X ar X T ar ϕθθ≤.任取g U g ∈)(^θ，令，则）（)(|)(E )(^*X S X g X T =，则Θθ∈∀=-,0))()((E *X T X T而)(X T ，)(*X T 均是)(X S 的函数，由)(X S 的完备性知)()(*X T X T =.此即Θθ∈∀≤，))((V ))((V ^X g ar X T ar由此，从g U 中任一估计出发均可得到一个相同的)(X T ，该)(X T 是)(X S 的函数，它是)(θg 的唯一的UMVUE.证毕.例题由上述讨论，只要完备统计量存在，可估参数的UMVUE 一定存在.上述定理及其证明提供了两种求UMVUE 得方法.方法1：寻找完备充分统计量的函数使之成为)(θg 的无偏估计；方法2：任取)(θg 的一个无偏估计并将之对完备充分统计量求条件期望.例1 设n X X ，，⋯⋯1是来自10),,1(<<θθb ，的一个样本，由指数型分布族的性质知，∑=i X X S )(是完备充分统计量.（1）对θ，因为,))((E θn X S =因而，n X S X /)(=-是θ的无偏估计，从而也是θ的UMVUE.（2）对）为整数，（n k k g k n k ≤≤-+=-0)1()(θθθ.要直接找一个)(X S 的函数))((X S h 使之成为)(θg 的无偏估计是很困难的，但我们可以方便的找到)(θg 的一个无偏估计.令⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧==⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧==∑∑+==其它其它）（,00,1)(,0,11211nk i i ki i X X k X X ϕϕ令)()()(21X X X ϕϕϕ+=， 则kn k j i nk i i ki i i n k j X P k i X P X P k X P X -+==-+=⋯⋯+==+⋯⋯====+==∑∑)1(),1,0(),1,1()0()())((E 1θθϕ，， 可见）（X ϕ是)(θg 的一个无偏估计，由定理知))(|)((E X S X ϕ是)(θg 的UMVUE.余下只要就算出）（)(|)(E )(X S X X T ϕ=即可.记)(X S 取值为s ，当s k ≤时，⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛--=-⎪⎪⎭⎫ ⎝⎛-⎪⎪⎭⎫⎝⎛--⋅==-=======---=+=∑∑s n k s k n s n k s k n s X S P k s X k X P s X S X P s X S X s n s sn k s k ki nk i i i )1()1())((),())(|1)(())(|)((E 1111θθθθθϕϕ当s k >时，0))(|)((E 1==s X S X ϕ，同理s k ≥时，⎪⎪⎭⎫⎝⎛⎪⎪⎭⎫ ⎝⎛=s n s k X S X ）（)(|)(E 2ϕ而s k <时，0))(|)((E 2==s X S X ϕ.因此，)(θg 的UMVUE 为⎪⎪⎪⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎪⎪⎪⎨⎧=⎪⎪⎭⎫ ⎝⎛>⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫⎝⎛<⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛--=sk s n sk s n s k sk s n k s k n X T ,2,,)(例2：某工厂的产品其废品率为θ，现将该产品包装成盒。

如何选择有效估计和一致最小方差无偏估计在统计学中，估计是一项常见的任务。

估计是用样本数据来推断
一个或多个总体参数的过程。

通常需要比较不同的估计方法，以选择
最好的估计方法。

本文将介绍有效估计和一致最小方差无偏估计的定义、特点和使用方法。

1. 有效估计
有效估计是指一个估计方法产生的估计值的方差最小。

方差是估
计误差的度量，估计误差是真实参数值与估计值之差的绝对值。

因此，方差越小，估计误差越小。

有效估计被广泛用于无偏估计和最小方差
无偏估计的选择。

2. 一致最小方差无偏估计
一致最小方差无偏估计是指估计值与参数真值的差别尽可能小，
而方差也保持尽可能小。

一般而言，一致最小方差无偏估计需要满足
以下条件：
① 无偏性：估计值的期望值等于真实参数值；
② 一致性：随着样本量增加，估计值接近于真实参数值；
③ 最小方差性：估计值方差最小。

3. 如何选择估计方法
当我们需要选择估计方法时，我们需要考虑估计方法的特点和适用场景。

任何估计方法没有绝对优劣，它们的优缺点和适用条件都需要考虑。

对于无偏估计和最小方差无偏估计，我们应该选择有效估计和一致最小方差无偏估计。

如果数据分布不确定，我们可以使用参数估计法进行估计。

4. 总结
在统计学中，估计是一项重要的任务，我们可以利用不同的估计方法进行不同的推断。

有效估计和一致最小方差无偏估计是常见的估计方法，在选择估计方法时，我们需要考虑估计方法的特点和适用场景。

最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。

定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。

如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。

2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。

θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。

()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。

例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。

求最小方差无偏估计。

解：首先找一个无偏估计，很显然是无偏。

1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。

1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。

一致最小方差无偏估计的判断一致最小方差无偏估计（Uniform Minimum Variance Unbiased Estimator, UMVUE）是统计学中一种重要的估计方法。

它在许多实际问题中具有广泛应用，可以有效地对未知参数进行估计，并且满足无偏性和方差最小的要求。

UMVUE的判断需要满足以下几个要素。

首先，一个无偏估计是指估计量的期望值与真实参数值相等。

也就是说，对于任意一个未知参数θ，UMVUE的期望值应该恰好等于θ。

无偏性是估计方法的一个重要性质，它确保了估计结果的准确性和可靠性。

一般来说，UMVUE的无偏性是通过数学推导和证明得出的，具有较高的可信度。

其次，UMVUE还要求具有最小的方差。

方差是对估计量精确性的度量，方差越小，估计结果越准确。

UMVUE的方差要比其他估计方法的方差小，这意味着UMVUE相对于其他估计方法更具优越性。

通过比较不同估计方法的方差，可以选择出UMVUE，从而得到更准确的估计结果。

UMVUE的判断还需要满足一致性的要求。

一致性是指当样本容量逐渐增大时，估计结果逐渐接近真实参数值。

UMVUE在大样本情况下应该是一致的，即当样本容量趋于无穷大时，UMVUE将趋于真实参数值。

这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。

判断一个估计方法是否为UMVUE，一般需要通过数学推导和证明进行验证。

然而，在实际应用中，我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。

一般来说，如果一个估计方法已经被证明是无偏的，并且在方差上具有较小的表现，那么它很可能是一个UMVUE。

UMVUE作为一种重要的估计方法，为我们解决实际问题提供了有力的工具。

它不仅可以提供准确可靠的估计结果，还能够为我们提供关于未知参数的更多信息。

在统计建模、实验设计、市场调研等领域，UMVUE的应用非常广泛。

它能够帮助我们更好地了解事物的本质和规律，为决策和预测提供科学的依据。

总之，UMVUE是一种重要的统计估计方法，具有无偏性、最小方差和一致性的特点。

最小方差无偏估计量
最小方差无偏估计量是一种最有效的估计量，它能够有效地减少变量的变异性和误差，并提供较低的偏差。

它在统计学，机器学习和其他数据分析领域都具有重要意义。

MVUE诞生于20世纪70年代，由MarkLee发明，据说它是由卡斯梅尔比例采样而获得的，因此也被称为“卡斯梅尔估计”。

它的目的是确定一个量值，使得估计量在平均意义上偏离最小。

MVUE的定义可以理解为：“均方根偏差（RMSE）最小的评估量，它所产生的偏差无偏”。

它是一个非常强大的估计量，它能够有效地减少数据的变异性和误差，找到最能够描述样本的量值。

MVUE有许多优点：例如，它不受数据的偏性影响；它有极大的信度及准确度；它能够有效地降低RMSE，并提供最低的偏差；另外它还消除了可能存在的任何不一致性。

MVUE被广泛应用于许多领域，例如它可以用于估计总体的均值和方差，也可以用于估计函数的极值，如此等等。

它被广泛用于机器学习中的参数估计和特征选择，也被用于估计统计量，如相关系数和卡方检验，等等。

总之，最小方差无偏估计量是一种强大且有效的估计量，可以有效地减少数据的变异性和误差，并提供较低的偏差，它在统计学，机器学习和其他数据分析领域都具有重要意义。