最小方差无偏估计

第三章估计理论什么是“估计”？通俗解释：对事物做大致的判断专业解释：通过一定的技术手段获得关于被估计事件、参数、过程的相关信息，再对这些信息进行加工、处理获得结果的过程。

3.1引言3.1 引言根据研究对象的不同估计分为二种参量估计：被估计的对象是随机变量或非随机的未知量波形估计：被估计的对象是随机过程或非随机的未知过程 信号参量估计理论与信号参量估计相关的理论最佳估计一定准则下的“最好”估计应用领域通信系统、雷达系统、语音、图像处理、自动控制3.1.2 估计量的性质质假设得到N 个观测样本数据为：为待估计参量，[][]0,1,,1x n w n n N θ=+=−…式中，是观测噪声。

θ[]w n 估计的任务就是利用观测样本数据构造估计量,获得估计量后，通常需要对的质量进行评价,这就需要研[]x n θθθ究估计量的主要性质。

估计量也是一个随机变量，具有均值和方差等统计特征，可以利用其统计特征对估计量的性质进行评价。

评价 θ指标包括：无偏性、一致性、充分性和有效性。

1、无偏性非随机参量随机参量ˆˆθθ无偏估计渐进无偏估计()E θθ=()()E E θ=ˆlim ()N E θθ→∞=ˆlim ()()N E E θθ→∞=如果上式不满足，则是一个有偏估计 θ定义为估计量的偏估计量的无偏性保证估计量分布在参量真值附近，是衡量()()b E θθθ=−估计量性能优劣的重要指标。

然而，一个估计量是无偏的不能确保就是好的估计量，它仅能保证估值的均值近似真值。

2、一致性可以通过增加观测样本数据来减少估计量的估计误差，具有这种性质的估计称为一致估计。

简单一致性：ˆlim (||)1N P θθδ→∞−<=均方一致性：2ˆlim [()]0N E θθ→∞−= •定义估计误差，对无偏估计，误差的方差为222−εθθ=−在同时满足无偏性、均方一致性的条件下，随着观测样本()()()()Var E b E εεθε==数的增加，估计误差的方差将减小并趋于零。

最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。

定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。

如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。

2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。

θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。

()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。

例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。

求最小方差无偏估计。

解：首先找一个无偏估计，很显然是无偏。

1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。

1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。

一致最小方差无偏估计的判断一致最小方差无偏估计（Uniform Minimum Variance Unbiased Estimator, UMVUE）是统计学中一种重要的估计方法。

它在许多实际问题中具有广泛应用，可以有效地对未知参数进行估计，并且满足无偏性和方差最小的要求。

UMVUE的判断需要满足以下几个要素。

首先，一个无偏估计是指估计量的期望值与真实参数值相等。

也就是说，对于任意一个未知参数θ，UMVUE的期望值应该恰好等于θ。

无偏性是估计方法的一个重要性质，它确保了估计结果的准确性和可靠性。

一般来说，UMVUE的无偏性是通过数学推导和证明得出的，具有较高的可信度。

其次，UMVUE还要求具有最小的方差。

方差是对估计量精确性的度量，方差越小，估计结果越准确。

UMVUE的方差要比其他估计方法的方差小，这意味着UMVUE相对于其他估计方法更具优越性。

通过比较不同估计方法的方差，可以选择出UMVUE，从而得到更准确的估计结果。

UMVUE的判断还需要满足一致性的要求。

一致性是指当样本容量逐渐增大时，估计结果逐渐接近真实参数值。

UMVUE在大样本情况下应该是一致的，即当样本容量趋于无穷大时，UMVUE将趋于真实参数值。

这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。

判断一个估计方法是否为UMVUE，一般需要通过数学推导和证明进行验证。

然而，在实际应用中，我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。

一般来说，如果一个估计方法已经被证明是无偏的，并且在方差上具有较小的表现，那么它很可能是一个UMVUE。

UMVUE作为一种重要的估计方法，为我们解决实际问题提供了有力的工具。

它不仅可以提供准确可靠的估计结果，还能够为我们提供关于未知参数的更多信息。

在统计建模、实验设计、市场调研等领域，UMVUE的应用非常广泛。

它能够帮助我们更好地了解事物的本质和规律，为决策和预测提供科学的依据。

总之，UMVUE是一种重要的统计估计方法，具有无偏性、最小方差和一致性的特点。