下载文档原格式
数理统计8：点估计的有效性、⼀致最⼩⽅差⽆偏估计（UMVUE）、零⽆偏估计法在之前的学习中，主要基于充分统计量给出点估计，并且注重于点估计的⽆偏性与相合性。
然⽽，仅有这两个性质是不⾜的，⽆偏性只能保证统计量的均值与待估参数⼀致，却⽆法控制统计量可能偏离待估参数的程度；相合性只能在⼤样本下保证统计量到均值的收敛性，但却对⼩样本情形束⼿⽆策。
今天我们将注重于统计量的有效性，即⽆偏统计量的抽样分布的⽅差。
由于本系列为我独⾃完成的，缺少审阅，如果有任何错误，欢迎在评论区中指出，谢谢！⽬录Part 1：⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题：如何刻画⼀个统计量的有效程度？注意到，⼀个统计量的取值既可能⾼于待估参数，亦可能低于待估参数，要综合考虑统计量对待估参数误差，需要⽤平⽅均衡这种双向偏差，因此，提出均⽅误差的概念：若\hat g(\boldsymbol{X})是g(\theta)的估计量，则\hat g(\boldsymbol{X})的均⽅误差定义为\mathrm{MSE}(\hat g(\boldsymbol{X}))= \mathbb{E}[\hat g(\boldsymbol{X})-g(\theta)]^2.对于确定的统计量\hat g(\boldsymbol{X})⽽⾔，\mathrm{MSE}(\hat g(\boldsymbol{X}))是\theta的函数。
显然，⼀个统计量的均⽅误差越⼩，它就越在待估参数真值附近环绕，由此，⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。
如果对于g(\theta)的两个估计量\hat g_1(\boldsymbol{X})和\hat g_2(\boldsymbol{X})，恒有\mathrm{MSE}(\hat g_1(\boldsymbol{X}))\le \mathrm{MSE}(\hatg_2(\boldsymbol{X}))，且严格不等号⾄少在某个\theta处成⽴，就称\hat g_1(\boldsymbol{X})在均⽅误差准则下优于\hat g_2(\boldsymbol{X})。
参数估计量的评价标准参数估计是统计分析中的一个重要部分，它用于估计总体参数并对其进行推断。
在实际应用中，评价参数估计量的好坏对于研究和应用都具有重要意义。
为此，我们需要建立一套合理的评价标准。
一、偏差性评价1.1 无偏性：参数估计量的期望值应当等于真实总体参数值。
评价标准可采用期望偏差进行度量。
1.2 一致性：当样本容量趋于无穷时，参数估计量应当收敛于总体参数。
拟采用渐进性质进行评价。
1.3 偏差估计：对于系数的偏差，可以采用均方误差进行评价；对于偏见，可以采用自助法进行辨认。
1.4 偏差方差均衡：参数估计量应当在偏差和方差之间取得平衡，以实现对总体参数的有效估计。
二、效率性评价2.1 方差：参数估计量的方差应当尽可能小，以提高其精确性。
采用方差和标准差进行评价。
2.2 最小方差无偏估计：寻找最小方差无偏估计可作为评价标准，以使得估计的方差最小。
2.3 Cramer-Rao下界：在一定条件下，Cramer-Rao下界可作为评价参数估计量效率的标准。
2.4 均方误差：参数估计量的均方误差应尽可能小，以确保估计量的稳定性。
采用均方误差进行评价。
三、鲁棒性评价3.1 鲁棒性：对于异常值或离群值应有一定的容忍度，避免该值对估计结果的影响过大。
3.2 高效性：对于不同总体分布和样本容量，估计量应有一定的适用性，以保证其高效性。
3.3 高效抗干扰性：对于干扰值的处理应当尽可能减小估计结果的波动，以保证估计量的可靠性。
3.4 稳定性评价：在不同条件下，参数估计量是否具有稳定性是对其鲁棒性的重要评价标准。
四、信息熵评价4.1 信息量的相关性：估计参数量应具有较高的信息量，能够较好地反映总体参数的特征。
4.2 信息增益：参数估计量对于信息的增益应大于或等于0，以确保其估计结果有意义。
4.3 信息熵与估计效果的关系：信息熵的大小与估计结果的准确度应呈正相关的关系。
4.4 信息效用评价：对于样本容量的不同和信息量的不同，参数估计量应有一定的信息效用。
最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。
定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。
如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。
2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。
θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。
()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。
例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。
求最小方差无偏估计。
解：首先找一个无偏估计，很显然是无偏。
1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。
1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。
第三章估计理论
什么是“估计”？
通俗解释：对事物做大致的判断
专业解释：通过一定的技术手段获得关于被估计事件、参数、过程的相关信息，再对这些信
息进行加工、处理获得结果的过程。
3.1引言
3.1 引言
根据研究对象的不同估计分为二种
参量估计：被估计的对象是随机变量或非随机的未知量
波形估计：被估计的对象是随机过程或非随机的未知过程 信号参量估计理论
与信号参量估计相关的理论
最佳估计
一定准则下的“最好”估计
应用领域
通信系统、雷达系统、语音、图像处理、自动控制
3.1.2 估计量的性质质
假设得到N 个观测样本数据为：
为待估计参量，[][]0,1,,1
x n w n n N θ=+=−…式中，是观测噪声。
θ[]w n 估计的任务就是利用观测样本数据构造估计量,获得估计量后，通常需要对的质量进行评价,这就需要研[]x n θ
θ
θ究估计量的主要性质。
估计量也是一个随机变量，具有均值和方差等统计特征，可以利用其统计特征对估计量的性质进行评价。
评价 θ
指标包括：无偏性、一致性、充分性和有效性。
1、无偏性
非随机参量随机参量ˆˆθθ
无偏估计
渐进无偏估计()E θθ=()()E E θ=ˆlim ()N E θθ→∞=ˆlim ()()N E E θ
θ→∞=如果上式不满足，则是一个有偏估计 θ
定义
为估计量的偏估计量的无偏性保证估计量分布在参量真值附近，是衡量()()b E θθθ=−估计量性能优劣的重要指标。
然而，一个估计量是无偏的不能确保就是好的估计量，它仅能保证估值的均值近似真值。
2、一致性
可以通过增加观测样本数据来减少估计量的估计误差，具有这种性质的估计称为一致估计。
简单一致性：
ˆlim (||)1N P θθδ→∞−<=均方一致性：2ˆlim [()]0N E θ
θ→∞
−= •定义估计误差，对无偏估计，误差的方差为
222−εθθ=−在同时满足无偏性、均方一致性的条件下，随着观测样本()()()()
Var E b E εεθε==数的增加，估计误差的方差将减小并趋于零。
3、充分性
设待估计参量的估计量为，为N ˆ()θx [][0][1]...[1]T x x x N =−x 维观测矢量。
如果概率密度函数可以分解成如下形式
ˆ(|)(()|)()p p h θθ
θ=x x x (|)p θx 式中，且与无关。
则称是一个充分统计量。
()0h ≥x θˆ()θx x 充分统计量的意义在于：它体现了包含在观测样本数据中有关参量的全部有用信息，再没有其他估计量能够提供中有关θ更多关于观测样本数据的有用信息了。
θx
4、有效性
对于无偏估计量，如果估计量的方差越小，则它偏离待估计参量就越小，即它取其均值附近数值的概率就越大，该估计量就越好。
因此，希望估计量的方差尽可能地小。
克拉美罗下限为估计误差的方差确定了一个下限，不可能获得比它还小的方差。
对于方差达到克拉美罗下界的无偏估计，称为有效估计。
因此，具有无偏性且方差达到克拉美‐罗下限的估计量是有效估计量。
3.2 最小方差无偏估计
在寻求最优估计量中，首先需要确定的是最优准则。
一个3.2.1 均方误差最小准则和最小方差无偏准则
很自然的准则就是均方误差（mean square error, MSE ），它的定义为
遗憾的是采用该准则将产生一个不可实现的估计量。
因 2ˆ()[()]
mse E θθθ=−为这个估计量不能单独表示为样本数据的函数。
为说明这个问题，均方误差MSE重新写为
{} 22() (())(())mse E E E θθθθθ⎡⎤=−+−⎣⎦
2var()()2[()][()]var()()E E E E b θθθθθθθθ
θ⎡⎤=+−+−−⎣⎦
=+上式看出MSE是由方差和偏差构成。
321
3.2.1 均方误差最小准则和最小方差无偏准则 最小方差无偏估计量的存在性
θ
现在我们自然提出这样一个问题：对于所有是否存
在最小方差无偏估计。
即使最小方差无偏估计（MVU）存在，我们也有可能找不到它。
在后面的几章里，我们将讨论几种可能的方法，它们是：
1、确定Cramer-Rao下限(CRLB），检验估计量是否满足它。
2、基于充分统计量的MVU 。
3、限制估计量不仅是无偏的而且是线性的，找出MVU。
