4现代信号处理-参数估计

★贝叶斯估计：使风险函数最小的估计称为贝叶斯估 计。 ▲平方误差对应“最小均方估计MMSE” ▲均匀代价函数对应“最大后验概率估计MAP”
随机信号处理
三、参数估计：
4、最大似然估计（MLE） ★似然函数： 当将条件密度函数视为真实参数 θ 的函数时，则 称 L(θ ) = ln[ p( z | θ )] 为似然函数。 ★品质函数： 若 p ( z | θ ) 是一样本 z 的条件密度函数，则 为品质函数。
ˆ C (θ , θ ) = ˆ , 0 θ − θ < ∆ / 2
ˆ, θ ) = (θ − θ )T W (θ − θ ) ˆ ˆ C (θ
其中Ｗ为权
随机信号处理
三、参数估计：
3、贝叶斯估计(Bayes Estimation) ★风险函数：风险函数定义为代价函数的均值，即
ˆ ˆ R (θ , θ ) = E[C (θ , θ )]
ˆ M 2 (θ ) = Var[θ ] + B 2
随机信号处理
三、参数估计：
1、基本概念 ★有效性： 如果 θˆ1与 θˆ2 都是θ的无偏估计值，对任意Ｎ， ˆ ˆ 若 Var θ1 ≤ Var θ 2 ，则 θˆ1 比 θˆ2 有效。
[]
[ ]
相对有效性：当记 RE = Var θˆ1 / Var θˆ2 若RE<1则称：θˆ1 比 θˆ2 有效。
2、几个不等式、等式、定理 ★Poisson和公式:
n = −∞
∑e
+∞
− j 2πnbx
n 1 +∞ = ∑ δx− b n = −∞ b
★卡亨南一洛维(Karhunen—Loeve)展开式：
x(t ) = lim ∑ β m g n (t ) ，a ≤ t ≤ b
N →∞ n =1
θˆ 若 p( z | θ ) 是一样本 z 的条件密度函数，而 θ 是 ∂2 1 ˆ 一个无偏估计且 ln[ p( z | θ )] 存在，则： (θ − θ ) ≥ Var 2
式中
若要等式成立，则 ∂θ ln[ p( z | θ )] = K (θ )[θ − θ ] 其中：K (θ ) 为 θ 的某个不包含 z 的正函数。
1 ∂ E[ [ p ( z | θ )]2 ]−1 N ∂θ
随机信号处理
三、参数估计：
4、最大似然估计（MLE） ▲例：线性高斯测量的最大似然估计：若ｙ为一测量 数据向量，它服从观测方程：ｙ＝Ｈｘ＋ｖ 其中Ｈ为观 测矩阵，ｘ代表不可观测的状态向量，而ｖ是加性观测 噪声向量。假定观测噪声向量服从高斯分布：
∂ ∂ 2 I (θ ) = E[ ln[ p ( z | θ )] ] = − E[ 2 ln[ p ( z | θ )]] ∂θ ∂θ ∂ ˆ
2
∂θ
I (θ )
随机信号处理 三、参数估计：
2、几个不等式、等式、定理 ★定义： 若无偏估计 θˆ 达到克拉美－罗（Cramer— Rao）下界，则称 θˆ 为优效估计。
因此，参量估计一般指静估计。参量随时间保持 不变或只发生缓慢变化；状态或波形估计一般指动态 估计，参量是随时间变化的。 对于估计问题，从被估计的量来说，可以分为： (1)确定的与随机的； (1) (2)数量的与矢量的； (3)不随时间变化的与随时间变化的。 通常对前一种估计称为静态估计，而对后一种估 计称为动态估计。这两部分有机地结合起来，构成统 了估计理论。
k =M
N
cos( = ∑ sin(kθ + δ ) kθ + δ )
k =M
= ∑ cos 2 (kθ + δ )
N − M + 1 sin[( N − M + 1)θ ] + cos[( N + M )θ + 2δ ] ，1 ≤ M ≤ N 2 2 sin(θ )
随机信号处理
三、参数估计：
随机信号处理
三、参数估计：
4、最大似然估计（MLE） ▲例： 估计误差向量：
ˆ e = x − xML = x − ( H T R −1H ) −1 H T R −1 ( Hx + v) = −( H T R −1H ) −1 H T R −1v
2
A
ˆ) ≥ σ Var ( A N
随机信号处理
三、参数估计：
3、贝叶斯估计(Bayes Estimation) ★损失（代价）函数：是 θˆ 的实值函数，且满 C 足： (θˆ,θ ) ≥ 0 ；对每个θ有 θˆ ，使得： (θˆ,θ ) 成立。 C 常用的 C (θˆ,θ ) ： ˆ ˆ 平方误差 C (θ , θ ) = (θ − θ ) 2 ˆ ˆ 误差绝对值 C (θ , θ ) = θ − θ ˆ 1 θ − θ ≥ ∆ / 2 均匀代价函数 , 二次的有：
随机信号处理
三、参数估计：
4、最大似然估计（MLE） ▲例： 即求关于ｘ的偏导并令其为零：
则直接可以得到未知参数ｘ的最大似然估计：
∂J T −1 = H R ( y − Hx) = 0 ∂x
ˆ xML = ( H T R −1 H ) −1 H T R −1 y
显然：为了得到最大似然估计，观测矩阵Ｈ必须满列 秩。
∑ ai bi ≤ ∑ ai2 • ∑ bi2 i i i
2
ˆ ˆ E (θ − θ ) ≤ E[(θ − θ ) 2 ]
∫
∞
−∞
f ( x) g ( x)dx ≤ ∫
2
∞
−∞
f ( x) dx ∫ g ( x) dx
2 2 −∞
∞
随机信号处理
三、参数估计：
2、几个不等式、等式、定理
随机信号处理
三、参数估计：
1、基本概念 ★偏倚(Bias)： 用θ表示随机变量的真值， ˆ 表示它 θ 的估计值，则称： = E[θˆ] − θ 为θ的偏倚。 B ▲无偏：若偏差B等于零或 E[θˆ] = θ ，即估计值的期望 值等于真实参数。 ▲渐近无偏：当样本长度N→∞时，偏差B→0。 ▲估计的均方误差：估计 θˆ 与真实参数θ的误差平方 的期望值，即 M 2 (θ ) = E[(θˆ − θ ) 2 ] ▲均方误差、方差、偏差的关系：
dB(θ ) 2 (1 + ) dθ ˆ Var (θ − θ ) ≥ I (θ ) 其中 B (θ )为θˆ 偏差。
随机信号处理
三、参数估计：
4、最大似然估计（MLE） θˆ ★最大似然估计：ML 可以通过令品质函数为0求得。 ˆ ▲ θ ML 一般不是无偏的，但偏倚可乘以常数消除。 ˆ ▲如果 θ ML 存在，则是一致估计、优效估计。 ˆ θ ▲对于大N，ML 为高斯分布，且均值为 θ ，方差为：
[]
[ ]
随机信号处理
三、参数估计：
1、基本概念 ★一致性： 一个估计值即使是无偏的且方差较小也 还不够，还要求样本容量N→∞时，估计值 θˆ 无限 地靠近真值θ ，则 θˆ 称为θ的一致估计量． ▲N→∞时，估计值 θˆ 在概率意义上收敛于θ ，
lim 即 N →∞ P[ θˆ − θ < ε ] = 1
1 T −1 f (v ) = exp(− v R v) 2 (2π ) p R 1
ˆ ˆ 求ｘ最大似然估计 xML 和估计误差向量 e = x − xML 的协 方差矩阵 Pe 。
随机信号处理
三、参数估计：
4、最大似然估计（MLE） ▲例：解：将ｖ＝ｙ－Ｈｘ代入 f (v) 可得：
1 f (v ) = exp(− ( y − Hx)T R −1 ( y − Hx)) 2 (2π ) p R 1
随机信号处理
三、参数估计：
许多信号处理问题都归结为参数估计。 从—般层义理解，估计理论所研究的对象是 随机现象，它是根据受到噪声污染的观测数据来 估计关于随机变量或随机过程的一种数学运算。 若被估计量是随机变量。则称为参量估计； 若被估计的是随机过程，则称为状态或波形估计。
随机信号处理
三、参数估计：
▲N→∞时，估计值 θˆ 在均方意义上趋向于θ ， 即
N →∞
ˆ lim E[(θ − θ ) 2 ] = 0
加，偏倚与方差均都应趋于零。
θˆ 是一致估计量的充分必要条件为：随着Ｎ的增
随机信号处理
三、参数估计：
2、几个不等式、等式、定理 ★许瓦兹(Schwatz)不等式： ★Cauchy—Schwatz不等式： ˆ − θ ≥ ε ] ≤ 1 E[(θ − θ ) 2 ] ˆ P[ θ ε2 ★契比雪夫不等式(Chebyshev)：
∂ V ( z) = ln[ p ( z | θ )] ∂θ
随机信号处理
三、参数估计：
4、最大似然估计（MLE） ★Fisher信息： 品质函数的方差。克拉美－罗（Cramer—Rao）下 界的倒数。 ∂ ∂2 2 ▲定义式：I (θ ) = E[V ( z )] = E[ ∂θ ln[ p( z | θ )] ] = − E[ ∂θ 2 ln[ p( z | θ )]] ▲当 θˆ 为有偏估计时，克拉美－罗不等式：
n =1
其似然函数 ln f ( x; A) 关于参数 A 的二阶导数为：
∂ 2 ln f ( x | A) ∂ ∂ 1 2 N /2 = − ln[(2πσ ) ] − 2 2 ∂A ∂A ∂A 2σ ∂ 1 N N = 2 ∑ [ x(n) − A] = − 2 σ ∂A σ n =1 ∑ [ x(n) − A] n =1
b 其中 β = b x(t ) g (t )dt ， g (t ) g (t )dt = δ m m nm ∫ ∫ n m a a
N
随机信号处理
三、参数估计：
2、几个不等式、等式、定理 ★克拉美－罗（Cramer—Rao）不等式：