第2章估计理论

^
^
Var( N ) b2 ( N )
^
^
^
^
无偏估计的评价：若Var( 1) Var( 2 ), 则称 1比 2 好
^
^
^
^
有偏估计的评价：若M 2 ( 1) M 2 ( 2 ), 则称 1 优于 2
注 : 比较估计子性能时，用均方误差比只用方差或偏差更合理
2.Fisher信息与Cramer-Rao下界
wk
E
N n1
wn xn
2
2E
N n1
wn xn
xk
0
N
N
wi E{xi xk } E{ xk }
wi Rik gk
i 1
i 1
R
Rik
N,N i,k
w w1, , wN T
g g1,
, gN T
Rw = g w = R1g
5.线性均方估计(续)
正交性原理
x*
情况1：AH A可逆，xˆ LS (AH A)－1 AH b 称x是唯一可辨识的，可辨识性(identificability)
情况2：AH A奇异，称x是不可辨识的
6.最小二乘估计(续)
Gaussian-Markov定理
若误差向量e Ax b的每个元素都具有零均值和相同的方差， 则最小二乘估计一定是最优估计（方差最小）
E
N n1
wn xn
xk
0
即E exk 0
估计误差与已知数据正交
k 1, , N
线性均方估计是典型的Bayes估计
代价函数
N n1
xn wn
2
（二次型损失函数）
风险函数E
N n1

第二章 状态估计基础状态估计的目的是对目标过去的状态进行平滑、对目标现在的运动状态进行滤波和对目标未来的运动状态进行预测。

这些运动状态包括目标位置、速度、加速度等。

本章讨论在多传感器跟踪系统中广泛应用的状态估计技术，这些技术包括Kalman 滤波技术，βα-滤波与γβα--滤波技术、最小二乘滤波技术和非线性系统的状态估计技术。

线性系统估计――卡尔曼滤波技术 线性系统描述1.离散时间线性动态系统的状态方程线性系统采用状态方程、观测方程及其初始条件来描述。

线性离散时间系统的一般状态方程可描述为)()()()()1(k V k G k X k k X +Φ=+其中，n R k X ∈)(是k 时刻目标的状态向量， n R k V ∈)(是过程噪声，它是具有均值为零、方差矩阵为)(k Q 的高斯噪声向量，即[][]klTk Q l V k V E k V E δ)()()(0)(==（δ：狄拉克函数，或单位冲激函数），n n R k ⨯∈Φ)(是状态转移矩阵，n n R k G ⨯∈)(是过程。

2. 传感器的测量（观测）方程 传感器的通用观测方程为 )()()()(k W k X k H k Z +=这里，m R k Z ∈)(是传感器在k 时刻的观测向量，观测噪声m R k W ∈)(是具有零均值和正定协方差矩阵)(k R 的高斯分布测量噪声向量，即[][]klTk R k W k W E k W E δ)()()(0)(==3．初始状态的描述初始状态)0(X 是高斯的，具有均值)0|0(ˆX和协方差)0|0(P ，即 ()(){})0|0(0|0(ˆ)0(0|0(ˆ)0(P X X XX E T =--以上描述比较抽象，下面结合具体的例子加以说明。

例1：目标沿x 轴作匀速直线运动，过程噪声为速度噪声，试写出目标的状态方程。

解：目标的状态为⎥⎦⎤⎢⎣⎡=)()()(k xk x k X & 用T 表示时间间隔，x u 表速度噪声，则有⎩⎨⎧+=+++=+)()()1()()()()1(k u k x k x k Tu k xT k x k x x x &&& 写成矩阵形式为)(1)()(101)1()1(k u T k x k x T k x k x x ⎥⎦⎤⎢⎣⎡+⎥⎦⎤⎢⎣⎡⨯⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡++&& 令)()(,1,101)(k u k V T G T k x =⎥⎦⎤⎢⎣⎡=⎥⎦⎤⎢⎣⎡=Φ 有)()()()()1(k V k G k X k k X +Φ=+其中q k u E k V k V E k Q x T ===)]([)]()([)(2)(k u x ：均值为0，方差为q 的高斯噪声。

子空间定义：M为V的子集，如果任意x, y M和标量a, b使得
ax by M
则M为子空间(subspace)
内积定义：内积(inner product)是一个映射V V R(值域)。 x, y V，内积表示为<x, y>。
线性向量空间
内积满足以下特点：
a) x, y y, x b) ax, y a x, y a为任意标量 c) x y, z x, z y, z d ) x, x 0
uiH X
ui
H
n k r1
uk H X
uk
=
u n
H
ir1 i i
u n
k r1 k k
主成分分析(PCA)
n
E
X
Xr
2
i
ir 1
证明： Xn n
k r 1 k k
n
n
=
iui H ukk
iui H ukk
ir 1,ik
内积存在的空间也称为内积空间
线性向量空间
例1:如果V Rn，则 x, y : xT y
n i1
xi
yi
例2 :如果V
L2 0,1，则
x, y
1
: 0 x(t) y(t)dt
x, y x y cos( ), 其中为x与y之间的角度，因此，一般情况下，
对于x, y V，有如下关系式(Cauchy-Schwarz Inequality)
2
2
12 1
2
2
2
k) ' : k1 , ; ' / '
k
k
i 1
ik
i
k
k
k
正交投影

湖南大学
第二章 参数估计
第17页
将之关于 求导，并令其为0得到似然方程
2n n 2n n
1
2
3
2 0

1
解之，得
由于
ˆ 2n1 n2 2n1 n2
2(n1 n2 n3 )
2n
2 ln L( ) 2n1 n2 2n3 n2 0
U(0, )的样本，试求 的极大似然估计。
25 June 2019
湖南大学
第二章 参数估计
第24页
解 似然函数
L(
)

1
n
要使L( )达到最大，1/ n尽可能大。由于1/ n是的单调 减函数，所以 的取值应尽可能小，但样本的取值范围决 定了 不能小于x(n)，由此给出的极大似然估计：
第二章 参数估计
第1页
第二章 参数估计
§1 点估计的几种方法 §2 点估计的评价标准 §3 区间估计
25 June 2019
湖南大学
第二章 参数估计
第2页
• 一般常用 表示参数，参数 所有可能取值
组成的集合称为参数空间，常用表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。
• 参数估计的形式有两种：点估计与区间估计。
湖南大学
第二章 参数估计
第26页
例8 设 x1 , x2 , …, xn是来自正态总体N( , 2) 的样本，则和 2的极大似然估计为 x, 2 s *，2
于是由不变性可得如下参数的极大似然估计，它 们是:
标准差 的MLE是 ˆ s * ；
25 June 2019
ˆj j(a1, ,ak ), j 1, ,k ,