不良数据辨识

不良数据检测与辨识的数学基础
正态分布
概率密度 分布函数
1 f ( x) e 2 E(x)= D( x)= 2
1 F ( x) e 2 x ( t )2 2
2

( x )2 2 2


dt

标准正态分布 1, 0
对于任意的正态分布随机变量
P{| X | } 0.6827 P{| X | 2 } 0.9545 P{| X | 3 } 0.9973
当被研究的随机变量 是数量众多的相互独 立的随机变量之和， 则他必定服从正态分 布或近似正态分布的。
正态分布随机变量落在μ ± 3σ区 间内的概率几乎等于１。
E i 0
i 1,..., m D( i ) i2
μ是z的真值(测量很多次的均值)
z ~ N (, )
2
3

3
8/106
坏数据定义
由正态分布的特性可知
P(| Z | ) 68.3% P(| Z | 2 ) 95.5% P(| Z | 3 ) 99.7%
采用估计--检测和辨识--再估计--再检测和辨识的迭 代模式
10/106
坏数据的可检测和可辨识性
可观测(估计)性
能检测吗？
不良数据可检测
有没有？
不良数据可辨识
哪个是？
11/106
根据误差来判断
误差
量测值和真值之间的差
状态变量真值
v z h( x )
最直接的方法
如果我们能够知道系统的真值x，则量测误差很容易计算 出来，我们就可以把误差大于3σ的量测挑选出来。
看起来好像不良数据的检测与辨识很容易。
可能吗？
实际上，真实的系统状态是无法知道的，真实的量测误 差也是一个未知数。
12/106
根据残差来判断
残差
量测值和量测估计值之间的差
状态变量估计值
ˆ J x k 2k
或
~ N 0,1
23/106
3σ准则
ˆ J x ~ N k , 2k
或
ˆ J x k 2k
~ N 0,1
根据3σ准则，即某正态随机变量的误差将以 99.75%的概率落在3σ区间之内，即：
ˆ J x k 2k 3 ˆ J x 3 2k k
常数项
正态分布
一般坏数据幅值比正常量测误差的标准差大许多 倍，所以这第三项的值会十分大。 因此，考察估计后目标函数的值就能确定量测中 是否存在坏数据。
25/106
实用方法
考察目标函数是否超过某一事先确定的门槛值，以 确定是否存在不良数据。
J J
J J
有BD 无BD，属真
有BD，属真 称为漏检，或取伪错误 称为误检，或弃真错误。
（3）WR-1W=R-1W；
（4）WRWT=WR=RWT；
（5）0<Wij<1。
16/106
残差方程的作用
描述了残差和量测误差之间的线性关系
ri Wij v j Wi1 v1 Wi 2 v2 Wim vm
j 1 m
W矩阵的元素就是相应的比例系数 量测i的残差ri和所有量测误差有关
1

因为估计值和真值十分接近，上式的量测雅克比矩 阵都可以在估计值处取值，即：
残差方程
r Wv
H T R 1H 1 H T R 1 W I H
残差灵敏度矩阵
15/106
残差灵敏度矩阵的性质
r Wv
H T R 1H 1 H T R 1 W I H
（1）W是奇异矩阵，其秩k=m-n； （2）W是等幂矩阵：WW=W；
J J
无BD
J J
这种方法的漏检率与门槛值的大小有关
26/106
J检测评价
J检测属总体检测，所有量测误差都会对J有贡献， 并产生影响。
有时并没有坏数据，许多量测的误差虽然没有超过3σ， 但也会造成J较大。 有时有一两个不良数据，但由于量测冗余度高，正常时J 值就已经很大，一两个坏数据并不足以使J值发生明显变 化。
ˆ H ( x ) H T x R 1 v
14/106

残差方程
r v H ( x) H
T
I H ( x) H

ˆ x R
T
1
ˆ H ( x ) H T x R 1v
1
1
ˆ x R H ( x ) H T x R 1 v ˆ
将残差方程r=Wv代入上式：
J x v W R Wv v R Wv
T T 1 T 1
ˆ J x 是 2分布
定义A=R-1W m m m J x v T Av vi2 Aii Aij vi v j
i 1 i 1 j 1
j i
上面公式应以99.75%的概率得到满足
24/106
坏数据检测性质
如果有一个坏数据发生在量测 j 上 v v j e j
计算新的目标函数
j T 1 ˆ ˆ J ( x) J ( x) 2 j e j R Wv w jj j
2
2
自由度为k的 分布
不良数据的检测（Bad Data Detection） 判断某次量测采样中是否存在不良数据 不良数据的辨识（Bad Data Identification）
发现某次量测采样中存在不良数据后，确定哪个(或哪些) 量 测是不良数据 不良数据的删除（Bad Data Suppression） 对辨识出的坏数据，用某种方法排除它们对状态估计结果的 3/106 影响
W既不可逆，也不对角占优，是引起不良数据检测 与辨识困难的根本原因。
18/106
加权残差
为了便于进一步简化计算公式和分析，进入残差方 程的加权形式。
定义加权残差：
rw R 1 r
理解：对每个量测量对应的加权残差
rwi
定义加权量测误差：υw R 1 υ
理解：对每个量测量对应的加权误差
由残差方程可见，量测残差也会明显变大。
三种检测方法
目标函数值检测法 加权残差检测法 标准化残差检测法
由目标函数的公式可知，目标函数的数值也会变大。
21/106
不良数据的检测-J检测法
利用估计后的目标函数进行坏数据检测的方法简称 ˆ 为 J x 检测：
2 ˆ ˆ ˆ J x z h x R z h x r R r rwj T 1 T 1 j 1 m
22/106
不良数据的检测-J检测法
2 i
0
Jx的数学期望值
m m 2 i
ˆ E J x Aii E vi2 Aij E vi v j i 1 j i
k 是冗余量测数
i 1
m


E J x Aii Aii Ri m n k ˆ
ˆ r z h( x)
ˆ x x x
残差和误差的关系
将量测估计在真值x附近Taylor级数展开
ˆ h( x) h( x) H ( x)x 代入残差表达式： v z h( x ) r z h( x ) H ( x )x v H ( x )x
T
得到：
ቤተ መጻሕፍቲ ባይዱ
x H
ˆ x R
T
1
ˆ H ( x ) H T x R 1v
1
1
r v H ( x) H
I H ( x) H

ˆ x R
T
ˆ H ( x ) H T x R 1v
1
1
ˆ x R
1
检测和辨识
人们在状态估计之前会对量测数据进行处理，
根据对不良数据处理水平不同分为三个层次：
人工检测和辨识
量测极限值检测
量测量突变检查 量测数据的相关性检查
计算机实时检测和辨识(数据的预处理)
利用远动功能实现 粗检测和辨识
状态估计程序中的检测和辨识
4/106 通过大量正常的冗余量测，利用数学方法处理不良数据
D diag WR
rN D1 r
rN WN υ
定义标准化残差灵敏度矩阵 WN D1W 标准化残差方程为：
是加权残差的一种，在国外早期的文献中，标准化 残差对检测和辨识单个不良数据有重要的作用。
20/106
不良数据的检测
当量测中存在不良数据时，量测误差矢量中某些分 量的值明显变大。
6/106
实时数据的误差
量测值和真值总是存在差异，即误差 从采样到计算机数据库的全过程，每个环节都可能 受到各种随机干扰而产生误差 误差来源：
各环节的随机干扰
量测的不同时性，死区传送，CDT不同时
7/106
误差的性质
假设误差具有正态分布的性质
i zi hi ( x)
i
ri
残差方程改写：
rw Wwvw
i wi i
H T R1 H 1 H T R 1 Ww I R H
1
19/106
标准化残差
通过残差方程，可以得到残差的方差阵 Var r E rr T WRW T WR
定义矩阵D
定义标准化残差
只有0.3%的可能性使得Z-μ落在3σ范围之外