传感器原理与应用---数据分析第11讲(8章) 数据分析与处理

预处理后
t
零均值化处理
第八章 数据分析与处理 2）平均斜率法消除趋势项 即：一阶趋势项的零均值化
《数据采集与处理》
u(t)=μ+a(t-T0/2)+x(t)
0 t T0
式中 u(t) ——调试所得的原始信号； μ —— 均值； a ——平均斜率； T0 ——抽样总时间； x(t) ——清除趋势项后的信号；
第八章 数据分析与处理 随机序列平稳性检测的轮次法
《数据采集与处理》
设有—随机序列X、长度为M,现将其分成N个子区间、求出各 子区间的均方值、然后再求这N个均方值的中值、即大小处于中 间位置的值。所谓轮次检验是将这N个均方值逐个与中值比较、 其大于中值者记为“+’，小于中值者记为“—”、这种从“+’”到 “一”和从“一’到“+’的变化次数称为轮次数，用r表示。一个 序列的轮次数反映序列的独立性，平稳随机过程的轮次数将满 2N1N2(2N1N2-N) N1N2 足—定的统计规律 σ= μ= +1 N 2 (N-1) N
式中：N为区间总数；N1均值大于中值的子区间数； N2均值大 于中值的子区间数；a为置信度区间；
r


2
r பைடு நூலகம்r


2
第八章 数据分析与处理
《数据采集与处理》
3、周期性检验 根据被测系统的物理力学特性判别 如果系统的基本物理力学特性随时间周期性变化，则 认为被测信号呈现周期性。 目测检验 观测被测信号的记录曲线，如果信号曲线成周期性变 化，则认为被测信号呈现周期性。
1 N μ= xi N i=0
ai=xi-μ
σ=
1 ( (xi) 2 -( xi 2 )/n) (n-1)
当 |ai| 3σ ，该点即为奇异点，应剔除。
(a) 剔除异点前的波形 (b) 剔除异点后的波形 剔除疑点前后波形的形状
第八章 数据分析与处理
《数据采集与处理》
8.1 数据预处理
五．噪声与周期性干扰信号的消除 1）有效频率以外的噪声与干扰信号的消除 低通滤波器（去高频） 高通滤波器（去低频） 带通滤波器（去高低频） 2）有效频率以内的噪声与干扰信号的消除 带阻滤波器 频域消除法
第八章 数据分析与处理
《数据采集与处理》
二、典型的数据类型
1、正态性检验 根据被测信号的概率密度分布图判别 正态性检验通常把一组数据序列点在一种专用的正态概 率纸上，若各点近似地落在一条直线上，则说明样本符合 正态分布。 通过累积概率分布图的规律也可进行数据正态性的检验。 2、平稳性检验 如果信号的均值近似是常数，信号的自相关和起始时间无 关，仅和时间差有关。 目测的话，平稳信号曲线各部分的变化小、波峰波谷分 布均匀、变化频率较为一致。 平稳信号对应的被测系统的基本特性不随时间改变。 分段统计特性分析法（轮次法）
第八章 数据分析与处理 二、测量误差的分类
《数据采集与处理》
1．系统误差——在同样条件下，对同一物理量无限多次测量 值的平均值减去该被测量的真值。系统误差的大小、方向恒定 一致或按一定规律变化。 2．随机误差——在同样条件下，对同一物理量的测量值减去 无限多次测量的平均值。随机误差具有随机性、正负抵偿特性。 3．粗大误差——明显超出限定条件下预期的误差，它是统计 异常值。应剔除含有粗大误差的测量值。
第八章 数据分析与处理 8.3.1 随机信号的误差 一、测量误差的定义
《数据采集与处理》
8.3 随机信号去误差处理
误差=测量值-真值 真值：观测一个被测物理量，该量本身所具有的真实值大小。
真值一般无法获取，除非有两种特殊情况： 1、理论值，如：圆周360度 2、约定真值，国际基准单位1千克 绝对误差： l l l0 相对误差： l l l0 l l
0 1 2 3
其中，系数a0~a3通过对分段5点按最小均方标准进行拟合得到。
(a) 平滑前的波形
(b)平滑后的波形 数字信号平滑前后的波形
第八章 数据分析与处理
《数据采集与处理》
8.2 数据预处理
四．奇异点剔除 剔除异常数据是根据统计学原理。统计学认为，大量采样 数据值不超过超过标准差的3倍。若以零均值信号的3倍标准差 为置信区间，其置信度可达到99.74％，因此大于3倍标准差的 信号几乎不存在，可以视为异常点。 P(|x-μ|>3σ) 0.0026
第八章 数据分析与处理 2）平均斜率法消除趋势项
《数据采集与处理》
平均斜率法消除趋势项前后曲线变化，如图所示。
（a）消除趋势项前的原始数据
（b）消除趋势项后的原始数据
平均斜率法消除趋势项
第八章 数据分析与处理 3）有高阶趋势项的零均值化 设有序列 xn x ={x ,x ,x ......x } n 1 2 3 N
再设
n
Y f(X)
Yb
（8-3-3）
X Y a f( ( i )) n i 1
f(X
i 1
n
i
)
（8-3-4）
n
将（8-3-4），在真值X0 附近展开泰勒级数，保留二次项得：
df 1 d 2f Y a f(X 0 ) (X X 0 ) |X 0 ( X X 0 ) 2 dX |X0 2 dX 2
第八章 数据分析与处理
《数据采集与处理》
8.3 随机信号去误差处理
概述：1、误差处理意义：误差是不可避免。 1、对被测单个信号进行必要的去误差处理，更便于发现检测 信息统计特征，找出实验数据的规律； 2、对多路、多传感器检测信息去误差处理，更便于进行信息 融合，实现目标识别。
2、误差的来源： 1、测量装置误差； 2、测量环境误差：温度、湿度、振动； 3、测量方法误差： 4、测量人员误差： 3、减少误差的方法： 1、从误差的来源方面去除； 2、最终测量值=测量直接读数+修正值； 3、测量方法：如：电桥法测电阻；采用正负磁场消除对电 表指针印象；合理设计测量步骤和数据处理程序；
《数据采集与处理》
设高阶趋势项表达式为：x 'n =a1 x1 +a 2 x 2 +L+a k x k 根据最小二乘法原理求出 a1 ,a 2 ,a 3 ,...a k 则零均值化后
x(t)
x''n
' ，x''n xn xn
如图所示。
预处理前
预处理后
t
第八章 数据分析与处理
df 1 d 2f Y b f(X 0 ) |X ( X X 0 ) |X dX 0 2 dX 2 0 (X i X 0 ) 2 n i 1
n
（8-3-5） （8-3-6）
第八章 数据分析与处理 分析： 当测量次数n较大时，（8-3-5）可以认为
《数据采集与处理》
X X0
第八章 数据分析与处理
《数据采集与处理》
8.3 随机信号去误差处理
8.3.2 随机信号去误差的处理 1、通过测量值求平均，减少随机误差 当测量次数n充分大时，对N次测量值取平均值，其数学期望为
1 n X=E(M)=lim X i n i=1 n
（8-3-1）
被测量的真值是当测量次数n为无穷大时的统计期望值。 算术平均值的标准误差为：
但 （8-3-6）
(X i X 0 ) 2 n i 1
n
不可能为零。
结论：当采样次数n不受限制时，可以认为平均值
Y a比Y b的随机误差更小
Xi 。 因此 应采用： Y a f( )
i 1 n
n
第八章 数据分析与处理
《数据采集与处理》
8.3 随机信号去误差处理
3、测量次数n的确定以减少随机误差 步骤：
第八章 数据分析与处理
《数据采集与处理》
内容 提要 8.1 数据分析的意义
8.2 数据预处理
8.2 随机信号去误差处理
第八章 数据分析与处理
《数据采集与处理》
8.1 数据分析意义
一、数据分析概述 数据分析： 数据分析的目的是把隐没在一大批看起来杂乱无章的数据中的 信息集中、萃取和提炼出来，以找出研究对象的内在规律。 数据分析内容： 1）收集信息； 2）选定模型； 3）推断处理：识别真假信号、修正系统误差；分析信号的 基本特性和类型，便于选择合理信号处理方法；提高信号处理 的可靠性。 数据分析的方法通常有： 1) 频域分析：傅里叶变换； 2）时域分析：微积分运算；平滑和滤波；统计分析；
1)标准误差 是在采样次数n足够大得到的，但实际测量只能 有限次，测量次数n如何确定？ 说明：实际测量中的有限次测量只能得到标准误差的近似值 ' 2) 采用测量序列的剩余误差通过贝塞尔公式求标准误差的近似 值 ' 3）采用近似值 ' 通过谢波尔德公式确定测量次数n。
第八章 数据分析与处理
《数据采集与处理》
8.2 数据预处理
三．测试数据的五点三次平滑 平滑，即在满足残差平方和最小的前提，对测试数据进行 处理，减少因一些偶然因素所造成的数据误差的影响，起到剔 除异点的作用。 平滑处理是进行分段拟合。五点三次平滑是用三次多项式 拟合相邻五个点的数据。 y(t ) a a t a t 2 a t 3
σ(X)=σ(X)/ n
（8-3-2）
由上式可见：测量值的算术平均值的标准误差 σ(X) 是各测 1 量值的标准误差σ的 n倍。因此，以算术平均值作为检测 结果，测量精度将随着采样次数的增加而提高。
第八章 数据分析与处理
《数据采集与处理》
2、先求直接测量值的平均，后求测量值的函数，减少随机误差 对系统输出值估算时，先对直接检测值算术平均，再按函数关 系求测量结果的误差较小，比先对多个检测值按函数关系计算 出每次采样结果，然后求采样结果的算术平均值效果好。 设：测量值
（8-3-9）
（8-3-10）
由此可推导出用剩余误差计算近似标准误差的贝塞尔公式：
1 n 2 σ`= vi n-1 i=1
（8-2-11）
δi =vi +λ
第八章 数据分析与处理 2）利用谢波尔德公式确定测量次数
《数据采集与处理》
谢波尔德公式 a. 给出了标准误差 、近似误差 `以及检测设备分辨率 之 2 2 2 ω 间的关系： σ =(σ`) （8-2-12）
《数据采集与处理》
3、测量次数n的确定以减少随机误差 2）利用贝塞尔公式求标准误差的近似值
贝塞尔（Bessel）公式 对于测量列{ X1 ,X2 ,X3 ,......,X n
δi =Xi -μ
}中的一次测量结果标准差有：
（8-3-7） （8-3-8）
剩余误差为： vi =Xi -X 真差 ： δi -vi =X-μ 由式（8-2-9）、 (8-2-8)有：
第八章 数据分析与处理
《数据采集与处理》
8.3 随机信号去误差处理
针对不同类型误差，采用不同的处理方法： 1、采样频率很高，测量次数很多， 对测量后信号中存在的随机干扰和粗大误差的处理（随机信号 去误差处理）； 2、采样频率低、测量次数较少， 添加测量信号中缺少点的处理（插值处理）；
3、由测量给定点的不精确数据求其精确数据（非线性补偿处 理）。
自相关分析法：如果自相关函 数曲线呈现周期性变化，则认为 被测信号呈现周期性。如图所示。
第八章 数据分析与处理
《数据采集与处理》
8.2 数据预处理
数据采集所得的原始信号，在分析处理前需要进行预处 理。预处理工作主要包括去干扰、消除趋势项、剔除异常数据、 平滑、拟合等。 一、趋势项 1、趋势项就是在信号中存在线性项或缓慢变化的、周期大 于记录长度的非线性成分。 原因： (1)抽样时未对原始信号加以适当的处理，如在A／D 转换前未进行必要的高通滤波，使抽样信号中含有不需要的低 频成分。 (2)由于外界原因，包括传感器或仪器的零点漂移；传感器 安装不当、测试对象的基础运动等原因引起的信号波形漂移； 积分放大器后产生的趋势项。
12
b. 当测量次数n增加，利用随机误差的抵偿性质，使随机误差 ω 的大小减小到与 12 相近的数量时，测得到标准误差就趋于稳 定，此时测量次数n为选定值。
2
一般 n = 10~20之间
第八章 数据分析与处理 8.3.3 粗大误差的剔除
《数据采集与处理》
粗大误差（或称疏失误差）是指显然与事实不符的误差，它对 测量结果是一种严重的歪曲。这种误差主要是由于失误、系统 过度疲劳、偶然故障、外界突发性干扰或系统内部故障等众多 随机原因造成的。 判断是否是粗大误差的两个准则： (1)莱特准则： |vi |>3σ，vi为疏失误差
第八章 数据分析与处理
《数据采集与处理》
2.趋势项的处理方法 1）零均值化处理 设有序列 xn ，即 x n ={x1 ,x 2 ,x 3 ......x N } 其均值为 N
μx = 1 xi N i=1
x(t)
预处理前
零均值化后 x'n 即 x'n =x n -μ x
如图所示。