一、背景介绍：
多传感器数据融合是一种信号处理、辨识方法，可以与神经网络、小波变换、kalman 滤波技术结合进一步得到研究需要的更纯净的有用信号。
多传感器数据融合涉及到多方面的理论和技术，如信号处理、估计理论、不确定性理论、最优化理论、模式识别、神经网络和人工智能等。多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。
多传感器信息融合技术通过对多个传感器获得的信息进行协调、组合、互补来克服单个传感器的不确定和局限性，并提高系统的有效性能，进而得出比单一传感器测量值更为精确的结果。数据融合就是将来自多个传感器或多源的信息在一定准则下加以自动分析、综合以完成所需的决策和估计任务而进行的信息处理过程。当系统中单个传感器不能提供足够的准确度和可靠性时就采用多传感器数据融合。数据融合技术扩展了时空覆盖范围，改善了系统的可靠性，对目标或事件的确认增加了可信度，减少了信息的模糊性，这是任何单个传感器做不到的。
实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。信号级融合方法最简单、最直观方法是加权平均法，该方法将一组传感器提供的冗余信息进行加权平均，结果作为融合值，该方法是一种直接对数据源进行操作的方法。卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。
多传感器数据融合虽然未形成完整的理论体系和有效的融合算法，但在不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合方法。多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类，随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、产生式规则等;而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见，神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。
数据融合存在的问题
(1)尚未建立统一的融合理论和有效广义融合模型及算法；
(2)对数据融合的具体方法的研究尚处于初步阶段；
(3)还没有很好解决融合系统中的容错性或鲁棒性问题；
(4)关联的二义性是数据融合中的主要障碍；
(5)数据融合系统的设计还存在许多实际问题。
二、算法介绍：
2.1多传感器数据自适应加权融合估计算法：
设有n 个传感器对某一对象进行测量，如图1 所示，对于不同的传感器都有各自不同的加权因子，我们的思想是在总均方误差最小这一最优条件下，根据各个传感器所得到的测量值以自适应的方式寻找各个传感器所对应的最优加权因子，使融合后的X值达到最优。
最优加权因子及所对应的均方误差：
(多传感器方法的理论依据：设n 个传感器的方差分别为σ21，σ22，…，σ2n ；所要估计的真值为X ，各传感器的测量值分别为X 1，X 2，…，X n ，它们彼此互相独立，并且是X 的无偏估计；各传感器的加权因子分别为W 1，W 2 ，…，W n ，则融合后的X 值和加权因子满足以下两式： 1
1
,1n n
p
p
p
p p X W X W
===
=∑∑
总均方误差为()()()2
2
211,12n n p p p q p q p p q E W X X W W X X X X σ===??=-+--????
∑∑
因为X 1 ，X 2 ，… ，X n 彼此独立，并且为X 的无偏估计，所以E[ (X-Xp)(X-Xq)] =0，
(p ≠q;p =1 ，2 ，…，n;q =1 ，2 ，…，n)，故σ2
可写成
()22
222
11
n n p p p p p p E W X X W σσ==??=-=????∑∑
从式可以看出，总均方误差σ2 是关于各加权因子的多元二次函数，因此σ2 必然存在最小
值。该最小值的求取是加权因子W1，W2，…，Wn 满足式约束条件的多元函数极值求取。根据多元函数求极值理论，可求出总均方误差最小时所对应的加权因子：
()*22111/1,2,,n p
p SW
i i W p n σσ=??
== ?
??
∑
此时对应的最小均方误差为：2min
21
1
1/n
p p
σ
σ
==∑
以上是根据各个传感器在某一时刻的测量值而进行的估计，当估计真值X 为常量时，则 可根据各个传感器历史数据的均值来进行估计。设
()()
()1
11,2,
,k
p p i X k X i p n k ===∑此时估计值为()1
?n
p p
p X W X k ==∑ 总均方误差为
()
()()()()()()222
211,1?2n n p p p q p q p p q p q
E X X E W X X k W W X X k X X k σ===≠????=-=-+--????????∑∑同理，因为X1，X2，…，X n 为X 的无偏估计，所以 X 1(k)，X 2(k)，… ，X n(k)也一定
是X 的无偏估计，故()()22
222
11
1n n p p p p p p E W X X k W k σσ==??=-=????∑∑
自适应加权融合估计算法的线性无偏最小方差性
1)线性估计
由式可以看出，融合后的估计是各传感器测量值或测量值样本均值的线性函数。 2)无偏估计
因为Xp(p =1，2，…，n)为X 的无偏估计，即E[X-Xp] =0(p =1，2 … ，n)，所以可得
()11
?0n n
p p p p p p E X X E W X X W E X X ==??-=-=-=????∑∑，X 为无偏估计。
同理，由于Xp(p =1，2 …，n)为X 的无偏估计，所以 Xp(k)也一定是X 的无偏估计。
()()()11
0n n
p p p p p p E W X X k W E X X k ==??-=-=????∑∑ 最小均方误差估计
在推导过程中，是以均方误差最小做为最优条件，因而该估计算法的均方误差一定是最的。为了进一步说明这一点，我们用所得的均方误差σ2Lmin 与用单个传感器均值做估计和用多传感器均值平均做估计的均方误差相比较。
我们用n 个传感器中方差最小的传感器L 做均值估计，设传感器L 的方差σ2Lmin 为测量数据的个数为k ，则222min
min
2
11/,1/n L
L p p k k σσ
σ
σ=??== ? ??
?∑所以22
min 221min 111n L L p p p L
σσσσ=≠=+>∑ 下面我们讨论与用多个传感器均值平均做估计均方误差相比较的情况。
所谓用多个传感器均值平均做估计是用n 个传感器测量数据的样本平均再做均值处理而得
到的估计，即()1
1?n
p
p X X k n ==∑此时均方误差为 ()
()()
()()2
2
2
221
1,11
2??n
n
p
p q p p q p q
E X X E X X k E X X k E X X k n
n
σ
===≠????=-=-+--????∑∑
同理，Xp(k)一定为X 的无偏估计，可得()()22
2
2211
11?n n p p p p E X X k n n k σ
σ===-=∑∑则 222211min ?111n n p p p p n n σ
σσσ==????= ? ? ?????
∑∑若我们事先已经将各个传感器的方差进行排序，且不妨设 222
12
0n σσσ
<≤≤
≤，则根据契比雪夫不等式得
222
21min ?111n p p p
n σ
σσσ=≥=∑ 各传感器方差σp 2 的求取
从以上分析可以看出，最佳加权因子W p *决定各个传感器的方差σp 2。一般不是已知的，我们可根据各个传感器所提供的测量值，依据相应的算法，将它们求出。
设有任意两个不同的传感器p 、q ，其测量值分别为X p 、X q ，所对应观测误差分别为V p 、
V q ，即;p p q q X X V X X V =+=+，其中，V p 、V q 为零均值平稳噪声，则传感器p 方差
22p p E V σ??=??，因为V p 、V q 互不相关，与X 也不相关，所以X p 、X q 的互协方差函数Rpq 满足2pq p q R E X X E X ????==????，X p 的自互协方差函数Rpp 满足22pp p p p R E X X E X E V ??==+??作差得22
p p pp pq E V R R σ??==-??
对于R pp 、R pq 的求取，可由其时间域估计值得出。设传感器测量数据的个数为k ，R pp 的时
间域估计值为R pp (k)，R pq 的时间域估计值为R pq (k)，则
()()()()()()1111
1k pp p p pp p p i k R k X i X i R k X k X k k k k =-==-+∑
()()()11
1pq pq p q k R R k X k X k k k
-=
-+ 如用传感器q(q ≠ p ;q =1，2，…，n)与传感器p 做相关运算，则可以得到R pq (k)(q ≠p ；q =1，
2，…，n)值。因而对于R pq 可进一步用R pq (k)的均值R p (k)来做为它的估计，即
()()1
11n
pq p pq q q p
R R k R k n =≠==-∑ 由此，我们依靠各个传感器的测量值求出了R pp 与R pq 的时间域的估计值，从而可估计出各个传感器的方差。
2.2基于最小二乘原理的多传感器加权融合算法
以存在随机扰动环境中的不同参数多传感器为研究对象，基于最小二乘原理，提出了一种加权融合算法，推导出各传感器的权系数与测量方差的关系。并且根据测量信息，提出了一种方差估计学习算法，实现对各传感器测量方差的估计，从而对各传感器的权值进行合理的分配。该算法简单，能快速、准确的估计出待测物理量的状态信息。
同种类型不同参数的多个传感器对存在随机扰动环境中的某一状态进行测量时，如何使状态的估计值在统计意义上更加接近于状态的真实值，针对这一问题进行了研究。依据最小二乘原理，推导出了多传感器的加权融合公式，并且在最优原则下，得出测量过程中各传感器的测量方差与其权系数的关系。
针对以上不足，充分利用多传感器测量这一特点，将传感器内部噪声与环境干扰综合考虑，提出了一种对各传感器测量方差及待测物理量状态进行实时估计的算法。
设n 个传感器对某系统状态参数的观测方程为：Y Hx e =+，式中，x 为一维状态量；Y 为n 维测量向量，设[]12T
n Y y y y =，e 为n 维测量噪声向量，包含传感器的内部噪声及环
境干扰噪声，设[]12
T
n e e e e =，H 为已知n 维常向量。采用加权最小二乘法从测量向量Y
中估计出状态量x 的估计量。加权最小二乘法估计的准则是使加权误差平方和
()()()???T
w J x
Y Hx W Y Hx =--取最小值。其中W 是一个正定对角加权阵，设()12
n W diag w w w =，对之求偏导，令
()()()?0?w T T J x
H W W Y Hx x
?=-+-=?得
本技术公开了一种基于图像处理的多传感器融合的物体识别方法，包括以下步骤：S1：获取三通道RGB彩色图像及一通道多线激光测距图像；S2：将RGB彩色图像的摄像机光学坐标投射成激光点云坐标，激光点云坐标投射成360°环形全景坐标；S3：利用深度学习的图像识别技术，针对事先训练过的目标进行目标检测框选定，得到目标检测边界框分布图像及物体类别分布图像。本技术方法简单，实时性高，基于多传感器实现六通道图像的映射融合，在传统的RGBD四通道图像的基础上，增加了二通道来源于目标检测的物体类别分布图像、目标检测边界框分布图像，为实现快速准确的目标物体定位提供了精准的图像处理基础。 技术要求 1.一种基于图像处理的多传感器融合的物体识别方法，包括以下步骤： S1：获取三通道RGB彩色图像及一通道多线激光测距图像； S2：将RGB彩色图像的摄像机光学坐标投射成激光点云坐标，激光点云坐标投射成360° 环形全景坐标； S3：利用深度学习的图像识别技术，针对事先训练过的目标进行目标检测框选定，得到 目标检测边界框分布图像及物体类别分布图像。 2.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，在步骤S1中，所述三通道RGB彩色图像通过摄像机原始图像获取，所述一通道多线激光测 距图像通过获取激光点云信息后生成独立图层得到。
3.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，在步骤S2中，将摄像机坐标投射成激光点云坐标的具体步骤包括： S201：创建3D临时贴图，贴图坐标为激光坐标，贴图大小为单个摄像头贴图转换为激光点云坐标后的宽度和高度； S202：计算贴图下个像素的激光坐标； S203：判断下个像素是否为贴图的结尾像素，若不是则重复步骤S202，若是则进行下一步骤； S204：将八个摄像机贴图合并，拼接生成激光坐标下的360度全景图。 4.根据权利要求3所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，步骤S202的具体计算过程包括： 首先将激光坐标转换成摄像机镜头坐标，再将镜头坐标转换成摄像机像素坐标，最后将对应摄像机像素读取到贴图。 5.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，在步骤S2中，将激光点云坐标投射成环形全景坐标的具体步骤包括： S211：创建一个激光点阵图层，大小为1920*1080，左右边缘角度为0—360°，上下角度为-15°—15°，左右边缘角度、上下角度均匀铺展拉伸； S212：读取一列激光点阵存储区数据； S213：计算打印图像的像素角度； S214：计算像素位置，将对应数据赋值到打印的图层； S215：判断当前读取的激光点阵存储区数据是否为数据的结尾，若不是则重复步骤S212—S214，若是则生成图像结束。 6.根据权利要求1所述的基于图像处理的多传感器融合的物体识别方法，其特征在于，在步骤S3中，事先训练过的目标包括目标人员、工作服、安全帽。
万方数据
万方数据
万方数据
万方数据
万方数据
多传感器信息融合方法综述 作者：吴秋轩， 曹广益 作者单位：上海交通大学电子信息与电气工程学院,上海,200030 刊名： 机器人 英文刊名：ROBOT 年，卷(期)：2003,25(z1) 被引用次数：2次 参考文献(5条) 1.周锐;申功勋;房建成基于信息融合的目标图像跟踪 1998(12) 2.张尧庭;桂劲松人工智能中的概率统计方法 1998 3.何友;王国宏;彭应宁多传感器信息融合 2000 4.罗志增;叶明Bayes方法的多感觉信息融合算法及其应用[期刊论文]-传感技术学报 2001(03) 5.张文修;吴伟业;梁吉业粗糙集理论与方法 2001 本文读者也读过(8条) 1.臧大进.严宏凤.王跃才.ZANG Da-jin.YAN Hong-feng.WANG Yue-cai多传感器信息融合技术综述[期刊论文]-工矿自动化2005(6) 2.多传感器信息融合及应用[期刊论文]-电子与信息学报2001,23(2) 3.赵小川.罗庆生.韩宝玲.ZHAO Xiao-chuan.LUO Qing-sheng.HAN Bao-ling机器人多传感器信息融合研究综述[期刊论文]-传感器与微系统2008,27(8) 4.范新南.苏丽媛.郭建甲.FAN Xin-nan.SU Li-yuan.GUO Jian-jia多传感器信息融合综述[期刊论文]-河海大学常州分校学报2005,19(1) 5.咸宝金.陈松涛智能移动机器人多传感器信息融合及应用研究[期刊论文]-宇航计测技术2010,30(2) 6.韩增奇.于俊杰.李宁霞.王朝阳信息融合技术综述[期刊论文]-情报杂志2010,29(z1) 7.肖斌多传感器信息融合及其在工业中的应用[学位论文]2008 8.丁伟.孙华.曾建辉.DING Wei.SUN Hua.ZENG Jian-hui基于多传感器信息融合的移动机器人导航综述[期刊论文]-传感器与微系统2006,25(7) 引证文献(2条) 1.武伟.郭三学基于多传感信息融合的轮胎气压监测系统[期刊论文]-轮胎工业 2006(5) 2.魏东.杨洋.李大寨.宗光华基于多传感器融合的机器人微深度环切[期刊论文]-传感器技术 2005(11) 本文链接：https://www.doczj.com/doc/355931924.html,/Periodical_jqr2003z1037.aspx
多传感器信息融合
0前言 移动机器人的定位问题是提高移动机器人自主能力的关键问题之一。具体来说，定位是利用先验环境地图信息、机器人位姿的当前估计及传感器的观测值等输入信息，经过一定的处理和变换，产生更加准确地对机器人当前位姿的估计。机器人的定位方式有很多种，如，基于光电寻线的定位、基于声纳的机器人自主定位、基于全景视觉的定位及基于激光测距的定位等。可以看出：机器人的定位方式取决于所采用的传感器。目前，在移动机器人上使用较多的传感器有视觉传感器、里程计和惯导系统、超声传感器、激光测距仪、GPS 定位系统等。其中，视觉传感器具有信息量大、感应时间短的优点，但往往获得的数据噪声大、信息处理时间长；激光传感器在测距范围和方向上具有较高的精度，但价格昂贵；超声波传感器虽然角度分辨力较低，但它处理信息简单、成本低、速度快，因此，在自主移动机器人上得到了广泛的应用；里程计是一种相对定位传感器，它通过累计计算得到定位信息，缺点是存在累计误差问题，因此，可结合绝对定位传感器，如超声传感器等，提供较准确的定位。各传感器都有它自己的局限性，因此，移动机器人往往同时装备多种传感器，各自提供关于机器人定位的消息。目前的趋势是：根据传感器的可靠性。使用不同类型的传感器来测量相关数据。本文采用扩展卡尔曼滤波( EKF) 技术，将里程计和超声波传感器所提供的数据进行融合定位。 1 机器人运动模型的建立 由于移动机器人机构复杂，为了便于构造运动学模型与规划控制机器人的位姿，本文选择两轮驱动小车作为运动平台。将整个机器人本体看作一个刚体，车轮视为刚性轮，并在运动不是太快而转弯半径较大时，不考虑车轮与地面侧向滑动的情况，其简化运动学模型如图1 所示。
非线性卡尔曼滤波与多传感器融合 电信少41 刘星辰 2120406102 （1） 根据题目中给出的量测方程，进行坐标变换，得 ) )(sin(arctan ))()((sin )())(cos(arctan ))()((cos )(,,22,,,,22,,k i k i k k r i k i k i k i k k i k i k k r i k i k i k i k x x y y y y x x r k y x x y y y y x x r k x θθννθννθ+--?+-+-=?=+--?+-+-=?= 以此坐标画图，结果如下： （2） 将非线性问题线性化，新的量测方程为 k r k i k i k v X H Z ,,,+= 其中， ????? ??? ? ??? -+---+----+---+--=0)()() (0 )()()(0)()()(0)()()(2 22 22 22 2,i k i k i k i k i k i k i k i k i k i k i k i k i k y y x x x x y y x x y y y y x x y y y y x x x x H []T k k k k k y y x x X = 扩展卡尔曼滤波算法一个循环如下：
[]1 1 )1()1()1()|1()1|1() 1()'1()|1()1()'1()|1()1()1()1()()'()|()()|1()|1(?)1()1()|1(?)1|1(?--+++-+=+++++=++++++=++=++-++++=++k W k S k W k k P k k P k S k H k k P k W k H k k P k H k R k S k Q k F k k P k F k k P k k z k z k W k k x k k x 将量测方程代入，由于题目中未给出滤波器初值，因此参考作业二中的初值，得到的两个雷达估计的目标状态如下图： 距离均方根误差为 [] ∑=-+-= M i k k k k position y y x x M k RMSE 1 22)?()?( 1 )( 将估计位置、量测位置分别代入上式，得到两个雷达量测和估计的距离均方差，如下图：
多传感器数据融合技术的理论及应用 张宁110101256 摘要：多传感器数据融合技术是一门新兴前沿技术。近年来，多传感器数据融合技术已经受到广泛关注，它的理论和方法已经被应用到许多研究领域。本文主要论述了多传感器数据融合的基本概念、工作原理、数据融合特点与结构、数据融合方法及其应用领域，并总结了当前数据融合研究中存在的主要问题及其发展趋势。 关键词：多传感器；数据融合；融合方法 1引言 多传感器数据融合是一个新兴的研究领域，是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术，是多学科交叉的新技术，涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。近年来，多传感器数据融合技术无论在军事还是民事领域的应用都极为广泛。多传感器数据融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、医疗诊断、模式识别等领域。实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。 2基本概念及融合原理 2.1多传感器数据融合概念 数据融合又称作信息融合或多传感器数据融合，对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展，根据国内外研究成果，多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。
一、背景介绍： 多传感器数据融合是一种信号处理、辨识方法，可以与神经网络、小波变换、kalman 滤波技术结合进一步得到研究需要的更纯净的有用信号。 多传感器数据融合涉及到多方面的理论和技术，如信号处理、估计理论、不确定性理论、最优化理论、模式识别、神经网络和人工智能等。多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。 多传感器信息融合技术通过对多个传感器获得的信息进行协调、组合、互补来克服单个传感器的不确定和局限性，并提高系统的有效性能，进而得出比单一传感器测量值更为精确的结果。数据融合就是将来自多个传感器或多源的信息在一定准则下加以自动分析、综合以完成所需的决策和估计任务而进行的信息处理过程。当系统中单个传感器不能提供足够的准确度和可靠性时就采用多传感器数据融合。数据融合技术扩展了时空覆盖范围，改善了系统的可靠性，对目标或事件的确认增加了可信度，减少了信息的模糊性，这是任何单个传感器做不到的。 实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。信号级融合方法最简单、最直观方法是加权平均法，该方法将一组传感器提供的冗余信息进行加权平均，结果作为融合值，该方法是一种直接对数据源进行操作的方法。卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。 多传感器数据融合虽然未形成完整的理论体系和有效的融合算法，但在不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合方法。多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类，随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、产生式规则等;而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见，神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。 数据融合存在的问题 (1)尚未建立统一的融合理论和有效广义融合模型及算法； (2)对数据融合的具体方法的研究尚处于初步阶段； (3)还没有很好解决融合系统中的容错性或鲁棒性问题； (4)关联的二义性是数据融合中的主要障碍； (5)数据融合系统的设计还存在许多实际问题。 二、算法介绍： 2.1多传感器数据自适应加权融合估计算法： 设有n 个传感器对某一对象进行测量，如图1 所示，对于不同的传感器都有各自不同的加权因子，我们的思想是在总均方误差最小这一最优条件下，根据各个传感器所得到的测量值以自适应的方式寻找各个传感器所对应的最优加权因子，使融合后的X值达到最优。
汽车防盗系统中的多传感器数据融合 一、引言 汽车日益成为人们生活中不可缺少的部分，然而，令汽车用户担忧的是车辆被盗现象呈逐年上升趋势。现在市场上汽车的防盗系统很多，它们都是多传感器的数据融合技术的应用。 二、汽车防盗系统的组成 汽车防盗系统主要由信号采集系统、报警系统、控制系统、通讯系统等组成。本系统的工作原理主要：传感器负责采集信号，一般每一种信号都有两个或两个以上不同种类的传感器负责采集，以保证当一个传感器损坏后不会影响系统的工作。当其中任何一个传感器检测到信号不正常时，传感器就会把信息告知中央处理系统，当中央处理器判定为有用的告警信号后就会立刻启动报警系统。 当中央处理器发出启动报警系统的命令后，视频系统负责记录偷车人的声音和相貌以给公安机关破案提供线索和证据，声光告警系统则会发出刺耳的鸣叫和亮光以惊吓偷车人使其放弃偷车。在防盗系统中通讯系统起着重要的作用，视频系统采集到的声音图像等信息传送给监控中心和车主，以使监控中心能及时的采取措施，如切断汽车油路等。现在的汽车防盗系统一般采用模块化设计，其系统的逻辑框图如图1-1所示。 图1-1
三、汽车防盗系统的传感器说明 3.1微波多普勒传感器 利用多普勒效应制成的传感器可以用来探测人体或物体的移动．该传感器在人或物体靠近时接收器接收的频率发生变化，当频率变化至设定值时，可以判断为有人或物体进入防盗系统的预警范围。 3.2振动传感器 该传感器的功能是将车辆所受外界作用的机械能转换为电信号。其作用是感受车身或车窗是否受到外界机械碰撞；汽车是否被非法升起，监测轮胎与轮毂之间的压力状态;监测驾驶座是否受压，能够对车体特殊频段的振动进行监测。如图是YD69正反转测量霍尔双通道传感器。 3.3倾角传感器 倾角传感器监测车体相对于初始位置是否出现倾角变化，如果这种角度的变是以特定频率出现或达到设定的阈值就可以判断为汽车整体被搬运．如图是一个电压型单轴倾角传感器。
多传感器数据融合 多传感器数据融合1引言数据融合一词最早出现在20世纪70年代末期。几十年来，随着传感器技术的迅速发展，尤其在军事指挥系统中对提高综合作战能力的迫切要求，使其得到了长足的发展。其早期主要是应用在军事上，而随着工业系统的复杂化和智能化，近年来该技术推广到了民用领域，如医疗诊断、空中交通管制、工业自动控制及机械故障诊断等。数据融合是针对一个系统中使用多个传感器这一问题而展开的一种信息处理的新的研究方向，所以数据融合也称为传感器融合。数据融合一直没有一个统一的定义，一般认为：利用计算机技术，对按时间顺序获得的若干传感器的观测信息，在一定的准则下加以自动分析、综合，从而完成所需要的决策和估计任务而进行的信息处理过程称为数据融合。2
数据融合技术的分类多传感器数据融合涉及到多方面的理论和技术如信号处理、估计理论、不确定性理论、模式识别最优化技术、神经网络和人工智能等。很多学者从不同角度出发提出了多种数据融合技术方案。从技术原理角度，可分为假设检验型数据融合、滤波跟踪型数据融合、聚类分析型数据融合、模式识别型数据融合、人工智能型数据融合等；按判决方式分有硬判决型和软判决型数据融合；按传感器的类型分有同类传感器数据融合和异类传感器数据融合按对数据的处理方式，可分为象素级融合、特征级融合和决策级融合；从方法来分有Bayes推理法、表决法、D-S 推理法、神经网络融合法等。从解决信息融合问题的指导思想或哲学观点加以划分，可分为嵌入约束观点、证据组合观点和人工神经网络观点三大类。3常用的数据融合方法数据融合方法种类繁多，图1归纳了常用的一些信息融合方法。估计方法
制造系统多信息融合及应用 A：简答题 1、简述多信息融合的目的是什么？信息融合的典型问题与方法有哪些？ 答：多信息融合是指用多信息源对事物的不同侧面、不同阶段、不同深度进行融合决策，以获得完整全面的预测，避免单一信息源的片面偏差。它的主要目的是有效组织与利用能够获得的多种信息资源，提供比只采用其中部分信息资源获得更准确、更可靠、更协调、更经济与更稳定的决策结果。 典型问题有：(1)问题：传感感知的多数据源和多信息源具有不同的感知机理和不同数据类型（即异类）；多源数据和信息之间常常不能保持同步；感知的时空范围中目标、时间或者更复杂的态势可能存在变化等，方法：传感感知事件的时空协同、动态协同，面向目标、事件或者复杂态势的合适的控制等。(2)输入的数据类型可能存在差异，方法：引入来自外部参数系统的定位信息等，研究有针对性的解决方法等。(3)不同事件（特征）集中的“目标”数目不一致；输入数据含糊、不一致、冲突或不可靠；输入数据相关的噪声/误差，方法：产生一组可能表示现实世界的模型假设。利用方法选择与获取数据最接近的假设等。(4)决策对象可能比较复杂，具有多目标或者多时间、多层次和多侧面处理需求，复杂的动态（如态势和威胁）的表达和处理模式，方法：利用多层次的概念，包括对象的多层次、处理的多层次、元模型的多层次、多侧面处理等；针对不同层次研究具体的适用理论方法和处理结构；多远信息的协同分析；建立专门的融合评价平台等。 2、如何理解信息融合的层次？对于特定系统对象，试比较数据层融合与特征层融合在有效性方面的区别？ 答：信息融合的层次有两个层次的含义：一层含义是直接针对融合单元的输入输出关系的表述，这些关系中最常见的有数据-数据对、特征-特征对和决策-决策对，于是形成了数据层融合、特征层融合和决策层融合；另一层含义是针对和整个融合决策任务来说的，依据融合任务的主体情况，任务主导的输入-输出需求，确定数据、特征、决策三层的划分。 区别：进行数据层融合的数据集可以来自不同的传感器和（或者）不同的信息源，数据层融合结果一般是数据，可以通过算法提供相应的特征；特征层融合的输入特征可能来自不同数据层融合的结果、也可能来自其他直接提供特征的信息源或者渠道，特征层输出可以直接形成相应的决策。 3、数据关联有哪些类型，如何将异源、异构数据进行关联？ 答：数据关联分为静态数据关联和动态数据关联，静态数据关联存在三种典型情况：具有同样维数的多传感器的数据关联、具有不同维数的多传感器的数据关联和具有多个站点的多传感器的数据关联。 对象代理模型可以作为数据集成的一种通用的数据模型，它也是能够很好地解决各个异
1.多传感器数据融合的结构形式有串联型融合，并联型融合，混联型融合。 2. 3 4自校准层中用到的算法包括自适应加权算法、和（贝叶斯估算法，分布图与分批估计算法）。 5传感器一般由敏感元件，转换元件，测量电路，辅助电路等组成。 6机器人由机械部分、传感部分、控制部分三大部分组成。 7.智能传感器是由传感器和微处理器相结合而构成。 8.根据信息融合处理方式的不同，可以将多传感器信息融合系统结构分为集中、分散、混合、反馈型等。 9.常用的多传感器信息融合方法可以分为以下四大类。 10.根据处理对象的层次不同，可以将信息融合分类为数据层融合、特征层融合、决策层融合。 12.11.序号跳了， 13.11、12并没有题目。 14.机器人的机械结构系统由机械构件和传动机构组成。 15.机器人的运动方式主要有、、、及。 16.机器人传感器分为内部传感器和外部传感器两种。 17.多传感器信息融合过程主要包括A/D、数据预处理、特征值提取、和融合计算等环节。 18.智能传感器的硬件结构模块要由以下六个部分组成一个或多个敏感器件、微处理器或为控制器、非易失性可擦写存储器、双向数据通信的接口、模拟量输入输出接口、高效的电源模块。 19.传感器的标定可分为动态标定和静态标定。 20.传感器按构成原理分类为结构型和物性型。 21.压电传感器是根据压电效应制造而成的。 22.机器人的机械结构系统中的机械构件由机身、手臂和末端执行器三大件组成。 23.机器人驱动系统的驱动方式主要有液压、气压和电气。 24.机器人内部传感器主要包括位置、速度、加速度、倾斜角、力觉传感器等五种基本种类。 25.智能传感器是由传感器和微处理器相结合而构成的。第7题重复 26.多传感器信息融合的常用方法可以分为估计、分类、推理、人工智能四大类。 26.传感器按能量关系分类为能量转换和能量控制型；按基本效应分类分为物理、化学、生物型。第19题合并 27传感器进行动态特性标定时常用的标准激励源有周期函数和瞬变函数两种。 28机器人的机械结构系统由机械构件和传动系统组成。第13题重复 29机器人外部传感器主要包括视觉传感器、触觉、接近度、激光等基本种类。 30.智能传感器的实现方式主要有非集成化的模块方式、集成化实现和混合实现三种形式。 31.多传感器信息融合的系统结构分为集中、分散、混合、反馈型四大类。第8题重复 32.机器人电器驱动系统中，马达是其执行元件。
基于多传感器信息融合的智能机器人 院－系：信息工程与自动化学院 专业：模式识别与智能系统 年级： 2011 级 学生姓名：朱丹 学号： 2011204082 任课教师：黄国勇 2011年11月
摘要 机器人多传感器信息融合是当今科学研究的热点问题。传感器是连接机器人智能处理过程与外界环境的重要纽带，一般智能机器人都配有数个不同种类的传感器。本文主要分析了多传感器系统在机器人当中的重要性和多传感器信息融合的基本原理，并探讨了多传感器信息融合技术在智能机器人中的应用。 关键词：智能机器人、多传感器、信息融合 引言 多传感器、信息融合技术与传统机器人的结合构成了智能机器人。要使机器人拥有智能，对环境变化做出反应，首先必须使机器人具有感知环境的能力。用传感器采集环境信息加以综合处理，控制机器人进行智能作业，更是机器人智能化的重要体现。在以往机器人智能领域的研究中，人们把更多的注意力集中到研究和开发机器人的各种外部传感器上。尽管在现有的智能机器人和自主式系统中，大多数使用了多个不同类型的传感器，但并没有把这些传感器作为—个整体加以分析，更像是—个多传感器的拼合系统。虽然在各自传感器信息处理与分析方面开展了大量富有成效的工作，但由于忽视了多传感器系统的综合分析，对提高智能系统的性能带来了不利影响，效率低下而且速度缓慢。 因此，多传感器信息融合技术较之单一传感器有非常大的数据准确度的优势，已经成为现在机器人研究领域的关键技术。 一、多传感器信息融合的基本原理 多传感器信息融合是人类和其他生物系统中普遍存在的一种基本功能。人类本能地具有将人体的各种功能器官(眼、耳、鼻、四肢)所探测的信息(景物声音、气味和触觉)与先验知识进行综合的能力，以便对周围的环境和正在发生的事件做出估计。这一处理过程是复杂的，也是自适应的，它将各种信息(图像、声音、气味、物理形状、描述)转化成对环境的有价值的解释，这需要大量不同的智能处理，以及适用于解释组合信息含义的知识库。 多传感器信息融合实际上是对人脑综合处理复杂问题的一种功能模拟。在多传感器系统中，各种传感器提供的信息可能具有不同的特征:时变的或者非时变的；实时的或者非实时的；快变的或者缓变的；模糊的或者确定的；精确的或者不完整的；可靠的或者非可靠的；相互支持的或互补的；相互矛盾的或冲突的。 多传感器信息融合的基本原理就像人脑综合处理信息的过程一样，它充分地利用多个传感器资源，通过对各种传感器及其观测信息的合理支配与使用，将各种传感器在空间和时间上的互补与冗余信息依据某种优化准则组合起来，产生对观测环境的一致性解释和描述。信息融合的目标是基于各传感器分离观测信息，通过对信息的优化组合导出更多的有效信息。它的最终目的是利用多个传感器共同或联合操作的优势，来提高整个传感器系统的有效性。
第一章绪论 课题研究背景 近年来，随着计算机技术与人工智能科学的飞速发展，服务机器人技术逐渐成为现代机器人研究领域的热点。一方面随着信息高速发展和生活、工作节奏的加快，人们需要从繁杂的家庭劳动中解脱出来；另一方面人口的老龄化和社会福利制度的完善也为某些服务机器人提供了广泛的市场应用前景。区别于工业机器人，服务机器人的一个主要特征就是服务机器人是一种适用于具体的方式、环境及任务过程的机器人系统，其活动空间大，具有在非结构环境下的移动性，因此扫地机器人是一种能够自动执行房间清扫的家用服务机器人，集中了机械学、电子技术、传感器技术、计算机技术、控制技术、机器人技术、人工智能技术等多学科。开始于20世纪80年代的研究，现在已经有多重样机和产品，并且促进了家庭服务机器人行业的发展，也促进了移动机器人技术、图像、语音识别、传感器等技术的发展。许多发达国家都将其视为机器人研究的新领域给予重视。有关资料也预测扫地机器人是未来几年需求量最大的服务机器人，特别是日用扫地电器不论在市场上或者是在产品创新上，绝对是所有小家电产品中最活跃的，未来仍有很大的成长空间，因此此课题研究有很大的意义。 国内外研究现状 扫地机器人的特点 扫地机器人具有如下的特点： (1)扫地机器人自带电源，小巧轻便、操作简单、自主性强、具有很强的实用性。 (2)扫地机器人的工作环境主要为普通家庭环境，也可以用于机场候机大厅、展
览馆、图书馆等公共场所。环境的共同特征为有限的封闭空间、平整的地板以及走动的人员，因此可以归结为复杂多变、结构化的动态环境。所以环境适应性是对此类机器人的基本要求。 (3)扫地机器人的任务是清扫地面，工作的对象是地面的灰尘、纸屑以及其他一些小尺寸物体，而大尺寸物体不作为扫地机器人的处理对象。考虑到安全因素，扫地机器人必须对人及家庭物品等不构成任何危害，同时扫地机器人还必须具备自我保护的能力。 随着近年来计算机技术、人工智能技术、传感技术以及移动机器人技术的迅速发展，扫地机器人控制系统的研究和开发己具备了坚实的基础和良好的发展前景。扫地机器人的控制与工作环境往往是不确定的或多变的，因此必须兼顾安全可靠性、抗干扰性以及扫地度。用传感器探测环境，分析信号，以及通过适当的建模方法来理解环境，具有特别重要的意义。近年来对智能机器人的研究表明，目前发展较快并且对扫地机器人发展影响较大的关键技术是：路径规划技术、传感技术、吸尘清扫技术、电源技术等。 ①路径规划技术 扫地机器人的路径规划就是根据机器人所感知到的工作环境信息，按照某种优化指标，在起始点和目标点规划出一条与环境障碍无碰撞的路径，并实现所需清扫区域完全路径覆盖。按机器人工作环境不同可分为静态结构化环境、动态己知环境和动态不确定环境，按机器人获取环境信息的方式不同可以分为基于模型的路径规划和基于传感器的路径规划。根据机器人对环境信息知道的程度不同，可以分为两种类型：全局路径规划和局部路径规划。常用的环境建模的主要方法有：可视图法、自由空间法、栅格法、势场法等。与其它移动机器人相比较，扫地机器人作业环境和作业任务相对简单，机器人要实现自主路径规划、控制和作业并不困难。 ②传感技术 扫地机器人在工作时需要实时地检测自身状态信息和收集外界环境息，以控
多传感器融合方法 一、 数学知识 1、 期望 定义1设X 是离散型随机变量，它的概率函数是：k k ,1,2,P X X p k === （） 如果1k k k x p ∞ =∑有限，定义X 的数学期望 ()1 k k k E X x p +∞ ==∑ 定义2设X 是连续型随机变量，其密度函数为()f x ，如果()x f x ∞ -∞ ?有限，定 义X 的数学期望为 ()()E x xf x dx +∞-∞ =? 2、 条件数学期望 定义X 在Y y =的条件下的条件分布的数学期望称为X 在Y y =的条件下的条件期望。 当(),X Y 为离散随机向量时 ()()||i i i E X Y y x P X x Y y ====∑ 当(),X Y 为连续随机向量时 ()()|y ||x E X Y y xp x y dx +∞-∞ ==? 3、 贝叶斯公式 定义设Ω为试验E 的样本空间，B 为E 的事件，12,,n A A A 为Ω的一个划分，且 ()0P B >，()()01,2,,i P A i n >= ，则
()()() ()() 1 ||,1,2,|i i i n j j j P B A P A P A B i n P B A P A == =∑ 称此为贝叶斯公式。 4、 贝叶斯估计 期望损失：??(|)(,)(|)R x p x d θλθθθθΘ =? 损失函数：?(,)λθ θ，把θ估计为?θ所造成的损失 常用损失函数：2??(,)()λθ θθθ=-，平方误差损失函数 如果采用平方误差损失函数，则θ的贝叶斯估计量?θ是在给定x 时θ的条件期望，即： []?|(|)E x p x d θθθθθΘ ==? 同理可得到，在给定样本集χ下，的贝叶斯估计是： []?|(|)E p d θθχθθχθΘ ==? 求贝叶斯估计的方法：（平方误差损失下） ● 确定θ的先验分布()p θ ● 求样本集的联合分布 1(|)(|)N i i p p x θχθ==∏ ● 求的后验概率分布 (|)() (|)(|)()p p p p p d χθθθχχθθθ Θ = ? ● 求的贝叶斯估计量 ?(|)p d θθθχθΘ =? Gaussian 情况，仅参数θμ=未知 给定样本集χ，已知随机变量()2~,k x N μσ均值未知而方差已知。均值变量
第一章绪论 1.1 课题研究背景 近年来，随着计算机技术与人工智能科学的飞速发展，服务机器人技术逐渐成为现代机器人研究领域的热点。一方面随着信息高速发展和生活、工作节奏的加快，人们需要从繁杂的家庭劳动中解脱出来；另一方面人口的老龄化和社会福利制度的完善也为某些服务机器人提供了广泛的市场应用前景。区别于工业机器人，服务机器人的一个主要特征就是服务机器人是一种适用于具体的方式、环境及任务过程的机器人系统，其活动空间大，具有在非结构环境下的移动性，因此扫地机器人是一种能够自动执行房间清扫的家用服务机器人，集中了机械学、电子技术、传感器技术、计算机技术、控制技术、机器人技术、人工智能技术等多学科。开始于20世纪80年代的研究，现在已经有多重样机和产品，并且促进了家庭服务机器人行业的发展，也促进了移动机器人技术、图像、语音识别、传感器等技术的发展。许多发达国家都将其视为机器人研究的新领域给予重视。有关资料也预测扫地机器人是未来几年需求量最大的服务机器人，特别是日用扫地电器不论在市场上或者是在产品创新上，绝对是所有小家电产品中最活跃的，未来仍有很大的成长空间，因此此课题研究有很大的意义。 1.2 国内外研究现状 1.2.1 扫地机器人的特点 扫地机器人具有如下的特点： (1)扫地机器人自带电源，小巧轻便、操作简单、自主性强、具有很强的实用性。 (2)扫地机器人的工作环境主要为普通家庭环境，也可以用于机场候机大厅、展览馆、图书馆等公共场所。环境的共同特征为有限的封闭空间、平整的地板以及走动的人员，因此可以归结为复杂多变、结构化的动态环境。所以环境适应性是对此类机器人的基本要求。 (3)扫地机器人的任务是清扫地面，工作的对象是地面的灰尘、纸屑以及其他一些小尺寸物体，而大尺寸物体不作为扫地机器人的处理对象。考虑到安全因素，扫地机器人必须对人及家庭物品等不构成任何危害，同时扫地机器人还必须具备自我保护的能力。 随着近年来计算机技术、人工智能技术、传感技术以及移动机器人技术的迅速发展，扫地机器人控制系统的研究和开发己具备了坚实的基础和良好的发展前景。扫地机器人的控制与工作环境往往是不确定的或多变的，因此必须兼顾安全可靠性、抗干扰性以及扫地度。用传感器探测环境，分析信号，以及通过适当的建模方法来理解环境，具有特别重要的意义。近年来对智能机器人的研究表明，目前发展较快并且对扫地机器人发展影响较大的关键技术是：路径规划技术、传
多传感器信息融合技术综述 内容摘要：多传感器信息融合技术是一门新兴学科，它的理论和方法已被应用到许多研究领域。本文主要对多传感器信息融合的模型与结构、信息融合的主要技术和方法、信息融合理论体系以及信息融合技术的应用等内容进行了概要介绍和展开了综述。 关键词：多传感器；信息融合；综述 随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术和并行计算的软硬件技术等相关技术的发展，多传感器信息融合技术已受到了广泛关注。多传感器信息融合是20世纪80年代出现的一门新兴学科，它首先广泛地应用于军事领域，如海上监视、空－空和地－空防御、战场情报、监视和获取目标及战略预警等，随着科学技术的进步，多传感器信息融合至今已形成和发展成为一门信息综合处理的专门技术，并很快推广应用到工业机器人、智能检测、自动控制、交通管理和医疗诊断等多种领域。我国从20世纪90年代也开始了多传感器信息融合技术的研究和开发工作，并在工程上开展了多传感器识别、定位等同类信息融合的应用系统的开发，现在多传感器信息融合技术越来越受到人们的普遍关注。1多传感器信息融合的概念 在信息融合领域，人们经常提及“多传感器融合”（multi-sensor fusion）、“数据融合”（data fusion）和“信息融合”（information fusion）。实际上它们是有差别的，现在普遍的看法是，多传感器融合包含的内容比较具体和狭窄，至于信息融合和数据融合，有一些学者认为数据融合包含了信息融合，还有一些学者认为信息融合包含了数据融合，而更多的学者把信息融合与数据融合的当作同一概念看待，在不影响应用的前提下，二种提法都是可以的。因此本文统一使用信息融合这一提法。信息融合有多种定义方式，作者认为比较确切的概念为：充分利用不同时间与空间的多传感器信息资源，采用计算机技术对按时序获得的多传感器观测信息在一定准则下加以自动分析、综合、支配和使用，获得对被测对象的一致性解释与描述，以完成所需的决策和估计任务，使系统获得比它的各组成部分更优越的性能。 2 信息融合的模型和结构 2.1 信息融合的模型 信息融合绝大部分的研究都是根据具体问题及其特定对象建立自己的融合层次，针对其在军事上的应用将信息融合划分为检测层、位置层、属性层、态势评估和威胁估计；根据输入输出数据的特征提出了基于输入/输出特征的融合层次化描述等。可见，信息融合层次的划分没有统一标准，根据信息表征的层次，我们将信息融合划分为像素层、特征层和决策层，分别称为像素级融合、特征级融合和决策级融合[1]。一个给定的信息融合系统，可能涉及多个级别数据的输入。 （1）像素级融合见图1，这是最低层次的信息融合。在这种方法中，匹配的传感器数据直接融合，而后对融合的数据进行特征提取和特征说明。传感器的信息融合之后，没有单个处理的信息损失，识别的处理等价于对单个传感器的处理。该层次的信息融合能够提供其它层次上的融合所不具备的细节信息，因此，像素级多传感器处理提供一种最优决策和识别性能。但是，像素级融合要求精确的传感器配准和宽的传输带宽。 （2）特征级融合见图2，这是中间层次的信息融合。在这种方法中，每个传感器观测目标，并对各传感器的观测进行特征提取（如提取形状、边沿、方位信息等），产生特征矢量，而后融合这些特征矢量，并做出基于联合特征矢量的属性说明。在特征级融合中，各个源提供的特征矢量融合到一个综合的特征矢量中，这种融合是比较简单的，该层次的信息融合是像素级融合和更高一级决策级融合的折衷形式，兼容了两者的优缺点，具有较大的灵活性，在许多情况下是很实用的。
收稿日期:2002203217 作者简介:毛士艺(1935-),男,浙江黄岩人,教授,100083,北京. 多传感器图像融合技术综述 毛士艺 赵 巍 (北京航空航天大学电子工程系) 摘 要:对国内外多传感器图像融合技术的发展状况进行了介绍,描述了 图像融合的主要步骤,概括了目前主要图像融合方法的基本原理,并对各种方法的性能进行了定性分析.给出了评价图像融合效果的标准和方法,指出了图像融合技术的发展方向. 关 键 词:图像处理;图像合成;传感器;图像融合 中图分类号:T N 911.73文献标识码:A 文章编号:100125965(2002)0520512207 近20年,随着传感器技术和计算机计算能力的提高,多传感器图像融合技术的应用越来越广泛.在军事领域,以多传感器图像融合为核心内容的战场感知技术已成为现代战争中最具影响力的军事高科技.20世纪90年代,美国海军在SS N 2 691(孟菲斯)潜艇上安装了第1套图像融合样机,可使操纵手在最佳位置上直接观察到各传感器的全部图像[1],[2].1998年1月7日《防务系统月刊》电子版报道,美国国防部已授予BTG 公司2项合同,其中一项就是美国空军的图像融合设计合同,此系统能给司令部一级的指挥机构和网络提供比较稳定的战场图像.在遥感领域,大量遥感图像的融合为更方便、更全面地认识环境和自然资源提供了可能[3]～[5],其成果广泛应用于大地测绘、植被分类与农作物生长势态评估、天气预报、自然灾害检测等方面.1999年10月4日,由我国和巴西联合研制的“资源一号”卫星发射升空,卫星上安装了我国自行研制的CC D 相机和红外多光谱扫描仪,这两种航天遥感器之间可进行图像融合,大大扩展了卫星的遥感应用范围.在医学成像领域,CT 、MR 和PET 图像的融合提高了计算机辅助诊 断能力[6].2001年11月25日～30日在美国芝加哥召开了每年一度的RS NA 北美放射学会年会,在会议上GE 公司医疗系统部展销了其产品Dis 2covery LS.Discovery LS 是GE 公司于2001年6月 刚推出的最新PET/CT ,是世界上最好的PET 与最高档的多排螺旋CT 的一个完美结合,具有单体PET 不能比拟的优势.它可以完成能量衰减校正、 分子代谢影像(PET )与形态解剖影像(CT )的同机 图像融合,使检查时间成倍地降低.在网络安全领域,多尺度图像融合技术可将任意的图像水印添加到载体图像中,以确保信息安全[7]. 在各个应用领域的需求牵引下,各国学者对多传感器图像融合技术的研究也越来越重视.在多传感器信息融合领域中,图像融合是应用最为广泛,发表文献最多的一个方向.从文献[8]可看出,在参与统计的信息融合文章中,信号层的信息融合文章占53%.同时,我们做了这样一个调查,在Ei C om pendexWeb 数据库中用“image fusion ”作为关键词,检索从1980年到2001年摘要中出现这一词组的文章数目.1980年至1984年,这方面的文章只有4篇;1995年至1999年增加到603篇;2000年和2001年两年就有299篇.从中可以看出国际学术界对图像融合技术的重视程度与日俱增. 为了使国内同行对图像融合技术有一个较为全面的了解,本文在参考国内外文献的基础上,对目前常用的图像融合技术进行了概括和评述.文章首先介绍了图像融合研究的基本内容,将图像融合的概念界定到像素级;接着描述了各种图像融合技术的基本原理,对它们的优缺点进行了定性分析,给出了评价图像融合技术的方法. 1 多传感器图像融合技术研究内容 多传感器图像融合属于多传感器信息融合的范畴,是指将不同传感器获得的同一景物的图像 2002年10月第28卷第5期北京航空航天大学学报 Journal of Beijing University of Aeronautics and Astronautics October 2002V ol.28 N o 15
1.多传感器信息融合概念 多传感器信息融合是指综合来自多个传感器的感知数据, 以产生更可靠、更准确或更精确的信息。经过融合的多传感器系统能完善地、精确地反映检测对象特性, 消除信息的不确定性, 提高传感器的可靠性。经过融合的多传感器信息具有以下特性: 信息的冗余性、信息的互补性、信息的实时性和信息的低成本性。 2. 多传感器信息融合分类 按融合判断方式分类 （1） 硬判决方式 硬判决方式设置有确定的预置判决门限。只有当数据样本特征量达到或超过预置门限时，系统才做出判决断言；只有当系统做出了确定的断言时，系统才向更高层次系统传送“确定无疑”的判决结论。这种判决方式以经典的数理逻辑为基础，是确定性的。 （2） 软判决方式 软判决方式不设置确定不变的判决门限。无论系统何时收到观测数据都要执行相应分析，都要做出适当评价，也都向更高层次系统传送评判结论意见及其有关信息，包括评判结果的置信度。这种评判不一定是确定无疑的，但它可以更充分地发挥所有有用信息的效用，使信息融合结论更可靠更合理。 按传感器组合方式分类 （1） 同类传感器组合 同类传感器组合只处理来自同一类传感器的环境信息，其数据格式、信息内容都完全相同，因而处理方式相对比较简单。 （2） 异类传感器组合 异类传感器组合同时处理来自各种不同类型传感器采集的数据。优点是信息内容广泛，可以互相取长补短，实现全源信息相关，因而分析结论更准确、更全面、更可靠，但处理难度则高很多。 3.信息融合的系统结构 信息融合的系统结构研究包含两部分, 即信息融合的层次问题和信息融合的体系结构。融合的层次结构主要从信息的角度来分析融合系统, 信息融合的体系结构则主要是从硬件的角度来分析融合系统。 （1）信息融合的层次 信息融合系统可以按照层次划分, 对于层次划分问题存在着较多的看法。目前较为普遍接受的是层次融合结构, 即数据层、特征层和决策层。 数据层融合是指将全部传感器的观测数据直接进行融合, 然后从融