Computer?Engineering?and?Applications 计算机工程与应用?
复杂环境中多信息融合的手势识别
赵爱芳,裴东*,王全州,杨鸿武,安占福 ZHAO Aifang, PEI Dong, WANG Quanzhou , YANG Hongwu, AN Zhanfu 西北师范大学物理与电子工程学院，兰州 730070 College of physics and Electronic Engineering, Northwest Normal University, Lanzhou 730070, China
Gesture recognition fused with multi-information in complex environment
Abstract: Aiming at the problems existed in hand gestures recognition in complex environment, a hand gestures recognition approach fused depth information with infrared information is proposed in this paper. Firstly, depth information captured by Kinect is applied to segment the dynamic hand gesture, then, using infrared image to repair the hand gesture image. It solved the problem of real-time gesture segmentation and low recognition rate of gesture recognition using distribution feature of hand, when there is a defect or face interference in gesture segmentation region. The experimental results show that the proposed method is not sensitive to ambient light, and can identify gestures with small discrimination, and can recognize gesture of rotation, scaling, translation with strong robustness. For those gestures with large discrimination, the recognition rate is up to100%. Key words: hand gesture segmentation; distribution feature; hand gesture recognition; depth information; infrared information; complex background 摘要：针对复杂环境中的手势识别问题，提出了一种融合深度信息和红外信息的手势识别方法。首先利用 Kinect 摄像头的深度信息进行动态实时手势分割，然后融合红外图像复原手势区域。解决了实时手势分割 和利用手势的空间分布特征进行手势识别时由于分割的手势区域有缺损或有人脸干扰时识别率低的问题。 经实验验证，本文提出的方法不仅不受环境光线的影响，而且可以识别区分度较小的手势,对旋转、缩放、 平移的手势识别也具有鲁棒性。对于区分度较大的手势，识别率高达 100%。 关键词：手势分割;空间特征向量;手势识别;深度信息;红外信息;复杂环境 中图分类号：TP391 文献标识码：A doi：10.3778/j.issn.1002‐8331.1304‐0011
0 引言
随着计算机技术和人工智能的发展，人机交互 作为一项不可或缺的关键技术，已不在简单的局限 于传统的鼠标、键盘等设备[1]。而手势识别以其直 观、自然等特有的优点被众研究者所青睐。手势分 割和手势表示作为手势识别的第一步，也是基础的 一步。手势分割的结果对手势的识别和理解有着直 接的影响，而手势表示也直接影响了手势识别方法 的选择。在手势分割中，一般情况下研究人员都是 利用手的肤色信息来进行手势分割，为了得到一个 较好的手势分割效果，部分研究人员限制手势区域 的背景信息,也有部分研究人员在肤色信息的前提 下结合手势条件或者手势的几何特征[2]~[5]。手势表 示，或者说手势特征的提取，是手势识别中关键一 步。 不同的手势表示法决定了不同的手势识别方法。 比如文献[4]利用手势的轮廓及手势的凸起特征检测 指尖，然后利用指尖数来识别手势。该方法减小了 计算量，但是只适用于静态特征明显的手势。文献 [6]融合手势的多个几何特征完成手势识别。文献[7] 根据空间统计特征进行手势识别，但该方法只适用 于分割完整手势。 文献[8]则利用 Krawtchouk 矩完成 手势识别。随着微软 Kinect 摄像头的面市，利用其 深度信息进行手势识别的方法得到了重视[9]~[10]，但 一般是利用深度信息对图像完成粗糙分割，对其红 外图像的研究利用尚少。 本文中提出了利用微软的 Kinect 摄像头中的深 度信息融合红外图像进行手势的分割修复，解决了 传统的手势分割方法在存在相似颜色干扰、环境光 线影响大、无法分割手势区域和脸部区域重合的问 题，以及利用深度信息分割所得手势边缘粗糙的问 题。然后采用手势的空间统计特征算法提取手势的 空间特征向量，最后根据提取的手势的空间特征与 样本进行相似性度量，识别手势。经验证，本文的
基金项目：国家自然科学基金项目（61263036） ；甘肃省杰出青年基金项目（1210RJDA007） 。 作者简介：赵爱芳（1988-） ，女，研究生，主要研究方向:图像处理与模式识别；裴东，男，副教授；王全州，男，高级工程 师；杨鸿武，男，教授，博士；安占福，男，研究生。E-mail：peidong@https://www.doczj.com/doc/1e11171100.html,
Computer?Engineering?and?Applications 计算机工程与应用?
方法不仅克服了环境因素及颜色因素对手势区域分 割的影响，而且还可以识别区分度较小的手势。
1 手势区域分割
不管采用何种方式进行手势识别，能够准确的 从背景中分割出手势都是关键的一步。传统的手势 分割方法都是在肤色基础上通过空间颜色模型来确 定手势区域，不管采用何种方式，都无法从根本上 解决环境光线的影响及手势区域和脸部区域重合的 问题 [2]~[6]。而近年来，深度图像采集——一种非接 触式、不受物体本身颜色、纹理特征及环境光线影 响的技术得到了重视并发展迅速 [11]~[12]。本文中采 用微软的 Kinect 摄像头 Xbox360 来获取深度图像。 微软 Kinect 摄像头是一种 3D 体感摄像头，可 以同时捕获声音信息、RGB 图像信息以及深度图像 信息。Kinect 摄像头上有三个镜头，中间的一个用 来获取 RGB 图像，两侧的两个用来获取深度信息， 它是由红外发射器和红外 CMOS 摄影机构成。深度 图像的获取是通过来源于激光散斑的一种三维编码 技术[10]。 在常规的人际交互中，手势区域往往处于身体 区域的前方。而对于深度图像来说，靠近摄像头部 分的像素点在深度图像中的灰度值较大，相对摄像 头较远距离的像素点在深度图像中的灰度值较小， 同一深度区域的像素点灰度值一样。下图 1 为实际 场景中的 RGB 图像以及及其对应的深度图像和红 外图像。
Step1: 从视频的深度数据流中提取一帧深度图 像信息，并将其转换为灰度图像； Step2: 计算出灰度图像的直方图并统计出每个 灰度级的像素数 N i 0 ≤ i < 30） 与整幅图像像素数 N ， （ 求 δi =
Ni ； N
Step3: 提取当前图像中灰度值最大的像素点距 离摄像头的距离 D 。手势区域距离摄像头最近，灰 度值最大。在一幅图像中，手势区域占整幅图像区 域的多少是与手势区域距摄像头的距离有关，可以 简单的用 ε = α / D 表示。其中 ε 为手势区域占整个 图像区域的比例， α 为比例系数，取不同手势 α 的 平均值，根据实验近似可得 α =0.018。 Step4: 根据灰度值从大到小的顺序判定 δi ，若
δi ≥ ε 取 Ni 处的灰度值作为阈值。 δi < ε 则依次判 若
断
δ i + δi ?1 ,......., δi + δi ?1 +
+ δi? j
直
到
(δi + δi ?1 +
+ δ i ? j ) ≥ ε ， N i-j 处的灰度值作为阈值 取
。 （其中 0 ≤ i < 30, 0 ≤ j < 30 ） 根据实验我们得出将灰度等级划分为 255，直 方图灰度级划分为 30 等分时可以最佳的分割出手 势区域。下图 2 为图 1 中的深度图像的灰度图像的 直方图以及根据分割阈值得到的手势分割的效果图。
（a）RGB 图像
(b)深度图像 图 1 Kinect 采集的图像
(c)红外图像 （a）深度图像的直方图 （b）手势分割效果
为了让本系统具有更好的适应性，不必固定人 与深度摄像头之间的距离，所以无法用固定的深度 阈值实现区域分割。 假定在常规的人机交互过程中， 手势区域始终是置于身体位姿之前，离深度摄像头 距离最近。手势区域相对于整个背景来说面积较小 [9][13][14] 。 因此可以通过计算深度图像的灰度直方图， 按灰度值从大到小找出像素数变化较大的部分即可 [9] 。但实际上，文献[9]所提出方法具有局限性，其 要求由深度数据流得到的灰度图像具有灰度渐变性， 也就是说空间格局需要满足一定的要求，当此条件 不成立时，无法得到正确的阈值。本文提出了如下 的改进方法，具体步骤如下：
?
图 2 深度图像直方图及利用其分割所得的手势
2 手势特征提取
传统的基于静态的手势识别方法不仅难以识别 区分度较小的手势，并且实时性较差。文献[7]在分 析传统手势特征的基础上提出了一种基于手势空间 分布特征的识别方法。实现了对区分度较小的手势 的识别，但是，其一是无法解决手势和人脸有重叠 的问题；其二是当分割的手势区域有残缺时，识别 率大大降低。本文的手势区域分割方法已解决了第 一个问题，但是从图 2(b)中我们可以看出分割得到
Computer?Engineering?and?Applications 计算机工程与应用?
的手势区域轮廓边缘存在锯齿或凹凸，甚至手势区 域具有部分缺损。这是不适合空间统计模型的手势 识别方法。对于 Kinect 摄像头来说，它不仅有深度 数据流可以构成深度图像，同时生成深度数据的红 外摄像头可以生成红外图像。在红外图像中，红外 源靠近摄像头的像素点灰度值比较高，距离摄像头 较远的灰度值较低。虽然红外图像表达的手势比较 完整，但是红外图像易于受到外界的干扰，有很多 的噪声点和噪声区域。而且红外图像的手势区域的 灰度值并不是同一个灰度值，所以采用分割深度图 像中手势区域的方法是不行的。因此，本文采用深 度图像得到的轮廓来分割红外图像的方法。具体步 骤如下： （1）找出深度图像中手势区域的轮廓。首先对 得到的包含手势区域的图像形态学腐蚀操作 2 次， 去除噪声，然后再形态学膨胀操作 3 次复原图像， 确保手势区域被完全包含，最后利用 Canny 算子找 出手势的轮廓如下图 3。
分手势空间区域的同心圆在不同的手势上被肤色区 域和非肤色区域分成了不同的圆弧段和弧长，每一 个圆上的圆弧段数可以作为手势的第二个空间特征， 相对弧长作为第三个空间特征。本文中将第一个特 征作为主要特征，第二、三个特征作为辅助特征构 成手势的空间特征向量组
HDF = {D1 Dn；H1 H n；HC11 HCnm } ；其中 n
表示将一
个手势区域分成 n 环子区域； D (0 ≤ i ≤ n ? 1) 表示第 i
i
环区域内目标像素点的相对密度；H (0 ≤ i ≤ n ? 1) 表示
i
第 i 圈圆环上非目标区域所占的圆弧段数； HC 表
i, j
手势的 示第 i 圈圆上非目标区域圆弧 j 的相对长度。 空间征提取具体如下：
（a）手势 1 图 3 深度图像处理后的轮廓
(b) 手势 2
(c) 手势 3
图 5 不同手势的空间特征分布
（2）处理红外图像。首先，根据 Canny 算子找 出的手势轮廓确定红外图像显示的范围。其次对红 外图像先采取形态学腐蚀操作 2 次， 去除噪声干扰； 再进行形态学膨胀操作 1 次复原图像；最后对红外 图像增强。可得到如图 4 所示的完整手势。虽然手 势由于采用的形态学操作有一些变形，但是已不存 在手势区域部分残缺的问题。
Step1: 提取手掌的中心点。提取手势区域中心 点的可以通过形态学腐蚀的方法，也可以通过计算 手势区域的重心得到。本文为了减小识别时的计算 量，手势区域的中心点以手掌的中心点替代。我们 先对手势区域进行形态学腐蚀操作，得到大概的手 掌区域，然后再计算手掌区域的重心点。
x=
∑ ∑ i × f (i, j )
i
∑ ∑ f (i, j )
i j
j
图 4 完整手势的二值图像
y=
∑ ∑ j × f (i, j )
i
(1)
∑ ∑ f (i, j )
i j
j
（3）提取手势的空间分布特征。首先，不同的 手势其像素点在空间的分布不同[7][15]。因此手势区 域的像素点在空间中的区域分布是一个至关重要的 信息，其可作为手势识别的重要依据。在本文中， 我们通过形态学腐蚀再求质心的方法找到手势区域 的中心 O ，然后以 O 为圆心，当前手势的最大外接 圆区域由内而外等距离划分（如图 5 所示） ，再统计 每个区域内的像素点的相对密度，获取手势的第一 个空间分布向量。其次，从图 5 我们可以看出，划
?1, if (i, j ) ∈ D f (i, j ) = ? ?0, else Step2: 计算手势区域中心点到目标图像的最大
距离 Dmax 。以 Dmax 为半径，中心点为圆心画手势区 域的外接圆。从上图 5 的 a，b，c 中我们可以看出 不同的手势其主要区别在指头部分，不同的手势其 手掌区域的特征相似。通过研究人手的生理结构特
?
Computer?Engineering?and?Applications 计算机工程与应用?
2 征，以最大半径 Dmax 为半径作圆，其圆内包含的 5 2 为手掌区域。然后再从 Dmax 到 Dmax 划分为 5 个子 5
特征 Hi ，确定手势。若确定则停止继续判定下一个 辅助特征并输出结果。若不能确定则继续判定。 Step1.3: 利用欧式距离进行手势的相似性度量 第二个辅特征，若确定手势则输出结果。若不确定 则再利用欧式距离进行手势的相似性度量主要特征 并输出结果。读取下一帧数据并转到判断中心点的 位移。 Step2:依次从子区域 1 至 5 判断手势的主要特征 Di ，若在子区域 1 判断出手势，则停止判断，若无 则依次判断下一个子区域。读取下一帧数据并转到 判断中心点的位移。
图像区域。 Step3: 统计每个子图像区域内的目标点像素数
Si (i = 1, 2,...N ) （ N 为采样区域的个数，在本文中 N
=6，并规定最远离圆心子图像 1，最近圆心的中心 圆为子图像 6）以及整个手势区域内目标像素点数
Smax 。
Step4: 计算每个子图像区域内目标像素点的相 对密度。 S Di = i （2） Smax Step5：统计第 i （规定最远离圆心的圆为 1， 最近圆心的中心圆为圆为 6） 圈圆上的手势特征 Hi 。 Step6：统计第 i （规定最远离圆心的圆为 1， 最近圆心的中心圆为圆为 6）圈圆上的手势特征
HCi , j 。
HCi , j = hci , j hci
4 手势分割、识别结果及分析
由于深度图像和红外图像的获取本身是对非可 见光的发射与采集，所以光线的强弱对其是毫无影 响的。因此，本文的结果不再对不同光线条件下的 分割识别结果做比较。
4.1 手势分割结果比较分析
本文的分割效果（a）与文献[9]的分割效果(b) 对比图如下图 6 所示：
(1 ≤ i < 6, 0 ≤ j < H i )
（3）
其中 hci , j 表示第 i 圈圆上非目标区域圆弧段 j 的长 度， hci 示第 i 圈圆上非目标区域圆弧的总长度。
（a）本文的分割效果 (b)文献[9]的分割效果 图 6 手势分割效果对比图
3 手势识别
为了提高识别的实时性及效率，我们建立了如 下的识别机制： 比较腐蚀前后中心点距离变化将手势分成两类。 对于有指头伸出并分开的手势，中心点的位移比较 大，归为 1 类，其他的归为 2 类。对于 1 类，执行 step1.1 至 step1.4 ；对于 2 类，根据手势的主要特 征就可以做出判断，所以只需要执行 step2 。 Step1.1: 依次从子区域 5 到 1 判断手势的主要 特征 Di ，根据阈值将手势再分类，若在子区域 5 可 以判定出手势中的指头数，再判定子区域 4 确定手 势的指头数，若两个区域中的指头数相同则不需要 继续判定下一个子区域，若两个区域中的指头数不 同则继续判定。 Step1.2: 依次从子区域 1 到 5 判断手势的辅助
从图 6 的手势分割效果对比图可以看出，本文 的分割复原方法能够完整准确的分割复原手势区域， 得到的手势区域边缘光滑，手指部分完整。
4.2 手势识别结果比较分析
本文选取下图 7 所示的 18 个常用的手势进行试 验。 由实验者在摄像头前做各种手势， 实时的识别。
图 7 本文的识别手势
?
Computer?Engineering?and?Applications 计算机工程与应用?
视频图像序列为复杂背景，有人脸干扰，实时识别 效果如下图 8 所示。其中每个子窗口代表的含义依 次为深度视频流图像，人手分割复原结果，手势识 别结果（用上图的手势图片表示） 。
距离(m) 测试手势 1.1 手势 8 手势 9 手势 10 98 98 72 1.2 98 100 72 1.3 96 100 74 1.4 100 100 68 1.5 98 98 64 1.6 96 94 58 1.7. 94 88 54 1.8 90 82 54 1.9 84 72 44
(a) 第 17 帧
(b) 第 24 帧
(c)
第 42 帧
(d) 第 55 帧
从上表 1 的三手势在不同距离下的识别率可以 看出，距离在 1.1~1.5(m)时，三手势的各识别率基 本没有变化，但是随着距离的进一步加大，各识别 率明显降低。对于特征明显的手势，缩放对识别率 的影响较小，对于特征不太明的手势，缩放对识别 率影响较大。 文献[9]中的方法及文献[15]中的单个描述符无 法区分文中的部分手势，故采用本文的识别方法与 文献[7]的识别方法作对比。手势区域与摄像头的距 离为 1.1~1.5（m）的任意距离，对图 7 所示的手势 分别实验 50 次，所得结果如下表 1 所示（手势序号 1-18 依次为图 7 中手势图片从左往右从上往下编 号）:
表 2 不同方法识别率对比
文献[7] 手势序 的识别 号 率% 1 90 60 60 44 56 74 56 60 98 88 92 80 74 84 92 76 98 100 10 11 12 13 14 15 16 17 18 率% 号 率% 60 46 72 50 52 80 70 40 74 72 88 86 82 84 88 94 90 92 本文识别 手势序 的识别 率% 文献[7] 本文识别
(e) 第 65 帧 图 8 手势识别效果
(f) 第 75 帧
2 3 4 5 6 7
本文根据人手的特征提取手势的空间特征，以 其作为识别依据。提取划分子区域的中心点时采取 先进行形态学腐蚀，再计算剩余部分质心的方法， 确保半径 R ≤
2 5
Dmax 区域所包含的为手掌区域。在 2 Dmax 区域采样，减小计算量，
8 9
提取特征时仅对 R >
5 提高识别速度。从图 8 识别结果 d、e、f 可以看出， 本文所提出的方法在手势平移、旋转、缩放的情况 下仍可实现对手势的识别。在手势平移和旋转的情 况下，识别效果良好，当缩放较大时，识别率明显 降低。一方面是由于手势距摄像头较远时，所得的 阈值不能很好地完成手势的分割复原，另一方面是 提取的手势特征的差异性减小。 选取图 7 中手势 8、9 、10 在不同距离下实验 50 次，其识别率如下表 1 所示：
表 1 不同距离下的识别率(%)
从上表 2 的识别率结果可以看出，对于本文提 出的方法，手势的识别率有明显的提高。一些区分 度大的手势识别率可达到 100%， 相对于一些区分度 小的手势识别率也有明显提高。对于手势 1、3、4、 10，辅助特征失去了作用，其主要空间特征向量相 似，识别率偏低；对于手势 7，13，虽然辅助特征 具有一定的效果， 但是容易混淆， 尤其对于手势 7， 手势表达较难，不利于分割后手势修复，识别率偏 低。增加手势的空间特征向量可以提高识别率，但 是会影响实时性。整体而言，本文所提出的方法对 大部分手势的识别率高于文献[7]的识别方法。一方
?
Computer?Engineering?and?Applications 计算机工程与应用?
面是本文的手势分割方法更有利于基于空间特征的 手势识别；另一方面是本文提出的手势特征及识别 机制对于某些手势的识别更具有优势。
[7]杨波,宋晓娜,冯志全等. 复杂背景下基于空间分布特征的 手势识别算法[J]. 计算机辅助设计与图形学报, 2010, 22(10): 1841-1848. [8]S. Padam Priyal, Prabin Kumar Bora. A robust static hand
5 结论
本文提出的复杂背景下融合深度图像和红外图 像的空间分布特征的手势识别方法，通过深度信息 和红外信息的融合分割出完整的手势区域，在文献 [7]15]的基础上， 提出了自己的手势空间特征并以此 特征为手势识别的依据。本文的方法简单、易行， 具有较高的实时性。手势识别过程不受环境光线、 人脸等因素的影响；另外，由于空间分布特征是一 种基于统计分析的方法，提取的手势特征可以做到 不随手势图像的旋转、缩放、平移的变化而变化,实 现了目前许多识别算法未能解决的手势旋转、 缩放、 平移时的识别。
gesture recognition system using geometry based normalizations and Krawtchouk moments [J]. Pattern Recognition (2013), https://www.doczj.com/doc/1e11171100.html,/10.1016/j.patcog.2013.01.033 [9]曹雏清,李瑞峰,赵立军. 基于深度图像技术的手势识别方 法[J]. 计算机工程, 2012, 38 (8) : 16-21. [10]罗元,谢彧, 张毅. 基于 Kinect 传感器的智能轮椅手势控 制系统的设计与实现[J]. 机器人，2012,34 (1):110-113. [11] Zhou Ren, Depth camera based hand gesture recognition and its applications in Human-Computer-Interaction [C]// 8th International Conference of Information,
参考文献
[1]R. Elakkiya, K.Selvamani, S.Kanimozhi ect. , Intelligent System for Human Computer Interface Using Hand Gesture Recognition [J] Procedia Engineering. Volume 38, 2012, Pages 3180-3191. [2]王修晖,鲍虎军.基于自适应遗传算法的手势识别[J].计算 机辅助设计与图形学报, 2007, 19 (8):1056 -1062. [3]汤勇,顾宏斌,周来.交互系统中实时手势分割及指尖检测 方法[J]. 光电工程, 2010, 37 (7): 140-150. [4]翁汉良,战荫伟. 基于视觉的多特征手势识别[J].计算机工 程与科学, 2012, 34 (2) :123-127. [5]陈一民,张云华. 基于手势识别的机器人人机交互技术研 究[J]. 机器人, 2009,31 (4): 351-356. [6]Liu Yun, Zhang Lifeng, Zhang Shujun. A Hand Gesture Recognition Method Based on Multi-Feature Fusion and Template Matching [J]. Procedia Engineering, Volume 29, 2012, Pages 1678-1684
Communications and Signal Processing (ICICS), 2011: 1 5. [12 ] Raheja , J.L. Chaudhary, A. Singalk. , Tracking of Fingertips and Centers of Palm Using KINECT [C]//Third International Conference of Computational Intelligence, Modeling and Simulation (CIMSiM) ，2011：248 - 252. [13]邓瑞,周玲玲,应忍冬. 基于 Kinect 深度信息的手势提取 与 识 别 研 究 [J/OL]. 计 算 机 应 用 研 究 , 2012-11-28 . https://www.doczj.com/doc/1e11171100.html,/kcms/detail/51.1196.TP.20121128.1505.0 40.html [14]张毅,张烁,罗元 等. 基于 Kinect 深度图像信息的手势 轨迹识别及应用[J]. 计 算 机 应 用 研究, 2012, 29 (9): 3547-3550. [15]王晓年,邱立可,程宇等.一种基于环间面积比的旋转、平 移和缩放不变性描述符[J]. 模式识别与人工智能, 2012, 25 (1): 83-87.
?
复杂环境中多信息融合的手势识别
作者： 作者单位： 刊名： 英文刊名： 年，卷(期)： 赵爱芳， 裴东*， 王全州， 杨鸿武， 安占福 西北师范大学物理与电子工程学院,兰州 730070 计算机工程与应用 Computer Engineering and Applications 2013
本文链接：https://www.doczj.com/doc/1e11171100.html,/Periodical_pre_27350f68-1b97-4483-b8b8-d6e085b13a41.aspx
万方数据
万方数据
万方数据
万方数据
万方数据
多传感器信息融合方法综述 作者：吴秋轩， 曹广益 作者单位：上海交通大学电子信息与电气工程学院,上海,200030 刊名： 机器人 英文刊名：ROBOT 年，卷(期)：2003,25(z1) 被引用次数：2次 参考文献(5条) 1.周锐;申功勋;房建成基于信息融合的目标图像跟踪 1998(12) 2.张尧庭;桂劲松人工智能中的概率统计方法 1998 3.何友;王国宏;彭应宁多传感器信息融合 2000 4.罗志增;叶明Bayes方法的多感觉信息融合算法及其应用[期刊论文]-传感技术学报 2001(03) 5.张文修;吴伟业;梁吉业粗糙集理论与方法 2001 本文读者也读过(8条) 1.臧大进.严宏凤.王跃才.ZANG Da-jin.YAN Hong-feng.WANG Yue-cai多传感器信息融合技术综述[期刊论文]-工矿自动化2005(6) 2.多传感器信息融合及应用[期刊论文]-电子与信息学报2001,23(2) 3.赵小川.罗庆生.韩宝玲.ZHAO Xiao-chuan.LUO Qing-sheng.HAN Bao-ling机器人多传感器信息融合研究综述[期刊论文]-传感器与微系统2008,27(8) 4.范新南.苏丽媛.郭建甲.FAN Xin-nan.SU Li-yuan.GUO Jian-jia多传感器信息融合综述[期刊论文]-河海大学常州分校学报2005,19(1) 5.咸宝金.陈松涛智能移动机器人多传感器信息融合及应用研究[期刊论文]-宇航计测技术2010,30(2) 6.韩增奇.于俊杰.李宁霞.王朝阳信息融合技术综述[期刊论文]-情报杂志2010,29(z1) 7.肖斌多传感器信息融合及其在工业中的应用[学位论文]2008 8.丁伟.孙华.曾建辉.DING Wei.SUN Hua.ZENG Jian-hui基于多传感器信息融合的移动机器人导航综述[期刊论文]-传感器与微系统2006,25(7) 引证文献(2条) 1.武伟.郭三学基于多传感信息融合的轮胎气压监测系统[期刊论文]-轮胎工业 2006(5) 2.魏东.杨洋.李大寨.宗光华基于多传感器融合的机器人微深度环切[期刊论文]-传感器技术 2005(11) 本文链接：https://www.doczj.com/doc/1e11171100.html,/Periodical_jqr2003z1037.aspx
多传感器信息融合
0前言 移动机器人的定位问题是提高移动机器人自主能力的关键问题之一。具体来说，定位是利用先验环境地图信息、机器人位姿的当前估计及传感器的观测值等输入信息，经过一定的处理和变换，产生更加准确地对机器人当前位姿的估计。机器人的定位方式有很多种，如，基于光电寻线的定位、基于声纳的机器人自主定位、基于全景视觉的定位及基于激光测距的定位等。可以看出：机器人的定位方式取决于所采用的传感器。目前，在移动机器人上使用较多的传感器有视觉传感器、里程计和惯导系统、超声传感器、激光测距仪、GPS 定位系统等。其中，视觉传感器具有信息量大、感应时间短的优点，但往往获得的数据噪声大、信息处理时间长；激光传感器在测距范围和方向上具有较高的精度，但价格昂贵；超声波传感器虽然角度分辨力较低，但它处理信息简单、成本低、速度快，因此，在自主移动机器人上得到了广泛的应用；里程计是一种相对定位传感器，它通过累计计算得到定位信息，缺点是存在累计误差问题，因此，可结合绝对定位传感器，如超声传感器等，提供较准确的定位。各传感器都有它自己的局限性，因此，移动机器人往往同时装备多种传感器，各自提供关于机器人定位的消息。目前的趋势是：根据传感器的可靠性。使用不同类型的传感器来测量相关数据。本文采用扩展卡尔曼滤波( EKF) 技术，将里程计和超声波传感器所提供的数据进行融合定位。 1 机器人运动模型的建立 由于移动机器人机构复杂，为了便于构造运动学模型与规划控制机器人的位姿，本文选择两轮驱动小车作为运动平台。将整个机器人本体看作一个刚体，车轮视为刚性轮，并在运动不是太快而转弯半径较大时，不考虑车轮与地面侧向滑动的情况，其简化运动学模型如图1 所示。
第34卷第8期2017年8月 计算机应用与软件 Computer Applications and Software VoL34 No.8 Aug.2017 显著性目标检测中的视觉特征及融合 袁小艳u王安志1潘刚2王明辉1 \四川大学计算机学院四川成都610064) 2 (四川文理学院智能制造学院四川达州635000) 摘要显著性目标检测，在包括图像/视频分割、目标识别等在内的许多计算机视觉问题中是极为重要的一 步，有着十分广泛的应用前景。从显著性检测模型过去近10年的发展历程可以清楚看到，多数检测方法是采用 视觉特征来检测的，视觉特征决定了显著性检测模型的性能和效果。各类显著性检测模型的根本差异之一就是 所选用的视觉特征不同。首次较为全面地回顾和总结常用的颜色、纹理、背景等视觉特征，对它们进行了分类、比较和分析。先从各种颜色特征中挑选较好的特征进行融合，然后将颜色特征与其他特征进行比较，并从中选择较 优的特征进行融合。在具有挑战性的公开数据集ESSCD、DUT-0M0N上进行了实验，从P R曲线、F-M easure方法、M A E绝对误差三个方面进行了定量比较，检测出的综合效果优于其他算法。通过对不同视觉特征的比较和 融合，表明颜色、纹理、边框连接性、Objectness这四种特征在显著性目标检测中是非常有效的。 关键词显著性检测视觉特征特征融合显著图 中图分类号TP301.6 文献标识码 A DOI：10. 3969/j. issn. 1000-386x. 2017.08. 038 VISUAL FEATURE AND FUSION OF SALIENCY OBJECT DETECTION Yuan Xiaoyan1,2Wang Anzhi1Pan Gang2Wang Minghui1 1 (College o f Computer Science，Sichuan University，Chengdu 610064，Sichuan，China) 2 {School o f Intelligent M anufacturing, Sichuan University o f A rts and Science, Dazhou 635000, Sichuan, China) Abstract The saliency object detection is a very important step in many computer vision problems, including video image segmentation, target recognition, and has a very broad application prospect. Over the past 10 years of development of the apparent test model, it can be clearly seen that most of the detection methods are detected by using visual features, and the visual characteristics determine the performance and effectiveness of the significance test model. One of the fundamental differences between the various saliency detection models is the chosen of visual features. We reviewed and summarized the common visual features for the first time, such as color, texture and background. We classified them, compared and analyzed them. Firstly, we selected the better features from all kinds of color features to fuse, and then compared the color features with other characteristics, and chosen the best features to fuse. On the challenging open datasets ESSCD and DUT-OMON, the quantitative comparison was made from three aspects：PR curve, F-measure method and MAE mean error, and the comprehensive effect was better than other algorithms. By comparing and merging different visual features, it is shown that the four characteristics of color, texture, border connectivity and Objectness are very effective in the saliency object detection. Keywords Saliency detection Visual feature Feature fusion Saliency map 收稿日期:2017-01-10。国家重点研究与发展计划项目（2016丫?80700802,2016丫?80800600);国家海洋局海洋遥感工程技术 研究中心创新青年项目（2015001)。袁小艳，讲师，主研领域:计算机视觉，机器学习，个性化服务。王安志，讲师。潘刚，讲师。王 明辉，教授。
多传感器数据融合技术的理论及应用 张宁110101256 摘要：多传感器数据融合技术是一门新兴前沿技术。近年来，多传感器数据融合技术已经受到广泛关注，它的理论和方法已经被应用到许多研究领域。本文主要论述了多传感器数据融合的基本概念、工作原理、数据融合特点与结构、数据融合方法及其应用领域，并总结了当前数据融合研究中存在的主要问题及其发展趋势。 关键词：多传感器；数据融合；融合方法 1引言 多传感器数据融合是一个新兴的研究领域，是针对一个系统使用多种传感器这一特定问题而展开的一种关于数据处理的研究。多传感器数据融合技术是近几年来发展起来的一门实践性较强的应用技术，是多学科交叉的新技术，涉及到信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。近年来，多传感器数据融合技术无论在军事还是民事领域的应用都极为广泛。多传感器数据融合技术已成为军事、工业和高技术开发等多方面关心的问题。这一技术广泛应用于复杂工业过程控制、机器人、自动目标识别、交通管制、惯性导航、海洋监视和管理、农业、医疗诊断、模式识别等领域。实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。 2基本概念及融合原理 2.1多传感器数据融合概念 数据融合又称作信息融合或多传感器数据融合，对数据融合还很难给出一个统一、全面的定义。随着数据融合和计算机应用技术的发展，根据国内外研究成果，多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。
多传感器数据融合 多传感器数据融合1引言数据融合一词最早出现在20世纪70年代末期。几十年来，随着传感器技术的迅速发展，尤其在军事指挥系统中对提高综合作战能力的迫切要求，使其得到了长足的发展。其早期主要是应用在军事上，而随着工业系统的复杂化和智能化，近年来该技术推广到了民用领域，如医疗诊断、空中交通管制、工业自动控制及机械故障诊断等。数据融合是针对一个系统中使用多个传感器这一问题而展开的一种信息处理的新的研究方向，所以数据融合也称为传感器融合。数据融合一直没有一个统一的定义，一般认为：利用计算机技术，对按时间顺序获得的若干传感器的观测信息，在一定的准则下加以自动分析、综合，从而完成所需要的决策和估计任务而进行的信息处理过程称为数据融合。2
数据融合技术的分类多传感器数据融合涉及到多方面的理论和技术如信号处理、估计理论、不确定性理论、模式识别最优化技术、神经网络和人工智能等。很多学者从不同角度出发提出了多种数据融合技术方案。从技术原理角度，可分为假设检验型数据融合、滤波跟踪型数据融合、聚类分析型数据融合、模式识别型数据融合、人工智能型数据融合等；按判决方式分有硬判决型和软判决型数据融合；按传感器的类型分有同类传感器数据融合和异类传感器数据融合按对数据的处理方式，可分为象素级融合、特征级融合和决策级融合；从方法来分有Bayes推理法、表决法、D-S 推理法、神经网络融合法等。从解决信息融合问题的指导思想或哲学观点加以划分，可分为嵌入约束观点、证据组合观点和人工神经网络观点三大类。3常用的数据融合方法数据融合方法种类繁多，图1归纳了常用的一些信息融合方法。估计方法
基于图像融合的目标识别研究 王立琦雷洁 （西安交通大学电子信息工程学院综合自动化研究所，陕西西安 710049） 【摘要】：红外与可见光传感器是目标识别系统中常用的两种传感器，将两种传感器图像进行融合能为我们提供更多的有效信息，从而提高目标识别正确率。本文在总结了传统的图像融合方法的基础上，改进了基于区域能量的小波图像融合规则，并设计了一种由支持向量机构建的分类器，对两类目标进行识别。实验表明，本文方法可以有效的提高识别正确率与识别速度。 【关键词】：目标识别；小波变换；图像融合；支持向量机； 1、引言 在高科技信息爆炸时代，各种监控设备功能不断增强，检测到的信息复杂多变，各种隐身、干扰和欺骗等反对抗技术应用广泛，仅依靠单一传感器难以保证目标识别系统高性能稳定工作，这就使得多传感器数据融合作为一种特殊的数据处理方法在目标识别领域越来越得到人们的重视。 红外成像传感器在夜间可以很好的工作，由其拍摄的红外图像可以直观地得到探测目标与背景间的热辐射差异，但只有目标的大致轮廓，细节信息很少；普通摄像机对场景的亮度变化较为敏感，由其拍摄的可见光图像清晰且细节信息较为丰富。红外与可见光图像的融合可以综合红外图像的目标指示特性和可见光图像的场景信息，提供更多、更有效的信息[1]。 小波变换是一种非冗余的多尺度，多分辨率分解图像经过小波变换之后数据的总量不会增大，同时小波变换具有方向性，利用这一特性可以获得视觉效果更佳的融合图像。在融合过程中，对图像的高频成分和低频成分加以区分，采用不同的融合算子和融合规则，可提高融合图像清晰度。目前已有的文献中提到的融合规则[2]可大致分为两类：一类是基于单个像素点的融合规则，如加权平均法、像素值取极值法等；另一类是基于区域的融合规则，如区域标准差，区域极值，区域能量法。由于区域能量较大的中心像素代表了原始图像中的明显特征，并且图像的局部特征一般不是只取决于某一像素，因此基于区域能量的融合规则显得更合理、更科学。但当两幅图像对应像素的区域能量相差比较大时，区域能量选大法可充分保留显著图像信号的细节特征。而当区域能量比较接近，其匹配程度比较大，这种方式容易导致选择错误，使融合图像不稳定，产生失真。鉴于此，本文提出了一种改进算法，即引入一个阈值，当两幅图像对应像素的区域能量差大于阈值时，采用区域能量选大法；当区域能量差小于阈值是，采用平均法。这样既可以清晰的保留显著图像信号的细节特征，又避免了失真，减少了噪声。 支持向量机 (SVM) [3-4]是一种基于统计理论的学习方法，由于其采用结构风险最小化原则，在固定经验风险的条件下，最小化分类函数的VC维，因此比传统的以经验风险最小化为原则的神经网络具有更好的泛化能力，在小样本学习中表现出良好的性能。对于多类模式识别问题，利用改进后的“一对一”策略的支持向量机构建分类器，可以大大减小训练量，提高识别速度。 本文将同一批配准后的红外图像与可见光图像进行小波变换后分别选择未改进的融合规则和改进后的融合规则进行融合，经过图像分割，特征提取，最后利用改进后的支持向量机构造的分类器进行分类。试验证明，采用本文方法得到的识别正确率与速度明显高于单纯使用红外图像或可见光图像或普通融合图像所得到的识别正确率与速度，有效提高了识别系统的正确性与实时性。 2、图像融合的意义 本文研究的为智能自主探测车辆系统中的识别子系统，主要工作是针对某个已检测到的目标，采用多种的传感器对目标进行信息采集，通过融合多源异构信息达到对目标的识别，并将识别结果传送给实验平台，便于后续研究。正常白天，可见光图像可以清晰的反映目标及周围环境的细节信息，但是强光下产生的影子难以与目标分离，而在夜间、阴雨天等光线不足的时候，可见
信息融合技术 1引言 融合(Fusion)的概念开始出现于70年代初期,当时称之为多源相关、多源合成、多传感器混合或数据融合(Data Fusion),现在多称之为信息融合(Information Fusion)或数据融合。 融合就是指采集并集成各种信息源、多媒体与多格式信息,从而生成完整、准确、及时与有效的综合信息过程。数据融合技术结合多传感器的数据与辅助数据库的相关信息以 获得比单个传感器更精确、更明确的推理结果。经过融合的多传感器信息具有以下特征:信息的冗余性、互补性、协同性、实时性以及低成本性。 多传感器信息融合与经典信号处理方法之间存在本质 的区别,其关键在于信息融合所处理的多传感器信息具有更 为复杂的形式,而且可以在不同的信息层次上出现。 2信息融合的结构模型 由于信息融合研究内容的广泛性与多样性,目前还没有 统一的关于融合过程的分类。 2、1按照信息表征层次的分类系统的信息融合相对于信息表征的层次相应分为三类:数据层融合、特征层融合与决策层融合。 数据层融合通常用于多源图像复合、图像分折与理解等方面,采用经典的检测与估计方法。特征层融合可划分为两大
类:一类就是目标状态信息融合,目标跟踪领域的大体方法都可以修改为多传感器目标跟踪方法;另一类就是目标特性融合,它实质上就是模式识别问题,具体的融合方法仍就是模式识别的相应技术。 决策层融合就是指不同类型的传感器观测同一个目标,每个传感器在本地完成处理,其中包括顶处理、特征抽取、识别或判决,以建立对所观察目标的初步结论。然后通过关联处理、决策层触合判决,最终获得联合推断结果。 2、2JDL模型(Joint Directors of Laboratories, JDL)与λ-JDL模型该模型将融合过程分为四个阶段:信源处理,第一层处理(即目标提取)、第二层处理(即态势提取)、第三层提取(即威胁提取)与第四层提取(即过程提取)。模型中的每一个模块都可以有层次地进一步分割,并且可以采用不同的方法来实现它们。 λ-JDL模型为JDL模型的简化,把0层包含进了1层, 4层融入其她各层中。 2、3按照数据流融合的位置进行分类多传感器融合系统中的一个关键问题就是在何处对数据流进行融合。按照融合位置的不同可以将融合结构分为以下三种类型:集中式融合、分布式多传感器融合与无中心融合结构。对于特定的信息融合应用不可能找到一种最优的融合结构,结构的选择必须综合考虑计算资源、可用的通信带宽、精度要求、传感器能力
一、背景介绍： 多传感器数据融合是一种信号处理、辨识方法，可以与神经网络、小波变换、kalman 滤波技术结合进一步得到研究需要的更纯净的有用信号。 多传感器数据融合涉及到多方面的理论和技术，如信号处理、估计理论、不确定性理论、最优化理论、模式识别、神经网络和人工智能等。多传感器数据融合比较确切的定义可概括为：充分利用不同时间与空间的多传感器数据资源，采用计算机技术对按时间序列获得的多传感器观测数据，在一定准则下进行分析、综合、支配和使用，获得对被测对象的一致性解释与描述，进而实现相应的决策和估计，使系统获得比它的各组成部分更充分的信息。 多传感器信息融合技术通过对多个传感器获得的信息进行协调、组合、互补来克服单个传感器的不确定和局限性，并提高系统的有效性能，进而得出比单一传感器测量值更为精确的结果。数据融合就是将来自多个传感器或多源的信息在一定准则下加以自动分析、综合以完成所需的决策和估计任务而进行的信息处理过程。当系统中单个传感器不能提供足够的准确度和可靠性时就采用多传感器数据融合。数据融合技术扩展了时空覆盖范围，改善了系统的可靠性，对目标或事件的确认增加了可信度，减少了信息的模糊性，这是任何单个传感器做不到的。 实践证明：与单传感器系统相比，运用多传感器数据融合技术在解决探测、跟踪和目标识别等问题方面，能够增强系统生存能力，提高整个系统的可靠性和鲁棒性，增强数据的可信度，并提高精度，扩展整个系统的时间、空间覆盖率，增加系统的实时性和信息利用率等。信号级融合方法最简单、最直观方法是加权平均法，该方法将一组传感器提供的冗余信息进行加权平均，结果作为融合值，该方法是一种直接对数据源进行操作的方法。卡尔曼滤波主要用于融合低层次实时动态多传感器冗余数据。该方法用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。 多传感器数据融合虽然未形成完整的理论体系和有效的融合算法，但在不少应用领域根据各自的具体应用背景，已经提出了许多成熟并且有效的融合方法。多传感器数据融合的常用方法基本上可概括为随机和人工智能两大类，随机类方法有加权平均法、卡尔曼滤波法、多贝叶斯估计法、产生式规则等;而人工智能类则有模糊逻辑理论、神经网络、粗集理论、专家系统等。可以预见，神经网络和人工智能等新概念、新技术在多传感器数据融合中将起到越来越重要的作用。 数据融合存在的问题 (1)尚未建立统一的融合理论和有效广义融合模型及算法； (2)对数据融合的具体方法的研究尚处于初步阶段； (3)还没有很好解决融合系统中的容错性或鲁棒性问题； (4)关联的二义性是数据融合中的主要障碍； (5)数据融合系统的设计还存在许多实际问题。 二、算法介绍： 2.1多传感器数据自适应加权融合估计算法： 设有n 个传感器对某一对象进行测量，如图1 所示，对于不同的传感器都有各自不同的加权因子，我们的思想是在总均方误差最小这一最优条件下，根据各个传感器所得到的测量值以自适应的方式寻找各个传感器所对应的最优加权因子，使融合后的X值达到最优。
多传感器数据融合技术 摘要：介绍多传感器数据融合技术的历史与研究现状，给出多传感器数据融合实现方法，最后给出应用和多传感器数据融合的不足与研究展望。 1 引言 多传感器数据融合是信息领域一个前景广阔的研究方向，世界各国都有学者和技术人员在开展数据融合技术的研究，我国对数据融合方面的研究也日益重视，国家自然科学基金和“863”计划已将其列入重点支持项目，因此，对多传感器数据融合进行学术与工程应用的研究具有重要意义[1]。 多传感器数据融合技术是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。多传感器数据融合技术从多信息的视角进行处理及综合，得到各种信息的内在联系和规律，从而剔除无用的和错误的信息，保留正确的和有用的成分,最终实现信息的优化，它也为智能信息处理技术的研究提供了新的观念。数据融合作为一门跨学科的综合信息处理理论，涉及系统论、信息论、控制论、人工智能和计算机通信等众多的领域和学科[2]。 本文介绍数据融合技术发展历史与研究现状，描述数据融合技术的几种典型实现方法，给出数据融合技术的主要应，最后对数据融合技术研究中存在的问题和发展前景进行了论述。 2 多传感器数据融合技术概述 2.1 数据融合的定义 数据融合也称为信息融合，它的定义有很多。Mango lini将数据融合定义为：一套利用具有不同性质的各种源数据的方法、工具、方式，目的是提高所需信息的质量，此定义着重于融合的方法。Hall 和Llinas的定义是“数据融合技术是将来自多传感器和相关数据库的有关信息进行综合，以得到精度上的改善和更加具体的推断，而这些也可以通过单个传感器来得到”。这种定义虽然提到了数据信息的质量，但是仍注重于方法。美国国防部定义为“数据融合是一个多级、多方面的过程,这个过程处理自动识别、连结、相关、估计以综合多源数据和信息.。”这一定义简单地说就是“处理自动识别、连结、相关、估计
基于多传感器信息融合的智能机器人 院－系：信息工程与自动化学院 专业：模式识别与智能系统 年级： 2011 级 学生姓名：朱丹 学号： 2011204082 任课教师：黄国勇 2011年11月
摘要 机器人多传感器信息融合是当今科学研究的热点问题。传感器是连接机器人智能处理过程与外界环境的重要纽带，一般智能机器人都配有数个不同种类的传感器。本文主要分析了多传感器系统在机器人当中的重要性和多传感器信息融合的基本原理，并探讨了多传感器信息融合技术在智能机器人中的应用。 关键词：智能机器人、多传感器、信息融合 引言 多传感器、信息融合技术与传统机器人的结合构成了智能机器人。要使机器人拥有智能，对环境变化做出反应，首先必须使机器人具有感知环境的能力。用传感器采集环境信息加以综合处理，控制机器人进行智能作业，更是机器人智能化的重要体现。在以往机器人智能领域的研究中，人们把更多的注意力集中到研究和开发机器人的各种外部传感器上。尽管在现有的智能机器人和自主式系统中，大多数使用了多个不同类型的传感器，但并没有把这些传感器作为—个整体加以分析，更像是—个多传感器的拼合系统。虽然在各自传感器信息处理与分析方面开展了大量富有成效的工作，但由于忽视了多传感器系统的综合分析，对提高智能系统的性能带来了不利影响，效率低下而且速度缓慢。 因此，多传感器信息融合技术较之单一传感器有非常大的数据准确度的优势，已经成为现在机器人研究领域的关键技术。 一、多传感器信息融合的基本原理 多传感器信息融合是人类和其他生物系统中普遍存在的一种基本功能。人类本能地具有将人体的各种功能器官(眼、耳、鼻、四肢)所探测的信息(景物声音、气味和触觉)与先验知识进行综合的能力，以便对周围的环境和正在发生的事件做出估计。这一处理过程是复杂的，也是自适应的，它将各种信息(图像、声音、气味、物理形状、描述)转化成对环境的有价值的解释，这需要大量不同的智能处理，以及适用于解释组合信息含义的知识库。 多传感器信息融合实际上是对人脑综合处理复杂问题的一种功能模拟。在多传感器系统中，各种传感器提供的信息可能具有不同的特征:时变的或者非时变的；实时的或者非实时的；快变的或者缓变的；模糊的或者确定的；精确的或者不完整的；可靠的或者非可靠的；相互支持的或互补的；相互矛盾的或冲突的。 多传感器信息融合的基本原理就像人脑综合处理信息的过程一样，它充分地利用多个传感器资源，通过对各种传感器及其观测信息的合理支配与使用，将各种传感器在空间和时间上的互补与冗余信息依据某种优化准则组合起来，产生对观测环境的一致性解释和描述。信息融合的目标是基于各传感器分离观测信息，通过对信息的优化组合导出更多的有效信息。它的最终目的是利用多个传感器共同或联合操作的优势，来提高整个传感器系统的有效性。
2012－2013 学年 第一学期期末试卷 学号 姓名 成绩 考试日期： 2013年 1 月 7日 考试科目：《 多源测试信息融合 》（A 卷） 注意事项：1、闭卷考试，考试时间120分钟； 2、请在答题纸和试卷上写明自己的姓名和学号。 题目： 一、简答题（本题共50分，每小题10分） 1． 简述多源测试系统数据融合的目的和定义。 答：目的：对多源知识和多个传感器所获得的信息进行综合处理，消除多传感器信息之间可能存在的冗余和矛盾，利用信息互补来降低不确定性，以形成对系统环境相对完整一致的理解，从而提高系统智能规划和决策的科学性、反应的快速性和正确性，进而降低决策风险过程。 定义：利用计算机技术，对不同传感器按时序获得的观测信息，按照一定的准则加以自动分析、优化和综合，为完成所需的决策和估计任务而进行的信息处理过程。 2． 简述D-S 证据理论中，mass 函数的定义，什么是焦元和焦元的基？ 答：（1）基本置信度指派m 是2Θ→[0,1]集合的映射，A 为2Θ一子集，记A ?2Θ ，且满足： m(A)也称为假设的质量函数或mass 函数； 2()0 ()1A m m A Θ ??=?? ?=??∑
（2）若m(A)>0，则称元素A 为证据的焦元;焦元中所包含识别框架中的元素个数称为该焦元的基，记作|A|。（4分） 3． 分布式融合系统常见的融合策略有哪些？（论述其中五个即可得满分） 答：常见的融合策略：“与”融合检测准则、“或”融合检测准则、表决融合检测准则、最大后验概率融合检测准则、Neyman-Pearson 融合检测准则、贝叶斯融合检测准则、最小误差概率准则。 4． 举例说明D-S 证据理论中的0信任冲突悖论。 答：如果识别框架下的多条证据中的一个证据的某一焦元的基本置信度分配为0，且该焦元与同一证据中其它基本置信度指派值不为0的焦元的交集不是其本身，则无论其它证据对该焦元的基本置信度分配有多大，组合结果中该焦元的基本置信度分配始终为0。 11230.5{}()0.2{}0.3{}=??==??=?A A m A A A A A ，12230.0{}()0.9{}0.1{}=??==??=?A A m A A A A A ，13230.55{} ()0.10{}0.35{} =?? ==??=?A A m A A A A A 14230.55{}()0.10{}0.35{}=??==??=?A A m A A A A A ，1230.00{} ()0.33{}0.67{} =?? ==??=? A A m A A A A A 。 5． 简述分布式融合检测系统二元假设检验问题，并分析二元假设检验结果可能出现的几种可能性。 答：在二元假设检验问题中，每个传感器的决策值ui 为二元值，定义如下： 010(1((1,2,，假设 判定为无目标） ，假设 判定为有目标） …,N)?==??i H H u i 设 P(H0)=P0 和 P(H1)=P1分别为H0和H1出现的先验概率，且P0 +P1=1
“机电装备设计”实验二 基于力觉、热觉的信息融合 和目标识别 实验指导书 实验班级______________ 实验者______________ 所学专业______________ 实验日期______________ 实验教师______________ 实验成绩______________ 内蒙古工业大学机械学院 先进制造实验室
1、实验目的 1、了解和实践多信息融合算法； 2、通过基于力觉、热觉的信息融合实现其目标物体的识别。 2、实验内容及要求： 1、用力觉和热觉信息实现目标物材分类； 2、位置材料特征提取； 3、特征提取实验； 4、多感觉信息融合。 3、实验装置 多感觉机械手实验装置 PCI6024E采集卡 计算机 4、实验原理 4．1、实验装置 1、实验装置简介 本实验装置是一种具有接近觉、接触觉、滑动觉、力觉、热觉等五种感觉的两自由度智能机械手，所有感觉集中于手爪部位，通过手爪对模拟工件的操作，实现感觉信息的测量。 作为实验装置，它使学生直接面对科学研究前沿，除多个实验可做生动的演示外，在信息处理部分可以融入自己的算法思想。在技术上，它具有控制方式灵活、人机界面友好、实验系统结构开放等特点。可作为“机械制造及其自动化”、“自动化”、“电子信息工程”等本科专业《机器人技术》课程的实验装置，也可用作相关专业研究生实践及研究开发平台。整个实验装置由机械手本体、控制器、计算机等三部分组成，系统组成示意图如图1所示。
机械手本体由多感觉手爪（其中力传感器装在腕部）、升降筒、支撑力柱和底座工作平台等组成，手爪的张开与闭合及手臂的升降均由步进电机驱动。手爪为丝杠螺母传动，带动一平移夹持机构实现手爪开合。升降是滚珠丝杠传动，螺母与升降筒固定在一起，由直线导轨保持其运动精度。 控制器由控制面板（含液晶显示）、传感器信号处理板、机械手控制板、电机驱动器、直流电源等组成。控制面板（含液晶显示）是人机界面，由按键输入，液晶输出。传感器信号处理板完成各种感觉信息的模拟信号处理，分别输出到PC机和机械手控制板。机械手控制板包括感觉信号的A/D转换、键盘输入处理和各种实验功能的实现（含手爪及升降电机的控制）。 计算机是各种感觉信息的演示界面，用LABVIEW软件开发，能用多个窗口观察各个感觉信息的实时变化，并进行多感觉信息融合算法的实践。
多传感器信息融合技术综述 内容摘要：多传感器信息融合技术是一门新兴学科，它的理论和方法已被应用到许多研究领域。本文主要对多传感器信息融合的模型与结构、信息融合的主要技术和方法、信息融合理论体系以及信息融合技术的应用等内容进行了概要介绍和展开了综述。 关键词：多传感器；信息融合；综述 随着传感器技术、数据处理技术、计算机技术、网络通讯技术、人工智能技术和并行计算的软硬件技术等相关技术的发展，多传感器信息融合技术已受到了广泛关注。多传感器信息融合是20世纪80年代出现的一门新兴学科，它首先广泛地应用于军事领域，如海上监视、空－空和地－空防御、战场情报、监视和获取目标及战略预警等，随着科学技术的进步，多传感器信息融合至今已形成和发展成为一门信息综合处理的专门技术，并很快推广应用到工业机器人、智能检测、自动控制、交通管理和医疗诊断等多种领域。我国从20世纪90年代也开始了多传感器信息融合技术的研究和开发工作，并在工程上开展了多传感器识别、定位等同类信息融合的应用系统的开发，现在多传感器信息融合技术越来越受到人们的普遍关注。1多传感器信息融合的概念 在信息融合领域，人们经常提及“多传感器融合”（multi-sensor fusion）、“数据融合”（data fusion）和“信息融合”（information fusion）。实际上它们是有差别的，现在普遍的看法是，多传感器融合包含的内容比较具体和狭窄，至于信息融合和数据融合，有一些学者认为数据融合包含了信息融合，还有一些学者认为信息融合包含了数据融合，而更多的学者把信息融合与数据融合的当作同一概念看待，在不影响应用的前提下，二种提法都是可以的。因此本文统一使用信息融合这一提法。信息融合有多种定义方式，作者认为比较确切的概念为：充分利用不同时间与空间的多传感器信息资源，采用计算机技术对按时序获得的多传感器观测信息在一定准则下加以自动分析、综合、支配和使用，获得对被测对象的一致性解释与描述，以完成所需的决策和估计任务，使系统获得比它的各组成部分更优越的性能。 2 信息融合的模型和结构 2.1 信息融合的模型 信息融合绝大部分的研究都是根据具体问题及其特定对象建立自己的融合层次，针对其在军事上的应用将信息融合划分为检测层、位置层、属性层、态势评估和威胁估计；根据输入输出数据的特征提出了基于输入/输出特征的融合层次化描述等。可见，信息融合层次的划分没有统一标准，根据信息表征的层次，我们将信息融合划分为像素层、特征层和决策层，分别称为像素级融合、特征级融合和决策级融合[1]。一个给定的信息融合系统，可能涉及多个级别数据的输入。 （1）像素级融合见图1，这是最低层次的信息融合。在这种方法中，匹配的传感器数据直接融合，而后对融合的数据进行特征提取和特征说明。传感器的信息融合之后，没有单个处理的信息损失，识别的处理等价于对单个传感器的处理。该层次的信息融合能够提供其它层次上的融合所不具备的细节信息，因此，像素级多传感器处理提供一种最优决策和识别性能。但是，像素级融合要求精确的传感器配准和宽的传输带宽。 （2）特征级融合见图2，这是中间层次的信息融合。在这种方法中，每个传感器观测目标，并对各传感器的观测进行特征提取（如提取形状、边沿、方位信息等），产生特征矢量，而后融合这些特征矢量，并做出基于联合特征矢量的属性说明。在特征级融合中，各个源提供的特征矢量融合到一个综合的特征矢量中，这种融合是比较简单的，该层次的信息融合是像素级融合和更高一级决策级融合的折衷形式，兼容了两者的优缺点，具有较大的灵活性，在许多情况下是很实用的。
1.多传感器信息融合概念 多传感器信息融合是指综合来自多个传感器的感知数据, 以产生更可靠、更准确或更精确的信息。经过融合的多传感器系统能完善地、精确地反映检测对象特性, 消除信息的不确定性, 提高传感器的可靠性。经过融合的多传感器信息具有以下特性: 信息的冗余性、信息的互补性、信息的实时性和信息的低成本性。 2. 多传感器信息融合分类 按融合判断方式分类 （1） 硬判决方式 硬判决方式设置有确定的预置判决门限。只有当数据样本特征量达到或超过预置门限时，系统才做出判决断言；只有当系统做出了确定的断言时，系统才向更高层次系统传送“确定无疑”的判决结论。这种判决方式以经典的数理逻辑为基础，是确定性的。 （2） 软判决方式 软判决方式不设置确定不变的判决门限。无论系统何时收到观测数据都要执行相应分析，都要做出适当评价，也都向更高层次系统传送评判结论意见及其有关信息，包括评判结果的置信度。这种评判不一定是确定无疑的，但它可以更充分地发挥所有有用信息的效用，使信息融合结论更可靠更合理。 按传感器组合方式分类 （1） 同类传感器组合 同类传感器组合只处理来自同一类传感器的环境信息，其数据格式、信息内容都完全相同，因而处理方式相对比较简单。 （2） 异类传感器组合 异类传感器组合同时处理来自各种不同类型传感器采集的数据。优点是信息内容广泛，可以互相取长补短，实现全源信息相关，因而分析结论更准确、更全面、更可靠，但处理难度则高很多。 3.信息融合的系统结构 信息融合的系统结构研究包含两部分, 即信息融合的层次问题和信息融合的体系结构。融合的层次结构主要从信息的角度来分析融合系统, 信息融合的体系结构则主要是从硬件的角度来分析融合系统。 （1）信息融合的层次 信息融合系统可以按照层次划分, 对于层次划分问题存在着较多的看法。目前较为普遍接受的是层次融合结构, 即数据层、特征层和决策层。 数据层融合是指将全部传感器的观测数据直接进行融合, 然后从融
多传感器信息融合技术概述 摘要：传感器信息融合，是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。单一传感器只能获得环境或被测对象的部分信息段，而多传感器信息经过融合后能够完善地、准确地反映环境的特征。信息融合技术已经广泛应用于信息电子学、计算机科学、自动化等领域，下面从五个方面做概述。 关键词：多传感器；信息融合 1 多传感器信息融合基本原理 多传感器信息融合是人类和其他生物系统中普遍存在的一种基本功能。人类本能地具有将身体上的各种功能器官所探测到的信息（景物、声音、气味和触觉等）与先验知识进行综合的能力，以便对他周围的环境和正在发生的事件作出估计。多传感器信息融合的基本原理就像人脑综合处理信息的过程一样，它充分地利用多个传感器资源，通过对各种传感器及其观测信息的合理支配与使用，将各种传感器在空间和时间上的互补与冗余信息依据某种优化准则组合起来，产生对观测环境的一致性解释和描述。 信息融合的目标是基于各传感器分离观测信息，通过对信息的优化组合导出更多的有效信息。它的最终目的是利用多个传感器共同或联合操作的优势，来提高整个传感器系统的有效性。 2 多传感器信息融合的几种方法 2.1 卡尔曼滤波（KF） 该方法用测量模型的统计特性，递推决定统计意义下最优融合数据合计。如果系统具有线性动力学模型，且系统噪声和传感器噪声可用高斯分布的白噪声模型来表示，则KF 为融合数据提供惟一的统计意义下的最优估计，它的递推特性使系统数据处理不需大量的存储和计算。 KF分为分散卡尔曼滤波（DKF）和扩展卡尔曼滤波（EKF）。DKF可实现多传感器数据融合完全分散化，其优点是，单个传感器节点失效不会导致整个系统失效。而EKF 的优点是，可有效克服数据处理不稳定性或系统模型线性程度的误差对融合过程产生的影响。 2.2 人工神经网络法
燕山大学 多传感器信息融合技术报告 年级专业：测试计量技术17班 学生姓名：李群朱彩云杨雪莹 孙东涛李永发郭文龙 完成日期：2015年12月30日
目录 摘要 (1) 1多传感信息融合技术的基本原理 (2) 1.1 研究背景及意义 (2) 1.2 研究现状 (2) 1.2.1传感信息融合算法现状 (3) 1.2.2 传感信息融合模型现状 (4) 1.2.3 发展趋势 (5) 2 多传感信息融合技术理论知识 (5) 2.1 基本原理 (5) 2.2 多传感信息融合技术的体系构架 (6) 2.3 信息融合的主要技术 (7) 2.3.1 基于模糊理论的传感信息融合 (7) 2.3.2 基于人工神经网络的传感信息融合 (7) 2.3.3 基于D-S理论的传感信息 (8) 3 多传感信息融合技术的应用 (9) 3.1 在军事上的应用 (9) 3.2 在民用领域的应用 (9)
摘要 多传感信号融合就是利用计算机技术将来自传感器或多元的信息和数据，在一定的准则下加以自动分析和综合，以完成所需要的决策和估计而进行的信息处理过程。多传感器信息融合是用于包含处于不同位置的多个或者多种传感器的信息处理技术。随着传感器应用技术、数据处理技术、计算机软硬件技术和工业化控制技术的发展成熟，多传感器信息融合技术已形成一门热门新兴学科和技术。我国对多传感器信息融合技术的研究已经在工程上已应用于信息的定位和识别等。而且相信随着科学的进步，多传感器信息融合技术会成为一门智能化、精细化数据信息图像等综合处理和研究的专门技术。 本文主要介绍多传感信号融合技术的基本原理，发展现状以以及多传感信号融合技术在军事和民事上的应用。 关键字：融合，多传感，信息
传感器作业 学号：20103074 姓名：李文博 班级：自动化1006班
多传感器信息融合技术在林业生产中的应用 1.我国林业作业装备研究现状 我国有近4000万公顷的人工林面积[15]，现有的人工林是以速生丰产林为基础发展起来的，再过2-3年人工林将逐步进入成熟林，依靠传统的人工抚育和采伐技术已经不能满足现代化林业生产的需要，未来的林业生产也要由劳动力集约型向技术集约型转变，以增加单位劳动力的生产效率，增加林区农民收入，这也是解决三农问题的一个方面；此外，人工林的抚育也具有季节性和应急性，在最佳的季节完成除草、间伐、整枝和应急性病虫害防治及运输，必须通过机械化提高效率，对于抚育间伐材的搬运和大中径材的整枝抚育作业，人工无法高质、高效地完成有关作业，需要机械化装备以实现安全高效地作业。 为了解决上述问题，北京林业大学正在研制适合我国主要人工林的集约化抚育、采伐多功能联合作业技术成套装备。 图1 林木采育联合作业机的总体图 图2 林木采育联合作业机虚拟设计图
2.信息融和在林业装备中的应用 多功能林木采育作业关键技术装备在高度非结构化环境下工作理论上是完全可以实现的。机器自主行走、机器视觉对图像的三维深度信息、方位、动态响应和暂不可视信息的获取和解释，机械臂和末端执行器对视觉传感器解释信号的理解等都需要多传感器信息融合技术的支撑。 2.作业装备的半自主导航 为了适应作业环境的变化，该装备拟配置适合我国缓坡地人工林的小转弯半径轮式车辆底盘，以及适合我国陡坡地人工林的可伸缩的仿生式履带式车辆底盘，同时利用分布式多传感器系统及其信息融合技术，辅助驾驶员实现半自主导航。该装备可以利用自身的测距装置，如超声波和远红外传感器等，测量其与预先设定的目标之间的距离，利用CCD传感器获取周边环境及边界信息，同时结合地理信息系统和全球定位系统，通过信息融合技术对多个传感器反馈信息进行综合决策，形成对环境某一方面特征的综合描述，推算出自身的位姿，完成行走机构的半自主导航。 3.1 目标的识别与定位 所谓三维视觉信息包括从摄像机到物体之间的距离、物体的大小和形状、各物体之间的关系等。根据人工林作业环境的特殊性和复杂性，该装备主要采用当前高度实用的关节型机械臂作为本体结构，获取对象的位姿，经过运动规划和运动学反解,求出关节空间的运动解来控制关节电机的运动。因此，对于机械臂的视觉系统而言，不仅要探测到目标的存在，还要计算出目标的空间坐标。获取对象三维坐标的方法有两种[16] ：多目立体视觉，融合多个摄像机观察到的目标特征,重构这些特征的三维原像,并计算出目标的空间坐标；结构光法，选择激光、微波或超声波等光源,采用光栅法、移动投光法获取距离图像和反射图像，经联合分析测出物体的形状和空间分布。如果能利用多传感器融合技术将二者结合起来，由视觉系统获取原始平面图像，计算其形心坐标，再利用结构光法测量目标的深度信息，就能够实现更精确的路径规划和自主避障。 3.2 执行机构的柔顺控制 根据不同作业对象的物理特性,应采取不同的抓持专用机构。这些机构主要包括判断模块、状态识别模块、控制模块和反馈控制模块。在判断模块和状态识别模块中，目标定位主要依据分布式视觉传感器和接近觉传感器的信息融合；抓取状态的判断是通过于将分布式触觉传感器、节力矩传感器和关节角度传感器的输出融合起来，得到腕部力矩的变化量、抓取力的变化量、滑动量和抓取位置的变化量，从而实现对目标的稳定抓取。