下载文档原格式
图像融合简述1、图像融合：图像融合是指将多幅图像，在经过去噪、配准等预处理后，再依据某些融合规则合成⼀幅图像的过程。
融合图像对⽬标的描述更清晰和准确，更适合图像后续的处理。
（多传感器图像融合（可见光图像和红外图像融合）、单⼀传感器多聚焦图像融合）图像融合需要遵守的3个基本原则：1)融合后图像要含有所有源图像的明显突出信息；2)融合后图像不能加⼊任何的⼈为信息；3) 对源图像中不感兴趣的信息，如噪声要尽可能多地抑制其出现在融合图像中。
融合图像的作⽤①图像增强。
通过综合来⾃多传感器（或者单⼀传感器在不同时间）的图像，获得⽐原始图像清晰度更⾼的新图像。
②特征提取。
通过融合来⾃多传感器的图像更好地提取图像的特征，如线段，边缘等。
③去噪。
④⽬标识别与跟踪。
⑤三维重构。
2、图像融合应⽤领域图像融合技术的研究呈不断上升的趋势，应⽤领域也遍及遥感图像处理，可见光图像处理，红外图像处理，医学图像处理等。
3、⼏种典型的数字图像融合⽅法主成分分析法差分演化计算法（DE）遗传算法 GA粒⼦群算法（PSO）蚁群算法神经⽹络法⼩波变换法模糊图像融合。
如果按研究⽅法分类，彩⾊图像融合⼤体可以分为两类：基于⼈的视觉系统和直接基于物理光学。
基于物理光学的研究是直接在颜⾊空间RGB中对图像进⾏处理、融合。
⽽基于⼈的视觉系统的融合，更多是从感官上在⾊彩的 HI V空间对图像进⾏融合。
4、融合过程：图像融合的⽅法很多，按照信息提取的层次从低到⾼的原则可划分为 3 类：像素级图像融合、特征级图像融合和决策级图像融合。
像素级融合依据⼀定的融合规则直接对源图像基于像素的特征进⾏融合，最后⽣成⼀幅融合图像的过程。
它保留源图像的原始信息最多、融合准确性最⾼，但该类⽅法也存在着信息量最⼤、对硬件设备和配准的要求较⾼、计算时间长和实时处理差等缺点。
特征级图像融合是⾸先对源图像进⾏简单的预处理，再通过⼀定模型对源图像的⾓点、边缘、形状等特征信息进⾏提取，并通过合适的融合规则进⾏选取，再依据⼀定的融合规则对这些特征信息进⾏选取和融合，最后⽣成⼀幅融合图像的过程。
基于数字图像处理技术的多传感器融合实现技术研究随着现代技术的不断进步，人们越来越依赖于数字图像处理技术。
数字图像处理是指利用计算机对数字图像进行处理，从中提取出所需的信息或进行特定的处理。
而在多传感器融合技术中，数字图像处理技术也扮演着重要的角色。
本文将讨论基于数字图像处理技术的多传感器融合实现技术研究。
一、多传感器融合技术的概念传感器是指能够获取某一特定信息的探测器。
多传感器融合技术是指利用多个传感器采集的数据，利用处理技术，将这些数据进行集成和整合，以获得更加准确和全面的信息。
在实际应用中，多传感器融合技术常常与数字图像处理技术相结合，以获得更加准确的数据和更加完整的信息。
二、数字图像处理技术在多传感器融合中的应用数字图像处理技术可以对传感器采集的数据进行处理，提取出其中的特定信息，并将其与其他传感器的数据进行融合。
具体地说，数字图像处理技术在多传感器融合中可以有以下应用：1. 图像配准不同传感器采集的图像往往具有不同的姿态和视角，因此需要将它们进行配准，以使得它们可以在同一坐标系下进行比较和融合。
数字图像处理技术可以对不同传感器采集的图像进行配准，从而得到高质量的融合结果。
2. 特征提取数字图像处理技术可以对不同传感器采集的图像进行特征提取，寻找出其中的共性和差异。
通过合理的特征提取算法，可以获得准确的信息，并在此基础上进行下一步的数据融合。
3. 数据融合数字图像处理技术可以将不同传感器采集的数据进行融合，获得更加全面和准确的信息。
具体地说，可以使用基于贝叶斯理论和卡尔曼滤波器等方法，对多个传感器采集的数据进行融合，并得到更加准确的结果。
三、数字图像处理技术在多传感器融合中的应用案例数字图像处理技术在多传感器融合中有着广泛的应用，以下举出几个应用案例来说明。
1. 构建三维模型利用不同传感器采集的图像和数据，可以构建出准确的三维模型。
比如说，在建筑领域，可以利用激光雷达和相机多传感器信息，快速构建出高精度的三维模型。
多传感器图像融合技术的应用及发展趋势多传感器图像融合技术是近年来在计算机视觉和图像处理领域中备受关注的一个研究方向。
随着摄像头、红外相机、雷达等传感器在各个领域的广泛应用，传感器融合技术成为了解决多传感器信息整合和利用的重要手段。
本文将探讨多传感器图像融合技术的应用及发展趋势，以期为相关领域的研究者和从业者提供一定的参考价值。
一、多传感器图像融合技术的应用多传感器图像融合技术主要应用于军事、航天、医学、环境监测等领域。
军事领域是多传感器图像融合技术应用最为广泛的领域之一。
在军事装备中，不同传感器获取的信息往往具有互补性，可以通过图像融合技术将不同传感器的信息整合起来，提高目标检测与识别的准确性和鲁棒性。
航天领域是另一个重要的应用领域，多传感器融合技术可用于遥感卫星图像的处理与分析，提高图像的分辨率和信息获取能力。
在医学领域，多传感器图像融合技术可以将医学影像数据（如X光片、CT图像、核磁共振图像）进行融合处理，辅助医生进行诊断与治疗。
在环境监测领域，多传感器融合技术也可实现对大气污染、水质监测等方面的数据融合分析，提高监测系统的精度和可靠性。
随着智能交通、智能制造、智能家居等领域的不断发展，多传感器图像融合技术也逐渐应用于这些领域，例如交通监控系统中可以通过融合视频、红外图像等多传感器数据来提高交通监控的效果和准确性；智能家居系统中，通过融合声音、图像和传感器数据可以实现对环境的智能感知与控制；智能制造中的质量检测、工艺监控等方面也可以借助多传感器图像融合技术来提高精度和鲁棒性。
二、多传感器图像融合技术的发展趋势1. 动态自适应融合传感器获取的信息可能受到环境、光照等因素的干扰，因此传感器数据的质量可能会有一定的波动和变化。
未来的多传感器图像融合技术将更加注重动态自适应的融合策略，通过实时监测和分析不同传感器数据的质量和可靠性，对数据进行动态调整和融合，以保证融合结果的准确性与稳定性。
2. 多模态融合传感器不仅包括视觉传感器，还包括声音、温度、压力等多种类型的传感器。
多视角图像融合算法综述图像融合是一种将多幅图像融合成一幅结果图像的技术。
随着科技的发展和人们对图像质量的要求不断提高，多视角图像融合算法成为了研究热点。
本文将对多视角图像融合算法进行综述，分析其各种方法和应用。
1. 引言多视角图像融合算法的研究与应用涉及多个领域，包括计算机视觉、图像处理、机器学习等。
其主要目标是能够合成一幅更加清晰、更具信息丰富性的图像，并能够从多个视角中获取更多的细节。
多视角图像融合算法可应用于许多领域，如遥感图像、医学影像等。
2. 多视角图像融合算法的分类2.1 基于传统图像处理的方法传统的图像处理方法主要包括像素级融合、变换域融合和区域级融合三种。
2.1.1 像素级融合像素级融合是一种将多个图像的像素进行简单叠加或加权求和的方法。
这种方法简单直观，易于实现，但容易导致图像失真和信息丢失。
2.1.2 变换域融合变换域融合是基于图像的频域变换，如小波变换和离散余弦变换（DCT）。
通过对不同图像进行变换域分析和合成，可以达到多视角图像融合的目的。
然而，变换域融合方法对不同图像的频谱分量有一定假设，因此可能导致失真。
2.1.3 区域级融合区域级融合方法是基于图像的区域分割和匹配，将不同图像中相似的区域进行融合。
这种方法能够更好地保留图像的细节和结构，但需要进行复杂的图像分割和匹配，计算复杂度较高。
2.2 基于深度学习的方法近年来，深度学习在图像处理领域取得了重大突破。
多视角图像融合算法也开始采用基于深度学习的方法。
2.2.1 卷积神经网络（CNN）卷积神经网络是一种可以自动学习图像特征的神经网络。
通过训练大量的图像数据，CNN可以学习到图像中的细节和结构，并将多个视角的图像进行融合。
2.2.2 生成对抗网络（GAN）生成对抗网络是一种通过两个神经网络进行对抗训练的模型。
其中一个网络为生成器，负责生成合成图像；另一个网络为判别器，负责判断生成的图像是否真实。
通过不断迭代训练，GAN可以生成更加真实且细节丰富的多视角图像。
多传感器数据融合技术综述一、多传感器数据融合的定义数据融合技术（Multiple Sensor Information Fusion，MSIF）又称信息融合技术，它的研究起源于军事指挥智能通讯系统，即C3I （Command，Control，Communication and Intelligence）系统建设的需求，早期研究也多来自于军事方面的应用。
而随着工业系统的复杂化和智能化，该技术已被推广到民用领域，如医疗诊断、机械故障诊断、空中交通管制、遥感、智能制造、智能交通、工业智能控制及刑侦等等。
作为前沿领域技术，无论是军用系统还是民用系统，都趋向于采用数据融合技术来进行信息综合处理。
在知识爆炸的信息时代，数据融合技术就显得尤其重要，它能避免数据富有但信息贫乏的情况发生。
数据融合是关于协同利用多传感器信息，进行多级别、多方面、多层次信息检测、相关、估计和综合以获得目标的状态和特征估计以及态势和威胁评估的一种多级信息自动处理过程。
它将不同来源、不同模式、不同时间、不同地点、不同表现形式的信息进行融合，最后得出被感知对象的精确描述。
数据融合其实也就是对数据的提取和处理，得出最终的有效信息。
多传感器数据融合也就是用各种不同的传感器观测信息，然后将不同来源、不同形式、不同时间、不同地点的信息通过计算机技术，对按时间顺序获得的若干传感器的观测信息，用某种方法自动分析、综合，得到更加有效的信息。
二、国内外研究概况美国国防部JDL（Joint Directors of Laboratories）从军事应用的角度将数据融合定义为一种多层次、多方面的处理过程，即把来此许多传感器和信息源的数据和信息加以联合（Association）、相关（Correlation）和组合（Combination），以获得精确的位置估计（Position Estimation）和身份估计（Identity Estimation），以及对战情况和威胁及其重要程度进行了适时的完整评价。
多传感器数据融合技术伴随着信息技术的发展，多传感器数据融合技术一直受到人们的关注。
多传感器数据融合技术可以通过多种传感器收集到大量的原始数据，并且在数据处理、信息提取和信息融合等方面发挥独特的作用，进而改善现有的信息处理方法，实现信息从传感器采集到最终用户处高效可靠地传输实现应用。
一、多传感器数据融合技术的基本概念多传感器数据融合技术是一种基于多源数据的技术，通过对来自不同传感器的原始数据进行数据融合，有效地整合多源信息，实现从传感器采集信息到最终用户处高效可靠地传输实现应用，其特点是可以实时获取被测物体的准确信息，实现更准确的判断和识别。
二、多传感器数据融合技术的应用领域（1）安全监控：利用多传感器数据融合技术可以进行安全监控，例如使用视频传感器来检测被监控地区的运动物体，通过捕获的原始图像数据可以实现更精确的目标跟踪和检测，从而提高安全效率。
（2）导航导引：多传感器数据融合技术可以较好地为导航导引系统提供信息，例如可以通过多传感器数据融合来实时获取目标位置及其周边环境信息，加快及精准地实现自动导引，提高导航系统的性能。
（3）车辆道路检测：利用多传感器数据融合技术可以实时收集和融合多源数据，结合现有的几何模型和视觉技术，可以大大提高道路检测的准确度，从而更有效地检测环境物体，进而改善车辆的行驶路径规划和安全管控。
三、多传感器数据融合技术的发展前景多传感器数据融合技术在各种领域应用受到越来越多的关注，然而尚有不少问题尚未解决，例如融合数据的精确性、融合算法的优化及如何更好地实现实时融合等问题，这些问题需要研究者们在未来的发展过程中进行研究，以期推动多传感器数据融合技术在各种领域的应用。
总之，多传感器数据融合技术是一种新兴的技术，其主要作用是将多源数据融合成有效信息，实现从传感器采集信息到最终用户处高效可靠地传输实现应用，已经广泛应用于安全监控、导航导引系统以及车辆道路检测等领域，且在未来发展前景良好。
多传感器信息融合研究综述多传感器信息融合是指从多个传感器获取的不同类型的数据进行整合和分析，以获得更准确、更完整的信息。
随着传感技术的不断进步和应用的扩大，多传感器信息融合成为了许多领域的研究热点，如环境监测、交通管理、智能机器人等。
本文将从多传感器信息融合的定义、分类、算法以及应用领域等方面进行综述。
首先，多传感器信息融合的定义。
多传感器信息融合是指通过不同类型的传感器获取的数据进行融合和分析，以提高信息的精确性和可靠性。
这些传感器可以是同种类型的，如多个摄像头用于图像融合；也可以是不同类型的，如摄像头和温湿度传感器用于环境监测。
其次，多传感器信息融合可分为数据级信息融合和特征级信息融合。
数据级信息融合是指直接采用传感器原始数据进行处理和融合，如数据融合、数据对准等。
特征级信息融合是指从传感器数据中提取有用的特征，并将这些特征进行融合和分析，如特征抽取、特征选择等。
数据级信息融合和特征级信息融合可以相互补充，提高信息融合的准确性和鲁棒性。
再次，多传感器信息融合的算法主要包括基于模型的方法和基于数据的方法。
基于模型的方法是指根据传感器的物理模型和系统模型，将传感器数据与模型进行匹配和融合，如卡尔曼滤波器、粒子滤波器等。
基于数据的方法是指根据大量的历史数据进行统计分析和建模，以获得传感器数据之间的关联性，并进行数据融合和预测，如神经网络、支持向量机等。
最后，多传感器信息融合在许多领域都得到了广泛的应用。
在环境监测方面，多传感器信息融合可以帮助提高空气质量、水质监测的准确性；在交通管理方面，多传感器信息融合可以帮助更准确地监测交通流量、路况等信息；在智能机器人方面，多传感器信息融合可以帮助机器人实现自主导航、目标识别等功能。
综上所述，多传感器信息融合是通过将不同类型的传感器数据进行整合和分析，以提高信息的精确性和可靠性的方法。
多传感器信息融合可以分为数据级信息融合和特征级信息融合，其算法主要包括基于模型的方法和基于数据的方法。
智能机器人导航中的多传感器融合技术综述智能机器人导航是现代机器人技术领域的一个重要研究方向。
为了实现智能机器人的精确定位、路径规划和环境感知等功能，多传感器融合技术被广泛应用于智能机器人导航系统中。
本文将对智能机器人导航中的多传感器融合技术进行综述，包括其原理、应用以及挑战等方面的内容。
智能机器人导航的主要目标是使机器人能够自主地在未知环境中实现定位和导航，并能够智能地避开障碍物。
然而，由于环境变化的不确定性以及单一传感器的局限性，单一传感器无法满足对导航系统精确定位和环境感知的要求。
因此，借助多传感器融合技术可以解决这一问题。
多传感器融合技术是指将不同类型的传感器（如视觉、激光、惯性、雷达等）的信息进行融合，从而提高机器人导航的精确性和鲁棒性。
常用的传感器融合方法包括Kalman滤波、粒子滤波、扩展卡尔曼滤波、信息融合等。
这些方法能够从不同传感器中获取的信息中提取最准确的定位和环境信息，为导航系统提供准确的导航决策。
在智能机器人导航系统中，视觉传感器被广泛应用于环境建模和障碍物检测。
视觉传感器可以利用摄像头获取环境的图像信息，并通过图像处理算法提取出环境中的关键信息，如地标、障碍物等。
同时，激光传感器可以通过激光束扫描地形，获取地形的深度和距离信息，从而实现地图构建和路径规划。
惯性传感器可以测量机器人的加速度和角速度，通过积分得到机器人的运动轨迹，在导航中起到重要的作用。
雷达传感器可以通过发射电磁波来探测周围的障碍物，并可以测量障碍物的距离和角度。
这些传感器的融合可以在不同环境中实现精确的定位和路径规划。
然而，智能机器人导航中的多传感器融合技术仍面临一些挑战和困难。
首先，多传感器信息的处理和融合需要复杂的算法与方法，对计算资源和功耗有较高要求。
其次，多传感器的数据具有不同的精确性和准确性，需要进行有效地融合与融合结果的权重分配。
此外，环境中的不确定性会对传感器的测量产生干扰，需要通过滤波算法进行噪声处理和过滤。
收稿日期:2002203217 作者简介:毛士艺(1935-),男,浙江黄岩人,教授,100083,北京.多传感器图像融合技术综述毛士艺 赵 巍(北京航空航天大学电子工程系) 摘 要:对国内外多传感器图像融合技术的发展状况进行了介绍,描述了图像融合的主要步骤,概括了目前主要图像融合方法的基本原理,并对各种方法的性能进行了定性分析.给出了评价图像融合效果的标准和方法,指出了图像融合技术的发展方向.关 键 词:图像处理;图像合成;传感器;图像融合中图分类号:T N 911.73文献标识码:A 文章编号:100125965(2002)0520512207 近20年,随着传感器技术和计算机计算能力的提高,多传感器图像融合技术的应用越来越广泛.在军事领域,以多传感器图像融合为核心内容的战场感知技术已成为现代战争中最具影响力的军事高科技.20世纪90年代,美国海军在SS N 2691(孟菲斯)潜艇上安装了第1套图像融合样机,可使操纵手在最佳位置上直接观察到各传感器的全部图像[1],[2].1998年1月7日《防务系统月刊》电子版报道,美国国防部已授予BTG 公司2项合同,其中一项就是美国空军的图像融合设计合同,此系统能给司令部一级的指挥机构和网络提供比较稳定的战场图像.在遥感领域,大量遥感图像的融合为更方便、更全面地认识环境和自然资源提供了可能[3]～[5],其成果广泛应用于大地测绘、植被分类与农作物生长势态评估、天气预报、自然灾害检测等方面.1999年10月4日,由我国和巴西联合研制的“资源一号”卫星发射升空,卫星上安装了我国自行研制的CC D 相机和红外多光谱扫描仪,这两种航天遥感器之间可进行图像融合,大大扩展了卫星的遥感应用范围.在医学成像领域,CT 、MR 和PET 图像的融合提高了计算机辅助诊断能力[6].2001年11月25日～30日在美国芝加哥召开了每年一度的RS NA 北美放射学会年会,在会议上GE 公司医疗系统部展销了其产品Dis 2covery LS.Discovery LS 是GE 公司于2001年6月刚推出的最新PET/CT ,是世界上最好的PET 与最高档的多排螺旋CT 的一个完美结合,具有单体PET 不能比拟的优势.它可以完成能量衰减校正、分子代谢影像(PET )与形态解剖影像(CT )的同机图像融合,使检查时间成倍地降低.在网络安全领域,多尺度图像融合技术可将任意的图像水印添加到载体图像中,以确保信息安全[7].在各个应用领域的需求牵引下,各国学者对多传感器图像融合技术的研究也越来越重视.在多传感器信息融合领域中,图像融合是应用最为广泛,发表文献最多的一个方向.从文献[8]可看出,在参与统计的信息融合文章中,信号层的信息融合文章占53%.同时,我们做了这样一个调查,在Ei C om pendexWeb 数据库中用“image fusion ”作为关键词,检索从1980年到2001年摘要中出现这一词组的文章数目.1980年至1984年,这方面的文章只有4篇;1995年至1999年增加到603篇;2000年和2001年两年就有299篇.从中可以看出国际学术界对图像融合技术的重视程度与日俱增.为了使国内同行对图像融合技术有一个较为全面的了解,本文在参考国内外文献的基础上,对目前常用的图像融合技术进行了概括和评述.文章首先介绍了图像融合研究的基本内容,将图像融合的概念界定到像素级;接着描述了各种图像融合技术的基本原理,对它们的优缺点进行了定性分析,给出了评价图像融合技术的方法.1 多传感器图像融合技术研究内容多传感器图像融合属于多传感器信息融合的范畴,是指将不同传感器获得的同一景物的图像2002年10月第28卷第5期北京航空航天大学学报Journal of Beijing University of Aeronautics and Astronautics October 2002V ol.28 N o 15或同一传感器在不同时刻获得的同一景物的图像,经过去噪、时间配准、空间配准和重采样后,再运用某种融合技术得到一幅合成图像的过程.通过对多幅传感器图像的融合,可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性,提高图像的质量[1],从而有利于对物理现象和事件进行定位、识别和解释.根据信息表征层次的不同,多传感器信息融合可分为数据级融合、特征级融合和决策级融合.因此,有的学者将图像融合也分为3类:像素级融合、特征级融合和判决级融合[9]～[11].像素级图像融合指的是直接对各幅图像的像素点进行信息综合的过程.特征级图像融合是对图像进行特征抽取后,将边沿、形状、轮廓等信息进行综合处理的过程.而在进行判决级图像融合之前,每种传感器已独立地完成了决策或分类任务,融合工作实质上是做出全局的最优决策.特征级图像融合实际上涉及了图像分割、特征提取和特征层信息融合这几个方面的内容.判决级图像融合包含了检测、分类、识别和融合这几个过程.其中涉及融合技术的内容实际上与多传感器信息融合的特征级融合、决策级融合是一致的.因此,为了与多传感器信息融合的分类保持统一,本文所说的图像融合只代表像素级的图像融合,是数据级信息融合的一部分.图1 图像融合的流程一个完整的图像融合过程如图1所示,其中各种传感器的组合可见表1.在这几个步骤中,时间和空间的配准是非常重要的,其精度直接影响到图像融合算法的效果.对图像进行配准后,就可应用某一融合算法对图像的像素点进行融合.目前常用的融合算法包括:加权平均法、逻辑滤波法、多分辨塔式算法、小波变换法、卡尔曼滤波算法等.图像融合的最后一步就是对融合后的图像进行显示,通常的显示方法有3类:灰度显示、真彩色显示和假彩色显示.而有些学者将显示方法和融合方法结合起来,在显示图像的过程中进一步完成图像的融合,得到了较好的视觉效果.为了较为全面地描述各种图像融合方法,在下一节中我们并不特意地将融合算法和显示方法加以区分,而是放在一起加以介绍.表1 图像传感器的组合传感器1传感器2效 果T V 摄像机红外适用于白天或夜晚毫米波(M MW )雷达红外穿透力强,分辨力强红外紫外适合识别背景多光谱图像全色图像适合识别特征和纹理S AR 红外空间分辨力和谱分辨力都较高S ARS AR穿透力强,分辨力较高,全天候红外红外背景信息增加,提高了探测距离和识别能力CCD 摄像机红外+S AR 分辨力强,全天候2 常用的多传感器图像融合技术目前常用的图像融合技术有:加权平均法、逻辑滤波法、彩色空间法、多分辨塔式算法、小波变换法、卡尔曼滤波算法、模拟退火法和假彩色法.2.1 加权平均法加权平均法是一种最简单的多幅图像融合方法,也就是对多幅原图像的对应像素点进行加权处理.设A (i ,j )为图像A 中的一个像素点,B (i ,j )为图像B 中与之对应的像素点,则融合图像中的像素点可通过下式得到:C (i ,j )=w A (i ,j )A (i ,j )+w B (i ,j )B (i ,j )w A (i ,j )+w B (i ,j )=1 权值如何选择是加权平均法中的关键问题.基于局部区域对比度的权值选择法利用人眼对对比度非常敏感这一事实,从两幅原图像中选择对比度最大的像素点作为合成图像的像素点[12],也就是说对比度大的像素点权值为1,否则为0.基于对比度的权值选择技术对噪声非常敏感,这是因为图像中的噪声具有很高的对比度,这样合成图像中将包含很强的噪声.于是Burt 提出了平均和选择相结合的方法[13],即用1个匹配矩阵来表示两幅图像的相似程度.当两幅图像很相似时,合成图像就采用两幅图的平均值,也就是权值分别为0.5和0.5;当两幅图像差异很大时,就选择最显著的那一幅图像,此时的权值为0和1,这样就可以抑制噪声.上面的权值选择方法基本上都是基于人眼的视觉特征,而没有考虑到实际应用中的目标特征.Lallier 利用军事应用中的目标特征提出了一种自315第5期 毛士艺等:多传感器图像融合技术综述适应的权值选择方法,所产生的融合算法计算量较少,适于实时处理,而且稳定性非常好[14].加权平均法的优点是简单直观,适合实时处理.但简单的叠加会使合成图像的信噪比降低;当融合图像的灰度差异很大时,就会出现明显的拼接痕迹[11],不利于人眼识别和后续的目标识别过程.2.2 逻辑滤波方法另一种将2个像素数据合成为1个像素的直观方法就是对它们进行逻辑运算[9],例如:当2个像素的值都大于某一阈值时,“与”滤波器输出为“1”(为“真”).图像通过“与”滤波器而获得的特征可认为是图像中十分显著的成分.同样地,“或”逻辑操作可以十分可靠地分割一幅图像.2.3 彩色空间变换法彩色空间变换法利用彩色空间RG B(红、绿、蓝)模型和HIS(色调、明度和饱和度)模型各自在显示与定量计算方面的优势,将图像的RG B模型转换成HIS模型.在HIS空间,对3个相互独立且具有明确物理意义的分量I,H,S进行运算,也就是进行多幅图像的融合,再将融合结果反变换回RG B空间进行显示[15],[16].当融合低分辨的多光谱图像和高分辨的全色图像时,彩色空间变换法会使谱分辨率降低.若将小波变换和彩色空间变换法结合起来就既可保留空间信息又可保留谱信息[16].2.4 模拟退火方法在图像处理应用中,模拟退火方法是把像素值和它的邻域看成一种原子或分子在物理系统中所处的状态,用一个能量函数来描述这个系统,并确定其G ibbs分布[9].利用模拟退火方法进行多传感器图像融合的关键在于:找到一个能量函数能充分描述融合结果的各种恰当的约束条件.2.5 多分辨塔式图像融合方法多分辨塔式图像融合算法是现在较为常用的图像融合方法.在这类算法中,原图像不断地被滤波,形成一个塔状结构.在塔的每一层都用一种融合算法对这一层的数据进行融合,从而得到一个合成的塔式结构.然后对合成的塔式结构进行重构,得到合成图像[12].按照塔式结构形成方法的不同,多分辨塔式图像融合算法可分为高斯2拉普拉斯金字塔[17]、梯度金字塔、比率低通金字塔[18]～[20]、形态学金字塔[21].一幅图像和高斯核函数卷积后,再进行下采样,就得到图像在较粗分辨率上的逼近,这时图像的分辨率只有原图的一半.对原图像反复执行这个操作,就得到高斯金字塔.在高斯金字塔中,求两层图像之间的差异可得到带通滤波图像,这就是拉普拉斯金字塔.拉普拉斯金字塔实质上是基于局部亮度差异的分解结构.如果原始图像有N2个像素点,则拉普拉斯金字塔中的总数据量为4N2/3.这说明拉普拉斯金字塔中不同分辨率的细节信息彼此相关.当要融合的多传感器图像差别很大时,这种相关性就容易引起算法的不稳定.而基于正交小波变换的多分辨融合算法就可克服这个缺点.在标准的拉普拉斯金字塔中,两幅原始图像的分辨率之比必须是2的整数倍,不能解决分辨率之比为任意值的图像融合问题.为了克服这一缺点,B.Aiazzi将拉普拉斯金字塔进行了扩展,可解决分辨率之比为p/q(p,q为整数)的图像融合问题[22]～[24].比率低通金字塔非常类似于拉普拉斯金字塔,但它并不是求高斯金字塔中各级之间的差值,而是求高斯金字塔中各级之间的比率.比率低通金字塔是基于局部亮度对比度的分解结构,它比拉普拉斯金字塔更适合人眼的视觉机理.梯度金字塔实际上是4种塔的一种合成.高斯金字塔中每一层的图像和梯度滤波器进行卷积运算,就可得到梯度金字塔.梯度金字塔反映了图像在水平、竖直、2个对角线,共4个方向上的变化.连续地增加形态学滤波器中结构元素的尺寸或者连续地减少图像的尺寸时,图像中越来越大的细节将被滤除掉,这样就得到了多分辨形态学金字塔.多分辨形态学金字塔重点研究的是图像的几何结构.图像的这种多分辨塔式表征将图像分解到一系列的频率通道中,减少了融合图像时的拼接痕迹.2.6 基于小波变换的图像融合方法人眼视觉的生理和心理实验表明:图像的小波多分辨分解与人眼视觉的多通道分解规律一致.同时,小波多通道模型也揭示了图像内在的统计特性.所以现在许多学者都热衷于以小波多分辨分解作为工具,开发基于小波变换的多传感器图像融合技术.基于小波变换的图像融合,就是对原始图像进行小波变换,将其分解在不同频段的不同特征域上,然后在不同的特征域内进行融合,构成新的415北京航空航天大学学报 2002年小波金字塔结构,再用小波逆变换得到合成图像的过程[25]～[28].根据分解形式的不同又可分为金字塔形小波融合技术[29]和树状小波融合技术[30].金字塔形小波分解是利用正交小波变换对原图像进行正交小波分解,得到表示低频信息、水平方向变化信息、垂直方向变化信息和对角方向变化信息的4个子图像,再将低频子图像进一步分解成4个子图像.树状小波分解与传统的金字塔形小波分解的不同之处在于它不仅仅将低频信息进行分解,而是根据图像的特征,按子带图像的能量自适应地对各个子带信息进行分解.小波变换的多分辨结构可解决图像灰度特性不同给图像融合带来的困难.正交小波变换去除了两相邻尺度上图像信息差的相关性,所以基于小波变换的图像融合技术能克服拉普拉斯金字塔的不稳定性.在小波分解过程中,由于图像的数据量不变,同时各层的融合可并行进行,所以其计算速度和所需的存贮量都要优于拉普拉斯金字塔.在小波变换图像融合方法的基础上,Nikolov 提出了一种多尺度边缘图像融合方法[31].文献[32]指出图像可由其多尺度边缘表示重构.利用这一事实,可在不同尺度上计算出小波系数梯度幅值的局部最大值,从而得到图像的多尺度边界点.图像在最粗尺度上的轮廓以及在各个尺度上的边界点构成了图像的多尺度边缘表示.在每个分辨级上,就可以不融合所有的小波系数,只融合图像的多尺度边缘表示.2.7 基于卡尔曼滤波的图像融合方法如果把2幅图像上的对应像素点当作是2个传感器在时刻1和时刻2的测量值,就可用卡尔曼滤波给出以统计方法得到的最优融合结果[9].卡尔曼滤波方法实际上一种加权处理,权值的选择在最小方差意义下是最优的.将卡尔曼滤波推广到多尺度空间,就可以得到多尺度卡尔曼滤波图像融合算法.1990年12月在第29届IEEE控制与决策会议上,MIT的A.S. Willsky教授、法国数学家A.Benvensite和B.R. Nikoukhah首先提出了多尺度系统理论[33].他们利用小波逆变换中尺度与时间的相似性,将卡尔曼滤波和Rauch2Tung2Striebel平滑算法推广到多尺度状态空间,给出了一维信号的多尺度估计与融合算法[34]～[36].意大利的G.Sim one等人将这一算法推广到二维图像处理,用于多分辨率S AR 图像的融合[37],[38].在文献[37]中,作者将分辨率不同的4幅图像对应于4个不同尺度上的测量,基于这4个测量对事物的状态进行估计,也就是得到最小方差意义下的最优融合图像.2.8 假彩色图像融合方法在灰度图像中,人眼只能同时区分出由黑到白的十多种到二十多种不同的灰度级,而人眼对彩色的分辨率可达到几百种甚至上千种.基于人眼视觉的这一特征,可以将图像中的黑白灰度级变成不同的彩色,以便提取更多的信息.A.T oet和Jan Walraven将假彩色技术用于热成像图像和电视图像的融合中,其基本思想是用色差来增强图像的细节信息[39].例如,对于2幅图像,先找出其共同部分;再从每幅原图像中分别减去共同部分,得到每幅图像的独有部分;最后,为了增强图像的细节信息,用两幅图像分别减去另一幅图像的独有部分,并将所得的结果送入不同的颜色通道进行显示,从而得到假彩色融合图像.前面介绍的基于灰度图像的融合技术中,当各幅原图像的灰度特性差异很大时,融合图像就会出现拼接痕迹.而T oet提出的假彩色图像融合算法正是利用原始图像中的灰度差形成色差,从而达到增强图像可识别性的目的.但是,用假彩色图像融合算法得到的融合图像反映的并不是事物的真实色彩,所以融合图像的色彩不是很自然.图2 假彩色多传感器图像融合算法结构另一种假彩色图像融合算法是MIT的A.M. Waxman等人提出的[40],[41],这种算法利用了较为准确的人眼彩色视觉模型,即人眼视觉感受野的中心2周边型模型、彩色视觉的单颉颃和双颉颃模型[42]～[47].图2给出了算法融合S AR、可见光、红外3种模式的图像时的结构图.首先,用一个ON 中心/OFF周边的非线性图像处理算子对3幅图像进行增强;接着再用相同的算子对不同频带间的图像进行对比增强,分离出不同图像的互补信515第5期 毛士艺等:多传感器图像融合技术综述息;最后的处理结果被送到YI Q彩色空间,再映射到RG B空间进行显示.其中的Y代表亮度,I代表红绿对比,Q代表蓝黄对比.这种算法的结构非常灵活,适用性广泛,可根据图像传感器的模式和数目对算法结构进行调整.针对假彩色合成图像色彩不自然这一情况,作者对融合后的颜色进行了重新映射,取得了很好的视觉效果[48]～[52].算法的另一个优点是可进行实时处理.经实验证明,A.M.Waxman的算法在性能上比A.T oet的算法要好[53],[54],提高了目标识别的准确率.由于从彩色融合图像可获得比灰度融合图像更多的信息,所以本课题组在进行图像融合工作时将重点放在假彩色图像融合算法上,试图找到一种将灰度图像融合技术和彩色融合技术相结合的方法,现已取得了初步的结果.3 多传感器图像融合技术评价方法在实际应用中,如何评价图像融合算法的性能是一个非常复杂的问题.衡量融合图像的效果时,应遵循以下原则:1)合成图像应包含各原图像中所有的有用信息;2)合成图像中不应引入人为的虚假信息,否则会妨碍人眼识别或后续的目标识别过程;3)在时空校准等前期处理效果不理想时,算法还应保持其可靠性和稳定性.另外,可靠和稳定还包含这样的含义,无论在什么气候条件下算法的性能都不会有太大的变化;4)算法应将原始图像中的噪声降到最低程度;5)在某些应用场合中应考虑到算法的实时性,可进行在线处理.到目前为止,评价图像融合算法性能的方法可分为2类,即主观的评价方法和客观的评价方法.主观评价方法就是依靠人眼对融合图像效果进行主观判断的方法.例如,找一些测试者,让他们对用不同融合方法得到的融合图像中的特定目标进行识别,测量出识别时间并统计出识别的正确率,从而判断图像融合方法性能的优劣.主观评价方法简单方便,在一些特定应用中十分可行.比如说,在美国国防部高级研究计划局资助的先进夜视系统开发计划中,研究者就是用主观评价方法来比较两种假彩色图像融合方法的好坏[53],[54].由于这套系统是用来提高飞行员的夜视能力,所以主观评价法不失为一种最佳的选择.但是,在人为评价融合方法的过程中,会有很多主观因素影响评价结果,这就需要给出客观的评价方法.对一幅图像来说,最重要的视觉信息就是边缘信息,所以可以通过计算从原图像到融合图像中边缘信息的变化量,来确定原图像感知信息在融合图像中的保留程度,从而评价融合方法的性能[55],[56].对于原图像A和B中的每个像素点可计算出其梯度相对融合图像F的相对强度G A F, G B F和角度变化θA F,θB F,梯度的相对强度和角度变化可转化为原图像的边缘信息在融合图像中的保留值Q A F,Q B F.根据两幅图像中边缘信息的重要性,对Q A F,Q B F进行加权平均得到性能评估矩阵Q AB/FP.由性能评估矩阵就可衡量原始图像的感知信息在融合图像中的保留程度.另外,还可以用交叉熵对融合图像的融合效果进行分析评价[57].交叉熵是评价两幅图像差异的关键指标,对原始图像和融合图像求交叉熵,即可得到融合图像与原始图像的差异.交叉熵反映了融合方法从原始图像中提取信息量的多少. 4 结束语学术界在图像融合领域已取得了很大的成绩,图像融合方法也各种各样.但是,总的来说图像融合技术的研究还刚刚开始,有许多问题急需解决.首先,图像融合技术缺乏理论指导.虽然关于图像融合技术的公开报道很多,但每篇文章都是针对一个具体的应用问题,对图像融合技术还没有一个统一的理论框架.建立图像融合的理论框架是目前的一个发展方向.由于图像的特殊性,在设计图像融合算法时一定要考虑到计算速度和所需的存贮量,如何得到实时、可靠、稳定、实用的融合算法和硬件电路是目前研究的一个热点.另外,建立客观的图像融合技术评价标准也是急需解决的问题.参 考 文 献[1]郁文贤,雍少为,郭桂蓉.多传感器信息融合技术述评[J].国防科技大学学报,1994,16(3):1～11.[2]王泽和.九十年代美海军潜艇传感器融合系统[J].现代军事,1992,7:74～77.[3]Bhogal A S,G oodenough D G,Dyk A,et al.Extraction of forestattribute in formation using multisens or data fusion techniques:A case615北京航空航天大学学报 2002年study for a test site on Vancouver island,British C olumbia[A].In: IEEE Pacific RIM C on ference on C ommunications,C om puters,and S ignal Processing[C],2001.674～680.[4]Liu Q J,T akeuchi N.Vegetation inventory of a tem perate biospherereserve in China by image fusion of Landsat T M and SPOT HRV[J].Journal of F orest Research,2001,6(3):139～146.[5]陈 东,李 飚,沈振康.S AR与可见光图像融合算法的研究[J].系统工程与电子技术,2000,22(9):5～7.[6]K ropas2Hughes C V.Image fusion using autoass ociative2heteroass o2ciative neural netw orks[D].US A:Air University,1999.[7]朱晓松,茅耀斌,戴跃伟,等.一种基于H VS的小波水印方案[J].南京理工大学学报,2001,25(3):262～268.[8]Valet L,M auris G,Bolon Ph.A statistical overview of recent litera2ture in in formation fusion[J].IEEE AESS Systems M agazine,2001, 16(3):7～14.[9]蒋晓瑜.基于小波变换和伪彩色方法的多重图像融合算法研究[D].北京:北京理工大学光电工程系,1997.[10]胡江华,柏连发,张保民.像素级多传感器图像融合技术[J].南京理工大学学报,1996,20(5):453～456.[11]张加友,王江安.红外图像融合[J].光电子・激光,2000,11(5):537～539.[12]M eek T R.Multires olution image fusion of thematic mapper imagerywith synthetic aperture radar imagery[D].US A:Utah S tate Uni2 versity,1999.[13]Burt P J,K olczynski R J.Enhanced image capture through fusion[A].In:IEEE4th International C on f on C om puter Vision[C],1993,4.173～182.[14]Lallier E,Farooq M.A real time pixel2level based image fusion viaadaptive weight averaging[A].In:Proceedings of the3rd Interna2 tional C on ference on In formation Fusion[C],2000,2.3～13. [15]金 红,刘榴娣.彩色空间变换法在图像融合中的应用[J].光学技术,1997(4):44～48.[16]Nú n ez J,Otazu X,F ors O,et al.Multires olution2based image fu2sion with additive wavelet decom position[J].IEEE T ransaction onG eoscience and Rem ote Sensing,1999,37(3):1204～1211.[17]Burt P J,Adels on E H.The Laplacian pyramid as a com pact imagecode[J].IEEE T ransactions on C ommunications,1983,COM231(4):532～540.[18]T oet A.Multiscale contrast enhancement with applications to imagefusion[J].Optical Engineering,1992,31(5):1026～1031. [19]T oet A,Ruyven L J,Valeton J M.M erging thermal and visual im2ages by a contrast pyramid[J].Optical Engineering,1989,28(7):789～792.[20]蒲 恬,倪国强.应用于图像融合中的多尺度对比调制法[J].北京理工大学学报,2000,20(2):119～223.[21]T oet A.A m orphological pyramid image decom position[J].PatternRecognition Letters,1989,9(4):255～261.[22]Aiazzi B,Alparone L,Barducci A,et al.Multispectral fusion ofmultisens or image data by the generalized Laplacian pyramid[A].In:IEEE International G eoscience and Rem ote Sensing Sym posium[C],1999,2.1183～1185.[23]Aiazzi B,Alparone L,Argenti F.Multisens or image fusion by fre2quency spectrum substitution:subband and multirate approaches fora3:5scale ratio case[A].In:IEEE International G eoscience and Rem ote Sensing Sym posium[C],2000,6.2629～2631.[24]Argenti F,Alparone L.Filterbanks design for multisens or datafu2sion[J].IEEE S ignal Processing Letters,2000,7(5):100～103.[25]刘贵喜,杨万海.一种像素级多算子红外与可见光图像融合方法[J].红外与毫米波学报,2001,20(3):207～210. [26]Wu X iuqing,Zhou R ong,Xu Y unxiang.A method of wavelet2based edge detection with data fusion for mutiple images[A].In: Proceedings of the3rd W orld C ongress on Intelligent C ontrol and Automation[C],2000.2691～2694.[27]陈 勇,皮德富,周士源,等.基于小波变换的红外图像融合技术研究[J].红外与激光工程,2001,30(1):15～17. [28]杨 火亘,杨万海,裴继红.基于小波分解的不同聚焦点图像融合方法[J].电子学报,2001,29(6):846～848.[29]崔岩梅,倪国强,王 毅,等.一种基于小波变换的多尺度多算子图像融合方法[J].光学技术,1999(4):37～39. [30]李树涛,王耀南.基于树状小波分解的多传感器图像融合[J].红外与毫米波学报,2001,20(3):119～222.[31]Nikolov S G,Bull D R,Canagarajah C N.22D image fusion bymultiscale edge graph combination[A].In:Proc of the3rd Inter2 national C on ference on In formation Fusion[C],2000,1.16～22.[32]M allat S,Zhang S.Characterization of signal from multiscale edges[J].IEEE T ransactions on Pattern Analysis and M achine Intelli2 gence,1992,14(7):710～732.[33]Nikoukhah B R,W illsky A S.Multiscale system theory[A].In:Proc29th IEEE C on ference on Decision and C ontrol[C],1990.2484～2487.[34]Chou K,W illsky A S,Benveniste A.Multiscale recursive estima2tion,data fusion and regularization[J].IEEE T rans on AutomaticC ontrol,1994,39(3):464～478.[35]Basseville M,Benveniste A,Chou K,et al.M odeling and estima2tion of multires olution stochastic process[J].IEEE T rans on In for2 mation Theory,1992,38(2):766～784.[36]H o T T.Multiscale m odeling and estimation of large2scale dynamicsystems[D].Cambridge:M assachusetts Institute of T echnology, 1998.[37]S im one G,M orabito F C,Farina A.Radar image fusion by multi2scale K alman filtering[A].In:Proc of the3rd International C on2 ference on In formation Fusion[C],2000,2.10～17.[38]S im one G,M orabito F C,Farina A.Multifrequency and multires o2lution fusion of S AR images for rem ote sensing applications[A].In:Proc of the4th International C on ference on In formation Fusion[C],2001.[39]T oet A,W alraven J.New false color mapping for image fusion[J].Optical engineering,1996,35(3):650～658.[40]Fay D A,W axman A M,Verly J G,et al.Fusion of visible,in2frared and3D LADAR imagery[A].In:Proc of the4th Interna2 tional C on ference on In formation Fusion[C],2001.[41]W axman A M,Laz ott C,Fay D A,et al.Neural processing ofS AR imagery for enhanced target detection[A].In:Proc of SPIE on Alg orithms for Synthetic Aperture Radar ImageryⅡ[C],1995, 2487.201～210.[42]W axman A M,G ove A,Seibert M C,et al.Progress on color715第5期 毛士艺等:多传感器图像融合技术综述。
