毕业设计说明书基于目标识别的图像融合方法研究
学生姓名：陈杰学号：1005084122学院：信息与通信工程
专业：生物医学工程
指导教师：杨风暴
2014 年 6 月
摘要
图像融合，是通过提取和综合来自多个传感器图像的信息，获得对同一场景（或目标）的更为准确、全面、可靠的图像描述，以便对图像进行进一步的分析、理解以及目标的检测、识别或跟踪。
图像融合通常可以分为三个层次，分别是像素级融合、特征及融合以及决策级融合。像素级图像融合作为最基础的图像融合层次，直接对传感器所获得的像素信息进行融合处理，使得融合后的结果图像更加符合人的视觉感知，或更适合后续的处理，如图像分割、特征提取或目标识别等。
本文围绕像素级图像融合问题，应用多尺度分解、小波变换等理论和方法对像素级图像融合进行了深入、系统的研究。在第二部分中，首先研究了几种常用的图像融合方法，如：加权平均法、伪彩色图像融合、塔形分解法等；在第三部分中，本文重点研究了基于多尺度分解（小波）的图像融合方法。在对多尺度分解方法的研究中，选用单层二维小波（dwt2）、db1小波基函数，采取低频区域能量取大、高频绝对值取大的融合原则方法，对所给传感器图像进行分解、融合，使得可见光图像能够有效的融合红外目标，突出目标的特征信息，有利于目标识别。
关键词: 图像融合，多尺度分解，小波变换，目标识别
ABSTRACT
Image fusion, it is by extraction and comprehensive information from multiple sensors image, obtain the same scene (or goal) is more accurate, comprehensive and reliable image description, so that for further analysis, understand and target detection, identification or tracking.
Image fusion can usually be divided into three levels, pixel level fusion, feature and fusion and decision level fusion. Image fusion at pixel level image fusion level, as the most basic of sensor pixel information received by the fusion processing, make the results of the fused images more accord with human visual perception, or more suitable for subsequent processing, such as image segmentation, feature extraction and target recognition, etc.
Image fusion at pixel level around the problem, this paper using multi-scale decomposition and wavelet transform theory and method of image fusion at pixel level makes a deep and systematic research.In the second part, first studied the several commonly used image fusion methods, such as: the weighted average method, pseudo color image fusion, pyramid decomposition method, etc.;In the third part, this paper mainly studied based on multi-scale decomposition (wavelet) image fusion method.In the study of multi-scale decomposition methods, selection of single-layer two-dimensional wavelet (dwt2), db1 wavelet basis function, take the large absolute value of high frequency of low frequency regional energy in large fusion principle method, for a given sensor image decomposition and integration, enables the visible light image to effective fusion of infrared target, highlight the characteristics of target information, is conducive to target recognition.
key words ：Image fusion, Multi-scale decomposition，The wavelet transform，Target recognition
目录
1 绪论 (1)
1.1 课题的研究背景和意义 (1)
1.2 图像融合技术的发展现状 (2)
1.3 本文的主要工作 (3)
2 图像融合理论 (4)
2.1 图像传感器 (4)
2.2 图像融合层次 (5)
2.2.1 像素级图像融合 (5)
2.2.2 特征级图像融合 (6)
2.2.3 决策级图像融合 (6)
2.3 图像融合基本准则 (8)
2.4 图像融合步骤 (8)
2.5 常用图像融合方法 (9)
2.5.1 加权平均法 (9)
2.5.2 IHS变换法 (11)
2.5.3 伪彩色图像融合法 (13)
2.5.4 主成分分析（PCA）法 (13)
2.5.5 塔形分解法 (16)
2.6 图像融合质量评价 (18)
2.6.1 主观评价方法 (18)
2.6.2 客观评价方法 (19)
3 基于小波变换的图像融合方法 (21)
3.1 小波理论基础 (21)
3.1.1 小波变换 (21)
3.1.2 小波变换的思想 (21)
3.1.3 连续小波基函数 (21)
3.1.4 连续小波变换 (22)
3.1.5 离散小波变换 (23)
3.1.6 二进小波变换 (23)
3.2 多分辨率分析 (24)
3.3 小波变换的Mallat快速算法 (25)
3.4 图像融合原理 (27)
3.5 小波图像融合规则 (28)
4 Matlab仿真结果分析 (29)
5 总结与展望 (31)
5.1 论文总结 (31)
5.2 研究展望 (32)
附录 (33)
参考文献 (35)
致谢 (37)
1 绪论
1.1 课题的研究背景和意义
当今，在微电子、计算机、电子信息等科学技术迅速发展和广泛应用的同时，它们也带动了传感器技术的飞速发展。随着系统中传感器数量和种类的不断增加，使得系统获得的信息量急剧增加并且呈现多样性和复杂性，以往的信息处理方法已经无法满足这种新的情况，不能很好地适用于多传感器组合使用所带来的新问题，必须发展新的方法和技术来解决我们所面临的新问题。
信息融合[1]（Information Fusion）正是为了满足这种需求而发展起来的一种新技术。所谓多传感器信息融合是指对来自多个传感器的信息进行多级别、多方面、多层次的处理与综合，从而获得更丰富、更可靠的有用信息。信息融合技术的主要研究内容是如何加工、处理以及协同利用多源信息，使不同形式的信息相互补充，从而最终获得对同一事物或目标的更客观、更本质的认识。
与采用单一的传感器信号相比，来自多个传感器的信号所提供的信息具有冗余性和互补性，多传感器信息融合系统可以最大限度的获取对目标或场景的信息描述。多源信息融合与一般信号处理方法之间的重要差别在于：信息融合所处理的多传感器信息形式和处理过程更加复杂，面临的困难也更大。总体来说，多传感器信息融合的主要技术优势表现为：
1）扩大了时间和空间的覆盖范围；
2）增加了测量的维数；
3）改善探测性能；
4）容错性好，性能稳定；
5）提高空间分辨率；
6）改善系统的可靠性和可维护性；
7）降低了对单个传感器的性能要求。
图像融合[2]技术作为多传感器信息融合的一个非常重要的分支——可视信息的融合，近二十年来，引起了世界范围内的广泛关注和研究热潮。它是一门综合了传感器、图像处理、信号处理、计算机和人工智能等多种学科的现代化高新技术。
图像融合是采用一定的算法将两幅或多幅图像融合成一个新的图像，这种融
合并不是简单的将两幅图像“相加”，而是会去掉多幅图像的冗余部分，留下各个图像上的有用信息，并综合到一起，从而获得对同一场景目标的更为准确、更为全面、更为可靠的图像描述。图像融合的目的是减少不确定性。图像融合的形式可以分为三种：
1）多传感器同时获得的图像的融合；
2）多传感器不同时获得的图像的融合；
3）单一传感器不同时间或者不同环境条件下获得的图像的融合。
图像融合不是简单的叠加，它产生新的蕴含更多有价值信息的图像，即达到1+1>2，甚至是远大于2的效果。融合后的图像含有更多有价值的信息，一方面减少了存储信息占用的物理空间，另一方面综合了信息，能更好地适应于计算机后续处理，如图像辨识、目标识别、特定物体跟踪等。
图像融合技术作为信息融合的一个重要分支，其研究领域已经扩展到可见光处理、红外图像处理、医学图像处理等领域，因此，对图像融合技术展开深入的研究，对于国民经济的发展和国防事业的建设均具有非常重要的意义。
1.2 图像融合技术的发展现状
图像融合技术作为信息融合的一个重要分支，最早被应用于多光谱卫星遥感图像的分析和处理[3]中。1979年，Daliy、Laner和Todd进行了雷达图像、Landsat-RBV、Landsat-MSS图像的融合实验。到80年代后期，图像融合技术逐渐引起人们的关注，并开始应用于遥感光谱图像的合成，进行地质、矿产、气候、环境的探测和研究。90年代以后，随着多可遥感卫星JERS-1、ERS-1、Radarsat 等的出现，图像融合技术成为遥感图像处理的研究热点之一，受到更多的关注和研究，并且研究领域扩展到可见光处理、红外图像处理、医学图像处理等领域。目前多遥感图像融合已应用于土地资源调查、环境监测、地形绘测、地表植被分类、农作物生长态势及产量评估、天气预报、防洪防灾和城市规划等方面，通过图像融合技术可以获得高空间、高光谱分辨率的遥感图像，从而提高和改善遥感图像信息的分析和提取能力。
早期的图像融合方法[4]主要有HIS变换、平均、加权平均、差分及比率差分、主分量分析、高通滤波等。这些方法在进行融合处理时都不对参加融合的图像进行分解变换，融合处理只是在一个层次上进行，属于较为简单的图像融合方法。
到80年代中期，人们又提出了基于金字塔分解的图像融合方法，其中包括拉普拉斯金字塔、梯度金字塔、比率低通金字塔等，并开始将图像融合技术应用于一般图像处理（可见光图像、红外图像、多聚焦图像等）。90年代以后，随着小波理论的广泛应用，小波变换技术为图像融合提供了新的工具，使图像融合的研究呈不断上升趋势，应用的领域也遍及到遥感图像处理、计算机视觉、自动目标检测、城市规划、交通管制、机器人、决策支持系统、大型经济信息、医学图像处理等。例如，在计算机视觉方面，图像融合技术可用于对周围环境的感知，有助于机器人的导航；图像融合技术也可用于工厂企业，以监视产品流水线以及检测产品质量。在医学领域上，通过图像融合可综合不同模态医学图像的优点，将它们作为一个整体来表达，能为医学诊断、人体的功能和结构研究提供更充分的信息。例如CT和核磁共振MRI图像的融合处理已经应用于颅脑放射治疗和颅脑手术可视化中：Pelizzari等对癫痫病人的MRI，PET图像融合处理后，可观察到病人的脑外伤、炎症、硬化症等的变化。
目前，图像融合技术在自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域都表现出巨大的应用潜力。例如，Currie和Ferris 等人将毫米波雷达与IR热成像仪相结合，用于人携带的隐藏武器的检测，毫米波雷达图像具有较强的穿透能力，可穿透人体和衣物检测到人身上隐藏的武器，IR图像可检测到人体及其轮廓；美国的“POST—尾刺”便携式地对空导弹采用紫外/红外双模导引头，其紫外探测器主要用于探测白天飞机头部铝合金蒙皮反射阳光中的紫外线，它的光谱辐射亮度比晴空背景高出1~4个数量级，这样很容易将目标从天空背景中分辨出来；其另一探测器为红外探测器（3~5um波段），用来探测和跟踪目标的红外辐射，并用于远距离制导；CT与核磁共振MRI图像的融合有利于医生对疾病进行准确的诊断；Landsat TM图像与SPOT图像的融合集成了TM图像的多光谱特点和SPOT图像的高空间分辨率特点，有利于对目标的提取和分类等。随着多传感器图像融合技术的不断发展和完善，其在军事和民用的各个领域的应用会更加广泛，因此，对图像融合技术展开深入的研究，对于国民经济的发展和国防事业的建设均具有非常重要的意义。
1.3 本文的主要工作
本文的主要工作是围绕图像融合展开的，讨论了图像融合的背景意义、国内
外研究现状以及图像融合基本概念、层次，阐述了像素级图像融合的几种常用方法，重点研究了基于小波变换的图像融合方法，通过matlab进行实验仿真，得到融合后的图像，通过一些图像融合标准参数对得到的融合图像进行衡量，最终得出小波变换法的融合效果令人满意，在图像融合领域效果非常出色。
2 图像融合理论
科学技术的发展和图像采集手段的多样化使得图像获取的方法越来越多，图像融合的理论也越来越完善。目前，图像融合的算法已经在很多方面得到了应用，比如各种图像的分析处理。多传感器的图像融合技术发展迅速，应用范围广，使得它在计算机视觉、目标识别等领域有很大的应用前景。
2.1 图像传感器
在实际应用中，由于受照明、环境条件（如噪声、云、烟雾、雨等）、目标状态（例如运动、密集目标、伪装目标等）、目标位置（如远近、障碍物等）以及传感器特性等因素的影响，单一传感器所获得图像信息不足以用来对目标或场景进行正确的检测、分析和理解，使用多传感器图像融合能有效地解决这些问题。
从多个传感器获得的图像包含了冗余和互补信息。以两个传感器为例，其信息构成示意图如图2.1所示。
图2.1 传感器信息构成
多传感器图像融合能充分利用冗余信息改善信噪比、提高系统的可靠性，利用不同图像的互补信息获得细节更丰富、信息更全面的融合图像，从而提高了系统的识别能力。
目前，常用的军用图像传感器及其主要性能特点如表2.1所示。除此之外，还有其它图像传感器，如紫外光成像仪、X射线成像仪、超声波成像仪等。
表2.1 常用传感器及其主要性能特点
2.2 图像融合层次
一般情况下，图像融合由低到高分为三个层次：像素级融合[5]、特征级融合、决策级融合。
2.2.1 像素级图像融合
像素级图像融合，顾名思义，就是直接对参加融合源图像的像素灰度值进行融合处理，不对源图像特征进行处理，该层图像融合比较低级，位于最底层。像素级图像融合主要是对同一个场景的多幅图像对应点的像素采用某种融合规则使它们融合在一起，融合后的新图像包含了各个源图像的像素点信息。因为参加融合的各幅源图像的像素点要对应起来才能参加融合，这就必须要求对源图像进行预处理和严格的配准，否则会严重影响图像融合的质量。相比于其他两层图像融合，像素级图像融合在提供细节方面有很大的优势。该融合方法得到的融合图像更加的准确、可靠和全面的反映目标场景，这就有利于对原始场景中的目标进行识别[6]并做出决策计划。融合流程图如图2.2所示。
图2.2 像素级图像融合
2.2.2 特征级图像融合
特征级图像融合[7]位于像素级和决策级之间，它的基本思想是：对源图像预处理之后，提取各个传感器图像的各种图像特征，这些特征通常包括图像的轮廓、边缘等。提取特征之后，再对图像进行严格配准，最后根据提取的特征进行融合，进而得到融合结果。同像素级融合比较，该层融合在融合方法、信息模型和融合作用方面有较大的变化，具体区别见表2.2。融合流程图如图2.3所示。
图2.3 特征级图像融合
2.2.3 决策级图像融合
决策级图像[9]融合位于其他两层融合之上，它的基本原理是：首先对传感器获得的目标图像进行判断，这种判断只是初级的，判断之后形成初步决策。然后根据融合规则对已经形成的初步决策进行融合处理。该层融合在容错性和可靠性方面做得比较好。相比于上两种图像融合，决策级融合在信息种类、配准要求、信息模型、融合方法和融合的作用上有很多的差异。具体来说，决策级图像融合
对配准要求很低，基本不用考虑图像配准，因为在配准前，决策级图像融合已经获得各个传感器图像的决策。融合流程图如图2.4所示。
图2.4 决策级体系融合
下表2.2是对以上三个层次融合的比较结果。
表2.2 三个层次融合的比较
由上述图表分析可知，以上三种融合在各个方面都存在优缺点，在实际应用中应根据具体的需求来选择采用哪种层次的图像融合。但是，像素级图像融合是最重要的，也是最基础的，并且它是后两级融合处理的基础。因此，本文研究的
重点为第一个层次的融合，即像素级融合。
2.3 图像融合基本准则
对于各种图像融合系统而言，由于具体融合系统的用途不同，使得对融合系统的要求也不尽相同，但是有三个基本的准则是所有的图像融合系统都必须遵守的，分别是：
（1）融合后的图像应该尽可能多地保留原始输入图像中的显著特征，如边缘信息等；
（2）融合过程中不应该引进任何的无关信息或者不一致信息；
（3）原始输入图像中的不合理信息应该在融合后的图像中得到抑制，这些不合理信息包括噪声和标准误差。
2.4 图像融合步骤
图像融合是多传感器信息融合的一个分支，是可视信息[11]的融合，它是对多个传感器获得的关于同一场景或目标的图像进行融合处理，并获得一幅融合后的图像，使之更适合人的视觉感知[12]或计算机处理。
图像融合的一般处理过程可概括为4个步骤：
（1）图像预处理；
图像预处理[13]是融合的前期工作，主要包含图像正常化、滤波、增强等方面。图像融合主要是在不同规模、不同灰度/彩色动态范围的图像中展开的。所谓的图像正常化就是对一些参数进行归一化运算，例如对图像进行采样、对图像进行几何校正，这些做法的目的就是获取分辨率相同的图像。图像经过高通滤波器后，可以获取图像的高频信息，这样可以保证它与低分辨率图像融合时保持高频信息不变。图像的彩色增强主要是对低分辨率图像进行的，增强以后，低分辨率图像既可以保持原有图像的光谱信息，又使图像的色彩差加大，图像色彩更加明亮。同样的，图像的边缘增强是对高分辨率图像进行的，增强之后，图像可以有效的降低噪声，并且图像的边界和棱廓变得清晰，这样就可以把高分辨率图像的纹理、边缘等信息有效的融合到低频图像中去。
（2）融合图像，确定图像融合级别、方法及规则等；
图像融合是根据融合目的的不同采取不同的算法，融合目的有很多，主要有：改善图像清晰度、增加信息量、获取补充的图像信息、检查目标场景的变换情况、
通过图像融合获得三维立体图像、弥补单一传感器丢失的信息等等，图像融合方法的选取和融合规则参数的选取主要针对融合的目的不同采取不同的策略，所以图像融合前期对融合目的的了解和认知是必须的。
（3）图像融合效果评价；
（4）融合图像的后续处理，包括图像特征提取、目标检测、识别、跟踪以及决策等。
在图像融合过程中，若引入反馈机制，把图像融合效果评价反馈到图像融合过程中，以指导图像融合规则的选取和参数的选择，从理论上讲，会得到比开环图像融合更好的融合结果。图像融合结构模式，如下图2.5所示：
图2.5 图像融合结构模式
2.5 常用图像融合方法
像素级图像融合方法有很多，目前常用的方法有：加权平均法[21]，IHS （亮度、色度、饱和度）变换法，伪彩色图像融合法，主成分分析（PCA ）法，塔形分解法，小波变换法等。
2.5.1 加权平均法
加权平均法是最直接的图像融合方法，它是将原图像所对应像素的灰度值进行加权平均，从而得到新图像。
加权平均图像融合过程可以表示为：
()()()n m B n m A n m F ,,,21ωω+= (2.1)
式中：m 图像中像素的行号，m =1，2，…，M ；
n 图像中像素的列号， n =1，2，…，N ；
1ω 加权系数1；
2ω 加权系数2；通常：121=+w w 。
图像灰度值的平均可看作灰度值和加权的特例（5.021==ωω）。多数情况下，这种加权平均融合的方法中，参加融合的图像提供的冗余信息，通过这种融合可以提高检测的可靠性。同时，当用于多帧图像的融合处理时，可提高融合图像的信噪比。例如，假设有M 个含噪声图像()n m g i ,：
()()()212121,,,n n n n f n n g i i η+= (2.2)
式中 i=1，2，…，M ；
()21,n n f 原图像（不含噪声）；
()21,n n i η 为图像在像素点()21,n n 处的噪声，假设其为不相关、零均值随机噪声。
对以上M 个图像进行平均融合后的图像()21,n n g 为：
()()2
1121,1,n n g M n n g M
i i ∑== (2.3) 显然有：
(){}()2121,,n n f n n g E = (2.4) ()()2,2,21211n n n n g M
ησσ= (2.5) 式中： (){}21,n n g E 为g 的均值； ()2,21n n g σ 为g 在()21,n n 处得方差；
()2,21n n ησ 为η在()21,n n 处得方差。
融合后图像在()21,n n 处的标准偏差为：
()()2121,,1n n n n g M
ησσ= (2.6) 式（2.6)说明，经像素平均融合后得到的融合图像的标准差降为原来的M
1。实际上，此时的多帧图像的像素平均融合就是一种图像的平滑处理，这种平滑处理在减小图像中噪声的同时，往往可能在一定程度上使图像中的边缘、
轮廓变得模糊了。
加权平均融合法的优点是：算法简单直观、融合速度快、实时性强；缺点是：常需要人工干预并且图像融合结果很难令人满意，实际应用不广泛。
2.5.2 IHS 变换法
目前，常用的颜色模型一种是通常采用的红、黄、绿（RGB ）三原色模型。另外一种广泛应用的颜色模型是强度（Intensity ）、色调（Hue ）、饱和度（Saturation ）颜色模型。IHS 颜色模型是一种适合于人的直觉的配色方法，因而成为彩色图像处理最常用的颜色模型。强度表示光谱的整体亮度大小，对应于图像的空间分辨率，色调描述纯色的属性，决定光谱的主波长，是光谱在质的方面的区别，饱和度表征光谱的主波长在强度中的比例，色调和饱和度代表图像的光谱分辨率。传统的IHS 图像融合方法基本思想是将IHS 空间中的低分辨率亮度成分0I 用具有叫高空间分辨率的灰度图像的亮度成分I 所代替。
错误！未找到引用源。 IHS 变换公式
RGB 转化为IHS （正变换）：
????????????????????-=??????????00021002/12/16/2-6/16/13/13
/13/1B G R v v I (2.7) 12
arctan
v v H = (2.8) 22
21v v S += (2.9) 相应的逆变换：
????
????????????????--=??????????2106/23/12/16/13/12/16/13/1v v I B G R new new new new (2.10)
错误！未找到引用源。 IHS 变换的一般流程
IHS 变换算法流程如图2.6所示。
图2.6 IHS 空间融合流程图
基于IHS 空间的图像融合方法的一般步骤为：
错误！未找到引用源。 将多光谱的B G R 、、三个波段转换到IHS 空间，得到S H I 、、三个分量；
错误！未找到引用源。 将全色图像与多光谱图像经IHS 变换后得到的亮度分量I ，在一定的融合规则下进行融合，得到新的亮度分量（融合分量）'I ；
错误！未找到引用源。 用第2步得到的融合分量'I 代替亮度分量，并同S H 、分量图像一起转换到RGB 空间，最后得到融合图像。
在上述步骤中，第2步的融合规则可以选取不同的融合方法，如直接替换法、加权平均法、直方图匹配法等，其中直方图匹配法是较为经典和常用的方法。以全色图像 多光谱图像
去噪处理 IHS 空间转换提取I 直方图匹配 用直方图匹配后的全色图像替换多 光谱图像的I 分量后转换到RGB 空间 融合图像
I与元多I分量图像为参考，对全色图像进行直方图匹配，使得匹配后的图像
new
光谱图像保持较高的相关性，然后用
I分量替换多光谱图像中原来的I分量，
new
再转换到RGB空间，得到最终的融合结果。
传统的IHS变换融合方法虽然大大提高了融合图像的空间分辨率，但它存在严重的光谱畸变现象。IHS变换可以提高影像的地物纹理特性，增强其空间细节表现能量，但是由于在变换中I分量被高分辨率全色影像取代，因此变换的结果会产生较大的光谱失真，融合后图像识别精度不高。所以，在实际应用中传统的IHS变换融合方法使用范围很有限，主要使用的是一些改进过的IHS变换融合方法。
2.5.3 伪彩色图像融合法
从目前的硬件技术条件来看，伪彩色（False Color）图像融合处理可以说是比较容易实现的图像融合方法，并且人类视觉系统对该方法的融合结果也较容易分辨。伪彩色的图像融合方法是在人眼对彩色的分辨率远超过对灰度等级的分辨率这一视觉特性的基础上提出来的融合方法。如果通过某种彩色化处理技术将蕴藏在原始信道图像灰度等级中的细节信息以彩色的方式来表现，便可使人类视觉系统对图像的细节有更丰富的认识。其关键是让融合图像的可视效果尽可能符合人的视觉习惯。用性能好的伪彩色图像融合方法得到的融合后的伪彩色图像，其目标及背景的色彩与相应的真实彩色图像中目标及背景的色彩应该比较接近。彩色映射是将输入图像映射到一个色彩空间中，得到一幅伪彩色的融合图像。研究表明通过彩色映射进行可见光和红外图像的融合能够提高融合结果的信息量，有助于提高检测性能。伪彩色融合方法一般可分为基于 RGB 彩色空间的多传感器图像融合和基于 IHS 彩色空间的多传感器图像融合。
2.5.4 主成分分析（PCA）法
PCA变换也叫主成分变换，是一种常用的数据降维处理方法，它的几何意义是把原始特征空间的特征轴旋转到平行于混合集群结构去，得到新的特征轴。实际操作是将原来的各个因素指标重新组合，组合后的新指标是互不相关的。在由这些新指标组成的新特征轴中，只用前几个分量图像就能完全表征原始集群的有效信息，图像中彼此相关的数据被压缩，而特征得到了突出。
主成分变换的变换公式可以用下式表示：
TX Y = (2.11)
式中： X ：待变换图像的数据矩阵；
Y ：变换后图像的数据矩阵；
T ：变换矩阵。
若T 是正交矩阵，并且由待变换图像的数据矩阵的协方差矩阵C 的特征矢量所组成，则此变换成为K-L 变换，称变换的数据矩阵的每一行矢量为K-L 变换的一个主分量。对低分辨率多光谱图像与高空间分辨率图像融合时，主成分变换的融合方法的基本思想是：首先对多光谱图像进行主成分变换，然后用拉伸的高空间分辨率图像代替第一主分量进行逆主分量变换，得到融合的图像。
错误！未找到引用源。 根据K-L 变换的定义，多光谱变换的过程概括如下： 错误！未找到引用源。 由多光谱图像的数据矩阵X （矩阵中的每一行表示一个波段的图像），假设多光谱图像由m 个波段的图像组成，每个波段图像的像素总数是n 。计算它的协方差矩阵C 。
?????????????
???=n m j m m n i j i i n j x x x x x x x x x X
111111 ???????
?????????=222122212121211n m j m m n i j i i n j C δδδδδδδδδ (2.12) 错误！未找到引用源。 计算协方差矩阵C 的特征值λ与特征向量U ，组成变换矩阵T ，若以各特征矢量为列构成矩阵U ，则U 的转置矩阵即为K-L 变换的系数矩阵T 。
错误！未找到引用源。 由K-L 变换的具体表达式TX X U Y T ==，获得主分量变换后的新矩阵Y ，矩阵中的每一行矢量i Y 为K-L 变换后的一个主分量。其中1Y 被称为第一主分量，它包含的信息量最大，其它的主分量包含的信息呈逐渐减少的趋势。每一个主分量的像素大小也为n ，与单个波段的图像像素大小一致。任何两个主成分之间的协方差都为0，互不相关，保证了各个主成分之间没有信息的重复和冗余。
错误！未找到引用源。 PCA 变换的流程图如图2.7所示。
图2.7 PCA 变换流程图
PCA 算法的主要步骤如下：
错误！未找到引用源。 对参加融合的源图像进行配准；
错误！未找到引用源。 计算多光谱图像的主成分变换矩阵的特征值与对应的特征向量；
错误！未找到引用源。 将特征值按从大到小的顺序排序，相应的特征向量也要跟着变动，将最终的结果记为n n ???λλλ,,,,,,,2121 ；
错误！未找到引用源。 各主分量按如下方式计算：
∑==n
j k j j k x pc 1? (2.13) 全色图像 多光谱图像
空间配准 多光谱图像主成分变换 对全色图像做直方图匹配 匹配后的全色图像替换 第一主分量并作逆主分量变换 融合图像
图像增强算法研究综述 刘璐璐 宁波工程学院电子与信息工程学院计算机科学与技术071班，邮编:(315100) E-mail:375212239@https://www.doczj.com/doc/d59865084.html, 摘要：本文简要介绍图像增强的概念和图像增强算法的分类，从图像的直方图均衡化处理方法，直方图规定化处理方法和图像平滑处理方法三方面对图像增强算法进行讨论和研究，并说明了图像增强技术的应用和前景展望。 关键词：图像增强直方图均衡化直方图规定化平滑处理 近年来，随着电子计算机技术的进步，计算机图像处理得到了飞跃的发展，己经成功的应用于几乎所有与成像有关的领域，并正发挥着相当重要的作用。它利用计算机对数字图像进行系列操作，从而获得某种预期的结果。对图像进行处理时，经常运用图像增强技术以改善图像的质量增强对某种信息的辨识能力，以更好的应用于现代各种科技领域，图像增强技术的快速发展同它的广泛应用是分不开的，发展的动力来自稳定涌现的新的应用，我们可以预料，在未来社会中图像增强技术将会发挥更为重要的作用。在图像处理过程中，图像增强是十分重要的一个环节。 1.图像增强概念及现实应用 1.1 图像增强技术 图像增强是数字图像处理的基本内容之一。图像增强是指按特定的需要突出一幅图像中的某些信息，同时，削弱或去除某些不需要的信息。这类处理是为了某种应用目的去改善图像质量，处理的结果更适合于人的视觉特性或机器识别系统，图像增强处理并不能增加原始图像的信息，而只能增强对某种信息的辨识能力，使处理后的图像对某些特定的应用比原来的图像更加有效。 1.2图像增强技术的现实应用 目前，图像增强处理技术的应用己经渗透到医学诊断、航空航天、军事侦察、纹识别、无损探伤、卫星图片的处理等领域，在国民经济中发挥越来越大的作用。其中最典型的应用主要体现以下方面。 1
数字图像处理的发展现状及研究内容概述人类传递信息的主要媒介是语音和图像。据统计，在人类接受的信息中，听觉信息占20%，视觉信息占60%，所以作为传递信息的重要媒体和手段——图像信息是十分重要的，俗话说“百闻不如一见”、“一目了然”，都反映了图像在传递信息中独到之处。 目前，图像处理技术发展迅速，其应用领域也愈来愈广，有些技术已相当成熟并产生了惊人的效益，当前图像处理面临的主要任务是研究心的处理方法，构造新的处理系统，开拓更广泛的应用领域。 数字图像处理（Digital Image Processing）又称为计算机数字图像处理，它是指将数字图像信号转换成数字信号并利用计算机对其进行处理的过程。数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和数字图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的数字图像处理的目的是改善数字图像的质量，它以人为对象，以改善人的视觉效果为目的。数字图像处理中，输入的是质量低的数字图像，输出的是改善质量后的数字图像，常用的数字图像处理方法有数字图像增强、复原、编码、压缩等。 1:数字图像处理的现状及发展 数字图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就，属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，使数字图像处理成为一门引人注目、前景远大的新型学科。随着数字图像处理技术
的深入发展，从70年代中期开始，随着计算机技术和人工智能、思维科学研究的迅速发展，数字图像处理向更高、更深层次发展。 人们已开始研究如何用计算机系统解释数字图像，实现类似人类视觉系统理解外部世界，这被称为数字图像理解或计算机视觉。很多国家，特别是发达国家投入更多的人力、物力到这项研究，取得了不少重要的研究成果。其中代表性的成果是70年代末MIT的Marr提出的视觉计算理论，这个理论成为计算机视觉领域其后十多年的主导思想。数字图像理解虽然在理论方法研究上已取得不小的进展，但它本身是一个比较难的研究领域，存在不少困难，人类本身对自己的视觉过程还了解甚少，因此计算机视觉是一个有待人们进一步探索的新领域。如今数字图像处理技术已给人类带来了巨大的经济和社会效益。不久的将来它不仅在理论上会有更深入的发展，在应用上意识科学研究、社会生产乃至人类生活中不可缺少的强有力的工具。 数字图像处理进一步研究的问题，不外乎如下几个方面： （1）在进一步提高精度的同时着重解决处理速度问题。如在航天遥感、气象云图处理方面，巨大的数据量和处理速度任然是主要矛盾之一。 （2）加强软件研究、开发新的处理方法，特别要注意移植和借鉴其他学科的技术和研究成果，创造新的处理方法。 （3）加强边缘学科的研究工作，促进数字图像处理技术的发展。如：人的视觉特性、心理学特性等的研究，如果有所突破，讲对团向处理技术的发展起到极大的促进作用。
多聚焦图像融合方法综述 摘要：本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块，并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。 关键词：多聚焦图像融合；空域；频域；小波变换法；评价方法 1、引言 按数据融合的处理体系，数据融合可分为：信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支，是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。 Pohl和Genderen将图像融合定义为：“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”，其主要思想是采用一定的方法，把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。 作为图像融合研究重要内容之一的多聚焦图像融合，是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像，便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中，其中，像素级的图像融合精度较高，能够提供其他融合方法所不具备的细节信息，多聚焦融合采用了像素级融合方法，它主要分为空域和频域两大块，即： （1）在空域中，主要是基于图像清晰部分的提取，有梯度差分法，分块法等，其优点是速度快、方法简单，不过融合精确度相对较低，边缘吃力粗糙； （2）在频域中，具有代表性的是分辨方法，其中有拉普拉斯金字塔算法、小波变换法等，多分辨率融合精度比较高，对位置信息的把握较好，不过算法比较复杂，处理速度比较慢。 2、空域中的图像融合 把图像f(x,y)看成一个二维函数，对其进行处理，它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。 2.1 逻辑滤波器法 最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值,
摘要 本文给出了一种基于小波变换的图像融合方法，并针对小波分解的不同频率域，分别讨论了选择高频系数和低频系数的原则。高频系数反映了图像的细节，其选择规则决定了融合图像对原图像细节的保留程度。本文在选择高频系数时，基于绝对值最大的原则，低频系数反映了图像的轮廓，低频系数的选择决定了融合图像的视觉效果，对融合图像质量的好坏起到非常重要的作用。图像融合是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。 MATLAB小波分析工具箱提供了小波分析函数，应用MATLAB进行图像融合仿真，通过突出轮廓部分和弱化细节部分进行融合，使融合后的图象具有了两幅或多幅图象的特征，更符合人或者机器的视觉特性，有利于对图像进行进一步的分析和理解，有利于图像中目标的检测和识别或跟踪。 关键词小波变换；融合规则；图像融合
Image Fusion Algorithm Based on Wavelet Transform Abstract In this paper, the image fusion method based on wavelet transform, and for the wavelet decomposition of the frequency domain, respectively, discussed the principles of select high-frequency coefficients and low frequency coefficients. The high-frequency coefficients reflect the details of the image, the selection rules to determine the extent of any reservations of the fused image on the original image detail. The choice of high-frequency coefficients, based on the principle of maximum absolute value, and consistency verification results. The low-frequency coefficients reflect the contours of the image, the choice of the low frequency coefficients determine the visual effect of the fused image, play a very important role in the fused image quality is good or bad. MATLAB Wavelet Analysis Toolbox provides a wavelet analysis function using MATLAB image fusion simulation, highlight the contours of parts and the weakening of the details section, fusion, image fusion has the characteristics of two or multiple images, more people or the visual characteristics of the machine, the image for further analysis and understanding, detection and identification or tracking of the target image. Keywords Wavelet transform; Fusion rule; Image Fusion
图像处理技术的研究现状和发展趋势 庄振帅 数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。数字图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。数字图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国喷气推进实验室（JPL）。他们对航天探测器徘徊者7号在1964年发回的几千张月球照片使用了图像处理技术，如几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以致获得了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动了数字图像处理这门学科的诞生。在以后的宇航空间技术，如对火星、土星等星球的探测研究中，数字图像处理都发挥了巨大的作用。数字图像处理取得的另一个巨大成就是在医学上获得的成果。1972年英国EMI公司工程师Housfield发明了用于头颅诊断的X射线计算机断层摄影装置，也就是我们通常所说的CT（Computer Tomograph）。CT的基本方法是根据人的头部截面的投影，经计算机处理来重建截面图像，称为图像重建。1975年EMI公司又成功研制出全身用的CT装置，获得了人体各个部位鲜明清晰的断层图像。1979年，这项无损伤诊断技术获得了诺贝尔奖，说明它对人类作出了划时代的贡献。与此同时，图像处理技术在许多应用领域受到广泛重视并取得了重大的开拓性成就，属于这些领域的有航空航天、生物医学过程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，使图像处理成为一门引人注目、前景远大的新型学科。随着图像处理技术的深入发展，从70年代中期开
图像融合的研究背景和研究意义 1概述 2 图像融合的研究背景和研究意义 3图像融合的层次 像素级图像融合 特征级图像融合 决策级图像融合 4 彩色图像融合的意义 1概述 随着现代信息技术的发展，图像的获取己从最初单一可见光传感器发展到现在的雷达、高光谱、多光谱红外等多种不同传感器，相应获取的图像数据量也急剧增加。由于成像原理不同和技术条件的限制，任何一个单一图像数据都不能全面反应目标对象的特性，具有一定的应用范围和局限性。而图像融合技术是将多种不同特性的图像数据结合起来，相互取长补短便可以发挥各自的优势，弥补各自的不足，有可能更全面的反映目标特性，提供更强的信息解译能力和可靠的分析结果。图像融合不仅扩大了各图像数据源的应用范围，而且提高了分析精度、应用效果和使用价值，成为信息领域的一个重要的方向。图像配准是图像融合的重要前提和基础，其误差的大小直接影响图像融合结果的有效性。 作为数据融合技术的一个重要分支，图像融合所具有的改善图像质量、提高几何配准精度、生成三维立体效果、实现实时或准实时动态监测、克服目标提取与识别中图像数据的不完整性等优点，使得图像融合在遥感观测、智能控制、无损检测、智能机器人、医学影像(2D和3D)、制造业等领域得到广泛的应用，成为当前重要的信息处理技术，迅速发展的军事、医学、自然资源勘探、环境和土地、海洋资源利用管理、地形地貌分析、生物学等领域的应用需求更有力地刺激了图像融合技术的发展。 2 图像融合的研究背景和研究意义 Pohl和Genderen对图像融合做了如下定义：图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。它的主要思想是采用一定的算法，把
目录 绪论 (1) 1数字图像处理技术 (1) 1.1数字图像处理的主要特点 (1) 1.2数字图像处理的优点 (2) 1.3数字图像处理过程 (3) 2数字图像处理的研究现状 (4) 2.1数字图像的采集与数字化 (4) 2.2图像压缩编码 (5) 2.3图像增强与恢复 (8) 2.4图像分割 (9) 2.5图像分析 (10) 3数字图像处理技术的发展方向 (13) 参考文献 (14)
绪论 图像处理技术基本可以分成两大类：模拟图像处理和数字图像处理。数字图像处理是指将图像信号转换成数字信号并利用计算机进行处理的过程。其优点是处理精度高，处理内容丰富，可进行复杂的非线性处理，有灵活的变通能力，一般来说只要改变软件就可以改变处理内容。困难主要在处理速度上，特别是进行复杂的处理。数字图像处理技术主要包括如下内容：几何处理、算术处理、图像增强、图像复原、图像重建、图像编码、图像识别、图像理解。数字图像处理技术的发展涉及信息科学、计算机科学、数学、物理学以及生物学等学科，因此数理及相关的边缘学科对图像处理科学的发展有越来越大的影响。 数字图像处理的早期应用是对宇宙飞船发回的图像所进行的各种处理。到了70年代，图像处理技术的应用迅速从宇航领域扩展到生物医学、信息科学、资源环境科学、天文学、物理学、工业、农业、国防、教育、艺术等各个领域与行业，对经济、军事、文化及人们的日常生活产生重大的影响。 数字图像处理技术发展速度快、应用范围广的主要原因有两个。最初由于数字图像处理的数据量非常庞大，而计算机运行处理速度相对较慢，这就限制了数字图像处理的发展。现在计算机的计算能力迅速提高，运行速度大大提高，价格迅速下降，图像处理设备从中、小型计算机迅速过渡到个人计算机，为图像处理在各个领域的应用准备了条件。第二个原因是由于视觉是人类感知外部世界最重要的手段。据统计，在人类获取的信息中，视觉信息占60％，而图像正是人类获取信息的主要途径，因此，和视觉紧密相关的数字图像处理技术的潜在应用范围自然十分广阔。近年来，数字图像处理技术日趋成熟，它广泛应用于空间探测、遥感、生物医学、人工智能以及工业检测等许多领域，并促使这些学科产生了新的发展。 1数字图像处理技术 1.1数字图像处理的主要特点 (1)目前数字图像处理的信息大多是二维信息，处理信息量很大，因此对计
浅谈多源图像融合方法研究 图像融合已成为图像理解和计算机视觉领域中的一项重要而有用的新技术，多源遥感图像数据融合更是成为遥感领域的研究热点，其目的是将来自多信息源的图像数据加以智能化合成，产生比单一传感器数据更精确、更可靠的描述和判决，使融合图像更符合人和机器的视觉特性，更有利于诸如目标检测与识别等进一步的图像理解与分析。遥感图像融合的目的就在于集成或整合多个源图像中的冗余信息和互补信息，利用优势互补的数据来提高图像的信息可用程度，同时增加对研究对象解译（辨识）的可靠性。 标签：遥感图像图像融合几何纠正空间配准图像去噪 1前言 多源遥感图像融合就是将多个传感器获得的同一场景的遥感图像或同一传感器在不同时刻获得的同一场景的遥感图像数据或图像序列数据进行空间和时间配准，然后采用一定的算法将各图像数据或序列数据中所含的信息优势互补性的有机结合起来产生新图像数据或场景解释的技术。 2多源图像融合的预处理 预处理的主要目的是纠正原始图像中的几何与辐射变形，即通过对图像获取过程中产生的变形、扭曲和噪音的纠正，以得到一个尽可能在几何和辐射上真实的图像。 2.1图像的几何纠正 图像几何校正一般包括两个方面，一是图像像素空间位置互换，另一个是像素灰度值的内插。故遥感图像几何校正分为两步，第一步是做空间几何变换，这样做的目的是使像素落在正确的位置上；第二步是作像素灰度值内插，重新确定新像素的灰度值，重采样的方法有最临近法、双线性内插法和三次卷积内插法。数字图像几何校正的主要处理过程如图1所示。 2.2图像的空间配准 图像数据配准定义为对从不同传感器、不同时相、不同角度所获得的两幅或多幅影像進行最佳匹配的处理过程。其中的一幅影像是参考影像数据，其它图像则作为输入影像与参考影像进行相关匹配。图像配准的一般过程是在对多传感器数据经过严密的几何纠正处理、改正了系统误差之后，将影像投影到同一地面坐标系统上，然后在各传感器影像上选取少量的控制点，通过特征点的自动选取或是计算其各自间的相似性、配准点的粗略位置估计、配准点的精确确定以及配准变换参数估计等的处理，从而实现影像的精确配准。
文献综述 1.1理论背景 数字图像中的边缘检测是图像分割、目标区域的识别、区域形状提取等图像分析领域的重要基础，图像处理和分析的第一步往往就是边缘检测。 物体的边缘是以图像的局部特征不连续的形式出现的，也就是指图像局部亮度变化最显著的部分，例如灰度值的突变、颜色的突变、纹理结构的突变等，同时物体的边缘也是不同区域的分界处。图像边缘有方向和幅度两个特性，通常沿边缘的走向灰度变化平缓，垂直于边缘走向的像素灰度变化剧烈。根据灰度变化的特点，图像边缘可分为阶跃型、房顶型和凸缘型。 1.2、图像边缘检测技术研究的目的和意义 数字图像边缘检测是伴随着计算机发展起来的一门新兴学科，随着计算机硬件、软件的高度发展，数字图像边缘检测也在生活中的各个领域得到了广泛的应用。边缘检测技术是图像边缘检测和计算机视觉等领域最基本的技术，如何快速、精确的提取图像边缘信息一直是国内外研究的热点，然而边缘检测也是图像处理中的一个难题。 首先要研究图像边缘检测，就要先研究图像去噪和图像锐化。前者是为了得到飞更真实的图像，排除外界的干扰，后者则是为我们的边缘检测提供图像特征更加明显的图片，即加大图像特征。两者虽然在图像边缘检测中都有重要地位，但本次研究主要是针对图像边缘检测的研究，我们最终所要达到的目的是为了处理速度更快，图像特征识别更准确。早期的经典算法有边缘算子法、曲面拟合法、模版匹配法、门限化法等。 早在1959年Julez就曾提及边缘检测技术，Roberts则于1965年开始了最早期的系统研究，从此有关边缘检测的理论方法不断涌现并推陈出新。边缘检测最开始都是使用一些经验性的方法，如利用梯度等微分算子或特征模板对图像进行卷积运算，然而由于这些方法普遍存在一些明显的缺陷，导致其检测结果并不
ENVI下的图像融合方法 图像融合是将低空间分辨率的多光谱影像或高光谱数据与高空间分辨率的单波段影像重采样生成成一副高分辨率多光谱影像遥感的图像处理技术，使得处理后的影像既有较高的空间分辨率，又具有多光谱特征。图像融合的关键是融合前两幅图像的精确配准以及处理过程中融合方法的选择。只有将两幅融合图像进行精确配准，才可能得到满意的结果。对于融合方法的选择，取决于被融合图像的特征以及融合目的。 ENVI中提供融合方法有： ?HSV变换 ?Brovey变换 这两种方法要求数据具有地理参考或者具有相同的尺寸大小。RGB输入波段必须为无符号8bit数据或者从打开的彩色Display中选择。 这两种操作方法基本类似，下面介绍Brovey变换操作过程。 （1）打开融合的两个文件，将低分辨率多光谱图像显示在Display中。 （2）选择主菜单-> Transform -> Image Sharpening->Color Normalized (Brovey)，在Select Input RGB对话框中，有两种选择方式：从可用波段列表中和从Display窗口中，前者要求波段必须为无符号8bit。 （3）选择Display窗口中选择RGB，单击OK。 （4） Color Normalized (Brovey)输出面板中，选择重采样方式和输入文件路径及文件名，点击OK输出结果。 对于多光谱影像，ENVI利用以下融合技术： ?Gram-Schmidt ?主成分（PC）变换 ?color normalized (CN)变换 ?Pan sharpening 这四种方法中，Gram-Schmidt法能保持融合前后影像波谱信息的一致性，是一种高保真的遥感影像融合方法；color normalized (CN)变换要求数据具有中心波长和FWHM，；Pansharpening融合方法需要在ENVI Zoom中启动，比较适合高分辨率影像，如QuickBird、IKONOS等。 这四种方式操作基本类似，下面介绍参数相对较多的Gram-Schmidt操作过程。 （1）打开融合的两个文件。
摘要：介绍了遥感影像三种常用的图像融合方式。进行实验，对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像，简要分析比较三种图像融合方式的各自特点，择出本次实验的最佳融合方式。 关键字：遥感影像；图像融合；主成分变换；乘积变换；比值变换；ERDAS IMAGINE 1. 引言 由于技术条件的限制和工作原理的不同，任何来自单一传感器的信息都只能反映目标的某一个或几个方面的特征，而不能反应出全部特征。因此，与单源遥感影像数据相比，多源遥感影像数据既具有重要的互补性，也存在冗余性。为了能更准确地识别目标，必须把各具特色的多源遥感数据相互结合起来，利用融合技术，针对性地去除无用信息，消除冗余，大幅度减少数据处理量，提高数据处理效率；同时，必须将海量多源数据中的有用信息集中起来，融合在一起，从多源数据中提取比单源数据更丰富、更可靠、更有用的信息，进行各种信息特征的互补，发挥各自的优势，充分发挥遥感技术的作用。[1] 在多源遥感图像融合中，针对同一对象不同的融合方法可以得到不同的融合结果，即可以得到不同的融合图像。高空间分辨率遥感影像和高光谱遥感影像的融合旨在生成具有高空间分辨率和高光谱分辨率特性的遥感影像，融合方法的选择取决于融合影像的应用，但迄今还没有普适的融合算法能够满足所有的应用目的，这也意味着融合影像质量评价应该与具体应用相联系。[2] 此次融合操作实验是用三种不同的融合方式（主成分变换融合，乘积变换融合，比值变换融合），对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多
光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像。 2. 源文件 1 、 imagerycolor.tif ，SPOT图像，分辨率10米，有红、绿、两个红外共四个波段。 2 、imagery-5m.tif ，SPOT图像，分辨率5米。 3. 软件选择 在常用的四种遥感图像处理软件中，PCI适合用于影像制图，ENVI在针对像元处理的信息提取中功能最强大，ER Mapper对于处理高分辨率影像效果较好，而ERDAS IMAGINE的数据融合效果最好。[3] ERDAS IMAGINE是美国Leica公司开发的遥感图像处理系统。它以其先进的图像处理技术，友好、灵活的用户界面和操作方式，面向广阔应用领域的产品模块，服务于不同层次用户的模型开发工具以及高度的RS/GIS（遥感图像处理和地理信息系统）集成功能，为遥感及相关应用领域的用户提供了内容丰富而功能强大的图像处理工具。 2012年5月1日，鹰图发布最新版本的ERDAS IMAGINE，所有ERDAS 2011软件用户都可以从官方网站上下载最新版本 ERDAS IMAGINE 11.0.5. 新版本包括之前2011服务包的一些改变。相比之前的版本，新版本增加了更多ERDAS IMAGINE和GeoMedia之间的在线联接、提供了更为丰富的图像和GIS产品。用户使用一个单一的产品，就可以轻易地把两个产品结合起来构建一个更大、更清
数字图像处理技术的现状及其发展方向 一、数字图像处理历史发展 数字图像处理(Digital Image Processing)将图像信号转换成数字信号并利用计算机对其进行处理。 1.起源于20世纪20年代。 2.数字图像处理作为一门学科形成于20世纪60年代初期，美国喷气推进实验室(JPL)推动了数字图像处理这门学科的诞生。 3.1972年英国EMI公司工程师Housfield发明了用于头颅诊断的X射线计算机断层摄影装置即CT(Computer Tomograph)，1975年EMI公司又成功研制出全身用的CT装置,获得了人体各个部位鲜明清晰的断层图像。 4.从70年代中期开始,随着计算机技术和人工智能、思维科学研究的迅速发展,数字图像处理向更高、更深层次发展，人们已开始研究如何用计算机系统解释图像,实现类似人类视觉系统理解外部世界，其中代表性的成果是70年代末MIT的Marr提出的视觉计算理论。 二、数字图像处理的主要特点 1．目前数字图像处理的信息大多是二维信息,处理信息量很大,对计算机的计算速度、存储容量等要求较高。 2.数字图像处理占用的频带较宽,在成像、传输、存储、处理、显示等各个环节的实现上,技术难度较大,成本也高,这就对频带压缩技术提出了更高的要求。 3.数字图像中各个像素是不独立的,其相关性大。因此,图像处理中信息压缩的潜力很大。 4.由于图像是三维景物的二维投影,一幅图像本身不具备复现三维景物的全部几何信息的能力,要分析和理解三维景物必须作合适的假定或附加新的测量。在理解三维景物时需要知识导引,这也是人工智能中正在致力解决的知识工程问题。 5．一方面，数字图像处理后的图像一般是给人观察和评价的,因此受人的因素影响较大，作为图像质量的评价还有待进一步深入的研究；另一方面，计算机视觉是模仿人的视觉,人的感知机理必然影响着计算机视觉的研究,这些都是心理学和神经心理学正在着力研究的课题。 三、数字图像处理的优点 1.再现性好；图像的存储、传输或复制等一系列变换操作不会导致图像质量的退化。 2.处理精度高；可将一幅模拟图像数字化为任意大小的二维数组,现代扫描仪可以把每个像素的灰度等级量化为16位甚至更高。 3.适用面宽；图像可以来自多种信息源，图像只要被变换为数字编码形式后,均是用二维数组表示的灰度图像组合而成,因而均可用计算机来处理。 4.灵活性高；数字图像处理不仅能完成线性运算,而且能实现非线性处理,即凡是可以用数学公式或逻辑关系来表达的一切运算均可用数字图像处理实现。 四、数字图像处理过程及其主要进展 常见的数字图像处理有:图像的采集、数字化、编码、增强、恢复、变换、
毕业设计文献综述 题目：基于matlab的图像预处理技术研究 专业：电子信息工程 1前言部分 众所周知，MATLAB在数值计算、数据处理、自动控制、图像、信号处理、神经网络、优化计算、模糊逻辑、小波分析等众多领域有着广泛的用途，特别是MATLAB的图像处理和分析工具箱支持索引图像、RGB 图像、灰度图像、二进制图像，并能操作*.bmp、*.jpg、*.tif等多种图像格式文件如。果能灵活地运用MATLAB提供的图像处理分析函数及工具箱，会大大简化具体的编程工作，充分体现在图像处理和分析中的优越性。 图像就是用各种观测系统观测客观世界获得的且可以直接或间接作用与人眼而产生视觉的实体。视觉是人类从大自然中获取信息的最主要的手段。拒统计，在人类获取的信息中，视觉信息约占60%，听觉信息约占20%，其他方式加起来才约占20%。由此可见，视觉信息对人类非常重要。同时，图像又是人类获取视觉信息的主要途径，是人类能体验的最重要、最丰富、信息量最大的信息源。通常，客观事物在空间上都是三维的(3D)的，但是从客观景物获得的图像却是属于二维(2D)平面的。 图像存在方式多种多样，可以是可视的或者非可视的，抽象的或者实际的，适于计算机处理的和不适于计算机处理的。 图像处理它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程。图像处理最早出现于20世纪50年代，当时的电子计算机已经发展到一定水平，人们开始利用计算机来处理图形和图像信息。图像处理作为一门学科大约形成于20世纪60年代初期。早期的图像处理的目的是改善图像的质量，它以人为对象，以改善人的视觉效果为目的。图像处理中，输入的是质量低的图像，输出的是改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的是美国喷气推进实验室（JPL）。他们对航天探测器徘徊者7号在 1964 年发回的几千张月球照片使用了图像处理技术，如几何校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。随后又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以致获得了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动
东北大学 研究生考试试卷 考试科目：现代信号处理理论和方法______________ 课程编号：_______________________________ 阅卷人：_________________________________ 考试日期：_________ 2011年11月24日________________ 姓名：________________ 朱学欢 _______________________ 学号：____________ 1101139 ___________________ 注意事项 〔?考前研究生将上述项目填写清楚 2?字迹要清楚，保持卷面清洁 3?交卷时请将本试卷和题签一起上交 东北大学研究生院
基于MATLAB的图像融合方法 姓名：朱学欢学号：1101139 一、图像融合算法 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。 数字图像融合是图像分析的一项重要技术，其目的是将两幅或多幅图像拼接起来构成一副整体图像，以便于统一处理，该技术在数字地图拼接、全景图、虚拟现实等领域有着重要应用。虽然Photoshop等图像处理软件提供了图像处理功能，可以通过拖放的方式进行图像拼接，但由于完全是手工操作，单挑乏味，且精度不高，因此，有必要寻找一种方便可行的图像融合方法。Matlab具有强 大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台，可让用户把精力集中在算法而不是编程上，从而能大大提咼研究效率。 在图像融合中，参加融合的源图像是由不同的传感器或者是同一传感器在不同时刻得到的，所以在进行融合之前需要对图像进行配准和一些预处理操作。在本实验中所提到的参加融合的图像都是经过了配准了的，图像融合的过程可以发生在信息描述的不同层。 聚九左边杵范It (b) 寓M用僱竝舍技倉遵胯于勲钟机 (?) AW CT图倬ex詹M阳图偉側玄乌b的*售丼髭 圈1-5图俅融令校*摩匿単上的庭周 1、图像融合算法的层次分类 图像融合系统的算法按层次结构划分可分为信号级、像素级、特征级和决策级。 信号级融合： 是指合成一组传感器信号，目的是提供与原始信号形式相同但品质更高的信号。
在借鉴国外相对成熟理论体系与技术应用体系的条件下,国内的增强技术与应用也有了很大的发展。总体来说,图像增强技术的发展大致经历了初创期、发展期、普及期与应用期4个阶段。初创期开始于20世纪60年代,当时的图像采用像素型光栅进行扫描显示,大多采用中、大型机对其进行处理。在这一时期由于图像存储成本高,处理设备造价高,因而其应用面很窄。20世纪70年代进入了发展期,开始大量采用中、大型机进行处理,图像处理也逐渐改用光栅扫描显示方式,特别就是出现了CT与卫星遥感图像,对图像增强处理提出了一个更高的要求。到了20世纪80年代,图像增强技术进入普及期,此时的计算机已经能够承担起图形图像处理的任务。20世纪90年代进入了应用期,人们运用数字图像增强技术处理与分析遥感图像,以有效地进行资源与矿藏的勘探、调查、农业与城市的土地规划、作物估产、气象预报、灾害及军事目标的监视等。在生物医学工程方面,运用图像增强技术对X射线图像、超声图像与生物切片显微图像等进行处理,提高图像的清晰度与分辨率。在工业与工程方面,主要应用于无损探伤、质量检测与过程自动控制等方面。在公共安全方面,人像、指纹及其她痕迹的处理与识别,以及交通监控、事故分析等都在不同程度上使用了图像增强技术。图像增强就是图像处理的重要组成部分,传统的图像增强方法对于改善图像质量发挥了极其重要的作用。随着对图像技术研究的不断深入与发展,新的图像增强方法不断出现。例如一些学者将模糊映射理论引入到图像增强算法中,提出了包括模糊松弛、模糊熵、模糊类等增强算法来解决增强算法中映射函数选择问题,并且随着交互式图像增强技术的应用,可以主观控制图像增强效果。同时利用直方图均衡技术的图像增强也有许多新的进展:例如提出了多层直方图结合亮度保持的均衡算法、动态分层直方图均衡算法。这些算法通过分割图像,然后在子层图像内做均衡处理,较好地解决了直方图均衡过程中的对比度过拉伸问题,并且可以控制子层灰度映射范围,增强效果较好。 20世纪20年代图片第一次通过海底电缆从伦敦传往纽约。当时人们通过字符模拟得到中间色调的方法来还原图像。早期的图像增强技术往往涉及硬件参数的设置,如打印过程的选择与亮度等级的分布等问题。在1921年年底提出了一种基于光学还原的新技术。在这一时期由于引入了一种用编码图像纸带去调制光束达到调节底片感光程度的方法,使灰度等级从5个灰度级增加到15个灰度等级,这种方法明显改善了图像复原的效果。到20世纪60年代早期第一台可以执行数字图像处理任务的大型计算机制造出来了,这标志着利用计算机技术处理数字图像时代的到来。1964年,研究人员在美国喷气推进实验室(JPL)里使用计算机以及其它硬件设备,采用几何校正、灰度变换、去噪声、傅里叶变换以及二维线性滤波等增强方法对航天探测器“徘徊者7号”发回的几千张月球照片进行处理,同时她们也考虑太阳位置与月球环境的影响,最终成功地绘制出了月球表面地图。随后她们又对1965年“徘徊者8号”发回地球的几万张照片进行了较为复杂的数字图像处理,使图像质量进一步提高。这些成绩不仅引起世界许多有关方面的注意而且JPL本身也更加重视对数字图像处理地研究与设备的改进,并专门成立了图像处理实验室IPL。在IPL里成功的对后来探测飞船发回的几十万张照片进行了更为复杂的图像处理,最终获得了月球的地形图、彩色图以及全景镶嵌图。从此数字图像增强技术走进了航空航天领域。 20世纪60年代末与20世纪70年代初有学者开始将图像增强技术用于医学图像、地球遥感监测与天文学等领域。X射线就是最早用于成像的电磁辐射源之一,在1895年X射线由伦琴发现。20世纪70年代Godfrey N、Hounsfield先生与Allan M、Cormack教授共同发明计算机轴向断层技术:一个检测器围绕病人,并用X射线源绕着物体旋转。X射线穿过身体并由位于对面环中的相应检测器收集起来。其原理就是用感知的数据去重建切片图像。当物体沿垂直于检测器的方向运动时就产生一系列的切片,这些切片组成了物体内部的再现图像。到了20世纪80年代以后,各种硬件的发展使得人们不仅能够处理二维图像,而且开始处理三维图像。许多能获得三维图像的设备与分析处理三维图像的系统已经研制成功了,图像处理技术
齐鲁工业大学 毕业设计(论文)开题报告题目：图像拼接技术研究—图像融合 院（系）电气工程与自动化学院 专业电子信息工程 班级电子12-1 姓名泳麟 学号 201202031022 导师玉淑 2016年 4月 20 日
5.主要参考文献： [5] Blinn J F.Light reflection functions for simulation of clouds and dusty surfaces[C]//Proceedings of SIGGRAPH，1982：21-29. [6] Max N.Optical models for direct volume rendering[J].IEEE Transactions on Visualization and Computer Graphics，1995，1： 99-108. [7] Max N.Light diffusion through clouds and haze[C]//Computer Vision，Graphics，and Image Processing，1986：280-292. [8] 尤赛，福民.基于纹理映射与光照模型的体绘制加速算法[J]. 中国图象图形学报，2003，8（9）. [3] Chao R，Zhang K，Li Y J.An image fusion algorithm using wavelet transform[J].Area Electronical Sinica，2004，32：750-753. [4] Hill P，Canagarajah N，Bull D.Image fusion using complex wavelets[C]//British Machine Vision Conference，Cardif，2002. [5] 梁栋，瑶，敏，等.一种基于小波-Contourlet 变换的多聚焦图像 融合算法[J].电子学报，2007，35（2）：320-322. [6] 杰，龚声蓉，纯平.一种新的基于小波变换的多聚焦图像融合 算法[J].计算机工程与应用，2007，43（24）：47-49. [7] 福生.小波变换的工程分析与应用[M].：科学，1999. [8] 敏，小英，毛捷.基于邻域方差加权平均的小波图像融合[J].国 外电子测量技术，2008，27（1）：5-7. [9] 楚恒，杰，朱维乐.一种基于小波变换的多聚焦图像融合方法[J]. 光电工程，2005，32（8）：59-63. [10] 王丽，卢迪，吕剑飞.一种基于小波方向对比度的多聚焦图像融合 方法[J].中国图象图形学报，2008，13（1）：145-150. （上接196页） 康健超，康宝生，筠，等：一种改进的基于 GPU 编程的光线投射算法 201
图像融合算法概述 摘要：详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。 关键词：图像融合; 多尺度变换; 评价标准 Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel level. Key words:image fusion; multi-scale transform; evaluation criteria 1.引言： 图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能. 2.图像融合算法概述 2.1 图像融合算法基本理论