多聚焦图像融合方法综述 摘要：本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块，并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。 关键词：多聚焦图像融合；空域；频域；小波变换法；评价方法 1、引言 按数据融合的处理体系，数据融合可分为：信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支，是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。 Pohl和Genderen将图像融合定义为：“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”，其主要思想是采用一定的方法，把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。 作为图像融合研究重要内容之一的多聚焦图像融合，是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像，便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中，其中，像素级的图像融合精度较高，能够提供其他融合方法所不具备的细节信息，多聚焦融合采用了像素级融合方法，它主要分为空域和频域两大块，即： （1）在空域中，主要是基于图像清晰部分的提取，有梯度差分法，分块法等，其优点是速度快、方法简单，不过融合精确度相对较低，边缘吃力粗糙； （2）在频域中，具有代表性的是分辨方法，其中有拉普拉斯金字塔算法、小波变换法等，多分辨率融合精度比较高，对位置信息的把握较好，不过算法比较复杂，处理速度比较慢。 2、空域中的图像融合 把图像f(x,y)看成一个二维函数，对其进行处理，它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。 2.1 逻辑滤波器法 最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值,
针对经典的最大系数法不准确和方差法计算量大的问题，本文给出了一种混合多级式多聚焦图像融合方法。对于三层小波分解的多聚焦图像融合，每幅图像被分解为三层十个频带。对这十个频带本文分别采用三种方法进行融合。对于低频系数，本文仍然采用求平均法；对于高频系数本文采用方差法和最大系数法进行融合。它们的计算量比最大系数法大一些，但是融合结果更接近于原始清晰图像，而相比于方差法，它们的计算量小的多，但是融合质量稍差一些，应用者可以根据不同的需要进行选择。 本文还给出了一种基于Canny算 子边缘检测的小波变换多聚焦图像融 合方法。首先对图像进行三层小波分 解，然后用Canny算子进行边缘检测， 得到各层分辨率下的边缘图像；对相 应分辨率的高频小波系数根据其是否 为图像的边缘点采用最大系数法或方 差法分别进行融合。仿真实验证明该 方法效果良好，计算量可以灵活调节。 关键词:小波变换；多尺度几何分析；多聚焦图像融合；边缘检测主要程序： clear all; close all; leo1=imread('a1.bmp');%读入图片 leo2=imread('a2.bmp') T=0.4;k1=0.5;k2=0.5;w='db4';m='edge'; tic; outdoor1=leo1; outdoor2=leo2; %三层小波分解 [ca11,chd11,cvd11,cdd11]=dwt2(outdoor1,w); [ca12,chd12,cvd12,cdd12]=dwt2(ca11,w); [ca13,chd13,cvd13,cdd13]=dwt2(ca12,w); [ca21,chd21,cvd21,cdd21]=dwt2(outdoor2,w); [ca22,chd22,cvd22,cdd22]=dwt2(ca21,w); [ca23,chd23,cvd23,cdd23]=dwt2(ca22,w); %求边缘图像 e11=edge(ca11,'canny',T); e12=edge(ca12,'canny',T); e13=edge(ca13,'canny',T); e21=edge(ca21,'canny',T); e22=edge(ca22,'canny',T); e23=edge(ca23,'canny',T); %矩阵融合 chd3=matfusion(chd13,chd23,e13,e23); cvd3=matfusion(cvd13,cvd23,e13,e23); cdd3=matfusion(cdd13,cdd23,e13,e23); chd2=matfusion(chd12,chd22,e12,e22); cvd2=matfusion(cvd12,cvd22,e12,e22); cdd2=matfusion(cdd12,cdd22,e12,e22); chd1=matfusion(chd11,chd21,e11,e21); cvd1=matfusion(cvd11,cvd21,e11,e21); cdd1=matfusion(cdd11,cdd21,e11,e21); ca3=k1*ca13+k2*ca23; %反小波变换 L2=size(chd2);L1=size(chd1); ca2=idwt2(ca3,chd3,cvd3,cdd3,w); ca1=idwt2(ca2(1:L2(1),1:L2(2)),chd2,cvd2,cd d2,w); I=idwt2(ca1(1:L1(1),1:L1(2)),chd1,cvd1,cdd1, w);
摘要 本文给出了一种基于小波变换的图像融合方法，并针对小波分解的不同频率域，分别讨论了选择高频系数和低频系数的原则。高频系数反映了图像的细节，其选择规则决定了融合图像对原图像细节的保留程度。本文在选择高频系数时，基于绝对值最大的原则，低频系数反映了图像的轮廓，低频系数的选择决定了融合图像的视觉效果，对融合图像质量的好坏起到非常重要的作用。图像融合是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。 MATLAB小波分析工具箱提供了小波分析函数，应用MATLAB进行图像融合仿真，通过突出轮廓部分和弱化细节部分进行融合，使融合后的图象具有了两幅或多幅图象的特征，更符合人或者机器的视觉特性，有利于对图像进行进一步的分析和理解，有利于图像中目标的检测和识别或跟踪。 关键词小波变换；融合规则；图像融合
Image Fusion Algorithm Based on Wavelet Transform Abstract In this paper, the image fusion method based on wavelet transform, and for the wavelet decomposition of the frequency domain, respectively, discussed the principles of select high-frequency coefficients and low frequency coefficients. The high-frequency coefficients reflect the details of the image, the selection rules to determine the extent of any reservations of the fused image on the original image detail. The choice of high-frequency coefficients, based on the principle of maximum absolute value, and consistency verification results. The low-frequency coefficients reflect the contours of the image, the choice of the low frequency coefficients determine the visual effect of the fused image, play a very important role in the fused image quality is good or bad. MATLAB Wavelet Analysis Toolbox provides a wavelet analysis function using MATLAB image fusion simulation, highlight the contours of parts and the weakening of the details section, fusion, image fusion has the characteristics of two or multiple images, more people or the visual characteristics of the machine, the image for further analysis and understanding, detection and identification or tracking of the target image. Keywords Wavelet transform; Fusion rule; Image Fusion
本科毕业设计论文题目多聚焦图像融合算法研究 专业名称 学生姓名 指导教师 毕业时间
毕业 任务书 一、题目 多聚焦图像融合算法研究 二、指导思想和目的要求 本题目来源于科研，主要研究多聚焦图像的概念，学习多聚焦图像的常用融合算法，进而实现相关算法。希望通过该毕业设计，学生能达到： 1．利用已有的专业知识，培养学生解决实际工程问题的能力； 2．锻炼学生的科研工作能力和培养学生团队合作及攻关能力。 三、主要技术指标 1．学习多聚焦图像的特点； 2．研究多聚焦图像的融合算法； 3．实现多聚焦图像的融合。 四、进度和要求 第01周----第02周： 参考翻译英文文献； 第03周----第04周： 学习多聚焦图像的特点； 第05周----第08周： 研究多聚焦图像的融合算法； 第09周----第14周： 编写多聚焦图像的融合程序； 第15周----第16周： 撰写毕业设计论文，论文答辩。 五、主要参考书及参考资料 1.张德丰.MATLAB 数字图像处理[M].北京：机械工业出版社，201 2. 2. 敬忠良. 图像融合——理论与应用[M].北京：高等教育出版社，2010. 3. 郭雷. 图像融合[M]. 北京：电子工业出版社，2011. 4. 孙巍. 孙巍. 像素及多聚焦图像融合算法研究[D].长春：吉林大学，2008. 5. 马先喜. 多聚焦图像融合算法研究[D].无锡：江南大学，2012. 学生 指导教师 系主任 __ __ 设计 论文
摘要 图像融合是将同一对象的两个或多个图像按一定规则合成为一幅图像。其关键是抽取每幅源图像中的清晰区域，并将这些清晰区域以一定的规则融合起来，从而生成一幅清晰且信息量完整的融合图像。多聚焦图像融合的具体目标在于提高图像的空间分辨率、改善图像的几何精度、增强特征显示能力、改善分类精度、替代或修补图像数据的缺陷等。 本文概括了多聚焦图像融合的一些基本概念和相关的基本知识，对DWT分解的层数和方向子带的个数对融合结果的影响进行了初步的研究。并就加权平均法、单层DWT分解、二层及二层以上DWT分解对多聚焦图像的融合进行了算法研究和编程实现，并对这些方法的仿真结果进行了比较分析。 仿真结果表明，基于空间域的加权平均法的融合效果非常一般，在图像的细节表现力方面存在很大的不足；而基于变换域中的小波变换的低频取平均、高频取绝对值最大的融合算法在小波分解层数达到三层时，所得融合图像的性能指标，如信息熵、空间频率和清晰度都较为理想，达到了预期目的。可见多层DWT分解融合方法具有较高的应用价值，可以将其用于图片的判读分析，如指纹识别、人脸鉴别、不完整图片的复原等。 关键词：图像融合，多聚焦图像，加权平均，DWT
图像融合的研究背景和研究意义 1概述 2 图像融合的研究背景和研究意义 3图像融合的层次 像素级图像融合 特征级图像融合 决策级图像融合 4 彩色图像融合的意义 1概述 随着现代信息技术的发展，图像的获取己从最初单一可见光传感器发展到现在的雷达、高光谱、多光谱红外等多种不同传感器，相应获取的图像数据量也急剧增加。由于成像原理不同和技术条件的限制，任何一个单一图像数据都不能全面反应目标对象的特性，具有一定的应用范围和局限性。而图像融合技术是将多种不同特性的图像数据结合起来，相互取长补短便可以发挥各自的优势，弥补各自的不足，有可能更全面的反映目标特性，提供更强的信息解译能力和可靠的分析结果。图像融合不仅扩大了各图像数据源的应用范围，而且提高了分析精度、应用效果和使用价值，成为信息领域的一个重要的方向。图像配准是图像融合的重要前提和基础，其误差的大小直接影响图像融合结果的有效性。 作为数据融合技术的一个重要分支，图像融合所具有的改善图像质量、提高几何配准精度、生成三维立体效果、实现实时或准实时动态监测、克服目标提取与识别中图像数据的不完整性等优点，使得图像融合在遥感观测、智能控制、无损检测、智能机器人、医学影像(2D和3D)、制造业等领域得到广泛的应用，成为当前重要的信息处理技术，迅速发展的军事、医学、自然资源勘探、环境和土地、海洋资源利用管理、地形地貌分析、生物学等领域的应用需求更有力地刺激了图像融合技术的发展。 2 图像融合的研究背景和研究意义 Pohl和Genderen对图像融合做了如下定义：图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。它的主要思想是采用一定的算法，把
多聚焦图像像素级融合算法研究 多聚焦图像融合是多源图像融合领域的一个重要分支,主要用于同一光学传感器在相同成像条件下获取的聚焦目标不同的多幅图像的融合处理。由于聚焦范围有限,光学成像系统不能将焦点内外的所有目标同时清晰成像,导致图像分析时需要耗费大量时间和精力。 多聚焦图像融合是一种解决光学成像系统聚焦范围局限性问题的有效方法,可以有效提高图像信息的利用率,扩大系统工作范围,增强系统可靠性,更加准确的描述场景中的目标信息。目前,该技术广泛应用于交通、医疗、物流、军事等领域。 多聚焦图像像素级融合是多聚焦图像融合的基础,它获得的原始信息最多,能够提供更多的细节信息。如何准确定位并有效提取源图像中的聚焦区域是多聚焦图像像素级融合的关键。 由于受图像内容复杂性影响,传统的多聚焦图像像素级融合方法很难对源图像中聚焦区域准确定位,且融合图像质量并不理想。本论文针对现有多聚焦图像像素级融合方法存在的不足,在空间域内对多聚焦图像像素级融合算法进行了深入研究。 论文主要研究内容如下：1、提出了基于鲁棒主成分分析(Robust Principal Component Analysis, RPCA)与脉冲耦合神经网络(Pulse Coupled Neural Network, PCNN)的多聚焦图像融合算法。根据RPCA构建的低维线性子空间可表示高维图像数据,增强目标特征信息,对噪声具有鲁棒性的特点,将源图像在RPCA分解域的稀疏特征作为PCNN神经元的外部输入,并根据PCNN神经元的点火频率来定位源图像中的聚焦区域,增强了融合算法对噪声的鲁棒性,提高了融合
图像质量。 2、提出了基于RPCA与四叉树分解相结合的多聚焦图像融合算法。利用源图像稀疏矩阵的区域一致性进行块划分,有利于提高聚焦区域信息提取的完整性和准确性。 此外,四叉树分解用树结构存储图像块划分结果,有利于提高源图像递归剖分的效率。该算法在自适应确定最优分块大小的基础上,利用稀疏矩阵各稀疏矩阵子块的局部特征检测源图像的聚焦区域,抑制了“块效应”对融合图像质量的影响,取得了良好的融合效果。 3、提出了基于图像分解的多成分图像融合算法。利用基于 (Rudin-Osher-Fatemi, ROF)模型的Split Bregman算法将源图像分解为卡通和纹理部分,用卡通成分和纹理成分中像素邻域窗口的梯度能量(Energy of image Gradient, EOG)检测聚焦区域像素,并根据融合规则对这些像素进行融合,将融合后的卡通和纹理部分合并实现图像融合。 该算法提高了融合算法对源图像几何特征描述的完整性,提升了融合算法性能,改善了融合图像的视觉效果。4、提出了基于非负矩阵分解(Negative Matrix Factorization, NMF)和聚焦区域检测的多聚焦图像融合算法。 利用NMF的纯加性和稀疏性,对多聚焦图像进行初始融合,利用初始融合图像与源图像间的差异图像的局部梯度特征检测聚焦区域,根据融合规则将检测到的聚焦区域进行合并得到最后的融合图像。该算法提高了聚焦区域检测准确性,改善了传统NMF融合算法所得融合图像对比度,提高了融合图像质量。 最后,对本文的主要研究工作和创新点进行总结,并对未来研究方向进行了展望。
浅谈多源图像融合方法研究 图像融合已成为图像理解和计算机视觉领域中的一项重要而有用的新技术，多源遥感图像数据融合更是成为遥感领域的研究热点，其目的是将来自多信息源的图像数据加以智能化合成，产生比单一传感器数据更精确、更可靠的描述和判决，使融合图像更符合人和机器的视觉特性，更有利于诸如目标检测与识别等进一步的图像理解与分析。遥感图像融合的目的就在于集成或整合多个源图像中的冗余信息和互补信息，利用优势互补的数据来提高图像的信息可用程度，同时增加对研究对象解译（辨识）的可靠性。 标签：遥感图像图像融合几何纠正空间配准图像去噪 1前言 多源遥感图像融合就是将多个传感器获得的同一场景的遥感图像或同一传感器在不同时刻获得的同一场景的遥感图像数据或图像序列数据进行空间和时间配准，然后采用一定的算法将各图像数据或序列数据中所含的信息优势互补性的有机结合起来产生新图像数据或场景解释的技术。 2多源图像融合的预处理 预处理的主要目的是纠正原始图像中的几何与辐射变形，即通过对图像获取过程中产生的变形、扭曲和噪音的纠正，以得到一个尽可能在几何和辐射上真实的图像。 2.1图像的几何纠正 图像几何校正一般包括两个方面，一是图像像素空间位置互换，另一个是像素灰度值的内插。故遥感图像几何校正分为两步，第一步是做空间几何变换，这样做的目的是使像素落在正确的位置上；第二步是作像素灰度值内插，重新确定新像素的灰度值，重采样的方法有最临近法、双线性内插法和三次卷积内插法。数字图像几何校正的主要处理过程如图1所示。 2.2图像的空间配准 图像数据配准定义为对从不同传感器、不同时相、不同角度所获得的两幅或多幅影像進行最佳匹配的处理过程。其中的一幅影像是参考影像数据，其它图像则作为输入影像与参考影像进行相关匹配。图像配准的一般过程是在对多传感器数据经过严密的几何纠正处理、改正了系统误差之后，将影像投影到同一地面坐标系统上，然后在各传感器影像上选取少量的控制点，通过特征点的自动选取或是计算其各自间的相似性、配准点的粗略位置估计、配准点的精确确定以及配准变换参数估计等的处理，从而实现影像的精确配准。
ENVI下的图像融合方法 图像融合是将低空间分辨率的多光谱影像或高光谱数据与高空间分辨率的单波段影像重采样生成成一副高分辨率多光谱影像遥感的图像处理技术，使得处理后的影像既有较高的空间分辨率，又具有多光谱特征。图像融合的关键是融合前两幅图像的精确配准以及处理过程中融合方法的选择。只有将两幅融合图像进行精确配准，才可能得到满意的结果。对于融合方法的选择，取决于被融合图像的特征以及融合目的。 ENVI中提供融合方法有： ?HSV变换 ?Brovey变换 这两种方法要求数据具有地理参考或者具有相同的尺寸大小。RGB输入波段必须为无符号8bit数据或者从打开的彩色Display中选择。 这两种操作方法基本类似，下面介绍Brovey变换操作过程。 （1）打开融合的两个文件，将低分辨率多光谱图像显示在Display中。 （2）选择主菜单-> Transform -> Image Sharpening->Color Normalized (Brovey)，在Select Input RGB对话框中，有两种选择方式：从可用波段列表中和从Display窗口中，前者要求波段必须为无符号8bit。 （3）选择Display窗口中选择RGB，单击OK。 （4） Color Normalized (Brovey)输出面板中，选择重采样方式和输入文件路径及文件名，点击OK输出结果。 对于多光谱影像，ENVI利用以下融合技术： ?Gram-Schmidt ?主成分（PC）变换 ?color normalized (CN)变换 ?Pan sharpening 这四种方法中，Gram-Schmidt法能保持融合前后影像波谱信息的一致性，是一种高保真的遥感影像融合方法；color normalized (CN)变换要求数据具有中心波长和FWHM，；Pansharpening融合方法需要在ENVI Zoom中启动，比较适合高分辨率影像，如QuickBird、IKONOS等。 这四种方式操作基本类似，下面介绍参数相对较多的Gram-Schmidt操作过程。 （1）打开融合的两个文件。
摘要：介绍了遥感影像三种常用的图像融合方式。进行实验，对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像，简要分析比较三种图像融合方式的各自特点，择出本次实验的最佳融合方式。 关键字：遥感影像；图像融合；主成分变换；乘积变换；比值变换；ERDAS IMAGINE 1. 引言 由于技术条件的限制和工作原理的不同，任何来自单一传感器的信息都只能反映目标的某一个或几个方面的特征，而不能反应出全部特征。因此，与单源遥感影像数据相比，多源遥感影像数据既具有重要的互补性，也存在冗余性。为了能更准确地识别目标，必须把各具特色的多源遥感数据相互结合起来，利用融合技术，针对性地去除无用信息，消除冗余，大幅度减少数据处理量，提高数据处理效率；同时，必须将海量多源数据中的有用信息集中起来，融合在一起，从多源数据中提取比单源数据更丰富、更可靠、更有用的信息，进行各种信息特征的互补，发挥各自的优势，充分发挥遥感技术的作用。[1] 在多源遥感图像融合中，针对同一对象不同的融合方法可以得到不同的融合结果，即可以得到不同的融合图像。高空间分辨率遥感影像和高光谱遥感影像的融合旨在生成具有高空间分辨率和高光谱分辨率特性的遥感影像，融合方法的选择取决于融合影像的应用，但迄今还没有普适的融合算法能够满足所有的应用目的，这也意味着融合影像质量评价应该与具体应用相联系。[2] 此次融合操作实验是用三种不同的融合方式（主成分变换融合，乘积变换融合，比值变换融合），对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多
光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像。 2. 源文件 1 、 imagerycolor.tif ，SPOT图像，分辨率10米，有红、绿、两个红外共四个波段。 2 、imagery-5m.tif ，SPOT图像，分辨率5米。 3. 软件选择 在常用的四种遥感图像处理软件中，PCI适合用于影像制图，ENVI在针对像元处理的信息提取中功能最强大，ER Mapper对于处理高分辨率影像效果较好，而ERDAS IMAGINE的数据融合效果最好。[3] ERDAS IMAGINE是美国Leica公司开发的遥感图像处理系统。它以其先进的图像处理技术，友好、灵活的用户界面和操作方式，面向广阔应用领域的产品模块，服务于不同层次用户的模型开发工具以及高度的RS/GIS（遥感图像处理和地理信息系统）集成功能，为遥感及相关应用领域的用户提供了内容丰富而功能强大的图像处理工具。 2012年5月1日，鹰图发布最新版本的ERDAS IMAGINE，所有ERDAS 2011软件用户都可以从官方网站上下载最新版本 ERDAS IMAGINE 11.0.5. 新版本包括之前2011服务包的一些改变。相比之前的版本，新版本增加了更多ERDAS IMAGINE和GeoMedia之间的在线联接、提供了更为丰富的图像和GIS产品。用户使用一个单一的产品，就可以轻易地把两个产品结合起来构建一个更大、更清
图像融合算法概述 摘要：详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。 关键词：图像融合; 多尺度变换; 评价标准 Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel level. Key words:image fusion; multi-scale transform; evaluation criteria 1.引言： 图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能. 2.图像融合算法概述 2.1 图像融合算法基本理论
多聚焦图像融合源代 码
针对经典的最大系数法不准确和方差法计算量大的问题，本文给出了一种混合多级式多聚焦图像融合方法。对于三层小波分解的多聚焦图像融合，每幅图像被分解为三层十个频带。对这十个频带本文分别采用三种方法进行融合。对于低频系数，本文仍然采用求平均法；对于高频系数本文采用方差法和最大系数法进行融合。它们的计算量比最大系数法大一些，但是融合结果更接近于原始清晰图像，而相比于方差法，它们的计算量小的多，但是融合质量稍差一些，应用者可以根据不同的需要进行选择。 本文还给出了一种基于Canny算子边缘检测的小波变换多聚焦图像融合方法。首先对图像进行三层小波分解，然后用Canny算子进行边缘检测，得到各层分辨率下的边缘图像；对相应分辨率的高频小波系数根据其是否为图像的边缘点采用最大系数法或方差法分别进行融合。仿真实验证明该方法效果良好，计算量可以灵活调节。 关键词:小波变换；多尺度几何分析；多聚焦图像融合；边缘检测 主要程序： clear all; close all; leo1=imread('a1.bmp');%读入图片 leo2=imread('a2.bmp') T=0.4;k1=0.5;k2=0.5;w='db4';m='edge'; tic; outdoor1=leo1; outdoor2=leo2; %三层小波分解 [ca11,chd11,cvd11,cdd11]=dwt2(outdoo r1,w); [ca12,chd12,cvd12,cdd12]=dwt2(ca11,w ); [ca13,chd13,cvd13,cdd13]=dwt2(ca12,w ); [ca21,chd21,cvd21,cdd21]=dwt2(outdoo r2,w); [ca22,chd22,cvd22,cdd22]=dwt2(ca21,w );
一、实验原理 本实验对源图像分别进行Harr 小波变换，建立图像的小波塔形分解，然后对分解层进行融合，处理各分解层上的不同频域分量可以采用不同的融合算子进行融合处理，本实验采用统一的算法处理，得到融合后的小波金字塔，对融合后的小波金字塔进行小波逆变换，得到的重构图像为拼接图像 1、 Harr 小波变换 Harr 小波分解步骤： 步骤一：输入信号n S 有2n 个样本， 步骤二：将信号分成1,2,2,,0 2n n l n l a S b S l -===，一共12n -对，然后对每一对变换，获得均值1n S -和差值1n d -。,21,212n l n l n S S S +-+=，1,,21,2n l n l n l d S S -+=-反变换可以无损地从 1n S -和1n d -中恢复出原信号，1n S -作为信号的全局信息（低频成分） ，1n d -作为信号的细节信息（高频成分），全局信息和原信号比较相似（局部一致性），细节信息（差值比较小）可以很高效的进行表示。 步骤三：对1n S -实施同样的变换（求均值和差值），获得均值2n S -和差值2n d -，它们两各有22n -个样本值。 步骤四：重复上面的变换步骤，直到0S 中仅有一个元素为止。 2、图像拼接算法 本实验采用小波分解的图像处理方法，首先对图形进小波变换，然后采用分层比较法，对两幅图的一级分解的LL 层进行比较，从而获得准确的位置匹配，然后各层进行相应的位置衔接，得到拼接图像的一级小波分解图像，最后对分解图像进行重构，得到拼接后的图像。 步骤一：首先对两图进行Harr 小波一级分解，假设分解图像如下图。 图一的harr 小波分解 图二的harr 小波分解 步骤二：对一级分解LL 层进行位置匹配。首先求出两幅图的LL 图像梯度值,即图像灰度值的显著变化的地方，采用如下公式 21(1,)mag i j -=
东北大学 研究生考试试卷 考试科目：现代信号处理理论和方法______________ 课程编号：_______________________________ 阅卷人：_________________________________ 考试日期：_________ 2011年11月24日________________ 姓名：________________ 朱学欢 _______________________ 学号：____________ 1101139 ___________________ 注意事项 〔?考前研究生将上述项目填写清楚 2?字迹要清楚，保持卷面清洁 3?交卷时请将本试卷和题签一起上交 东北大学研究生院
基于MATLAB的图像融合方法 姓名：朱学欢学号：1101139 一、图像融合算法 数字图像融合(Digital Image Fusion)是以图像为主要研究内容的数据融合技术，是把多个不同模式的图像传感器获得的同一场景的多幅图像或同一传感器在不同时刻获得的同一场景的多幅图像合成为一幅图像的过程。由于不同模式的图像传感器的成像机理不同，工作电磁波的波长不同，所以不同图像传感器获得的同一场景的多幅图像之间具有信息的冗余性和互补性，经图像融合技术得到的合成图像则可以更全面、更精确地描述所研究的对象。正是由于这一特点，图像融合技术现已广泛地应用于军事、遥感、计算机视觉、医学图像处理等领域中。 数字图像融合是图像分析的一项重要技术，其目的是将两幅或多幅图像拼接起来构成一副整体图像，以便于统一处理，该技术在数字地图拼接、全景图、虚拟现实等领域有着重要应用。虽然Photoshop等图像处理软件提供了图像处理功能，可以通过拖放的方式进行图像拼接，但由于完全是手工操作，单挑乏味，且精度不高，因此，有必要寻找一种方便可行的图像融合方法。Matlab具有强 大的计算功能和丰富的工具箱函数，例如图像处理和小波工具箱包含了大多数经典算法，并且它提供了一个非常方便快捷的算法研究平台，可让用户把精力集中在算法而不是编程上，从而能大大提咼研究效率。 在图像融合中，参加融合的源图像是由不同的传感器或者是同一传感器在不同时刻得到的，所以在进行融合之前需要对图像进行配准和一些预处理操作。在本实验中所提到的参加融合的图像都是经过了配准了的，图像融合的过程可以发生在信息描述的不同层。 聚九左边杵范It (b) 寓M用僱竝舍技倉遵胯于勲钟机 (?) AW CT图倬ex詹M阳图偉側玄乌b的*售丼髭 圈1-5图俅融令校*摩匿単上的庭周 1、图像融合算法的层次分类 图像融合系统的算法按层次结构划分可分为信号级、像素级、特征级和决策级。 信号级融合： 是指合成一组传感器信号，目的是提供与原始信号形式相同但品质更高的信号。
收稿日期:2002203217 作者简介:毛士艺(1935-),男,浙江黄岩人,教授,100083,北京. 多传感器图像融合技术综述 毛士艺 赵 巍 (北京航空航天大学电子工程系) 摘 要:对国内外多传感器图像融合技术的发展状况进行了介绍,描述了 图像融合的主要步骤,概括了目前主要图像融合方法的基本原理,并对各种方法的性能进行了定性分析.给出了评价图像融合效果的标准和方法,指出了图像融合技术的发展方向. 关 键 词:图像处理;图像合成;传感器;图像融合 中图分类号:T N 911.73文献标识码:A 文章编号:100125965(2002)0520512207 近20年,随着传感器技术和计算机计算能力的提高,多传感器图像融合技术的应用越来越广泛.在军事领域,以多传感器图像融合为核心内容的战场感知技术已成为现代战争中最具影响力的军事高科技.20世纪90年代,美国海军在SS N 2 691(孟菲斯)潜艇上安装了第1套图像融合样机,可使操纵手在最佳位置上直接观察到各传感器的全部图像[1],[2].1998年1月7日《防务系统月刊》电子版报道,美国国防部已授予BTG 公司2项合同,其中一项就是美国空军的图像融合设计合同,此系统能给司令部一级的指挥机构和网络提供比较稳定的战场图像.在遥感领域,大量遥感图像的融合为更方便、更全面地认识环境和自然资源提供了可能[3]～[5],其成果广泛应用于大地测绘、植被分类与农作物生长势态评估、天气预报、自然灾害检测等方面.1999年10月4日,由我国和巴西联合研制的“资源一号”卫星发射升空,卫星上安装了我国自行研制的CC D 相机和红外多光谱扫描仪,这两种航天遥感器之间可进行图像融合,大大扩展了卫星的遥感应用范围.在医学成像领域,CT 、MR 和PET 图像的融合提高了计算机辅助诊 断能力[6].2001年11月25日～30日在美国芝加哥召开了每年一度的RS NA 北美放射学会年会,在会议上GE 公司医疗系统部展销了其产品Dis 2covery LS.Discovery LS 是GE 公司于2001年6月 刚推出的最新PET/CT ,是世界上最好的PET 与最高档的多排螺旋CT 的一个完美结合,具有单体PET 不能比拟的优势.它可以完成能量衰减校正、 分子代谢影像(PET )与形态解剖影像(CT )的同机 图像融合,使检查时间成倍地降低.在网络安全领域,多尺度图像融合技术可将任意的图像水印添加到载体图像中,以确保信息安全[7]. 在各个应用领域的需求牵引下,各国学者对多传感器图像融合技术的研究也越来越重视.在多传感器信息融合领域中,图像融合是应用最为广泛,发表文献最多的一个方向.从文献[8]可看出,在参与统计的信息融合文章中,信号层的信息融合文章占53%.同时,我们做了这样一个调查,在Ei C om pendexWeb 数据库中用“image fusion ”作为关键词,检索从1980年到2001年摘要中出现这一词组的文章数目.1980年至1984年,这方面的文章只有4篇;1995年至1999年增加到603篇;2000年和2001年两年就有299篇.从中可以看出国际学术界对图像融合技术的重视程度与日俱增. 为了使国内同行对图像融合技术有一个较为全面的了解,本文在参考国内外文献的基础上,对目前常用的图像融合技术进行了概括和评述.文章首先介绍了图像融合研究的基本内容,将图像融合的概念界定到像素级;接着描述了各种图像融合技术的基本原理,对它们的优缺点进行了定性分析,给出了评价图像融合技术的方法. 1 多传感器图像融合技术研究内容 多传感器图像融合属于多传感器信息融合的范畴,是指将不同传感器获得的同一景物的图像 2002年10月第28卷第5期北京航空航天大学学报 Journal of Beijing University of Aeronautics and Astronautics October 2002V ol.28 N o 15
第八章图像融合算法 8.1 图像融合技术的发展过程 随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。如今，图像融合方法已经运用于社会的很多领域，像遥感卫星图像，光图像，红外图像，医学图像，尤其是多传感器图像融合应用以来，它已成为计算机视觉，目标识别，机器人以及军事等方面研究的重要方面。
8.2基于小波变换图像融合的基本原理 如果一个图像进行L 层小波分解，我们将得到（3L ＋1）层子带，其中包括低频的基带和层的高频子带。用代表源图像，记为，设尺度系数和小波函数对应的滤波器系数矩阵分别为，则二维小波分解算法可描述为： j C 3L ,h v d D D D 和(,)f x y 0C ()x Φ()x ΨH G 与11 1 j h j j v j j d j j C HC H D GC H D HC G D GC G +++′ =??′=??′=??′=?j+1(0,1, (1) j J =?（8-1）
小波重构算法为： 基于二维DWT 的融合过程如图1.1所示，ImageA 和 ImageB 代表两幅源图像A 和B ，ImageF 代表融合后的图像，具体步骤如下：（1）图像的预处理： 1h v d j j j j j C H C H G D H H D G G D G ?′′′′=+++(,1, (1) j J J =?（8-2） 图8.1 基于DWT 图像融合过程
①图像滤波 ②图像配准 （2）对ImageA和ImageB进行二维DWT分解，得到图像的低频和高频分量。 （3）根据低频和高频分量的特点，按照各自的融合算法进行融合。 （4）对以上得到的高低频分量，经过小波逆变换重构得到融合图像ImageF。 8.3 融合效果性能评价指标 8.3.1均值和标准差
遥感图像融合技术的发展现状及趋势 1 引言 多源图像融合属于多传感器信息融合的范畴, 是指将不同传感器获得的同一景物的图像或同一传感器在不同时刻获得的同一景物的图像, 经过相应处理后, 再运用某种融合技术得到一幅合成图像的过程。多幅图像融合可克服单一传感器图像在几何、光谱和空间分辨率等方面存在的局限性和差异性, 提高图像的质量, 从而有利于对物理现象和事件进行定位、识别和解释。与单源遥感图像相比, 多源遥感图像所提供的信息具有冗余性、互补性和合作性。因此,将多源遥感图像各自的优势结合应用, 获得对环境正确的解译是极为重要的。多源遥感图像融合则是富集这些多种传感器遥感信息的最有效途径之一,是现代多源数据处理和分析中非常重要的一步。本文基于遥感图像融合的研究现状、分析了图像融合研究的困境和不足, 最后提出了未来的发展趋势和热点, 以期达到抛砖引玉的作用。 2 遥感图像融合研究现状 随着信息科学技术的发展, 在20 世纪七八十年代诞生了一个称为数据融合的全新概念。这一概念不断扩展, 处理的对象由一般的数据发展到数字图像。1979 年, Daliy 等人首先将雷达图像和LandsatMSS 图像的复合图像应用于地质解译, 被认为是最早的图像
融合。20 世纪80 年代, 图像融合技术逐渐应用到遥感图像的分析和处理中。90年代以后, 图像融合技术成为研究的热点, 并成为很多遥感图像应用的一个重要预处理环节。目前, 遥感图像融合已经发展为像素级、特征级和决策级3个层次, 如表1。需要指出的是, 融合层次并没有划分融合算法严格的界限, 因为本质上各个融合层次都是信息融合的范畴。像素级图像融合技术已被广泛研究和应用, 并取得了一定的成果。特征级融合是一种中等层次的信息融合, 利用从各个传感器图像的原始信息中提取的特征信息,进行综合分析及融合处理, 不仅增加从图像中提取特征信息的可能性, 还可能获取一些有用的复合特征, 尤其是边缘、角、纹理、相似亮度区域、相似景深区等。在特征级融合中, 对图像配准的要求不如像素级图像融合对配准要求那么严格。决策级图像融合是一种更高层次的信息融合, 其结果将为各种控制或决策提供依据。在进行融合处理前, 先对图像进行预处理、特征提取、识别或判决, 建立对同一目标的初步判决和结论, 然后对各个图像的决策进行相关处理, 最后进行决策级的融合。从特点来看,不同层次的融合各有优缺点, 难以在信息量和算法效率方面都同时满足需求。 表一:遥感图像融合三个层次的对比 融合层次融合算法特点
基于MATLAB的图像融合算法
基于MATLAB的图像融合算法 摘要 图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将各图像数据所含的信息优势或互补性有机的结合起来产生新的图像数据。这种新数据具有描述所研究对象的较优化的信息表征，同单一信息源相比，能减少或抑制对被感知对象或环境解释中可能存在的多义性、不完全性、不确定性和误差，最大限度的利用各种信息源提供的信息。 图像融合分为像素级、特征级、决策级三个层次，其中像素级图像融合能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理和理解，它在整个图像融合技术中是最为复杂、实施难度最大的融合处理技术。本文的研究工作是围绕像素级图像融合展开的，针对像素级图像融合技术中需要解决的关键问题，研究了多种像素级图像融合方法。 本论文的主要的研究内容有： 首先介绍了图像信息融合的概念、优势、发展历史和应用领域，并介绍了图像融合的三个层次及常用的空域图像融合方法,空域融合方法有像素平均法、像素最大最小法、像素加权平均法，频域融合方法包括图像的多尺度分解、图像的小波变换、基于小波变换的 图像融合方法。图像的预处理有滤波（邻域平均滤波法、中值滤波法）和图像配准。最后，对于图像融合系统来说，融合图像质量的评价显得特别重要，本文探讨了图像融合质量的评价问题，总结了融合效果的主、客观评价标准，作为本课题性能分析的判断标准。 关键词：图像配准；图像融合；空域融合法；小波变换；评价标准
MATLAB-based image fusion algorithm Abstract The same object gotten from different sensors can be registered spatially by mage fusion. The information advantages or the complements of all the image data can be combined to produce new image data using some fusion algorithms. The new data can describe the optimized information of the studied object. Compared with single information source, the new data can reduce or restrain the ambiguity, the incompleteness, the uncertainty and the error, which may appears in the explanation of the studied object or the environment, and make full use of the information provided by all kinds of resources. Image fusion consists of such three levels as the Pixel level，the feature level and the decision level，among which the Pixel level image fusion can Provide more abundant, accurate and reliable detailed information tha t doesn’t exist on the other levels and It is the most complicated in the whole image fusion techniques and also is the most difficult to implement in the fusion Processing techniques. this dissertation Progresses mainly around the Pixel level image fusion and proposes a variety of Pixel level image fusion techniques according to the key Problems in the Pixel level image fusion techniques. The major research and findings are as follows: First we introduce the concepts，advantages，developments and applications. Three levels of image fusion and image fusion techniques in common use are also reviewed. Airspace Image Fusion such as simple fusion method (pixel average, maximal or minimal pixel selection), Frequency-domain image fusion methods include the multiresolution image fusion techniques based on multi-scale pyramid decomposition, and the image fusion method based on wavelet transform Image Pre-processing like Filter processing (neighborhood average filter, median filtering method) and Image Registration. in the end, evaluation for fusion image is vital to fusion system. This dissertation probes into the image fusion quality assessment and deduces a set of indexes as the criteria to analyze the performances of this discussion. Keywords: Image Registration；Image Fusion；Airspace integration method；Wavelet Transform；Evaluation criteria