图像工程作业1：梯度域图像融合(Gradient-Domain Fusion) O VERVIEW This project explores gradient-domain processing, a simple technique with a broad set of applications including blending, tone-mapping, and non-photorealistic rendering. For the core project, we will focus on "Poisson blending"; tone-mapping and NPR can be investigated as bells and whistles. The primary goal of this assignment is to seamlessly blend an object or texture from a source image into a target image. The simplest method would be to just copy and paste the pixels from one image directly into the other. Unfortunately, this will create very noticeable seams, even if the backgrounds are well-matched. How can we get rid of these seams without doing too much perceptual damage to the source region? The insight is that people often care much more about the gradient of an image than the overall intensity. So we can set up the problem as finding values for the target pixels that maximally preserve the gradient of the source region without changing any of the background pixels. Note that we are making a deliberate decision here to ignore the overall intensity! So a green hat could turn red, but it will still look like a hat. We can formulate our objective as a least squares problem. Given the pixel intensities of the source image "s" and of the target image "t", we want to solve for new intensity values "v" within the source region "S":
多聚焦图像融合方法综述 摘要：本文概括了多聚焦图像融合的一些基本概念和相关知识。然后从空域和频域两方面将多聚焦图像融合方法分为两大块，并对这两块所包含的方法进行了简单介绍并对其中小波变换化法进行了详细地阐述。最后提出了一些图像融合方法的评价方法。 关键词：多聚焦图像融合；空域；频域；小波变换法；评价方法 1、引言 按数据融合的处理体系，数据融合可分为：信号级融合、像素级融合、特征级融合和符号级融合。图像融合是数据融合的一个重要分支，是20世纪70年代后期提出的概念。该技术综合了传感器、图像处理、信号处理、计算机和人工智能等现代高新技术。它在遥感图像处理、目标识别、医学、现代航天航空、机器人视觉等方面具有广阔的应用前景。 Pohl和Genderen将图像融合定义为：“图像融合是通过一种特定的方法将两幅或多幅图像合成一幅新图像”，其主要思想是采用一定的方法，把工作于不同波长范围、具有不同成像机理的各种成像传感器对同一场景成像的多幅图像信息合成一幅新的图像。 作为图像融合研究重要内容之一的多聚焦图像融合，是指把用同一个成像设备对某一场景通过改变焦距而得到的两幅或多幅图像中清晰的部分组合成一幅新的图像，便于人们观察或计算机处理。图像融合的方法大体可以分为像素级、特征级、决策级3中，其中，像素级的图像融合精度较高，能够提供其他融合方法所不具备的细节信息，多聚焦融合采用了像素级融合方法，它主要分为空域和频域两大块，即： （1）在空域中，主要是基于图像清晰部分的提取，有梯度差分法，分块法等，其优点是速度快、方法简单，不过融合精确度相对较低，边缘吃力粗糙； （2）在频域中，具有代表性的是分辨方法，其中有拉普拉斯金字塔算法、小波变换法等，多分辨率融合精度比较高，对位置信息的把握较好，不过算法比较复杂，处理速度比较慢。 2、空域中的图像融合 把图像f(x,y)看成一个二维函数，对其进行处理，它包含的算法有逻辑滤波器法、加权平均法、数学形态法、图像代数法、模拟退火法等。 2.1 逻辑滤波器法 最直观的融合方法是两个像素的值进行逻辑运算,如:两个像素的值均大于特定的门限值,
摘要：介绍了遥感影像三种常用的图像融合方式。进行实验，对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像，简要分析比较三种图像融合方式的各自特点，择出本次实验的最佳融合方式。 关键字：遥感影像；图像融合；主成分变换；乘积变换；比值变换；ERDAS IMAGINE 1. 引言 由于技术条件的限制和工作原理的不同，任何来自单一传感器的信息都只能反映目标的某一个或几个方面的特征，而不能反应出全部特征。因此，与单源遥感影像数据相比，多源遥感影像数据既具有重要的互补性，也存在冗余性。为了能更准确地识别目标，必须把各具特色的多源遥感数据相互结合起来，利用融合技术，针对性地去除无用信息，消除冗余，大幅度减少数据处理量，提高数据处理效率；同时，必须将海量多源数据中的有用信息集中起来，融合在一起，从多源数据中提取比单源数据更丰富、更可靠、更有用的信息，进行各种信息特征的互补，发挥各自的优势，充分发挥遥感技术的作用。[1] 在多源遥感图像融合中，针对同一对象不同的融合方法可以得到不同的融合结果，即可以得到不同的融合图像。高空间分辨率遥感影像和高光谱遥感影像的融合旨在生成具有高空间分辨率和高光谱分辨率特性的遥感影像，融合方法的选择取决于融合影像的应用，但迄今还没有普适的融合算法能够满足所有的应用目的，这也意味着融合影像质量评价应该与具体应用相联系。[2] 此次融合操作实验是用三种不同的融合方式（主成分变换融合，乘积变换融合，比值变换融合），对一幅具有高分辨率的SPOT全色黑白图像与一幅具有多
光谱信息的SPOT图像进行融合处理，生成一幅既有高分辨率又有多光谱信息的图像。 2. 源文件 1 、 imagerycolor.tif ，SPOT图像，分辨率10米，有红、绿、两个红外共四个波段。 2 、imagery-5m.tif ，SPOT图像，分辨率5米。 3. 软件选择 在常用的四种遥感图像处理软件中，PCI适合用于影像制图，ENVI在针对像元处理的信息提取中功能最强大，ER Mapper对于处理高分辨率影像效果较好，而ERDAS IMAGINE的数据融合效果最好。[3] ERDAS IMAGINE是美国Leica公司开发的遥感图像处理系统。它以其先进的图像处理技术，友好、灵活的用户界面和操作方式，面向广阔应用领域的产品模块，服务于不同层次用户的模型开发工具以及高度的RS/GIS（遥感图像处理和地理信息系统）集成功能，为遥感及相关应用领域的用户提供了内容丰富而功能强大的图像处理工具。 2012年5月1日，鹰图发布最新版本的ERDAS IMAGINE，所有ERDAS 2011软件用户都可以从官方网站上下载最新版本 ERDAS IMAGINE 11.0.5. 新版本包括之前2011服务包的一些改变。相比之前的版本，新版本增加了更多ERDAS IMAGINE和GeoMedia之间的在线联接、提供了更为丰富的图像和GIS产品。用户使用一个单一的产品，就可以轻易地把两个产品结合起来构建一个更大、更清
图像融合的研究背景和研究意义 1概述 2 图像融合的研究背景和研究意义 3图像融合的层次 像素级图像融合 特征级图像融合 决策级图像融合 4 彩色图像融合的意义 1概述 随着现代信息技术的发展，图像的获取己从最初单一可见光传感器发展到现在的雷达、高光谱、多光谱红外等多种不同传感器，相应获取的图像数据量也急剧增加。由于成像原理不同和技术条件的限制，任何一个单一图像数据都不能全面反应目标对象的特性，具有一定的应用范围和局限性。而图像融合技术是将多种不同特性的图像数据结合起来，相互取长补短便可以发挥各自的优势，弥补各自的不足，有可能更全面的反映目标特性，提供更强的信息解译能力和可靠的分析结果。图像融合不仅扩大了各图像数据源的应用范围，而且提高了分析精度、应用效果和使用价值，成为信息领域的一个重要的方向。图像配准是图像融合的重要前提和基础，其误差的大小直接影响图像融合结果的有效性。 作为数据融合技术的一个重要分支，图像融合所具有的改善图像质量、提高几何配准精度、生成三维立体效果、实现实时或准实时动态监测、克服目标提取与识别中图像数据的不完整性等优点，使得图像融合在遥感观测、智能控制、无损检测、智能机器人、医学影像(2D和3D)、制造业等领域得到广泛的应用，成为当前重要的信息处理技术，迅速发展的军事、医学、自然资源勘探、环境和土地、海洋资源利用管理、地形地貌分析、生物学等领域的应用需求更有力地刺激了图像融合技术的发展。 2 图像融合的研究背景和研究意义 Pohl和Genderen对图像融合做了如下定义：图像融合就是通过一种特定算法将两幅或多幅图像合成为一幅新图像。它的主要思想是采用一定的算法，把
ENVI下的图像融合方法 图像融合是将低空间分辨率的多光谱影像或高光谱数据与高空间分辨率的单波段影像重采样生成成一副高分辨率多光谱影像遥感的图像处理技术，使得处理后的影像既有较高的空间分辨率，又具有多光谱特征。图像融合的关键是融合前两幅图像的精确配准以及处理过程中融合方法的选择。只有将两幅融合图像进行精确配准，才可能得到满意的结果。对于融合方法的选择，取决于被融合图像的特征以及融合目的。 ENVI中提供融合方法有： ?HSV变换 ?Brovey变换 这两种方法要求数据具有地理参考或者具有相同的尺寸大小。RGB输入波段必须为无符号8bit数据或者从打开的彩色Display中选择。 这两种操作方法基本类似，下面介绍Brovey变换操作过程。 （1）打开融合的两个文件，将低分辨率多光谱图像显示在Display中。 （2）选择主菜单-> Transform -> Image Sharpening->Color Normalized (Brovey)，在Select Input RGB对话框中，有两种选择方式：从可用波段列表中和从Display窗口中，前者要求波段必须为无符号8bit。 （3）选择Display窗口中选择RGB，单击OK。 （4） Color Normalized (Brovey)输出面板中，选择重采样方式和输入文件路径及文件名，点击OK输出结果。 对于多光谱影像，ENVI利用以下融合技术： ?Gram-Schmidt ?主成分（PC）变换 ?color normalized (CN)变换 ?Pan sharpening 这四种方法中，Gram-Schmidt法能保持融合前后影像波谱信息的一致性，是一种高保真的遥感影像融合方法；color normalized (CN)变换要求数据具有中心波长和FWHM，；Pansharpening融合方法需要在ENVI Zoom中启动，比较适合高分辨率影像，如QuickBird、IKONOS等。 这四种方式操作基本类似，下面介绍参数相对较多的Gram-Schmidt操作过程。 （1）打开融合的两个文件。
最优化大作业 Poisson图像编辑 实验背景 图像合成是图像处理的一个基本问题，其通过将源图像中一个物体或者一个区域嵌入到目标图像生成一个新的图像。在对图像进行合成的过程中，为了使合成后的图像更自然，合成边界应当保持无缝。但如果原图像和目标图像有着明显不同的纹理特征，则直接合成后的图像会存在明显的边界。针对此问题，Prez等[1]提出了一种利用构造Poisson方程求解像素最优值的方法，在保留了源图像梯度信息的同时，可以很好的融合源图像与目标图像的背景。该方法根据用户指定的边界条件求解一个Poisson方程，实现了梯度域上的连续，从而达到边界处的无缝融合。 实验原理 Poisson图像编辑的主要思想是，根据原图像的梯度信息以及目标图像的边界信息，利用插值的方法重新构建出和成区域内的图像像素。为表述方便，在图1中标出了各个字母所代表 的区域。其中，g代表了原图像中被合成的部分，V是g的梯度场，S是合并后的图像，Ω是合并后目标图像中被覆盖的区域，?Ω是其边界。设合并后图像在Ω内的像素值由f表示，在Ω外的像素值由*f表示。 图1各区域代表字母示意 注意到图像合并的要求是使合并后的图像看上去尽量的平滑，没有明显的边界。所以，Ω内的梯度值应当尽可能的小。因此，f的值可以由(1)得出
2 * min ..f f s t f f Ω ?Ω ?Ω ?=?? (1) 根据Euler-Lagrange 公式，f 最小值应该满足(2)式 * ..f s t f f ?Ω ?Ω ?== (2) 其中?代表Laplacian 算子。然而，(2)式所求得的解中并没有包含源图像的相关信息。为使合并后的图像中Ω内的图像尽量接近于g ，可以利用g 的梯度场V 作为求解(1)式时的引导场，即将(1)式改写为如下形式 2 *min ..f f V s t f f Ω ?Ω ?Ω ?-=?? (3) 其最优解应满足如(4)的Poisson 方程： * ..f divV s t f f ?Ω ?Ω ?== (4) 对于一副图像，其像素点的值并不是连续函数，而是离散的数值。因此，需要建立(4)式的离散形式。对于S 中的每一个像素点p ，定义p N 代表图像中p 4临域点的集合，定义 ,p q <>代表p 与p N 内一点q 的点对。那么Ω的边界?Ω可以由(5)式表示 {\:0}p p S N ?Ω=∈Ω?Ω≠ (5) 这样，可以改写(3)为： ,0 * min () ..,p q pq f p q p p f f v s t f f p Ω <>?Ω≠--=∈?Ω ∑ (6) 同样，根据最优性条件，最优解满足(7)式： *p p p p p q q pq q N q N q N N f f f v ∈?Ω ∈??Ω ∈- = + ∑ ∑ ∑ (7) 这是一个线性方程，解之即可得出Ω内的像素值。如果像素较多时，系数矩阵规模较大， 求解时可以采用迭代的方法。Gauss-Seidel 迭代是一种简单易行的迭代法，应此被选作求解(7)式的算法。
基于Gram-Schmidt的图像融合方法概述 摘要遥感图像融合的目的是综合来自不同空间分辨率和光谱分辨率的遥感信息，生成一幅具有新空间特征和波谱特征的合成图像。它具有重要的意义和广泛的应用前景。而由于采用的算法或变换方法的不同，融合方法有多种。在众多的融合方法相互比较的过程中，我们发现Gram-Schmidt具有较高的图像保真效果，是一种高效的图像融合方法。由于该算法在遥感图像融合中的应用尚处于起步阶段，对于Gram-Schmidt光谱锐化高保真的影像融合算法的了解尚不全面。对此，对Gram-Schmidt的原理、方法、优势等做了较为详尽的介绍。 关键词遥感融合保真Gram-Schmidt 概述 1 引言 对于光学系统的遥感影像，其空间分辨率和光谱分辨率一直存在着不可避免矛盾。在一定的信噪比的情况下，光谱分辨率的提高必然导致牺牲空间分辨率为代价。然而，通过将较低空间分辨率的多光谱影像和较高空间分辨率的影像的全色波段影像的融合，可以产生多光谱和高空间分辨率的影像。因此，各种基于不同算法的融合方法得到了迅速地发展和广泛地应用。 随着遥感技术的发展，由于对图像解译和反演目标参数的需要，一些简单的融合方法在很大程度上已经无法满足对于光谱信息保持，空间纹理信息增加的迫切需求。例如，对于检测植被活力和生长状态，反演陆地生产力，进行环境评价和矿产勘测等，如果融合后的图像信息的保真度无法满足要求，将会导致错误结果的产生。 通常采用的遥感图像融合方法有IHS变换、Brovey变换、主成分变换、小波变换等。虽然，这些融合方法都能够增加多光谱影像的空间纹理信息特征。但IHS、Brovey、主成分变换等方法易使融合后的影像失真；小波变换光谱信息虽保真相对较好，但小波基选择困难，且计算相对复杂（李存军等，2004）。 基于Gram-schmidt算法的图像融合方法既能使融合影像保真度较好，计算又较为简单。本文将对该影像融合算法的原理、方法以及所具备的优势做较为详尽的介绍。 2 算法简介
图像融合算法概述 摘要：详细介绍了像素级图像融合的原理,着重分析总结了目前常用的像素级图像融合的方法和质量评价标准,指出了像素级图像融合技术的最新进展,探讨了像素级图像融合技术的发展趋势。 关键词：图像融合; 多尺度变换; 评价标准 Abstract:This paper introduced the principles based on image fusion at pixel level in detail, analysed synthetically and summed up the present routine algorithm of image fusion at pixel level and evaluation criteria of its quality. It pointed out the recent development of image fusion at pixel level, and discussed the development tendency of technique of image fusion at pixel level. Key words:image fusion; multi-scale transform; evaluation criteria 1.引言： 图像融合是通过一个数学模型把来自不同传感器的多幅图像综合成一幅满足特定应用需求的图像的过程, 从而可以有效地把不同图像传感器的优点结合起来, 提高对图像信息分析和提取的能力[ 1] 。近年来, 图像融合技术广泛地应用于自动目标识别、计算机视觉、遥感、机器人、医学图像处理以及军事应用等领域。图像融合的主要目的是通过对多幅图像间冗余数据的处理来提高图像的可靠性; 通过对多幅图像间互补信息的处理来提高图像的清晰度。根据融合处理所处的阶段不同,图像融合通常可以划分为像素级、特征级和决策级。融合的层次不同, 所采用的算法、适用的范围也不相同。在融合的三个级别中, 像素级作为各级图像融合的基础, 尽可能多地保留了场景的原始信息, 提供其他融合层次所不能提供的丰富、精确、可靠的信息, 有利于图像的进一步分析、处理与理解, 进而提供最优的决策和识别性能. 2.图像融合算法概述 2.1 图像融合算法基本理论
ISSN 1000-0054CN 11-2223/N 清华大学学报(自然科学版)J T singh ua Un iv (Sci &Tech ),2008年第48卷第7期 2008,V o l.48,N o.7w 11 http://qhx bw.chinajo https://www.doczj.com/doc/cc1292840.html, 基于Poisson 重建的极化SAR 图像对比增强 邓启明, 陈亦伦, 张卫杰, 杨 健 (清华大学电子工程系,北京100084) 收稿日期:2007-04-16 基金项目:国家自然科学基金资助项目(40571099); 高校博士点基金资助项目;新世纪优秀人才支持计划 作者简介:邓启明(1982—),男(汉),湖北,博士研究生。通讯联系人:杨健,教授, E-mail:deng qm 05@mails.tsin https://www.doczj.com/doc/cc1292840.html, 摘 要:为了能够同时增强多类目标,提出一种基于P oisso n 重建的极化合成孔径雷达(SAR )图像对比增强方法。该方法对多类目标和对应的背景杂波分别进行广义相对最优极化增强(G OP CE ),并得到相应的最优极化状态和特征系数;以此定义图像中各像素点的最优局部梯度,并在最小二乘准则下,根据局部梯度建立离散P oisso n 方程;通过快速Fo urier 变换求解该Po isson 方程,得到最终的多目标增强图像。实验结果表明:利用极化SA R 数据,使用该方法增强后的图像的直方图保持应有的峰值,且更加均衡,能够达到增强多类目标的效果,从而有利于目标检测等后续处理。关键词:图像处理;极化;合成孔径雷达(SA R );对比增 强;Poisso n 重建 中图分类号:T P 751 文献标识码:A 文章编号:1000-0054(2008)07-1108-04 Contrast enhancement of polarimetric SAR images based on the Poisson reconstructions DE NG Qim ing ,CHEN Yilun ,ZHANG Weijie ,YA NG Jian (Department of Electronic Engineering ,Tsinghua University , Beij ing 100084,China ) Abstract :A contrast enhancement method bas ed on the Poisson reconstruction w as developed to enh an ce multiple targets in polarimetr ic s ynthetic aperture radar (SAR)images.Each kind of target is enhanced relative to its corr esp on ding clutter by us ing the gen eralized optimization of polar imetric contrast enhancemen t (GOPCE ). Th e obtained optimal polarization states and ch aracteristic coefficients define th e optimal local contras t for each pixel.A dis crete Pois son equation is th en cons tructed us ing leas t squares m inimization,w hich is s olved using fast Fourier transforms.T ests w ith polarimetric SAR data demonstrated that the meth od produces an en han ced image with a more uniform histogram wh ile keeping its peaks. Satisfactory res ults can be ob tained w hen en han cing multiple targets w ith various types of clutter for sub sequ ent applications such as target detection. Key words :image process ing;polarimetric;s ynthetic aperture radar (SA R);contrast enhancement;Poiss on recon struction 在极化合成孔径雷达(synthetic aperture r adar,SAR)数据处理应用中,对比增强是一个重要的研究课题。极化对比增强是通过融合目标多维的极化信息来增强目标和背景杂波之间的对比度,在目标检测中有着极为重要的应用。多年来,研究者提出了多种利用极化信息增强目标的方法。例如:Ko stinski 和Boerner [1] 提出了经典的相对最优极化增强(generalized o ptimization of polarimetric contrast enhancement,OPCE)技术,其主要目的是选取一种最优极化状态以增强目标回波或接收功 率,同时尽可能地抑制杂波干扰。杨健等[2] 利用交叉迭代法,得到了快速数值求解OPCE 的方法,提高了运算速度。进而杨健等[3]还通过引入包含更多极化信息的参数,提出了广义相对最优极化增强(GOPCE )方法,取得了比传统OPCE 更好的效果。但是,传统方法的模型均定义为对单一类别的目标进行对比增强,即能够对某类目标较之背景杂波进行较好地增强,但在增强多类目标时,不能取得很好的效果。也就是说,使用OPCE 或GOPCE 进行增强某类目标时,有可能将另一类目标连同杂波一起抑制。 Poisson 重建是利用图像的梯度来重构图像的 方法。陈亦伦和杨健[4] 将该方法用于极化SAR 图像的融合中,将各个通道的局部对比度融合后重建,可以在融合图像里显示各极化通道的信息。但该方法在融合过程中仅用到了各极化通道的幅度值,没有完全利用极化信息。
摘要：图像拼接技术一直是计算机视觉、图像处理和计算机图形学的热点研究方向。图像融合算法是图像拼接过程中非常重要的一个步骤，本文介绍了几种常用图像融合算法，并且结合实验对它们的进行了分析和比较。 关键词：图像融合；图像拼接 一、引言图像拼接(image stitching)技术是由于摄像设备的视角限制，不可能一次拍出很大图片而产生的。图像拼接技术可以解决由于相机等成像仪器的视角和大小的局限，不可能一次拍出很大图片而产生的问题。它利用计算机进行自动匹配，合成一幅宽角度图片，因而在实际使用中具有很广泛的用途，同时对它的研究也推动了图像处理有关的算法研究。图1 图像拼接流程图图像拼接技术的基本流程如图1-1所示，首先获取待拼接的图像，然后是图像配准和图像融合，最终得到拼接图。图像拼接技术主要包括两个关键环节，即图像配准和图像融合。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息后寻找图像间的变换模型，然后由待拼接图像经变换模型向参考图像进行对齐，变换后图像的坐标将不再是整数，这就涉及到重采样与插值的技术。图像拼接的成功与否主要是图像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况，一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息，将图像进行匹配。图像融合的任务就是把配准后的两幅图像根据对准的位置合并为一幅图像。由于两幅相邻图像之间存在重叠区域，因此，采用配准算法可以实现图像的对齐。然而图像拼接的目的是要得到一幅无缝的拼接图像[1]。所谓无缝，就是说在图像拼接结果中，不应该看到两幅图像在拼接过程中留下的痕迹，即不能出现图像拼接缝隙。由于进行拼接的两幅图像并不是在同一时刻采集的，因此，它们不可避免地会受到各种不定因素的影响。由于这些无法控制的因素的存在，如果在图像整合过程结束之后，只是根据该过程中所得到的两幅相邻图像之间的重叠区域信息，将两幅图像简单的叠加起来，那么，在它们的结合部位必然会产生清晰的拼接缝隙，这也就达不到图像拼接所要求的无缝的要求。如何处理图像整合过程中无法解决的拼接缝隙问题，实现真正意义上的无缝拼接，正是图像融合过程中所要解决的问题。对于重叠部分，如果只是简单的取第一幅图像或第二幅图像的数据进行叠加，会造成图像的模糊和拼接的痕迹，这是不能容忍的。图像融合就是要消除图像光强或色彩的不连续性。它的主要思想是让图像在拼接处的光强平滑过渡以消除光强的突变。二、常见的图像融合算法 1、平均值法令，，分别表示第一幅图像、第二幅图像和融合图像在点处的像素值，则融合图像中各点的像素值按式(4-1)确定。 (1) 式(4-1)中，表示第一幅图像中未与第二幅图像重叠的图像区域，表示第一幅图像与第二幅图像重叠的图像区域，表示第二幅图像中未与第一幅图像重叠的图像区域。取两幅图像的平均值的算法速度很快，但效果一般不能令人满意，在融合部分有明显的带状感觉，用眼睛能够观察出区别。本文以左图像所在的坐标系为参考坐标空间，将右图像经过变换矩阵向参考图坐标进行映射，由于双线性插值法在计算效率和精度方面可以达到一个很好的平衡，因此在变换过程中本文采用双线性插值。然后采用平均值法对图像重叠区进行融合，得到图2(a)和图2(b)。从图中可以看出由于采用本文的配准方法拼接出来的图像在拼接点处结合得很好，但是由于重叠区域采用了简单的平均值法来进行融合，有明显的拼缝。 (a) 校园广场图片（b）足球场图片图2 采用平均值法来对图像进行融合 2、重叠区线性过渡为了消除重叠区的拼缝问题，目前采用较多的是重叠区线性过渡的方法. 实现的具体方法是假设重叠区域宽度为l。取过渡因子是（）。两幅图像重叠区的x轴和y轴最大和最小值分别为、和、，则过渡因子，重叠区的像
中国地质大学长城学院 本科课程设计 课设名称:数字图像处理课程设计 课设题目：基于MATLAB的图像融合设计 院别工程技术学院 学生姓名 专业 学号 指导教师 职称 2019年06 月30 日
基于MATLAB的图像融合设计 摘要 图像融合能够将不同类型传感器获取的同一对象的图像数据进行空间配准。并且采用一定的算法将不同类型的传感器获取的同一对象的图像数据所含用的信息优势或互补性 有机地结合起来产生的新的图像数据。这种新数据含有所研究对象的更多信息表征，与单一图像相对比，能够减少或抑制所研究对象可能存在的多义性、不确定性和误差，最大限度地利用同一对象的多种图像数据的信息。 论文中主要内容是；首先介绍了图像信息融合的概念、接着论述了像素级、特征级、决策级三个图像融合的层次及MATLAB介绍，在最后论述了图像融合的在生活中的应用。 关键词：图像融合；图像层次；应用；
目录 基于MATLAB的图像融合设计 0 摘要 0 第一章绪论 (1) 1.1图像融合的概念 (1) 1.2图像融合的主要研究内容 (1) 第二章图像融合的常用方法 (3) 2.1 图像融合的常用算法 (3) 2.1.1 基于图像灰度的融合算法 (3) 2.1.2基于变换域的融合算法 (3) 2.2图像融合规则 (4) 第三章MATLAB 程序设计 (5) 3.1 MATLAB 软件简介 (5) 3.2 MATLAB 软件窗口环境 (6) 第四章图像融合实例-小波变换（DWT ） (8) 第五章应用与总结 (12) 参考文献 (13) 附录 (14)
第一章 绪论 图像融合技术作为多类型传感器信息融合的一个非常重要的分支-可视信息的融合，近20年来，引起了世界范围为内的广泛关注和研究热潮。图像融合就是通过多幅图像数据互补得到一幅新的图像，在这幅图像中能够反映多重原始图像中的信息。图像融合的目的是充分利用多个待融合源图像中包含的互补信息，融合后的图像应该更适合于人类视觉感知或计算机后续处理，减少不确定性。图像融合技术在遥感、医学、自然资源勘测、生物学等领域占有极其重要的地位。 论文中介绍了像素级图像融合常用方法及图像融合实例。 1.1图像融合的概念 图像融合是二十世纪70年代后期提出的新的概念，是多传感器信息中可视信息部分的融合，是将多源信道所采集的关于统一目标图像经过一定的图像处理，提取各自信道的信息，最后合成统一的图像以供观察和处理。鉴于图像融合具有突出的探测优越性，在技术先进国家受到高度重视并取得相当的进展。 图像融合的形式大致可分为多传感器不同时获取的图像的融合、多传感器同时获取的融合、单一传感器不同时间，不同条件获取的图像融合三种。图像融合能够充分利用这些时间或空间上冗余或互补的图像信息，依据一定的融合算法合成一幅满足某种需要的新图像，从而获得对场景的进一步分析、理解以及目标的检测、识别或跟踪。 1.2图像融合的主要研究内容 图像融合的层次可分为 : 像素级、特征级和决策级。 像素级图像融合是在基础层面上进行的信息融合，其主要完成的任务是对多传感器目 标和背景要素的测量结果进 行融合处理。像素级图像融合是直接在原始数据层上进行的融合，该层次的融合准确性最高，能够提供其它层次上的融合处理所不具有的更丰富、更精确、更可靠的细节信息，有利于图像的进一步分析、处理与理解。 像素级融合是图像 图1 图像融合示意图 图2 像素级图像融合原理图示意图
第２７卷第１１期２００６年１１月 纺织学报 Ｊｏｕｍａｌｏｆ７ｒｅｘｔｉｌｅＲｅ８ｅａＩ℃ｈ Ｖ０１．２７Ｎｏ．１ｌ Ｎｏｖ．２００６ 文章编号：０２５３—９７２ｌ（２００６）１１—００１０—０４ 基于泊松方程的花式纱线边缘提取算法 诸葛振荣，吴佳 （浙江大学电气工程学院，浙江杭州３１００２７） 摘要花式纱线不规则的外形、复杂的材质结构以及丰富的色彩变化，使其边缘轮廓的提取困难。在泊松方程的基础上，提出一套对真实纱线边缘轮廓提取的算法。将花式纱线的数码采集位图划分为确定前景、确定后景和不确定区域，应用有限差分法和Ｇａｕｓｓ—ｓｅｉｄｅｌ迭代法对不确定区域中像素点的不透明系数ａ值进行计算，判断该像素点属于前景还是属于后景，逐步缩小不确定区域，从而得到细致的纱线边缘曲线。最后，以大肚纱和结子纱为例，得到了比较理想的实验提取效果。 关键词花式纱线；边缘轮廓；泊松方程；有限差分法；Ｇａｕｓｓ—ｓｅｉｄｄ迭代 中图分类号：唧９１．４１文献标识码：Ａ Ａ１９０ｒｉｔｈｍｏｆｅｄｇｅｏｕｔＨＩｌｉｎｇｏｆｆａｎｃｙｙａｒ璐ｂ嬲ｅｄｏｎＰｏｉｓｓｏｎ’ｓｅｑｕａｔｉｏｎ ＺＨＵＧＥＺｈｅｎ—ｒｏｎｇ，ＷＵＪｉａ （ｃｏｚ妇ｅ旷Ｅ胁觑Ｚ曲柳ｎ８ｅ＾ｎｇ，ｚｋ洳ｎｇ踟觇瑙毋，吼，锄ｏ“，ｚ比洳，ｌｇ３１００２７，ｍｉｍ） ＡｂＳｔｒ雠ｔＦａｌｌｃｙｙ锄’ｓｉｒｒｅｇＬｌｌａｒｓｈａｐｅ，ｃｏｍｐｌｉｃａｔｅｄｓｔｎ：ｌｃｔｕｒｅｏｆｔｅｘｔｕｒｅ，ａｎｄａｂｕｎｄａＩｌｔｅｈａＩｌｇｅｓｉｎｃｏｌｏｒｓ嫩ｋｅｉｔｄｉ佑ｃｕｌｔｔｏｒｅａｌｉｚｅｔｈｅ ｏｕⅡｉｎｉｎｇｏｆｉｔｓｆｉｇｌｌｒｅ．Ｉｎｔｈｉｓｐａｐｅｒ，蚰ａ１９０ｒｉｔｈｍｂａｓｅｄｏｎＰｏｉｓｓｏｎ７ｓｅｑｕａｔｉｏｎｉｓｕｓｅｄｔｏｒｅａｌｉｚｅｔｈｅｅｄｇｅｏｕｎｉｎｉｎｇｏｆｆａｎｃｙｙａｍｓ．Ｔｈｅｂｉｔｍ印０ｆａｆ抽ｃｙｙａｍｉｓｄｉｖｉｄｅｄｉｎｔｏｔｈｒｅｅａｒｅａｓ：ｔｈｅａｓｓｕｒｅｄｆｏｒｅｇｒｏｕｎｄ，ｔｈｅａｓｓｕｒｅｄｂａｃｋｇｒｏｕｎｄａｎｄｔｈｅｕｎｓｕｒｅａｒｅａ．Ｔｈｅ６ｎｉｔｅｄｉｆ＿ｆｅｒｅｎｃｅｍｅｔｈｏｄａｎｄｔｈｅＧａｕｓｓ—Ｓｅｉｄｅｌｉｔｅｒａｔｉｏｎｍｅｔｈｏｄａｒｅ印ｐｌｉｅｄｔｏｃａｌｃｕｌａｔｅｔｈｅＶａｌｕｅｏｆａｔｈｅｐｉｘｅｌｓｉｎｔｈｅｕｎｓｕｒｅａｒｅａ，ａｃｃｏｒｄｉｎｇｔｏｅａｃｈｐｉｘｅｌ’ｓｖａｌｕｅｏｆａｔｏｊｕｄｇｅｗｈｅｔｈｅｒｔｈｅｐｉｘｅｌｂｅｌｏｎｇｓｔｏｔｈｅｆｏｒｅｇｍｕｎｄｏｒｔｈｅｂａｃｋｇｍｕｎｄ．Ｂｙｒｅｐｅａｔｅｄｃａｌｃｕｌａｔｉｏｎｓ，ｔｈｅｕｎｓｕｒ；ｅａｒｅａｒｅｄｕｃｅｓｇｒａｄｕａｌｌｙａｎｄｔｈｅｅｘａｃｔｏｕｄｉｎｅｏｆｔｈｅｆａｎｃｙｙａｍｃａＩｌｂｅｏｂｔａｉｎｅｄ．Ｆｉｎａｌｌｙ，ｔｈｅｓｌｕｂｂｙｙ锄ａｎｄｔｈｅｋｎｏｔｙａｍａｒｅ舀Ｖｅｎｆｏｒｅｘａｍｐｌｅ，ｇｏｏｄｏｕｔｌｉｎｉｎｇｅｆ．ｆｅｃｔｓａｒｅｏｂｔａｉｎｅｄ． Ｋｅｙｗｏｒｄｓｆａｎｅｙｙａｍ；ｅｄｇｅｏｕｔｌｉｎｅ；Ｐｏｉｓｓｏｎ７ｓｅｑｕａｔｉｏｎ；ｆｉｎｉｔｅｄｉｆ亿ｒｅｎｃｅｍｅｔｈｏｄ；Ｇａｕｓｓ—Ｓｅｉｄｅｌｉｔｅｒａｔｉｏｎ 目前以二维模型所进行的花式纱线模拟虽然在花式纱线的形状、材质以及在后期映射到整体织物中的模拟达到了不错的效果，但由于花式纱线本身的材质比较复杂，颜色也并不是单一或者规则变化的，用单纯的抽象模拟来实现花式纱线的仿真目前有一定的难度。现有的物体提取算法对处理单一背景的“亚像素级别”或透明物体的提取效果已经非常好，但即使这样，也需要２幅不同色彩背景的物体照片才能够完全确定边缘信息‘１’２－。从单幅自然背景的图像中提取景物，目前主要通过手工初步标出边界区域的方法来实现ｂ］，但是，在背景高度清晰复杂或是边缘前景、背景色彩相似的情况下，上述各种自然景物提取方法的处理效果仍不理想；因此用基于泊松方程提取真实纱线的办法来构造一个比较完整的纱线库，对花式纱线的仿真和织物模拟具有十分重要的意义。 １基本原理和实现方法 １．１纱线数字图像的扫描 将花式纱线通过数码相机拍摄成数字图像，然后将其保存为２４位真彩色位图（ＢＭＰ格式）。ＢＭＰ位图文件大体分为位图文件头ＢＩＴＭＡＰＦ．ＩＬＥＨＥＡＤＥＲ、位图信息头Ｂ１７ｒＭＡＰＩＮＦＯＨＥＡＤＥＲ、调 收稿日期：２００６一Ｏｌ一１３修回日期：２００６—０３—２７ 作者简介：诸葛振荣（１９４８一），男，副教授，硕士。主要从事纺织ｃＡＤ及计算机控制的研究。 万方数据
图像融合分类 图像融合的层次可分为像素级、特征级和决策级三个部分。 （1）像素级图像融合 像素级图像融合是指在严格配准条件下对各传感器输出的信号直接进行信息综合处理的过程。像素级图像融合是直接在原始数据层上进行融合，该层次的融合准确性最高，相比其他层次上的图像融合该层次上的图像融合具有的更精确、更丰富、更可靠的细节信息，有利于图像更进一步的理解与分析。像素级图像融合是特征级和决策级图像融合的基础，也是目前 处理时间较长，对通信带宽的要求高，的图像进行精确的配准，多源 图像复合。 图2-1 像素级数据融合原理示意图 (2)特征级图像融合 特征级图像融合是指对不同传感器的多源信息进行特征提取（包括形状、边缘、区域、轮廓、
纹理、角等），然后再对从多个传感器获得的多个特征信息进行综合的分析和处理的过程。特征级图像融合属于中间层次，为决策级图像融合做准备，它既保留了重要信息，有对信息进行了压缩，便于实时处理。 特征级图像融合可以分为两大类：目标状态数据融合和目标特性融合。目标状态数据融合主要用于多传感器目标跟踪领域；目标特性融合就是特征层次的识别。 目前特征级图像融合的方法有：加权平均法、贝叶斯估计方法、聚类分析方法等。 图2-2 特征级数据融合原理示意图 （3）决策级图像融合 决策级图像融合是指对每个图像的特征信息进行分类、识别等处理，形成相应的结果，进行进一步的融合过程， 最终的决策结果是全局最优决策。决策级图像融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。 进行 高，图像中的原始信息的损失最多。
图2-3决策级数据融合原理示意图
图像融合的规则 图像多尺度分解和重构对多尺度图像融合的结果有着至关重要的作用，图像融合规则则是另一个关键因素，它直接影响图像融合的性能。基于融合规则可以将图像融合分为三类：基于像素的图像融合、基于窗口的图像融合和基于区域的图像融合。 1、 基于像素的图像融合 基于像素的图像融合规则分为均值法和最大值法。像素绝对值取大 (Choose-Max,CM )规则是最简单、直接的融合规则。CM 规则可描述为： (,),|(,)||(,)|(,)(,),|(,)|<|(,)|A A B F B A B c m n c m n c m n c m n c m n c m n c m n ≥?=?? 式(2-14) 其中，(,)A c m n 和(,)B c m n 分别为源图像A 和源图像B 的某一组分解系数，(,)F c m n 为融合后的系数。例如，小波变换的高频分解系数对应输入图像的边缘、 纹理等细节信息，而像素绝对值是对这种细节信息强度的最直观的度量， CM 规则正是基于这一点可以对高频系数进行融合。 CM 规则具有简单、易实现、运算速度快等优点。但是仅仅依赖单独像素点作为细节信息的强度度量是不稳定的，尤其当多尺度变换缺乏平移不变性时，分解系数的能量会随源图像的平移、旋转等规则变化发生剧烈的不规则的变化，导致融合后的图像缺乏一致性。另外CM 规则传递并放大源图像中的噪声和死点。 Petrovic V S.和Xydeas C.S.H 提出了考虑分解层内各子带系数及分解层间各子带系数相关性的系数选取融合规则。根据人眼视觉系统对局部对比度比较敏感这一特性，蒲恬[50]提出了基于对比度系数选取融合规则。考虑人眼视觉系统不仅具有频率选择特性，还具有方向特性，刘贵喜[51]等人提出了基于方向对比度的系数选取融合规则。 基于像素的融合规则在融合处理时表现出对边缘的高度敏感性，使得在预处理时要求图像是严格配准的，否则处理结果将不尽如人意，这就加大了预处理的难度。但该规则是在假设图像相邻像素(或系数)之间不存在相关性的前提下提出的，然而，这与实际情况并不相符，因此基于像素选取的融合规则不能获得令人十分满意的融合效果。 2、 基于窗口选择的融合规则 为克服CM 规则的不稳定性，人们提出了基于窗口的融合规则。细节信息强度的度量不再仅仅依赖某一点，而是根据待融合系数局部区域(一般窗口大小为33?或者55?等)的统计特性来选取像素系数的一种融合规则。常用的基于窗
图像融合的评价标准 对图像的观察者而言，图像的含义主要包括两个方面：一是图像的逼真度，另一个是图像的可懂度。图像的逼真度是描述被评价图像与标准图像的偏离程度，通常使用归一化均方差来度量。而图像的可懂度则是表示图像能向人提供信息的能力。多少年来，人们总是希望能够给出图像逼真度和可懂度的定量测量方法，以作为评价图像质量和设计图像系统的依据。 当前图像融合效果的评价问题一直没有得到很好的解决，原因是同一融合算法对不同类型的图像，其融合效果不同；同一融合算法对同一图像观察者感兴趣的部分不同，则认为效果不同：不同的应用方面，对图像各项参数的要求不同，导致选取的评价方法不同。目前评价图像融合效果的方法可分为两类：即主观的评价方法和客观的评价方法。在许多融合应用中，最终的用户都是人，人眼的视觉特性也是非常重要的考虑因素。然而在人为评价融合方法的过程中，会有很多主观因素影响评价结果。 同时，由于图像融合往往作为特定任务的预处理部分，因而融合性能的评价取决于能否提高后续任务的性能。这就需要研究通用的、综合考虑主客观因素的图像融合质量评价标准，使计算机能够自动选取适合当前图像的、效果最佳的算法，从而为不同场合下选择不同的算法或同一融合算法中不同融合规则提供依据。 在实际应用中，如何评价图像融合算法的性能是一个非常复杂的问题。衡量融合图像的效果时，应遵循以下原则： (1)合成图像应包含各源图像中所有的有用信息； (2)合成图像中不应引入人为的虚假信息，否则会妨碍人眼识别或后续的目标识别过程； (3)在时空校准等前期处理效果不理想时，算法还应保持其可靠性和稳定性。另外，可靠和稳定还包含这样的含义，无论在什么气候条件下算法的性能都不会有太大的变化； (4)算法应将原始图像中的噪声降到最低程度； (5)在某些应用场合中应考虑到算法的实时性，可进行在线处理，到目前为止，评价图像融合算法性能的方法可分为两类，即主观的评价方法和客观的评价方法。 2.4.1 图像融合质量的主观评价方法 主观评价方法就是依靠人眼对融合图像效果进行主观判断。例如，找一些测