第38卷第4期 2016年8月
光学仪器
OPTICAL INSTRUMENTS
Vol. 38，No. 4
August,2016
文章编号：1005-5630(2016)04-0303-05
基于视觉显著性的红外与可见光图像融合
华玮平S赵巨岭S李梦S高秀敏〃
(1.杭州电子科技大学电子信息学院，浙江杭州310018;
2.上海理工大学光电信息与计算机工程学院，上海200093)
摘要：多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图 像，提出了一种结合红外图像视觉显著性提取的双波段图像融合方法，一方面旨在凸显红外图 像的目标信息，另一方面又尽可能的保留了可见光图像的丰富细节信息。首先，在局部窗口内 实现红外图像的显著性图提取，并通过窗口尺寸的变化形成多尺度的显著性图，并对这些显著 性图进行最大值的优选叠加，以获取能反映整幅红外图像各个尺寸目标的显著性图；其次，通过 结合显著性图与红外图实现显著性图的加权增强；最后，利用增强的红外显著性图进行双波段 图像的融合。通过两组对比实验，数据表明该方法给出的融合图像视觉效果好，运算速度快，客 观评价值优于对比的7种融合方法。
关键词：图像融合；红外图像增强；视觉显著性
中图分类号：TN 911. 73 文献标志码：A doi:10. 3969/j. issa 1005-5630. 2016. 04. 005 Dual-band image fusion for infrared and visible images
based on image visual saliency
HUA Weiping1, ZHAO Jufeng1, LI Meng1, GAO Xiumin1,2
(1. Electronics and Information College, Hangzhou Dianzi University, Hangzhou 310018, China；
2. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology,
Shanghai 200093，China)
Abstract： Dual-band image fusion is able to well synthesize the feature information from the different bands. To fuse visible and infrared images, in this paper, an infrared image visual saliency detection-based approach was proposed. This method aimed to highlight the target information from infrared image, meanwhile preserve abundant detail information from visible one as much as possible. Firstly, visual saliency map was extracted within a local window, and multiple window-based saliency maps could be obtained by changing the size of local window. And the final saliency map was generated by selecting maximum value, and this map could mirror all target information in the infrared image. Secondly，the saliency map was enhanced by combining infrared image and the previous saliency map. Finally, the enhanced saliency map was used for dual-band image fusion. Comparing with other seven methods, the
收稿日期：2015-10-13
基金项目：国家自然科学基金项目（61405052，61378035)
作者简介：华玮平(1994 )，男，本科生，主要从事光学成像等方面的研究。E-m ail:564810049@qq.c〇m
通信作者：赵巨峰(1985 )，男，讲师，主要从事光学成像、图像处理等方面的研究。E-m ail:daba〇zjf@https://www.doczj.com/doc/6a12268185.html,.C n
?304 ?光学仪器第38卷
experimental results demonstrate that the proposed approach could rapidly produce fused image with good visual effect,and the objective evaluation is better.
Keywords：image fusion；infrared image;visual saliency
引言
图像融合旨在将不同图像的信息进行综合，以便进一步的理解和处理。20世纪90年代以来，图像融 合技术在军事探测、医疗成像、图像水印等方面都有着广泛的应用[1]。通常情况下，红外传感器检测到发 热的区域一般是人们关注的目标物体，但其保持图像细节的能力较差，而可见光图像则包含丰富的细节 信息，因而两者互补可以有效综合信息。
较为常用图像融合方法是基于多尺度分解的思路，包括拉普拉斯金字塔变换(L P)r a、双树复小波变换 (DTCWT)[3]、非下采样轮廓波变换(NSCT)[4]、Curvelet变换[5]等方法。这些方法需要进行上采样和下采 样，使得图像中的细节容易被平滑。NSCT具有多尺度、多方向选择性、多分辨率分析和平移不变性的特点。但变换过程中各部分的系数选择仍是一个问题，计算速度也相对较慢。
随着神经科学、心理学等学科的发展，在研究人类视觉机制的过程中视觉显著性和视觉注意的概念 被提出。观察者能够利用视网膜中央凹的高分辨率感知机构，主动地探索环境中的重要视觉信息[6]，即人眼视觉系统(human visual system,H VS)。视觉显著性反映的是视觉系统从场景中提取一系列视觉信 息的能力，其能够像滤波器一样选择感兴趣的信息。由于视觉显著性的提取能够自动化地代替人眼视觉 系统快速准确的搜索到场景中的显著目标，其产生的显著性图能够反映人眼视觉系统对不同场景的关注 程度，这些都使得视觉显著性的研究具有广阔的应用前景。
在上述研究的基础上，国内外科研人员提出了利用视觉显著性进行图像融合的方法。华中科技大学 的陈艳菲等人通过在红外图像和可见光图像中分别提取视觉显著性的方法对双通道图像进行融合，取得 了优于传统图像融合方法的结果[7]。浙江大学的研究人员也结合视觉显著性与N S C T进行图像融合[8]，也取得了较好的成果。
受到上述方法启发，本文提出了中心周围像素差异计算局部显著性图，并变化局部窗口尺寸以实 现图像的不重叠的显著性提取，能够有效的凸显不同尺寸目标的信息；在进一步增强显著性图的基础 上，实现了基于显著性图的红外与可见光图像的融合。通过实验结果的对比分析，本文方法融合效果 好，计算速度快。
1视觉显著性图提取
对于图像，通常以视觉显著性图来量化表示关注程度的不同，该图的值分布在[〇，1]之间，值越 大表明人眼越关注该区域。当前，主要利用计算机算法模拟人眼来产生视觉显著性图。因为中心周 围像素差异越大的区域，人眼关注的程度越高，所以引入局部窗口概念，使用该思路计算局部显著性图。
对于某一幅图像P，设它对应的显著性图为S a l P。那么，取一个以U，；y。）为中心像素，大小为
的矩形区域，定义(心，y。）处的像素值为，y。），显著性值为S a l P G。，y。），计算式为
Sal_P(x〇,y〇) = \P(x〇,y〇)—Mean(ij)\(1)
Mean (ij) =^P(x,y)(2)
1 ^J {x,y)e i y,j
式中:为该区域内所有点的像素平均值，该窗口 的位置在图像中是任意的，那么将窗口在整
幅图像内逐个像素滑动，如图1所示，最终获得与原图P等尺寸的的显著性图S d_P。局部窗口的尺寸 对应于图像中同等尺寸的目标尺寸，取多个尺寸不同窗口可以覆盖不同尺寸的目标。因此通过选择窗口 尺寸以重复获得不同结果的显著性图，再将各显著性图叠加并归一化处理以保证显著性图的准确性，也
第4期华玮平，等:基于视觉显著性的红外与可见光图像融合?305 ?能辅助实现各窗口边缘处平滑过渡。
2显著性图增强及其融合
2.1针对红外图像特点增强显著性图
可见光图像(V I)往往拥有丰富的细节成分，红外图像
(IR)则凸显热辐射强的区域，但对其他区域的细节保留较
差。如果融合时红外图像的低热辐射区域参与融合，会引
入冗余信息导致可见光图的部分细节信息丢失，融合效果
较差，因此需要抑制低热辐射区域的显著性，增强高热辐
射区域显著性。对于显著性图及红外图像中同坐标的任
意一^点(工，夕)有
F_IR m a p(x,y) =S_IR m a p(j：,y)X I R ix.y)(3) 式中:S_IRm a p为通过节1所述方法获得的红外图像显著性 图，I R为红外图像，F_IR map为经过增强后的红外图像显著 性图。通过显著性图与红外图像相乘能够有效的抑制低 热辐射区域的显著性。同时为了增强保留的显著性区域，用图2所示的对数变换模型对显著性图进行灰度拉伸。2.2显著性融合
在本文方法中，根据红外图像的显著性进行融合，可 以有效地避免红外图像中冗余信息的引入。红外图像的 显著性图遵循以下融合规则
髙灰度
输入
图1以/大小窗口计算图像局部显著性Fig. 1 The size of i Xj window to calculate
the local saliency map.
图2非线性灰度变换，对数变换Fig 2 Nonlinear gradation transformation and logarithmic transformation
F iu s lo n(x,y) =IR(x,y)F_IR m a p(x,y)+V I[_1—F_IR m a p(x,y)^\(4)式中:F f u_为融合结果，I R为红外图像，其中每个点的融合权重值为F_IRm a p中对应点显著性值，V T为可 见光图像，其对应点权重值为(1 一F f u_)。实验证明按权重融合能够有效地将红外图像中显著性区域融 合到可见光图像中，同时尽可能多的保留可见光图的细节信息，使可见光图像信息不被破坏的同时凸显 出红外图像的信息。按权重进行融合计算，过程简单、计算量小，能够有效地减少运算时间。
3实验与分析
本文实验采用的图像来自国际通用数据库，两组图像如图3所示，图3(a)与(b)为测试图像1的红外图 与可见光图，像素尺寸为320X250;图3(c)与(d)为测试图像2的红外与可见光图，像素尺寸为320X320。
(a) (b) (c) (d)
图3测试图像1与测试图像2的红外图与可见光图
Fig. 3 Source images 1 and 2, including infrared image and visible image
在最终的实验对比中，窗口尺寸选择的规则如下。本文分别选用与原图大小相等的窗口，长、宽各为 原图1/2大小的窗口，长、宽各为原图1/5大小的窗口。基本可以保证显著性图的准确性，且窗口边缘过
度也较为平滑。
?306 ?光学仪器第38卷
本文中使用的对比方法为现在较常见的一些方法，其中包括拉普拉斯金字塔变换(LP)[2]、低通滤波金字 塔变换(RP)[9]、离散小波变换CDWT)[1°]、双树复小波变换(DTCWT)[3]、非下采样轮廓波变换(NSCT)[4]、Curvelet变换[5]、平均融合(Average)。为便于比较将基于视觉显著性的算法简称为SF。
所有运算均在同一台电脑上运行，配置1. 6 G H z四核CPU，6 G B运行内存，使用M ATLAB 2012b。
3.1融合效果评价
采用3种无参考质量评价方法对融合图像进行质量评价，作为主观评价的对应参考，这3种无参考的 评价方式分别是信息熵，标准差与空间频率。信息熵是反映一幅图像信息量大小的量，信息熵越大表明 信息量越大，相对图像质量也就越好。标准差是反映图像对比度的量，标准差越大表示图像对比越明显，图像也就更清晰。空间频率是反映一幅图像的活跃程度，空间频率越大表示图像越活跃，图像融合质量 也相对较好。
3.2融合结果与分析
各算法融合结果如图4与图5所示。从主观上观察，S F即本文方法给出融合图像视觉效果最佳，保 留了较多的原始图像的信息，视觉对比也最好。
(a) SF (b) LP (c) RP (d) DWT
(e) DTCWT (f) NECT (g) Curvelet (h) Average
图4测试图像1各算法融合结果对比
Fig. 4 The comparison of several fusion algorithms in test image 1
(a) SF(b) LP(c) RP(d) DWT
(e) DTCWT (f) NECT (g) Curvelet (h) Average
图5测试图像2各算法融合结果对比
Fig. 5 The comparison of several fusion algorithms in test image 2
第4期华玮平，等:基于视觉显著性的红外与可见光图像融合?307 ?
本文采用了信息熵，标准差与空间频率三个融合评价的指标，此外，运算时间也是衡量一个算法优劣 的重要指标，运算时间越短则运算效率越高，算法越好。
客观评价数据如表1与表2所示。根据两组客观评价数据的对比，本文所采用的方法融合结果的3个客观评价指标更佳，证明其在信息量、清晰度以及空间频率等指标方面优于其他算法。在对比数据中，发现低通滤波金字塔(RP)的空间频率值也比较大，仅次于S F方法;综合融合结果图以及空间频率的数 学概念分析，这个评价值较高的原因在于低通滤波算法无法剔除高通噪声，造成融合结果空间频率值较 大。此外，从运行时间上进行对比，发现本文算法也具有明显优势，仅次于最简单的平均融合方法。
表1测试图1的各方法客观评价结果 表2测试图2各方法客观评价结果Tab. 1 Objective evaluation results for Image 1 Tab. 2 Objective evaluation results for Image 2
/s方法信息熵标准差空间频率时间/s 方法信息熵标准差空间频率时间
SF 6. 66218. 9548. 7890. 079SF7.49425. 0938.4530. 046 LP 6. 63813. 748 6. 3800. 344LP7.22214. 9147.2120. 438 RP 6.15512. 2128. 7380. 125RP7. 33116. 2229. 8560. 125 DWT 5. 9598.481 5. 2000. 094DWT 6. 6810. 348 5. 8150. 078 DTCWT 6.1379. 662 5. 9070. 266DTCWT 6. 88611. 689 6. 7950. 250 NECT 6.45212. 001 6. 265 3. 422NECT7.08213. 4327.105 3. 218 Curvelet 6.41411. 409 6.104 1. 781Curvelet7.11313. 597.036 1. 750 Average 5. 8998. 065 3.4030.016Average 6. 5719. 876 3. 7340.016
4结论
本文根据红外图像与可见光图的特点，提出一种针对红外图像视觉显著性区域的双波段图像融合算 法。利用人类视觉系统的注意机制提取红外图像的显著性图，再经过增强等处理将显著性图作为可见光 图与红外图像融合的权值，对可见光图与红外图进行加权融合。根据实验对比分析，本文所采用算法能 够有效的保留可见光图像的细节成分、融合红外图像的显著性区域同时抑制红外图像冗余信息的引入。结果表明，本文方法能够使融合图像具有较好的视觉效果，客观评价值高，运算速度快。在接下来的工作 中，需要对该算法作进一步的改进优化，以适应不同的场景需求，并进一步实现硬件化。
参考文献：
[1 ]李茜，郭佳，郭小云.基于边缘检测小波变换的红外与可见光图像融合方法[J].光学仪器，2013,35(1) :18-21，29.
[2 ] BUTT Pr ADELSON E. The Laplacian pyramid as a compact image code[J]. IEEE Transactions on Communicationsr 1983 r 31 (4)：
532-540.
[3]KINGSBURY N. Image processing with complex wavelets [J]. Philosophical Transactions of the Royal Society of London A：
Mathematical,Physical and Engineering Sciences, 1999r 357(1760) ： 2543—2560.
[4 ] DA CUNHA A L,ZH0U J?D0 M N. Nonsubsampled contourilet transform： filter design and applications in denoising[C]//IEEE
International Conference on Image Processing. Genova：IEEE,2005,l：I-749-752.
[5 ] HARIH八RAN H，K0SCH八N 八，八BIDI M The direct use of curvelets in multifocus fusion[C]//Proceedings of the 16th IEEE
International Conference on Image Processing. Cairo：IEEE,2009：2185-2188.
[6 ]孙晓帅，姚鸿勋.视觉注意与显著性计算综述[J].智能计算机与应用，2014,4(5): 14-18.
[7]陈艳菲，桑农，王洪伟，等.基于视觉注意的可见光与红外图像融合算法[J].华中科技大学学报：自然科学版，2013,41(S1):112-115.
[8 ] PENG H,FENG H J,ZHA0 J F,et al. Multi-frame image fusion method combining spatial-temporal saliency detection and NSCT
[J]. Advanced Materials Research, 2012r403-408 ： 1927-1932.
[9 ] VIKRAJVI T N，TSCHEREP八NOW M，WREDE B.八 saliency map based on sampling an image into random rectangular regions of
interest[J]. Pattern Recognition，2012,45(9) :3114-3124.
[10] LI M,WU S J. A new image fusion algorithm based on wavelet transform[C]//Proceedings of the 5th International Conference on
Computational Intelligence and Multimedia Applications. Xi?an：IEEE,2003:154-159.
(编辑:张裔)
红外图像与可见光图像融合 ——笔记 图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。 为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。预处理理论主要包括图像去噪、图像配准和图像增强。图像去噪目的是为了减少噪声对图像的影响。图像配准是使处于不同状态下的图像达到统一配准状态的方法。图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。 图像融合评价方法：主观评价和客观评价。指标如：均值、标准差、信息熵等。 针对 IHS 变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。该算法的具体实现步骤如下：先对彩色可见光图像进行 IHS 变换，对红外图像进行增强，然后将变换后得到的 I 分量与已增强的红外图像进行 2 层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和 IHS 逆变换，最后得到融合结果。经仿真实验证明，此结果优于传统 IHS 变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。 红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。 可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。 利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。在夜间，人眼不能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题。不利于人眼判读。 可以将两者图像融合在一起，这样可以丰富图像信息，提高图像分辨率，增强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面，实现对场景全面清晰准确的表达。 两者的主要区别有： (1)可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信息明显不如可见光图像。
红外图像与可见光图像融合 笔记 图像融合是将来自不同传感器在同一时间(或者不同时间)对同一目标获取的两幅或者多幅图像合成为一幅满足某种需求图像的过程。 为了获得较好的融合效果，在研究融合算法之前，对图像预处理理论及方法进行了研究。预处理理论主要包括图像去噪、图像配准和图像增强。图像去噪目的是为了减少噪声对图像的影响。图像配准是使处于不同状态下的图像达到统一配准状态的方法。图像增强是为了突出图像中的有用信息，改善图像的视觉效果，并方便图像的进一步融合。 图像融合评价方法：主观评价和客观评价。指标如：均值、标准差、信息熵等。 针对IHS变换和小波变换的优缺点，本文提出了一种基于这两种变换结合的图像融合方法。该算法的具体实现步骤如下：先对彩色可见光图像进行IHS变换，对红外图像进行增强，然后将变换后得到的I分量与已增强的红外图像进 行2层小波分解，将获得的低频子带和高频子带使用基于窗口的融合规则，而后对分量进行小波重构和IHS逆变换，最后得到融合结果。经仿真实验证明，此结果优于传统IHS变换和传统小波变换，获得了较好的融合结果，既保持了可见光图像中的大量彩色信息又保留了红外图像的重要目标信息。 红外传感器反映的是景物温度差或辐射差，不易受风沙烟雾等复杂条件的影响。一般来说，红外图像都有细节信息表现不明显、对比度低、成像效果差等缺点，因此其可视性并不是很理想。 可见光成像传感器与红外成像传感器不同，它只与目标场景的反射有关与其他无关，所以可见光图像表现为有较好的颜色等信息，反应真实环境目标情况，但当有遮挡时就无法观察出遮挡的目标。 利用红外传感器发现烟雾遮挡的目标或在树木后的车辆等。在夜间，人眼不 能很好的辨别场景中的目标，但由于不同景物之间存在着一定的温度差，可以利用红外传感器，它可以利用红外辐射差来进行探测，这样所成的图像虽然不能直接清晰的观察目标，但是能够将目标的轮廓显示出来，并能依据物体表面的温度和发射率的高低把重要目标从背景中分离出来，方便人眼的判读。但由于自身成像原理以及使用条件等原因，所形成图像具有噪声大、对比度低、模糊不清、视觉效果差等问题。不利于人眼判读。 可以将两者图像融合在一起，这样可以丰富图像信息，提高图像分辨率，增强图像的光谱信息，弥补单一传感器针对特定场景表达的不全面，实现对场景全面清晰准确的表达。 两者的主要区别有： (1)可见光图像与红外图像的成像原理不同，前者依据物体的反射率的不同进行成像，后者依据物体的温度或辐射率不同进行成像，因此红外图像的光谱信 息明显不如可见光图像。
第38卷第4期 2016年8月 光学仪器 OPTICAL INSTRUMENTS Vol. 38，No. 4 August,2016 文章编号：1005-5630(2016)04-0303-05 基于视觉显著性的红外与可见光图像融合 华玮平S赵巨岭S李梦S高秀敏〃 (1.杭州电子科技大学电子信息学院，浙江杭州310018; 2.上海理工大学光电信息与计算机工程学院，上海200093) 摘要：多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图 像，提出了一种结合红外图像视觉显著性提取的双波段图像融合方法，一方面旨在凸显红外图 像的目标信息，另一方面又尽可能的保留了可见光图像的丰富细节信息。首先，在局部窗口内 实现红外图像的显著性图提取，并通过窗口尺寸的变化形成多尺度的显著性图，并对这些显著 性图进行最大值的优选叠加，以获取能反映整幅红外图像各个尺寸目标的显著性图；其次，通过 结合显著性图与红外图实现显著性图的加权增强；最后，利用增强的红外显著性图进行双波段 图像的融合。通过两组对比实验，数据表明该方法给出的融合图像视觉效果好，运算速度快，客 观评价值优于对比的7种融合方法。 关键词：图像融合；红外图像增强；视觉显著性 中图分类号：TN 911. 73 文献标志码：A doi:10. 3969/j. issa 1005-5630. 2016. 04. 005 Dual-band image fusion for infrared and visible images based on image visual saliency HUA Weiping1, ZHAO Jufeng1, LI Meng1, GAO Xiumin1,2 (1. Electronics and Information College, Hangzhou Dianzi University, Hangzhou 310018, China； 2. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093，China) Abstract： Dual-band image fusion is able to well synthesize the feature information from the different bands. To fuse visible and infrared images, in this paper, an infrared image visual saliency detection-based approach was proposed. This method aimed to highlight the target information from infrared image, meanwhile preserve abundant detail information from visible one as much as possible. Firstly, visual saliency map was extracted within a local window, and multiple window-based saliency maps could be obtained by changing the size of local window. And the final saliency map was generated by selecting maximum value, and this map could mirror all target information in the infrared image. Secondly，the saliency map was enhanced by combining infrared image and the previous saliency map. Finally, the enhanced saliency map was used for dual-band image fusion. Comparing with other seven methods, the 收稿日期：2015-10-13 基金项目：国家自然科学基金项目（61405052，61378035) 作者简介：华玮平(1994 )，男，本科生，主要从事光学成像等方面的研究。E-m ail:564810049@qq.c〇m 通信作者：赵巨峰(1985 )，男，讲师，主要从事光学成像、图像处理等方面的研究。E-m ail:daba〇zjf@https://www.doczj.com/doc/6a12268185.html,.C n
本科毕业设计论文 题 目 红外与可见光图像配准 专业名称 自 动 化 学生姓名 指导教师 毕业时间 2014.06
毕业 任务书 一、题目 红外与可见光图像配准 二、研究主要内容 选题来源于科研项目。红外与可见光图像由于相关性小，缺乏一致性特征，因此配准的难度较大。针对红外与可见光图像配准的研究，拟采用基于特征的图像配准算法。配准算法中核心的部分在于特征的提取和特征的匹配两个部分。特征提取拟采用Harris 角点或Susan 角点检测算法，这两种算法稳定性好，也适合实时性场合需要。特征匹配阶段根据图像物理特性选择合适的匹配测度及匹配算法。最终实现一种自动、快速、较高性能的配准方法。 三、主要技术指标 1、开发工具采用OpenCV ； 2、配准时间1秒左右，精度小于1个像素。 四、进度和要求 第1-2周：初步查阅与本次毕设有关的背景知识、论文以及书籍，并进行分析、 总结，理解所研究的问题。 第3-4周：学习掌握OpenCV 、图像配准的相关知识。 第5-6周：实现Harris 角点,ORB 或者BRIEF 法对图像特征进行提取。 第7-8周：确定特征匹配算法。 第9-10周：用OpenCV 实现算法的程序。 第11-12周：用OpenCV 实现算法的程序。 第13-14周：程序测试。 第15-16周：撰写毕业设计论文，准备论文答辩。 五、主要参考书及参考资料 [1] 田伟刚。基于点特征的多源遥感图像配准技术。西北工业大学硕士学位论 文，2008年 设计 论文
[2] 苑津莎，赵振兵，高强等。红外与可见光图像配准研究现状与展望。激光与 红外，2009，39(7)：693-699 [3] C. Harris，M. Stephens．A combined corner and edge detector．In：Proceedings of the Fourth Alvey Vision Conference．Manchester：the University of Sheffield Printing Unit，1988，pp147~151 [4] S.M. Smith，J.M. Brady．SUSAN-A new approach to low level image processing．Journal of Computer Vision，1997，23：pp45~78 [5] S. Ranade，A. Rosenfeld．Point pattern matching by relaxation．Pattern Recognition，1980，12：pp269~275 [6] D. P. Huttenlocher，G. A. Klanderman，W. J. Rucklidge．Comparing images using the Hausdorff distance．IEEE Transactions on Pattern Analysis and Machine Intelligence，1993，15(9)：pp850~863 [7] M. P. Dubussion，A. K. Jain．A modified algorithm using robust hausdorff distance measures．Proc. of 12th Int. Conf. on Pattern Recognition，Jerusalem，Israel，1994：pp566~568 [8] D.G. Sim，O.K. Kwon，R.H. Park．Object matching algorithm using robust Hausdorff distance measures．IEEE Trans. on Image Process，1999，8(2)：425~429 [9] 周成平，蒋煜，李玲玲等。基于改进角点特征的多传感器图像配准。华中科 技大学学报，2005，33(11)：pp1~4 学生学号 __________ 学生姓名 指导教师 __________ 系主任
本科毕业设计论文题目红外和可见光图像融合算法研究 专业名称 学生姓名 指导教师 毕业时间
毕业 任务书 一、题目 红外和可见光图像融合算法研究 二、指导思想和目的要求 本题目来源于科研，主要研究红外和可见光图像的特点，学习适合于红外和可见光图像融合的算法，进而编程实现相关算法。希望通过该毕业设计，学生能达到： 1．利用已有的专业知识，培养学生解决实际工程问题的能力； 2．锻炼学生的科研工作能力和培养学生团队合作及攻关能力。 三、主要技术指标 1．学习红外和可见光图像的特点； 2．研究红外和可见光图像的像素级融合算法； 3．编程实现红外和可见光图像的融合。 四、进度和要求 第01周----第02周： 参考翻译英文文献； 第03周----第04周： 学习红外和可见光图像的特点； 第05周----第08周： 研究红外和可见光图像融合的算法； 第09周----第14周： 编写红外和可见光图像融合程序； 第15周----第16周： 撰写毕业设计论文，论文答辩。 五、主要参考书及参考资料 1. 敬忠良. 图像融合——理论与应用. 高等教育出版社. 2. 郭雷. 图像融合. 电子工业出版社. 3. 匡艳. 可见光与红外图像融合技术研究. 电子科技大学硕士学位论文. 4. 童明强. 红外图像与可见光图像融合的研究. 天津理工大学硕士学位论文. 学生 指导教师 系主任 设计 论文
摘要 红外技术作为人类认识自然、探索自然的一种新的现代工具，已经被各国普遍的应用于生物、医学、地学等科学领域以及军事侦察方面。红外图像直接反映了物体表面温度分布情况，但由于目标的红外辐射十分复杂，而且影响目标红外辐射的因素很多，红外热图像的清晰度远不如可视图像。可见光图像能够很好的描绘场景中各个物体的外形结构，具有较好的轮廓表现力，所以将红外和可见光图像融为一体有非常好的效果。而通过图像融合是实现这一效果的有效方法，融合后的图像可信度更高，模糊较少，可理解性更好，更适合人的视觉及对源图像的进一步分析、理解以及目标检测、识别或跟踪。图像融合充分利用了多个被融合图像中包含的冗余信息和互补信息，同时又不同于一般意义上的图像增强，它是计算机视觉、图像理解领域的一项新技术。 本文针对红外和可见光图像融合算法进行了研究。通过使用计算机图像处理方法，对同一场景的红外图像和可见光图像进行融合处理，得到一副单一的融合图像，它成功包含了两副源图像的信息。本文主要研究了利用MATLAB软件实现对红外和可见光图像的处理和融合，采用对应像素取大值、取小值、平均值，区域能量、区域对比度比较的融合方法，并且对融合结果图像使用信息熵、标准差、平均梯度、空间频率的评价指标进行了分析比较。结果表明，融合结果图像既保留了可见光图像的清晰的轮廓信息，同时也显示了目标物体的表面温度分布情况。 关键字：图像融合，红外图像，可见光图像，MATLAB软件