红外可见光融合算法

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用　采用非抽样轮廓波的红外与可见光图像融合　傅震宇，金炜，岑雄鹰　ＦＵ　Ｚｈｅｎ－ｙｕ，ＪＩＮ　Ｗｅｉ，ＣＥＮ　Ｘｉｏｎｇ—ｙｉｎｇ　宁波大学信息科学与工程学院，浙江宁波３１５２１１　Ｆａｃｕｌｔｙ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ｎｉｎｇｂｏ　Ｕｎｉｖｅｒｓｉｔｙ，Ｎｉｎｇｂｏ，Ｚｈｅｊｉａｎｇ　３　１５２１　１，Ｃｈｉｎａ　Ｅ—ｍａｉｌ：ｆｕｚｈｅｎｙｕ＠ｎｂｕ．ｅｄｕ．ｃｎ　ＦＵ　Ｚｈｅｎ－ｙｕ，ＪＩＮ　Ｗｅｉ，ＣＥＮ　Ｘｉｏｎｇ－ｙｉｎｇ．Ｉｎｆｒａｒｅｄ　ａｎｄ　ｖｉｓｉｂｌｅ　ｉｍａｇｅｓ　ｆｕｓｉｏｎ　ｕｓｉｎｇ　ｎｏｎ—ｓｕｂｓａｍｐｌｅｄ　ｃｏｎｔｏｕｒｌｅｔ　ｔｒａｎｓｆｏｒｍ．　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ａｐｐｌｉｃａｔｉｏｎｓ，２０１０，４６（７）：１７５－１７７．　Ａｂｓｔｒａｃｔ：Ａ　ｆｕｓｉｏｎ　ａｌｇｏｒｉｔｈｍ　ｆｏｒ　ｉｎｆｒａｒｅｄ　ａｎｄ　ｖｉｓｉｂｌｅ　ｉｍａｇｅｓ　ｕｓｉｎｇ　Ｎｏｎ—Ｓｕｂｓａｍｐｌｅｄ　Ｃｏｎｔｏｕｒｌｅｔ　Ｔｒａｎｓｆｏｒｍ（ＮＳＣＴ）ｉｓ　ｐｒｏｐｏｓｅｄ．Ｂｙ　ｕｓｉｎｇ　ＮＳＣＴ，ｔｈｅ　ｉｎｐｕｔ　ｉｍａｇｅｓ　ａｒｅ　ｄｅｃｏｍｐｏｓｅｄ　ｉｎｔｏ　ｍｕｌｔｉ－ｓｃａｌｅ　ａｎｄ　ｍｕｌｔｉ—ｄｉｅｒｃｔｉｏｎ　ｓｕｂｂａｎｄｓ　ｔｏ　ｒｅｐｒｅｓｅｎｔ　ｔｈｅ　ｈｉｇｈ　ｄｉｍｅｎｓｉｏｎａｌ　ｓｉｎｇｕｌａｒｉｔｙ　ｏｆ　ｉｍａｇｅｓ．Ｔｈｅｎ，ｉｎ　ｏｒｄｅｒ　ｔｏ　ｏｖｅｒｃｏｍｅ　ｔｈｅ　ｓｈｏｒｔｃｏｍｉｎｇ　ｏｆ　ｐｉｘｅｌ—ｂａｓｅｄ　ｆｕｓｉｏｎ，ｔｈｉｓ　ａｌｇｏｒｉｔｈｍ　ｒｅａｌｉｚｅｓ　ｔｈｅ　ｌｏｃａｌ　ａｄａｐｔｉｖｅ　ｆｕｓｉｏｎ　ｖｉａ　Ｎｅｉｇｈｂｏｒｈｏｏｄ　Ｈｏｍｏｇｅｎｅｉｔｙ　Ｍｅａｓｕｒｅｍｅｎｔ（ＮＨＭ）．Ｔｈｅ　ｓｉｍｕｌａｔｉｏｎ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｐｒｅｓｅｎｔｅｄ　ａｌｇｏｒｉｔｈｍ　ｃａｎ　ｎｏｔ　ｏｎｌｙ　ｈｏｌｄ　ｓｐｅｃｔｒｕｍ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ｔｈｅ　ｖｉｓｕａｌ　ｉｍａｇｅ，ｂｕｔ　ａｌｓｏ　ｇｅｔ　ｈｏｔ　ｏｂｊｅｃｔ　ｉｎｆｏｒｍａｔｉｏｎ　ｏｆ　ｔｈｅ　ｉｎｆｒａｒｅｄ　ｉｍａｇｅ　ｅｆｆｅｃｔｉｖｅｌｙ．　Ｋｅｙ　ｗｏｒｄｓ：　ｎｏｎ—ｓｕｂｓａｍｐｌｅｄ　ｃｏｎｔｏｕｒｌｅｔ　ｔｒａｎｓｆｏｒｍ；ｎｅｉｇｈｂｏｒｈｏｏｄ　ｈｏｍｏｇｅｎｅｉｔｙ　ｍｅａｓｕｒｅｍｅｎｔ；ｉｎｆｒａｒｅｄ　ｉｍａｇｅ；ｉｍａｇｅ　ｆｕｓｉｏｎ　摘要：提出了一种基于非抽样轮廓波变换的红外与可见光图像融合算法。该算法首先利用非抽样轮廓波变换对输入图像进行多　尺度、多方向稀疏分解，有效地表达了图像的高维奇异信息；然后，为了弥补基于像素的图像融合方法的不足，在变换域通过邻域　一致性测度的计算，实现了变换系数的局部自适应融合。实验结果表明，所提出的算法既可保持可见光图像的光谱信息，又可有效　获取红外图像的热目标信息。　关键词：非抽样轮廓波变换；邻域一致性测度；红外图像；图像融合　ＤＯＩ：１０．３７７８／ｊ．ｉｓｓｎ．１００２—８３３１．２０１０．０７．０５３　文章编号：１００２—８３３１（２０１０）０７—０１７５—０３　文献标识码：Ａ　中图分类号：ＴＰ３９１　１前言　由于不同图像传感器的成像机理和成像波段不同，所获得　的同一场景的图像具有信息的冗余性和互补性。可见光波段和　红外波段传感器是最为常用的图像传感器，红外成像传感器只　敏感于目标场景的热辐射，主要由目标场景的辐射率差及温差　决定，可见光成像传感器只敏感于目标场景的反射，与其热对　比度无关，将可见光图像与红外图像进行融合，可以充分利用　其信息互补性，扩展系统目标探测的时空覆盖范围，提高系统　的空间分辨率、全天候工作能力以及目标检测和抗干扰能力，　在航空、遥感、国防等诸多领域有重要应用。　通常图像融合分像素级融合、特征级融合和决策级融合３　个层次，其中以小波分析为基础的像素级融合方法是多源图像　融合的研究热点旧。在小波变换族中，非抽样小波变换（ＮＳＷＴ）￣　的提出解决了传统小波变换的平移不变性缺失问题。但是，常　用的二维小波是由两个一维小波的张量积形成，只具有有限的　方向，用它来对图像进行分析，可以说是以“点”为单位来捕捉　图像的特征，不能“最优”表示含“线”或“面”奇异的高维函数，　从而不能“稀疏”表示二维图像。轮廓波（Ｃｏｎｔｏｕｒｌｅｔ）变换作为一　种多尺度几何分析方法，解决了小波变换不能有效表示二维或　更高维奇异性的缺点，可以得到图像不同尺度和方向上的信　息。近期，Ｃｕｎｈａ等人又提出了非抽样轮廓波变换（ＮＳＣＴ）Ｅ４－￣。　这种变换具有完全的平移不变性，解决了基于轮廓波变换的处　理结果中所出现的伪吉布斯效应现象，在图像处理中得到了许　多成功应用。提出了一种基于ＮＳＣＴ的图像融合算法，该算法　利用ＮＳＣＴ进行多尺度分解，获取图像的特征信息，通过邻域　一致性测度的计算，实现了变换系数的局部自适应融合，并将　其应用到红外与可见光图像的融合处理中。　２非抽样轮廓波变换　非抽样轮廓波变换（ＮＳＣＴ）是在轮廓波变换的基础上发展　起来的一种崭新的多尺度几何分析方法，其完全平移不变性弥　补了传统轮廓波变换的不足。图１展示了一种多层ＮＳＣＴ的结　构图。它由两部分构成：（１）非抽样金字塔滤波器组；（２）非抽样　方向滤波器组。其中，非抽样方向滤波器组利用　级树形结构　的扇形滤波器组把整个频域划分成２　个楔状区域。由于ＮＳＣＴ　采用了具有各向异性（Ａｎｉｓｏｔｒｏｐｉｃ）的轮廓波基作为图像的分解　基金项目：浙江省教育厅科研项目（Ｎｏ．２００６１６６１）；宁波市自然科学基金（ｔｈｅ　Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅ　Ｆｏｕｎｄａｔｉｏｎ　ｏｆ　Ｎｉｎｇｂ０　Ｃｉｔｙ　ｏｆ　Ｃｈｉｎａ　ｕｎｄｅｒ　Ｇｒａｎｔ　Ｎｏ．２００８Ａ６１００１２）；宁波大学人才工程项目（Ｎｏ．ｘ１３０７１０００８　ｏ　作者简介：傅震宇（１９６３一），男，讲师，主要研究方向：计算机应用、多媒体信息处理；金炜（１９６９一），男，博士，副教授，主要研究方向：数字图像处理；　岑雄鹰（１９６９一），男，副教授，主要研究方向：计算机软件。　收稿１３期：２００８—０９—１０　修回１３期：２００８—１１－２８

红外 可见光双光融合技术原理

红外可见光双光融合技术原理是利用红外和可见光两种不同波长的光相互补充和融合的原理。具体原理如下：

1. 红外光原理：红外光是指波长长于可见光的电磁波，其能量低于可见光。红外光在大气中的传播受到较少的干扰，能够穿透一些介质，如烟雾、雾霾以及一些透明度较高的物体，因此具有较好的穿透力。

2. 可见光原理：可见光是人眼可见的电磁波范围，波长在400-700纳米之间。可见光在大气中传播时受到较多的干扰，例如空气中的浮尘、水滴等都会散射、吸收或折射光线，使可见光的传播距离有限。

红外可见光双光融合技术将红外光和可见光相互融合，通过合理的光学设计和信号处理算法，实现以下原理：

1. 红外光补充可见光：红外光具有较好的穿透力，可以补充可见光在大气中的传播距离有限的问题。通过红外光的补充，可以提高成像的清晰度和远距离观测的能力。

2. 可见光增加红外图像的细节：可见光波长范围内的光能够提供更多的细节信息，如颜色、纹理等，在一些特殊应用场景下，帮助更准确地分析和识别目标。通过可见光的叠加，可以提高红外图像的识别能力。

综合利用红外光和可见光的优势，红外可见光双光融合技术可以在不同光照条件下获取更全面、更清晰的图像信息，提高目标的检测和识别能力，同时适应不同应用场景的需求。

基于Mamba和Transformer的红外与可见光图像融合网络

目录

1. 内容概要................................................2

1.1 背景与动机...........................................3

1.2 研究目标与意义.......................................4

1.3 主要工作与贡献.......................................5

2. 相关工作................................................6

2.1 红外与可见光图像融合方法概述.........................7

2.2 Transformer在图像处理中的应用........................8

2.3 Mamba框架简介........................................9

3. 研究方法...............................................10

3.1 网络结构设计........................................12

3.1.1 Transformer架构概述.............................12

3.1.2 Mamba框架特点...................................13 3.1.3 融合网络结构设计................................15

3.2 损失函数与优化算法..................................16

3.2.1 常见损失函数介绍................................18

第３　３卷，第６期　２　０　１　３年６月　光谱学与光谱分析　Ｖｏ１．３３，Ｎｏ．６，ｐｐ１５０６—１５１１　Ｓｐｅｃｔｒｏｓｃｏｐｙ　ａｎｄ　Ｓｐｅｃｔｒａｌ　Ａｎａｌｙｓｉｓ　Ｊｕｎｅ，２０１３　

基于Ｔｅｔｒｏｌｅｔ变换的红外与可见光融合　

沈　瑜　，党建武　，冯　鑫　，王阳萍　，侯　越　

１．兰州交通大学电子与信息工程学院，甘肃兰州　７３００７０　２．重庆工商大学机械工程学院，重庆４０００６７　摘要针对目前红外与可见光图像融合速度慢、融合结果对比度不高且易产生伪影的缺点，提出一种基　于Ｔｅｔｒｏｌｅｔ变换的改进融合算法。首先，将可见光图像转换到ｚ　颜色空间得到三个几乎不相关的彩色通　道；然后对其ｚ分量和红外图像分别进行Ｔｅｔｒｏｌｅｔ变换，对于低通系数引入邻域能量及其接近度的融合规　则。而对Ｔｅｔｒｏｌｅｔ系数采用伪随机傅里叶矩阵进行观测并加权融合其观测值；接下来对融合后观测值采用　ＣｏＳａＭＰ优化算法迭代出融合后的Ｔｅｔｒｏｌｅｔ系数，并经Ｔｅｔｒｏｌｅｔ重构得到融合后的灰度图像；最后将灰度图　像映射到ＲＧＢ颜色空间获得最终的融合图像。实验证明了本文算法的有效性。　

关键词红外图像；可见光图像；图像融合；Ｔｅｔｒｏｌｅｔ变换；伪随机傅里叶矩阵；ＣｏＳａＭＰ　中图分类号：ＴＮ２１９　文献标识码：Ａ　ＩＸ）ｌ：１０．３９６４／ｊ．ｉｓｓｎ．１０００—０５９３（２０１３）０６—１５０６－０６　

引　言　

可见光与红外光传感器是最常用的两类传感器，它们在　不同的波段进行工作，并能提供互补的图像信息。如果把这　两种光谱图像进行融合，有利于综合红外图像较好的目标特　性和可见光图像清晰的场景信息＿１］。　多尺度几何分析（ｍｕｌｔｉｓｅａｌｅ　ｇｅｏｍｅｔｒｉｃ　ａｎａｌｙｓｉｓ，　ＭＧＡ［　）方法目前在图像处理中被广泛的应用。继小波变换　（ｗａｖｅｌｅｔ）以来，曲波（ｃｕｒｖｅｌｅｔ）、轮廓波（ｃｏｎｔｏｕｒｌｅｔ）、剪切波　（ｓｈｅａｒｌｅｔ）、方向波（ｄｉｒｅｃｔｉｏｎｌｅｔ）、锲形波（ｗｅｄｇｅｌｅｔ）、小群变　换（ｇｒｏｕｐｌｅｔ）、带波（ｂａｎｄｅｌｅｔ）、方块波（ｔｅｔｒｏｌｅｔ）［　，开始深　入研究。在ｔｅｔｒｏｌｅｔ变换方面，陈原等＿４　将Ｔｅｔｒｏｌｅｔ变换应用　于ＳＡＲ图像的稀疏表示，以便于后续ＳＡＲ图像的压缩。彭　州等ｌ５　提出一种结合小波变换和Ｔｅｔｒｏｌｅｔ变换的图像稀疏表　示方法，获得了比较好的图像重构质量。Ｃａｎｄｅｓ等提出的压　缩感知理论［６１表明，如果信号或者图像具备稀疏性，则获取　信号或者图像所需的必须数据与其稀疏度Ｋ量级相当，而　远小于信号维数Ｎ。所以引入稀疏表示来进行图像的融合处　理。　目前，基于多尺度分析以及压缩感知的国内外文献也不　少，张强等ｌ７　提出一种基于ＮＳＣＴ变换的红外与可见光融合　方法，但是融合花费时间太长；Ｌｉ等ｌ８　提出了基于压缩感知　收稿日期：　基金项目：　作者简介：　的可见光与红外光图像融合方法，但是效果不明显且算法收　敛速度比较慢。基于此，结合多尺度几何分析与稀疏优化重　构理论提出一种基于Ｔｅｔｒｏｌｅｔ变换的红外与可见光融合方　法，并且实验结果表明，在减少融合数据量、降低计算复杂　度的同时也能保证融合效果。