ＩＳＳＮ １６７３－９４１８ ＣＯＤＥＮ ＪＫＹＴＡ８ Ｊｏｕｒｎａｌ ｏｆＦｒｏｎｔｉｅｒｓ ｏｆＣｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ １６７３－９４１８／２０１６／１０（０３）一０４０７－０７ ｄｏｉ：１０．３７７８８．ｉｓｓｎ．１６７３－９４１８．１５０６０３２
热红外与可见光图像融合算法研究
李海超 ，李成龙 ，汤进 ．一，罗斌
１．安徽大学计算机科学与技术学院，合肥２３０６０１
２．安徽省工业图像处理与分析重点实验室．舍肥２３００３９
Ｒｅｓｅａｒｃｈ ｏｎ Ｆｕｓｉｏｎ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｔｈｅｒｍａｌ ａｎｄ Ｖｉｓｉｂｌｅ Ｉｍａｇｅｓ Ｅ—ｍａｉｌ：ｆｃｓｔ＠ｖｉｐ．１６３．ｃｏｒｎ ｈｔｔｐ：／／ｗｗｗ．ｃｅａｊ．ｏｒｇ Ｔｅｌ：＋８６．１ ０．８９０５６０５６
ＬＩ Ｈａｉｃｈａｏ ，ＬＩ Ｃｈｅｎｇｌｏｎｇ ，ＴＡＮＧ Ｊｉｎ ，ＬＵＯ Ｂｉｎ ，
１．Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ａｎｈｕｉ Ｕｎｉｖｅｒｓｉｔｙ，Ｈｅｆｅｉ ２３０６０ １，Ｃｈｉｎａ ２．Ｋｅｙ Ｌａｂ ｏｆ Ｉｎｄｕｓｔｒｉａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ＆Ａｎａｌｙｓｉｓ ｏｆ Ａｎｈｕｉ Ｐｒｏｖｉｎｃｅ，Ｈｅｆｅｉ ２３００３９，Ｃｈｉｎａ
＋Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ａｕｔｈｏｒ：Ｅ－ｍａｉｌ：ｌｕｏｂｉｎ＠ａｈｕ．ｅｄｕ．ｃｎ
ＬＩ Ｈａｉｃｈａｏ，ＬＩ Ｃｈｅｎｇｌｏｎｇ，ＴＡＮＧ Ｊｉｎ，ｅｔ ａ１．Ｒｅｓｅａｒｃｈ ｏｎ ｆｕｓｉｏｎ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅｒｍａｌ ａｎｄ ｖｉｓｉｂｌｅ ｉｍａｇｅｓ．
Ｊｏｕｒｎａｌ ｏｆ Ｆｒｏｎｔｉｅｒｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，２０１６，１０（３）：４０７—４１３．
Ａｂｓｔｒａｃｔ：Ｆｕｓｉｏｎ ｏｆ ｔｈｅｒｍａｌ ａｎｄ ｖｉｓｉｂｌｅ ｉｍａｇｅｓ ｈａｓ ａ ｌａｒｇｅ ｒｅｓｅａｒｃｈ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｖａｌｕｅ ｄｕｅ ｔｏ ｔｈｅｉｒ ｃｏｍｐｌｅｍｅｎｔａｒｙ
第７卷第３期 ２００６年６月 空军工程大学学报（自然科学版） ＪＯＵＲＮＡＬ ＯＦ ＡＩＲ ＦＯＲＣＥ ＥＮＧＩＮＥＥＲＩＮＧ ＵＮＩＶＥＲＳＩＴＹ（ＮＡＴＵＲＡＬ ＳＣＩＥＮＣＥ ＥＤｍＯＮ） Ｖｏ１．７ Ｎｏ．３ Ｊｕｎ．２ｏ０６
基于估计理论的红外与可见光图像融合算法
李卫华， 周 军
（西北工业大学航天学院，陕西西安７１００７２）
摘 要：针对传统图像融合方法鲁棒性差的缺点，设计了一种基于估计理论期望值最大的图像融合 方法。从多感测器成像模型出发，设计出图像的形成模型，分别基于图像的模型以及期望值最大方
法，推导出估计真实场景的迭代过程，最终得到融合图像。探讨了基于拉普拉斯金字塔、梯度金字
ｔ塔、小波、小波框架以及方向滤波器金字塔等方法的多尺度展开的融合情况，并与ＥＭ方法做了比
较，数字仿真表明，图像受到噪声污染时采用ＥＭ算法进行融合具有较强的鲁棒性。 关键词：统计模型；估计理论；图像融合
中图分类号：ＴＰ７５１ 文献标识码：Ａ 文章编号：１００９—３５１６（２００６）０３—００４４—０４
现有的像素级融合算法包括基于非多尺度分解的算法和基于多尺度分解的算法。基于非多尺度分解的 算法思想简单、计算量小，但是存在融合后图像对比度下降显著，图像细节模糊，信息损失大等缺点。例如像
素平均法，将不同传感器的图像进行像素平均。像素自适应加权平均法，像素的权值根据融合准则自适应取
不同数值。基于多尺度的图像融合算法将原始图像用小波分解或金字塔分解在不同频段，根据具体情况在
各个频段采取不同的融合策略，最终通过重构算法，实现图像的融合。该类方法计算量大，但融合效果好。
根据国内外文献，目前一些学者提出了基于统计理论的图像融合方法。比如，Ｒ．Ｋ Ｓｈａｒｍａ等人提出的贝叶 斯融合方法…Ｊｉｎｚｈｏｎｇ Ｙａｎｇ等人提出的基于期望值最大的方法 ｊ。前者是在假设图像和噪声都服从高斯
分布基础上进行的，在实际融合过程中，需要有先验图像的参与，这种方法近似于局部主成分分析ＰＣＡ
2019年第7期（总第453期）
图1单目
摄像头图2红外摄像头伴随“东风柳汽3.0”时代的到来，2018年已实现量产搭载L2级别的ADAS功能，正向L3级别的ADAS功能迈进。采用单目摄像头（如图1所示）配合超声波雷达、ECU、全景摄像头等，实现了自动紧急制动（AEB）、车道偏离报警（LDW）等功能。经过一段时间的市场检验，ADAS相关功能市场反馈效果好，在较好的环境下，AEB的误报率小于1次/100万km。但在雾霾天、能见度差、乱用远光灯等工况下，单目摄像头识别能力有限，造成ADAS相关功能稳定性降低。21世纪，图像处理技术蓬勃发展，汽车、航空航天、安全监控等领域应用广泛。由于原理差异，不同传感器的特性不尽相同。红外感知传感器以热辐射为原理，感知能量分布，并且具有不受光照条件影响的性质[1-2]；可见光感知传感器以光谱特性采用反射的原理探测场景，能充分捕捉场景中的边缘、纹理等细节信息，但很容易被光照等条件影响。综上所述，针对单目摄像头中存在的潜在问题，增加一个红外摄像头传感器（如图2所示），将红外摄像头感知的图像和可见光摄像头感知的图像融合，弥补特定环境中单目摄像头识别能力差，导致ADAS相关功能稳定性降低的问题。1NSCT的基本原理Cunha等人在21世纪初，提出了非下采样Contourlet变换（NSCT）[3]，如图3所示。NSCT采用Z变换，让NSCT具有平移不变性；采用上采样，让NSCT的子带图像与感知图像大小相同[4-5]。N级分解图像后，得到1+∑Nj=12lj个子带图像，其中lj表示在尺度j下的方向分解级数。2基于NSCT的图像融合算法NSCT有3个优点：优秀的空域局部特性、优秀的频域局部特性、优秀的方向特性。基于这些优点，NSCT能较好地表达图像的几何特性。针对单目摄像头在恶劣环境下识别能力降低的问题，本文采用基于自适应NSCT的方法对图像进行分解融合。图像的融合规则如下。步骤１：针对红外感知传感器反馈的红外感知图像Ａ、可见光感知传感器反馈的可见光感知图像Ｂ，分别对A与B进行NSCT，得到低通子带系数LA、LB，高通子带系数Ai匀k、Bi匀k，其中k=1，2，…；i=1，2，…。步骤２：分别对LA、LB采用低通融合规则进行融合，分别对Ai匀k、Bi匀k采用高通融合规则进行融合。步骤３：对融合子带系数进行逆变换，得到最终融合图像。图4给出了基于NSCT融合的基本流程框架。2.1低频分量融合规则针对雾霾天、逆光的环境，可见光图像低频分量如图5【摘要】文章提出基于非采样Contourlet变换（NSCT）的红外与可见光图像融合方法，用于解决雾霾天、逆光等恶劣环境下，单目摄像头识别能力有限的问题。实验表明：通过5组实验比较分析文章所述方法与基于单目摄像头方法的融合结果，采用所述方法的融合图像客观评价指标分别提高了8.41%、93.58%、15.41%；7.86%、58.84%、22.06%；20.03%、95.70%、3.21%；32.62%、148.38%、19.25%；8.95%、19.01%、10.44%。文章所述方法从主观视觉效果和客观评价都优于基于单目摄像头方法。【关键词】图像融合；非下采样Contourlet变换；自适应【中图分类号】TP391.41【文献标识码】A【文章编号】1674-0688（2019）07-0093-03基于NSCT自适应红外与可见光融合算法罗文（东风柳州汽车有限公司，广西柳州545005）
电子技术・Ｅｌｅｃｔｒｏｎｉｃ Ｔｅｃｈｎｏｌｏｇｙ 基于小波变换的红外与可见光图像的融合 传统红外图像与可见光图像 融合时．存在目标信息丢失或减 弱现象，本丈提出一种基于小波 的红外与可见光图像融合算法， 为了提高使融合图像反映细节信 息的能力，选用基于小波变换的 融合算法，首先对源图像分别进 行小波分解，然后利用像素加权 的图像融合算法分别对分解得到 的各个子带图进行图像融合，再 将获得融合图像进行小波重构获 得融合图像。实验结果表明，该 算法得到的融合图像具有与红外 图像相同的目标，且具备可见光 图像的细节信息 【关键词】小波分解像素加权融合 １引言 图像融合的方法根据图像融合所在的图 像层次不同加以区分，现阶段图像融合算法一 般分为像素级、特征级，决策级三个层次。基 于像素级的图像融合足指参与融合的图像源来 自图像传感器所采集到的原始图像数 像素级 融合是其他层次图像融合方法的基础：特征级 融合侄进行图像融合时首先提取不同源图像的 边缘、轮廓等特 信息产生特征矢量，然后 对特征欠量进行融合处理。决策级融合在三种 ／ｆ 同的融合算法中化ｆ最高层次的图像融合算 法， 决策级融合思想中主要包括图像的特钲 提取、 像的识别、Ｉ冬１像的决策级融合。本文 的研究算法也主要魁针对像素级的图像融合算 法。 ２像素加权融合算法 加权系数融合，Ｊ’法顾名思义就是对两幅 像的灰度值矩阵进行加权而获得融合后的 像，例如Ａ、Ｂ两幅 像的像素灰度值按下式 融合。 Ｆ（ｉ，．，）：ｗ￣Ａ（ｉ，．，）＋ｗＢＢ（ｉ， ） 其 ｌｔ Ａ（ｉｄ）和ＢＯ，ｊ 代表 像的 一 维灰 度值 阵，对于对心位置的像索进行线性加 杖操作．Ｗ 为图像Ａ的加权系数，ｗ。为图 像Ｂ的）ＪｌＩ权系数，通常情况 Ｗ ＋Ｗ ＝１， ｗ：ｗ ，＝Ｏ．５时，叫做平均加权。利用加权系 数融合 法在源图像【｛ｌ１的冗余信息过多时可以 得到更多的有效信息，也可以提高融合后图像 的信噪比，加杖系数融合方法适合于源图像日 标位置信息差异不人的地方。 文／颜家亮 ３基于小波变换的融合算法 小波变换的特点表现为低频时具有高频 率分辨率和低时问分辨率，高频时具有高时间 分辨率和低频率分辨率，基于这个特点在处理 正常信号时很容易发现瞬态反常信号。本文算 法主要应用二维离散小波变换。 ３．１二维离散小波变换 离散小波变换是对基本小波ｖ（ｔ）的尺度 和平移进行离散化，也就是对连续小波的伸缩 因子及平移因子进行采样而得到离散小波。通 常使用的离散小波变换是二进制离散小波变 换，它是取ａ＝２ ，ｂ：ｋ｝ａ＝ｋ｝２ ，这样离敞 化后的小波和相应的小波变换称为二进小波和 进小波变换： ¨（ｆ）＝２ ｊ／２ （２ ｔ—ｋ）（，，ｋ∈Ｚ） 这时二进小波变换为： Ｃｊ ＜Ｊｒ， ＞＝ ． 『ｌ＾（ｔ）ｄｔ 信号ｆ（ｔ）的重构公式为： ）＝ｃ∑∑ （ｆ） ＾＝— 其中ｃ是’个与信号无关的常数。 经过两次小波变换后，图像获得３个高 频子带和一个低频予带，第二层的小波变换分 解是在低频分量ＬＬ上进行，分解算法与第一 层小波变换分解算法相同。 ３．２基于小波变换的融合 基于小波的图像融合原理具体如下：先 对已严格配准的两幅待融合图像Ａ，Ｂ进行小 波变换，若进行ｉ层变换，便得到３ｉ个高频ｆ 带和１个低频子带，将各子带作相应的融合处 理，再将处理过的予带实行小波逆变换，便形 成＿『结果图像。 本文采用像素加权的融合算法对经小波 变换后的各子带进行融合处理。具体步骤如下． （１）将已严格配准的红外图像和可见光 图像采用二维离散小波变换算法进行ｌ层小波 变换。 （２）将变换的到的两幅图像按照 ｗ：ｏ．８，ＷＢ＝０．２（Ｗ＾为红外 像所占比重， ｗ 为红外图像所占比重）进行像素加权融合。 （３）将融合后的图像进行小波重置，从 而获得融合图像。 ４实验结果 图１：红外图像（左），可见光图像（右） 、 ＿ Ｉ ” Ｉ Ｉ Ｉ．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． 图２：融合结果图 目标的同时，保留ｒ源图像很多细节信息，融 合效果较好。 ５结论 像融合能够解决单幅图像存住的局限 性，而被广泛应膈。通过图像融合可以提高图 像质量许减少 像冗余度，以方便对图像进行 深入的分析。而红外与可见光 像的融合更足 对军事、国防仃着雨大的意义。本文选用基ｌｆ 小波变换的融合算法，在保留可见光图像细节 信息的同时．也具备了红外图像中的目标，融 合效果较好。 参考文献 …１聂其贵，马惠珠，基于目标提取的红外 与可见光图像融合新算法【Ｊ］．应用科 技．２０１４（１ ０】：４９－５２． ［２］杨文彬，红外与微光融合系统对人体 目标的探测概率研究【Ｄ］．南京理工大 学，２０１ ２． ［３】刘胜，文池英，徐大新，高炜，赵晓鹰． 红外图像与可见光图像可匹配性研究【ｚ】． 中国航空学会制导与引信专业信息网学术 交流会，２ ００５． ［４】苑全兵，黄福，数字字符识别算法研究 【Ｊ】．电子测试，２０１ ０（０４）：１ ２－１ ６． 【５】郝松傲，秦军．热红外图像与可见光图像 的配准与融合【Ｊ］．测绘，２００８． 作者简介 颜家亮（１９８７－），男，贵州省思南县人。现 为云南电网有限责任公司红河供电局５－程师。 研究方向为输电线路，带电作业等。 … ＃ ｂｓ －ｊ 嘶任公 …局云南糨 见 像 皇算 妻 妻 河 三 州；自 一ｂ ６１ Ｉ ～‘ 图１和图２所示，融合图像在凸显红外图像中 ………‘ ’～’ １２０・电子技术与软件工程Ｅｌｅｃｔｒｏｎｉｃ Ｔｅｃｈｎｏｌｏｇｙ＆Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ
