基于可见光图像的红外场景仿真

本科毕业设计说明书（论文）（2017届）论文题目基于Unity3D的红外场景仿真系统设计与开发作者姓名黄可蒙指导教师张繁学科(专业) 软件工程所在学院健行学院提交日期2017年6月摘要随着计算机性能水平的提高以及3D仿真技术的发展，红外成像仿真技术在红外成像系统性能评估，军事模拟训练，灾害救援演习，游戏视觉体验以及其他军事和民用领域具有重要的应用价值。

但是，由于计算机硬件和软件等多方面的条件限制，针对大场景的红外成像仿真系统在适用性和准确性等方面存在较多问题，而其在国防军事的红外制导模拟训练等方面具有重要的应用价值，故此针对大场景，即同时仿真海陆空以及多种地形地貌，针对不同季节时间条件下的仿真系统具有重大意义。

本文通过对红外物理基础理论和自然场景仿真理论的研究，在前人红外成像仿真的研究基础上，整合了海洋陆地红外成像仿真场景，更正修改了部分数学计算模型，使得仿真结果更为精确，同时，利用当下流行的GPU编程语言，通过GPU 编程，对仿真算法进行并行加速计算，在此基础上实现新的红外仿真计算架构：以基于红外特性的物理材质为仿真单位，借助GPU的并行计算能力，在GPU中，对不同场景对象多角度下的红外辐射灰度进行并行计算。

通过该计算框架，可以构建包含多种目标对象的红外场景，包括植被，房屋建筑以及舰船，并且在不低于三十个目标对象的前提下保证仿真系统的实时性。

利用功能强大的Unity3D游戏引擎，完成仿真场景编辑和实现仿真系统的逻辑功能，并实现场景的实时渲染。

通过对重建的三维场景的仿真效果图与实地拍摄的真实的红外场景图像进行比对分析，表明该仿真系统能够高效动态实现多种条件下的较为可信的红外仿真视景。

关键词：红外成像，实时仿真，大场景，计算架构，对比分析ABSTRACTWith the improvement of computer performance and the development of 3D simulation technology, infrared imaging simulation technology has important application value in infrared imaging system performance evaluation, military exercise, disaster rescue exercise, game visual experience and other military and civilian fields. However, due to the limitations of computer hardware and software, the infrared imaging simulation system for large scenes has many problems in applicability and accuracy, and it is important in the infrared guidance simulation training of national defense and military Application value, so for large scenes, that is, at the same time simulation of land, sea and air and a variety of topography, for different season time under the conditions of the simulation system is of great significance.Based on the research of infrared physics basic theory and natural scene simulation theory, this paper integrates the simulation scene of marine terrestrial infrared imaging on the basis of previous research on infrared imaging simulation, and corrects some mathematical calculation models to make the simulation result more accurate. At the same time, using the popular Cg programming language, through the GPU programming, the simulation algorithm is optimized. Thus, a new infrared simulation computing architecture is realized, which can build infrared scenes that contain multiple audiences, including vegetation, housing, and ships, and ensure the real-time performance of the simulation system without less than thirty objects.Utilize the powerful Unity3D game engine to complete the simulation scene editing and realize the logic function of the simulation system and realize the real-time rendering of the scene. By comparing the simulation results of the reconstructed 3D scene with the real infrared scene images recorded in the field, it shows that the simulation system can realize the more reliable infrared simulation scene under various conditions.Key words: infrared imaging, real-time simulation, large scene, computational architecture, comparative analysis.目录摘要 (I)ABSTRACT (II)目录 (III)图目录 (V)表目录 (VI)第一章绪论 (1)1.1 研究工作的背景与意义 (1)1.2 相关工作 (1)1.3 本文的主要贡献与创新 (3)1.4论文组织结构 (4)第二章红外基础物理和数学模型的研究 (5)2.1 引言 (5)2.2 理论背景 (5)2.2.1 辐射的基本概念 (5)2.2.2 红外辐射规律 (5)2.2.3 黑体辐射 (6)2.2.4 傅立叶定律 (7)2.3 零视距离辐射计算模型 (7)2.3.1 自身辐射 (7)2.3.2 反射辐射 (12)2.3.3 热平衡方程 (12)2.4 大气传输模型 (14)2.5 设备仿真模型 (15)2.5.1 成像模糊模型 (15)2.5.2 成像噪声模型 (16)2.6 海洋仿真模型 (17)2.6.1 海面波形仿真 (17)2.6.2 海面折射和反射的仿真 (19)2.6.3 海面浪花仿真 (21)2.6.4 开尔文尾迹仿真 (22)2.7 热源仿真模型 (22)2.7.1 热源设置 (23)2.7.2 效果渲染 (23)2.8 本章总结 (25)第三章相关技术点概述分析 (26)3.1 系统逻辑架构 (26)3.1.1 数据逻辑 (26)3.1.2 系统功能概述 (28)3.2 场景组织 (29)3.2.1 Unity3D功能概述 (29)3.2.2 场景编辑 (30)3.3 场景渲染 (31)3.3.1 渲染流水线 (31)3.3.2 顶点着色器 (33)3.3.3 像素着色器 (34)3.4 本章小结 (34)第四章仿真系统实现和结果分析 (35)4.1 仿真系统实现 (35)4.1.1 算法实现 (35)4.1.2 地形红外仿真 (36)4.1.3 目标对象红外仿真 (39)4.2 仿真结果分析 (39)4.3 真实结果对比 (43)4.4 本章小结 (45)第五章全文总结与展望 (47)5.1 全文总结 (47)5.2 后续工作展望 (48)参考文献 (49)致谢 (52)图目录图2 - 1太阳运动轨迹示意图 (9)图2 - 2光波频率大气透过率分布图 (14)图2 - 3模糊效果总体流程图 (15)图2 - 4模糊效果图 (16)图2 - 5噪声算法流程图 (16)图2 - 6白噪声贴图 (17)图2 - 7噪声效果图 (17)图2 - 8海面波形图 (19)图2 - 9海面折射算法流程图 (19)图2 - 10海面反射算法流程图 (20)图2 - 11海面反射折射效果图 (21)图2 - 12海面浪花效果图 (22)图2 - 13立体相机结构示意图 (23)图2 - 14仿真热源贴图 (24)图2 - 15热源仿真效果图 (25)图3 - 1数据逻辑流程图 (26)图3 - 2系统功能概述图 (28)图3 - 3地形高度效果图 (31)图3 - 4相机视锥体示意图 (32)图4 - 1热平衡方程求解源码示例图 (35)图4 - 2系统实现流程图 (36)图4 - 3地形贴图编辑界面图 (37)图4 - 4地形splat纹理贴图 (37)图4 - 5多材质地形红外仿真效果图 (38)图4 - 6放置热源对象模型效果图 (39)图4 - 7轿车正午红外场景仿真侧视图 (40)图4 - 8轿车午夜红外场景仿真侧视图 (40)图4 - 9轿车午夜红外场景仿真正视图 (41)图4 - 10舰船海面红外尾迹仿真效果图 (41)图4 - 11长时间行驶坦克红外效果图 (42)图4 - 12长时间静止状态坦克红外效果图 (42)图4 - 13向阳面建筑表面红外效果图 (42)图4 - 14深夜0:00时实拍（左）与仿真（右）红外图像对比图 (43)图4 - 15凌晨4:00时实拍（左）与仿真（右）红外图像对比图 (43)图4 - 16早上8:00时实拍（左）与仿真（右）红外图像对比图 (43)图4 - 17正午12:00时实拍（左）与仿真（右）红外图像对比图 (43)图4 - 18傍晚16:00时实拍（左）与仿真（右）红外图像对比图 (44)图4 - 19夜晚20:00时实拍（左）与仿真（右）红外图像对比图 (44)图4 - 20水泥地24小时温度变化仿真实测对比图 (44)图4 - 21草地24小时温度变化仿真实测对比图 (45)图4 - 22车门24小时温度变化仿真实测对比图 (45)表目录表2 - 1风速对照表 (11)表2 - 1风速对照表（续） (12)表2 - 2 MODTRAN不同条件下大气透过率计算值表 (14)表3 - 1红外特性参数表 (26)表3 - 1红外特性参数表(续) (27)第一章绪论1.1 研究工作的背景与意义当物体温度大于绝对零度的时候，物体就会对外产生红外辐射，即向外发射红外电磁波，红外电磁波是电磁波中，波长范围介于可见光波和微波之间的电磁波，波长范围大约是0.76~1000μm。

应用科技可见光图像的典型目标场景红外图像反演研究白茯宁(北京理工大学光电学院，北京市100081)(}商耍]为了方便快捷的得到典型地物的红外图像，提出了一种利用可见光图像反演红外图像的新方法。

通过,ef-究两种典型目标的特性，运用图像处理的相关知识得出可见图光图像和红外图像的灰度分布的关系，建立红外图像的反演模型。

最后，由二者的映射关系，得到仿真的红外图像。

实验结果表明。

此方法可有效地提高反演效果。

具有较强的实用性。

陕键词]图像处理；图像分割；红外图像仿真；温度常用的红外图像仿真的生成包括红外辐射物理学、传热学、大气辐射物理学、计算机图形学等多学科领域。

本文基于可见光图像反演的典型目标场景对红外成像仿真进行研究，希望可以通过对目标图像和可见光圈像进行研究，得出二者在目标相同位置的规律，利用这个规律进而得出一般l青况下可见光图像的红外图像，达到仿真的效果。

1典型地物的特点由于时间限制，本文只完成最普遍的两种目标，绿色植物和建筑物。

首先分析、材料反射率、辐射率、相糙度、环境温度等特性。

1．1绿色植物的特点植被是生长于地球表层的各种植物类型的总称，在地球系统中扮演着重要的角色，它是地球表层内重要的再生资源。

植被是全球变化中最活跃、最有价值的影响要素和指示因子。

健康植物的反射光谱特征：健康植物的波谱曲线有明显的特点，在可见光的0．557m附近有一个反射率为10％～20％的小反射峰。

在0．457m和0．657m附近有两个明显的吸收谷。

在近红外波段Q8～13m1之间形成—个高的，反射率可达40％或更大的反射峰。

植物的辐射发射率：植物的发射特征主要表现在热红外和微波谱段。

植物在热红外谱段的发射特征，遵循普朗克(P l anck)黑体辐射定律。

健康绿色植物的发射率一般在0．96—0．99范围内，常取0．97～098：干植物的发射率变幅较大，一般为0．88～O．940植物粗糙度的影响：植物的雷达后向散射强度与其介电常数和表面粗糙度有关。

一种实时红外场景仿真方法研究的开题报告
引言：
红外仿真是现代红外技术应用领域中的一项重要技术。

它通过对红外特性进行模拟，能够大大缩短新产品研发周期，提高产品研发成功率。

目前，红外仿真技术已经在很多领域得到应用，比如红外成像、红外检测、红外遥感等。

由于红外仿真技术所使用的物理模型和算法十分重要，在实际应用中需要不断地研究和优化，以满足各种实际应用场景的需求。

本文主要研究一种实时红外场景仿真方法，通过对红外相机成像原理的分析，建立红外场景仿真模型，研究并优化实时仿真算法的实现方法，从而实现红外场景的即时仿真。

本论文的成果将可用于红外技术的教育培训、系统研发及应用等方面。

论文结构：
本文共分为五个章节，具体如下：
第一章：绪论，主要介绍论文研究的背景意义、目的、意义和研究现状。

第二章：红外场景成像原理分析，介绍红外相机的成像原理，包括热辐射定理、辐射计算、热传输计算等。

第三章：红外场景仿真模型建立，通过对不同红外目标的特征分析，建立多种红外目标模型，并构建出红外场景仿真模型。

第四章：实时场景仿真算法研究，介绍实时仿真所需要的基础知识和算法，并对仿真过程中可能遇到的问题及解决方法进行探讨。

第五章：实验与分析，通过实验验证实时仿真方法的可行性与有效性，并对研究成果进行分析和评估。

论文预期成果：
1. 了解红外场景成像的原理和应用；
2. 建立多种红外目标模型，包括有实物模型和计算机模型两种；
3. 优化实时红外场景仿真算法，实现红外场景的实时仿真；
4. 验证实时仿真方法的可行性和有效性，为红外技术的产品研发与应用提供支持。

第37卷，增刊红外与激光工程2008年6月V ol.37SupplementInfrared and Laser EngineeringJun.2008收稿日期：2008-04-13作者简介：范晋祥(66)，男，山西太原人，研究员，主要研究方向为红外系统与应用技术研究。

：f jx 5@63目标与场景的红外特性建模与仿真软件的发展范晋祥，岳艳军（中国航天科技集团公司八院八部，上海200233）摘要：目标与场景的红外特性建模与仿真是红外成像仿真与红外成像系统性能评估的一项关键的支撑技术。

近20多年来国外已经系统地建立了对各种目标和背景环境及干扰的红外辐射特性的建模、仿真方法，并开发了多种专用软件和商用软件。

综述了国外近年来发展的主要的目标与场景的红外辐射特性建模与仿真软件。

关键词：红外成像系统；红外成像仿真；红外特性；建模与仿真中图分类号：T N216;TP391.9;TJ765.3+33文献标识码：A文章编号：1007-2276(2008)增(红外)-0389-08Development of software for modeling and simulation of targetand scene ′s infr ared signatureFAN Jin-xiang,YUE Yan-jun(The Eighth System Design Department of the Ei ghth Research Academy of CASC,Shanghai 200233,China)Abstr act:The modeling and simulation of target and scene ′s infrared signature is a key technology for infrared imaging simulation and infrared imaging system ′s performance e valuation.In recent twenty years,various modeling and simulation methods as well as software for target and scene ′s infrared signature have been established abroad.In this paper,the current status of modeling and sim ulation methods are reviewed,software for target and scene ’s infrared signature been developed recently abroad.Key wor ds:Infrared imaging system ;Infrared im aging simulation;Infrared signature;Modeling and simulation0引言红外成像仿真涉及到目标与场景的红外特性建模与仿真技术、红外场景投影器技术、实时场景生成计算机技术等关键技术。

第21卷 第1期计 算 机 仿 真2004年1月 文章编号:1006-9348(2004)01-0096-03场景红外成像仿真原理和应用姚涛,李一凡(中科院沈阳自动化所,辽宁沈阳110016)摘要:根据红外成像理论,分析了各种因素对红外辐射的影响,提出了红外图像计算机仿真的原理与方法,给出了红外辐射的计算公式。

介绍了一种红外图像的计算机软件,并给出了仿真结果。

关键词:红外辐射;红外图像;仿真中图分类号:TP391.9 文献标识码:A1 引言红外制导系统根据不同背景下的目标红外辐射来跟踪目标,对红外制导系统进行性能评价,需进行大量试验。

但是这种试验既费钱又费时,而且不能经历各种可能的应用场合,所以有必要通过计算机实现红外系统的在线实物仿真。

其中如何生成一个准确逼真而且能够反映各种气象条件、各种红外电磁干扰的红外场景图像,是整个仿真系统的关键环节。

与可见光图像的成像机理不一样,红外探测器通过接收场景的红外辐射(主要在3~5微米或者8~14微米波段的范围内)成像。

影响红外成像的因素很多,包括大气辐射、环境辐射、大气对红外辐射的衰减等等,这些决定了红外图像的仿真的难度和复杂的计算度。

本文分析了红外成像的原理,研究了一般情况下的背景辐射,给出了辐射计算公式,结合SensorVision仿真软件介绍了红外场景的生成方法,并给出了仿真结果。

2 红外成像的仿真原理自然界中的一切物体,只要它的温度高于绝对温度(-273 )就存在分子和原子无规则的运动,其表面就不断地辐射红外线。

红外线是一种电磁波,它的波长范围为0.78~ 1000 m,实际物体的辐射度除依赖于温度和波长外,还与构成该物体的材料性质及表面状态等因素有关,其红外辐射可由基尔霍夫定律求得。

到达地面的太阳辐射是由太阳直接辐射和散射辐射两部分组成。

太阳的大部分辐射落在光谱的可见光部分,在短波紫外线区急剧地下降,而在红外线区则下降得非常缓慢。

太阳辐射经过大气层时,一部分被大气层中的水蒸气、二氧化碳和尘埃等物质吸收,导致低空大气层产生热辐射;一部分被云层中的尘埃、冰晶及微小水珠等反射和折射,形成散射辐射;而太阳辐射中的绝大部分是沿直线透过大气层到达地球表面,形成直接辐射。

第39卷　第3期吉林大学学报(信息科学版)Vol.39　No.32021年5月Journal of Jilin University (Information Science Edition)May 2021文章编号:1671⁃5896(2021)03⁃0276⁃06基于仿生视觉机制的红外与可见光图像融合收稿日期:2021⁃01⁃15基金项目:国防科工局稳定支持经费基金资助项目作者简介:陈松(1981 ),男,西安人,中国兵器工业试验测试研究院副研究员,主要从事武器外弹道光电测试技术研究,(Tel)86⁃138********(E⁃mail)8708733@;通讯作者:王西泉(1983 ),男,山东菏泽人,中国兵器工业试验测试研究院工程师,主要从事靶场测控总体技术㊁雷达外弹道测试技术及遥测技术研究,(Tel)86⁃139********(E⁃mail)wxq_1003@㊂陈　松,王西泉,陈俊彪(中国兵器工业试验测试研究院测试技术研究中心,陕西华阴714200)摘要:为实现红外图像与可见光图像的融合,设计了以响尾蛇的视觉成像机制为基础的红外图像与可见光图像融合神经网络结构㊂首先根据双模式细胞的6种响应模式,得到红外和可见光图像的6种响应结果,然后以视觉感受野数学模型为基础,将6种双模式细胞响应输入到由ON 对抗系统和OFF 对抗系统组成的双层网络结构中,最后输出R㊁G 和B 3个通道的映射值及伪彩色图像增强结果㊂分别对4组经过配准的红外和可见光图像进行融合,将该方法融合结果与经典的Waxman 方法融合结果进行了对比,实验结果表明,所设计的网络结构得到的融合图像效果较好,信息熵和平均梯度均优于经典的Waxman 方法融合结果㊂关键词:仿生;红外图像;可见光图像;图像融合中图分类号:TN911.73文献标识码:AInfrared and Visible Image Fusion Based on Bionic Vision Imaging MechanismCHEN Song,WANG Xiquan,CHEN Junbiao(Test Technology Research Center,Norinco Group Testing and Research Institute,Huayin 714200,China)Abstract :In order to realize the fusion of infrared image and visible image,a neural network structure of infrared image and visible image fusion based on the visual imaging mechanism of rattlesnake is designed.Firstly,according to the six response modes of dual⁃mode cells,six response results of infrared and visible image are obtained.Then,based on the mathematical model of visual receptive field,the neural network structure of infrared image and visible image fusion is designed,and six kinds of dual⁃mode cell responses are input into a two⁃layer network structure composed of on countermeasure system and off countermeasure system.Finally,the mapping values of R,G and B channels and the pseudo color image enhancement results are output.Four groups of registered infrared and visible images are fused respectively.And the fusion results are compared with the classical Waxman method.The experimental results show that the fusion image effect of the designed network structure is better,and the information entropy and average gradient are better than the classical Waxman method.Key words :bionics;infrared image;visible image;image fusion0　引　言传统的图像融合技术研究主要集中在像素级㊁特征级和决策级算法的探索上㊂为追求更好的融合效果,研究者不断加大算法的复杂度,同时寻求更加合适的数学理论作为融合的依据[1⁃3]㊂生物学的进步为图像融合的研究提供了新思路㊂1953年Kuffler [4]证明了两种基本受域类型的存在:ON 中心OFF 环绕(ON⁃Center /OFF⁃Surround )受域和OFF 中心ON 环绕(OFF⁃Center /ON⁃Surround )受域㊂1978年Hartline 等[5]通过电生理方法全面研究了蝮蛇(响尾蛇属于蝮亚科)的视觉与红外感知能力,指明了可见光和红外感知神经元在其视顶盖的分布位置并确定了双模式细胞的存在㊂Hodgkin [6]提出了描述中心⁃环绕对抗受域神经网络的被动膜方程㊂响尾蛇的视顶盖不仅接收视网膜传来的信息,还能接收声音信息和触觉信息㊂Newman 等[7]在1981年指出响尾蛇视顶盖双模式细胞能同时接收红外和可见光图像的信息,并自动将它们进行图像配准㊂响尾蛇对环境的感知来自可见光和红外图像融合后的图像信息,对红外和可见光信号的处理是6种双模式细胞协同作用㊂中国科学院生物所对蝮蛇进行了行为学研究,并通过部分感官屏蔽的实验证明红外和可见光信息对目标识别与定位有一定的协作加成和对侧抑制的作用[8]㊂在上述生物学研究的基础上,研究者们进行了基于效果的仿生红外与可见光图像融合,Waxman 等[8]利用模仿响尾蛇双模式细胞工作原理的视觉感受野模型,提出了微光和红外图像的融合结构㊂有研究者将响尾蛇的6种双模式细胞的数学模型和Waxman 融合结构应用于多波段图像假彩色融合[9⁃10]和通过改进融合结构实现红外和可见光的伪彩色融合[11⁃13]㊂笔者使用中心⁃环绕对抗受域的被动膜方程模拟双模式细胞的融合,设计了基于融合效果的仿响尾蛇视觉成像系统的图像融合算法,并与经典的Waxman 设计的算法进行了比较,取得了比较满意的效果㊂1　仿生视觉成像机制数学模型1.1　响尾蛇的双模式细胞机制研究发现,在生物系统中存在许多处理多源信息的神经网络结构㊂在响尾蛇视顶盖中,Hartline 等[5]发现了处理可见光和红外信息的6种双模式细胞:可见光增强红外细胞,可见光抑制红外细胞,红外增强可见光细胞,红外抑制可见光细胞,AND (与)和OR(或)细胞㊂这些细胞会对可见光信息或红外信息中的任意一种或是同时对两种产生响应㊂通过组合6种双模式细胞的不同非线性响应方式,可以构成响尾蛇视觉系统中可见光和红外信息的融合结构㊂如根据不同的目标和环境采用不同的图像融合方法,则有利于发展适合人眼观察的图像融合理论㊂6种双模式细胞的数学模型[10]如下㊂可见光增强红外细胞I V ↑IR (i ,j )=I IR (i ,j )exp[I V (i ,j )](1)其中I V ↑IR (i ,j )为可见光增强红外后的图像㊂可见光抑制红外细胞I V ↓IR (i ,j )=I IR (i ,j )log[I V (i ,j )](2)其中I V ↓IR (i ,j )为可见光抑制红外后的图像㊂红外增强可见光细胞I IR↑V (i ,j )=I V (i ,j )exp[I IR (i ,j )](3)其中I IR↑V (i ,j )为红外增强可见光信号后的图像㊂红外抑制可见光细胞I IR↓V (i ,j )=I V (i ,j )log[I IR (i ,j )](4)其中I IR↓V (i ,j )为红外信号抑制可见光信号的结果㊂AND(与)细胞:当红外信号和可见光信号同时存在时,细胞才产生明显的响应㊂因此用加权与模拟可见光图像和红外图像的共同作用㊂1)当I V (i ,j )<I IR (i ,j )时,融合结果为I AND (i ,j )=mI V (i ,j )+nI IR (i ,j )(5) 2)当I V (i ,j )>I IR (i ,j )时,融合结果为I AND (i ,j )=nI V (i ,j )+mI IR (i ,j )(6)其中m >0.5,n <0.5,I AND (i ,j )为红外图像和可见光图像的加权与作用㊂772第3期陈松,等:基于仿生视觉机制的红外与可见光图像融合OR(或)细胞:可见光信号或红外信号的任意一种或两种都存在时,细胞都会产生明显的响应㊂所以用加权或模拟可见光图像和红外图像的共同作用㊂1)当I V (i ,j )<I IR (i ,j )时,融合结果为I OR (i ,j )=nI V (i ,j )+mI IR (i ,j )(7) 2)当I V (i ,j )>I IR (i ,j )时,融合结果为I OR (i ,j )=mI V (i ,j )+nI IR (i ,j )(8)其中m >0.5,n <0.5,I OR (i ,j )为可见光图像和红外图像的加权或作用㊂1.2　视觉感受野的数学模型图1　感受野模型Fig.1　Receptive field model 基于生物视觉研究结果,视网膜中一个神经元的反应区域叫做感受野,神经元从功能上分为兴奋和抑制两种作用[10],视觉神经细胞的感受野分为两种,如图1所示,用同心圆表示这两种感受野,中心正号环绕负号的为ON 中心⁃OFF 环绕感受野,中心负号环绕正号的为OFF 中心⁃ON 环绕感受野,正号表示兴奋作用,负号表示抑制作用㊂ON 中心⁃OFF 环绕对抗系统的输出为[6]X ij =EC k (i ,j )-S k (i ,j )A +C k (i ,j )+S k (i ,j )(9) OFF 中心⁃ON 环绕对抗系统的输出为X ij =E S k (i ,j )-C k (i ,j )A +C k (i ,j )+S k (i ,j )(10)其中C k (i ,j )和S k (i ,j )分别为兴奋输入图像㊁抑制输入图像与高斯函数的卷积,A 为衰减常数,E 为极化常数㊂C k (i ,j )为受域兴奋区域C k (i ,j )=I k (i ,j )*W c (i ,j )=12πσ2c ∑m ,n I k (i -m ,j -n )e (-(m 2+n 2)/(2σ2c ))(11)S k (i ,j )为受域抑制区域S k (i ,j )=I k (i ,j )*W s (i ,j )=12πσ2s ∑p ,q I k (i -p ,j -q )e (-(p 2+q 2)/(2σ2s ))(12)其中I k (i ,j )为输入图像,*为卷积算子,W c ㊁W s 分别为中心区域和环绕区域的高斯分布函数,高斯模板大小分别为m ×n 和p ×q ,σc ㊁σs 分别为中心和环绕区域的空间常数㊂2　Waxman 融合神经网络经典的融合神经网络是由Waxman 等[8]在生物学理论基础上建立的,如图2所示㊂图2　Waxman 融合神经网络Fig.2　Waxman fusion neural network 第1阶段得到红外图像的ON 和OFF 增强结果,可见光图像的ON 增强结果;第2阶段为融合阶段,ON 对抗系统增强可见光信号后分别馈入两个ON 对抗系统的兴奋中心细胞,红外图像的OFF 和ON 增强图像则分别馈入相应神经元的环绕抑制细胞,得到了两个融合信号㊂这两个信号分别模拟了红外增强872吉林大学学报(信息科学版)第39卷可见细胞响应和红外抑制可见细胞响应㊂最后将得到的3个信号分别映射到R㊁G㊁B 3个通道,形成了假彩色融合图像[14]㊂3　笔者图像融合视觉神经网络结构笔者使用中心⁃环绕对抗受域的被动膜方程模拟双模式细胞的融合,融合结构如图3所示㊂该融合网络结构分为5个阶段:第1阶段,分别利用6种仿双模式细胞的数学模型对可见光和红外图像进行或㊁与㊁红外增强可见光㊁红外抑制可见光㊁可见光增强红外㊁可见光抑制红外的处理,得到OR,AND,IR↑V ,IR↓V ,V ↑IR,V ↓IR 的图像信息,分别表示为f 1,f 2,f 3,f 4,f 5,f 6;第2阶段,对f 1,f 3,f 5进行受域兴奋处理,得到C (f 1),C (f 3),C (f 5),对f 2,f 4,f 6进行受域抑制处理,得到S (f 2),S (f 4),S (f 6);第3阶段,把C (f 1)和S (f 2)信息分别馈入到ON⁃中心型对抗受域的中心和环绕区域,得到X 1,把C (f 3)和S (f 4)信息分别馈入到ON ⁃中心型对抗受域的中心和环绕区域,得到X 2,把C (f 5)和S (f 6)信息分别馈入到OFF⁃中心型对抗受域的中心和环绕区域,得到X 3;第4阶段,对X 1,X 3进行受域抑制处理,得到S (X 1),S (X 3),对X 2进行受域兴奋处理,得到C (X 2);第5阶段,把C (X 2)和S (X 1)信息分别馈入到ON⁃中心型对抗受域的中心和环绕区域,输出结果映射到G 通道,X 2直接映射到B 通道,把C (X 2)和S (X 3)信息分别馈入到ON⁃中心型对抗受域的中心和环绕区域,输出结果映射到R 通道,得到了假彩色融合图像㊂图3　笔者图像融合视觉神经网络结构Fig.3　The proposed structure of image fusion visual neural network 4　实验与结果分析笔者对4组可见光图像和红外图像进行了融合实验,图4为4幅可见光图像,图5为对应的红外图像㊂图6为Waxman 融合结果,图7为笔者提出的方法对图4和图5所示4组源图像进行融合的结果㊂在实验过程中发现空间常数σc ㊁σs 取较小数值,激化常数E 取较大数值时实验效果较好,F 取值的大小对结果影响很小㊂图6和图7中的实验结果是σc 取7,σs 为60,高斯模版大小为3×3,E 为800时得到的㊂图4　可见光图像Fig.4　Visible light images 972第3期陈松,等:基于仿生视觉机制的红外与可见光图像融合图5　红外图像Fig.5　Infrared image 图6　Waxman 图像融合结果Fig.6　Waxman fusion image图7　笔者算法融合图像Fig.7　Improved fusion image results从实验结果可以看出,Waxman 算法的融合图像几乎包含了可见光图像的细节信息,但目标信息并不突出㊂主要原因是虽然对红外信号分别进行了OFF 对抗和ON 对抗增强并传入神经节细胞的环绕区域,但实质仍是抑制信号,所以红外信号对可见光信号的增强并不明显㊂由图7可见,笔者的融合图像与Waxman 经典融合结构的处理结果相比较,目标更为突出,细节信息也较好㊂表1为两种方法图像融合后的性能指标㊂从表1可以看出,笔者的方法优于经典Waxman 方法㊂表1　融合性能指标比较Tab.1　Comparison of fusion performance indicators红外和可见光图像组a 组融合结果Waxman 算法笔者方法b 组融合结果Waxman 算法笔者方法c 组融合结果Waxman 算法笔者方法d 组融合结果Waxman 算法笔者方法信息熵 5.82607.1842 5.84726.9685 5.8152 6.9676 6.2542 6.8742平均梯度0.00440.00900.00440.01050.00550.01070.00730.0129仿真时间/s1.0433 1.44290.9920 1.53510.9553 1.44700.7750 1.08965　结　语笔者设计的图像融合神经网络基于仿生视觉成像机制,从融合结果可以看出,融合图像结合了可见光图像细节清晰和红外图像热辐射信息的优点,既能看到可见光图像中的细节,又能看到被烟雾数目遮082吉林大学学报(信息科学版)第39卷挡的人物,采用信息熵和平均梯度对融合结果进行了评价,信息熵和平均梯度越大,表明融合效果越好㊂参考文献:[1]DIAN Renwei,LI Shutao,SUN Bin,et al.Recent Advances and New Guidelines on Hyperspectral and Multispectral ImageFusion [J].Information Fusion,2021,69:1⁃29.[2]XU H,WANG X,MA J.DRF:Disentangled Representation for Visible and Infrared Image Fusion [J].IEEE Transactions onInstrumentation and Measurement,2021,182:5006713.[3]DURGA PRASAD BAVIRISETTI,RAVINDRA DHULI.Fusion of Infrared and Visible Sensor Images Based on AnisotropicDiffusion and Karhunen⁃Loeve Transform [J].IEEE Sensors Journal,2016,16(1):203⁃209.[4]KUFFLER S W.Discharge Patterns and Functional Organization of Mammalian Retina [J].J Neurophysiol,1953,16(1):37⁃68.[5]HARTLINE P H,KASS L,LOOP M S.Merging of Modalities in the Optic Tectum:Infrared and Visual Integration inRattlesnakes [J].Science,1978,199(4334):1225⁃1229.[6]HODGKIN A L.A Quantitative Description of Membrane Current and Its Application to Conduction and Excitation in Nerve[J].Phys Lond,1952,11(7):500⁃544.[7]NEWMAN E A,HARTLINE P H.Integration of Visual and Infrared Information in Bimodal Neurons of the Rattlesnake OpticTectum [J].Science,1981,213:789⁃791.[8]WAXMAN A M,GOVE A,FAY D A.Color Night Vision:Opponent Processing in the Fusion of Visible and IR Image [J].Neural Networks,1997,10(1):1⁃6.[9]张阵.红外与微光图像彩色融合仿生算法的研究与实现[D].武汉:武汉理工大学信息工程学院,2018.ZHANG Zhen.Research and Implementation of Bionic Algorithm for Color Fusion of Infrared and Low Light Level Image [D].Wuhan:School of Information Engineering,Wuhan University of Technology,2018.[10]荆绍威.多波段图像仿生假彩色融合技术研究[D].太原:中北大学信息与通信工程学院,2009.JING Shaowei.Study of Bionic False Color Fusion of Multi⁃Band Image [D ].Taiyuan:School of Information and Communication Engineering,North China University,2009.[11]王勇,王宇庆,马娇.改进的响尾蛇双模式细胞模型的图像融合[J].光学精密工程,2016,24(11):2848⁃2854.WANG Yong,WANG Yuqing,MA Jiao.Improved Rattlesnakes Dual Mode Cell Model of Image Fusion [J].Optics and Precision Engineering,2016,24(11):2848⁃2854.[12]WANG Yong,LIU Hongqi.Full Quaternion Based Color Image Fusion [C]∥Proceedings of 2018IEEE InternationalConference on Mechatronics and Automation.Changchun,China:IEEE,2018:1340⁃1344.[13]WANG Yong,LIU Hongqi.Pseudo Color Image Fusion Based on Rattlesnake’s Visual Receptive Field Model [C]∥2020IEEE International Conference on Artificial Intelligence and Information Systems (ICAIIS ).Dalian,China:IEEE,2019:596⁃600.[14]倪国强.基于视觉神经动力学的图像融合与处理技术若干新进展[J].激光与红外,2005,35(11):817⁃821.NI Guoqiang.Image Fusion Technology and Its New Development [J].Laser &Infrared,2005,35(11):817⁃821.(责任编辑:张洁)182第3期陈松,等:基于仿生视觉机制的红外与可见光图像融合。

红外-可见光模态通用模型,综述红外-可见光模态通用模型是指一种能够同时处理红外和可见光图像的模型。

这种模型在计算机视觉和图像处理领域具有重要意义，因为红外和可见光图像在不同的波长范围内提供了不同的信息，将它们结合起来可以提高图像处理和分析的效果。

首先，让我们从技术角度来看。

红外-可见光模态通用模型通常利用深度学习技术，如卷积神经网络（CNN）来处理红外和可见光图像。

这种模型需要具备对不同波长的图像进行有效融合的能力，同时保留各自波段的特征。

这就需要模型具备良好的特征提取和融合能力，以及对不同波段图像的适应性。

其次，从应用角度来看，红外-可见光模态通用模型在许多领域有着广泛的应用，比如军事侦察、安防监控、医学影像等。

在军事侦察领域，红外图像可以穿透烟雾、雾气等障碍物，而可见光图像则能提供更丰富的细节信息，将两者结合可以提高目标识别和追踪的效果。

在医学影像领域，红外和可见光图像的结合可以帮助医生更准确地诊断疾病，特别是在皮肤病诊断和乳腺肿瘤检测方面有着潜在的应用前景。

此外，从研究角度来看，红外-可见光模态通用模型的发展也涉及到跨学科的研究。

它需要计算机视觉、光学、信号处理等多个学科的知识相结合，以解决红外和可见光图像融合的技术难题。

同时，它也需要不断地进行数据采集、模型训练和优化，以适应不同应用场景的需求。

综上所述，红外-可见光模态通用模型是一种具有重要意义的图像处理模型，它涉及到技术、应用和跨学科研究等多个方面。

随着深度学习技术的不断发展和跨学科研究的深入，相信红外-可见光模态通用模型在未来会有更广泛的应用和更深入的研究。