第45卷第2期燕山大学学报Vol.45No.22021年3月Journal of Yanshan UniversityMar.2021㊀㊀文章编号:1007-791X (2021)02-0160-08基于FPGA 的红外成像系统及图像处理算法高美静1,2,∗,彭春阳1,李时雨1,张博智1,祖振龙1(1.燕山大学信息科学与工程学院,河北秦皇岛066004;2.河北省特种光纤与光纤传感重点实验室,河北秦皇岛066004)收稿日期:2019-10-11㊀㊀责任编辑:孙峰基金项目:国家重点研发计划资助项目(2019YFC1407900);国家自然科学基金资助项目(61971373);河北省自然科学基金资助项目(F2019203440)作者简介:∗高美静(1977-),女,天津人,博士,教授,博士生导师,主要研究方向为光电成像技术㊁光电测试与仪器㊁工业无损检测技术,Email:gaomeijing@㊂摘㊀要:红外成像技术一直是光电子领域的热点课题,由于受红外自身成像特点㊁红外探测器件工艺限制及成像环境的影响,导致红外图像噪声大㊁对比度低,造成红外图像待测目标模糊㊁图像信噪比较低㊁无法有效识别目标等问题㊂同时,传统红外图像处理系统往往无法在提升红外视频图像质量的同时兼顾图像处理速度㊂因此为提升硬件条件下的红外图像质量和图像处理速度,本文采用FPGA 作为红外图像处理系统核心处理器,搭建集图像采集㊁视频解码㊁数据缓存及显示等功能的红外图像成像系统,并基于该系统提出一种改进的红外图像处理算法提升红外图像质量,包括改进的中值滤波算法㊁伽马变换与直方图均衡化组合算法以及改进的伪彩色变换算法㊂仿真和系统实验结果表明本文提出的红外图像处理算法可以有效地改善红外成像质量并保持红外图像的处理速度,提升了红外成像系统的性能㊂关键词:红外图像处理;中值滤波;伪彩色变换;红外成像系统;FPGA中图分类号:TP751.2㊀㊀文献标识码:A㊀㊀DOI :10.3969/j.issn.1007-791X.2021.02.0090㊀引言近年来,红外成像技术发展迅速,红外成像系统在军事㊁航空航天㊁工业生产㊁通信及医学等领域得到诸多的应用[1-3]㊂相较于可见光成像领域,由于当前红外传感器工艺技术缺陷和红外成像特性,红外图像噪声较高㊁图像对比度较小,使得红外图像质量往往并不理想,而且在红外图像处理领域并没有形成完善的理论体系[4]㊂同时,对于红外系统整体而言,红外成像系统往往无法在提升红外成像效果的同时兼顾图像的处理速度,为此,本文首先研究改进的红外图像处理方法,包括一种改进的中值滤波算法去除图像噪声;一种伽马变换与直方图均衡化组合算法对红外图像进行增强;一种改进的红外图像伪彩色变换算法提高人眼视觉效果㊂然后基于FPGA 搭建了硬件系统,并完成了改进的红外图像处理算法的硬件实现㊂以FPGA 为核心处理器的红外系统不仅具有体积小㊁可靠性强㊁重量轻等ASIC 芯片的特点,还具有并行执行㊁开发周期短㊁成本低㊁编程升级灵活等特点[5]㊂仿真数据和实验结果表明了本文红外图像处理算法的优越性和系统的有效性㊂1㊀改进的红外图像处理算法本章研究了一种改进的红外图像处理方法,包括改进的中值滤波算法㊁伽马变换与直方图均衡化的组合算法以及改进的伪彩色变换算法,用于完成图像的去噪㊁增强和伪彩色变化功能,获取在图像质量上优于传统算法处理后的红外图像㊂图1为该算法的流程图㊂1.1㊀改进的中值滤波算法传统的基于3ˑ3模板的中值滤波算法虽然能对噪声进行有效的滤除,但是该算法每处理一个第2期高美静等㊀基于FPGA 的红外成像系统及图像处理算法161㊀像素时,会重复利用邻域内的6个像素,占据模板像素个数的2/3㊂这意味着系统每次进行中值滤波时会进行一半的重复操作[6]㊂所以,本文提出一种改进的快速中值滤波算法,其原理图如图2所示㊂B2㊁C2为待处理的像素,改进的中值滤波算法执行的步骤为:1)取3ˑ4模板中对角线上的像素值,A1㊁C1㊁B2㊁C1㊁C3和B1㊁D1㊁C2㊁B3㊁D3㊂2)比较步骤(1)中两条对角线灰度值的大小,分别得出中值:Med_dia1和Med_dia2㊂3)将步骤(2)中得到的中值Med_dia1和Med _dia2,分别与剩下的两个像素A2和D2进行比较,得出Med1和Med2㊂4)将Med1和Med2替换模板内待处理的B2和C2,完成滤波过程㊂图1㊀红外图像处理算法流程图Fig1㊀Infrared image processing algorithmflowchart图2㊀改进的中值滤波算法原理Fig.2㊀Improved median filtering algorithm principle㊀㊀为了验证算法的有效性,采集实验室人员作为待处理红外图像,图3为改进中值滤波算法㊁传统中值滤波算法和冒泡法分别对带有椒盐噪声的图像的处理结果图㊂改进中值滤波算法在处理带有椒盐噪声的图像时,既保证了图像的清晰度,又消除了大部分图像噪声,处理效果与传统中值滤波算法在处理结果目视上一致㊂但是,从算法的复杂度来看,改进算法的相关度较传统算法降低50%,既减少了重复操作的次数,又降低了比较次数,增强了算法的实时性,更适合硬件平台的实现㊂表1是不同中值滤波算法复杂度的比较㊂假如算法比较一次消耗时间为20ns,如果一幅640ˑ480像素的待处理红外图像,3种算法消耗的时间约为2.211s㊁1.290s 与0.614s;如果是一幅2560ˑ1080像素的待处理红外图像,3种算法消162㊀燕山大学学报2021耗的时间约为19.906s㊁11.612s 与5.616s㊂算法消耗时间随图像中像素个数增加呈线性变化,如果待处理为多帧图像甚至是视频流,算法处理过程消耗的时间差别更为明显,由此可见,本文提出的算法的实时性最好㊂图3㊀不同算法处理后的效果对比图Fig.3㊀Comparison of the effects of different algorithms表1㊀不同算法的复杂度比较Tab.1㊀Comparison of the complexity of different algorithms滤波方法窗口周期比较次数滑动步长冒泡中值滤波3ˑ32721传统中值滤波3ˑ32421改进中值滤波3ˑ41202㊀㊀表2给出了采用冒泡法㊁传统中值滤波算法和改进中值滤波算法的峰值信噪比,PSNR0代表原始红外图像经3种方法处理后的峰值信噪比,PSNR1代表原始红外图像添加10%椒盐噪声后3种方法处理结果峰值信噪比㊂可见在两种情况下,本文改进的中值滤波算法的峰值信噪比最低,本文提出的改进方法是有效的㊂表2㊀不同算法处理结果峰值信噪比Tab.2㊀PSNR of different filtering algorithms冒泡法传统中值滤波改进中值滤波PSNR031.322130.910729.9851PSNR115.834215.55215.526㊀㊀本文改进的中值滤波算法的效果总结为三点:第一是算法复杂度低,该算法采用3ˑ4缓存窗口,窗内进行10次比较即可输出滤波结果;第二是算法耗时少,该算法在对单个红外图像处理时,消耗4个时钟周期;第三是该算法可以滤除大部分椒盐噪声,处理效果与传统中值滤波算法相当㊂综上,本文提出的改进的中值滤波算法是以上几种算法中最优的㊂1.2㊀伽马变换与直方图均衡组合算法完成图像滤波后,为了增强图像细节对比度,需要对红外图像进行图像增强处理,最常用的红外图像增强算法为直方图均衡法,然而传统的直方图均衡化会损伤原图的某些细节,影响图像处理效果[8]㊂考虑到算法应用平台为FPGA,要求算法复杂程度较低且实时性要好,本文提出一种伽马变换与直方图均衡化的组合算法㊂首先对红外图像进行直方图均衡化处理,然后根据该原始图像中要凸显的图像目标的位置与图像细节,来选取不同的伽马值进行伽马变换得到最终的处理结果㊂按照图4所示的原理,本文完成了仿真㊂图5是组合算法处理后的效果图与原图像的对比图㊂从图5中可以看出,组合算法在不损害目标细节的情况下,最大程度地拉伸了背景,增强了对比度,视觉效果明显优于单独的伽马变换和传统的直方图均衡化方法,达到了预期处理目标㊂第2期高美静等㊀基于FPGA的红外成像系统及图像处理算法163㊀图4㊀组合算法原理图Fig.4㊀Schematic diagram of the combined algorithm图5㊀组合算法处理的效果图Fig.5㊀Effect diagram of the combined algorithm processing1.3㊀改进的伪彩色变换算法传统伪彩色变换算法在处理背景复杂的红外图像时,会造成处理后的图像不清晰,对比度降低[10]㊂因此,本文提出一种改进的伪彩色变换算法㊂算法中各个温度区间的映射关系为R(x)=255x/2t㊀㊀xɤ2t2552t<xɤ4t {,(1) G(x)=255x/4t,(2)B(x)=255x/5t㊀㊀㊀㊀xɤt255(2t-x)/5t t<xɤ2t02tɤxɤ3t 255(x-3t)/t3tɤx<4tìîíïïïïïï,(3)式中,R㊁G和B分别代表图像的红㊁绿和蓝色分量,t为图像灰度级阈值,映射图如图6所示㊂图6(a)表示传统伪彩色灰度级彩色映射关系,而图6(b)为改进的灰度级彩色映射关系㊂图6㊀伪彩色变换映射关系Fig.6㊀Pseudo color transformation mapping164㊀燕山大学学报2021㊀㊀按照图6所示对红外图像进行仿真处理,处理结果如图7所示㊂可以看出传统的伪彩色变化算法在处理红外图像时,会造成图像清晰度下降,对比度降低,而新方法测量后的图像色彩变化连续,温度变化又暗到明,细节更为清晰,对比度更高㊂图7㊀伪彩色变换处理效果图Fig.7㊀Pseudo-color transformation processing diagram2㊀基于FPGA 的视频红外成像系统2.1㊀系统结构与功能本文基于FPGA 的红外成像系统,核心控制芯片选用Intel 公司生产CYCLONE Ⅳ系列EP4CE10F17C8型FPGA,红外图像采集部分选用FLIR 公司生产的PHOTON320热成像机芯,视频信号解码芯片采用ADI 公司生产的ADV7180视频解码芯片,图像的缓存芯片采用华邦公司生产的64M SDRAM 芯片,外部显示终端采用的是TFT液晶屏[11]㊂本文系统组成框图如图8所示,系统正常工作时,外部红外摄像头采集到的红外图像信号,经过视频解码芯片解码后,进行缓存与图像处理,随后将视频信号传送到液晶屏进行显示㊂图8㊀基于FPGA 的红外成像系统框图Fig.8㊀FPGA-based infrared imaging system block diagram㊀㊀其中,ADV7180芯片进行寄存器配置,视频解码模块为ITU656视频解码格式[3],ITU 解码模块的有两个功能:1)将视频控制信号与视频有效数据信号分离,并且通过计算行列坐标,确定像素的第2期高美静等㊀基于FPGA 的红外成像系统及图像处理算法165㊀具体位置㊂2)通过计算水平像素坐标,将图像分辨率修改为640ˑ480以便在TFT 中显示㊂SDRAM 作为系统的外部存储器用于储存图像[6]㊂显示设备为TFT 数字液晶显示屏,可以直接显示数字视频信号的颜色信息㊂2.2㊀改进的红外图像算法的FPGA 实现完成系统搭建后,需将改进的红外图像算法在系统中实现㊂红外图像的硬件实现流程按照滤波㊁增强和伪彩色变换的顺序进行㊂首先改进的中值滤波算法基于FPGA 的实现方案如图9所示,该方案主要分为两部分:3ˑ4缓存窗口模块以及快速中值滤波模块㊂当外部Tft_de 显示使能信号有效时,首先建立3ˑ4缓存窗口并判断当前像素是否处在奇数列;随后将图像数据送入改进的中值滤波模块完成滤波操作㊂图9㊀改进中值滤波算法实现方案Fig.9㊀Improved median filtering algorithm implementation㊀㊀伽马变换和直方图均衡化组合算法实现主要分为三步:首先建立灰度统计直方图;其次根据统计结果实现统计结果均衡化;最后将均衡化的结果进行伽马变换㊂这种组合增强算法实现算法容易,对红外图像增强的效果好,并且在硬件中资源消耗较低㊂改进的伪彩色变换算法按照图10所示的原理图进行操作㊂经过前期处理后的红外图像灰度值首先经过多路选择器进行温度分区;随后,在不同温度区间进行改进的线性变换;最后,将变换后的数据送给TFT 控制模块用于显示㊂图11为系统伪彩色处理效果图㊂通过系统处理结果与原始红外图像和传统伪彩色变换对比可知,本文搭建的红外成像系统,在最大限度保持目标细节的同时,能够更多地显示背景区域㊁增强图像的对比度,从图像处理视觉效果来看,清晰度㊁对比度要比传统算法好㊂图10㊀改进伪彩色变换算法实现的模块图Fig.10㊀Diagram of improved pseudo color conversion algorithm implementation166㊀燕山大学学报2021图11㊀伪彩色变换效果图Fig.13㊀Pseudo-color transformation effect diagram㊀㊀同时二者在硬件资源上的消耗基本一致,可见,本文提出的改进的伪彩色变换算法,在未增加FPGA 中资源的使用量的情况下,最大限度保持了原始图像的细节,增强了图像的清晰度以及对比度㊂3 结论本文首先针对红外图像噪声多和对比度低的问题提出了改进的红外图像处理方法,包括改进的中值滤波算法㊁伽马变换和直方图均衡化组合算法㊁改进的伪彩色变换算法㊂结果表明改进的中值滤波算法在保持滤波效果的同时减少了代码的复杂程度,缩短了运算时间;组合算法以较小代码量提升了红外图像的对比度,增强了图像细节;改进的伪彩色变换算法在未增加硬件资源消耗的情况下增强了彩色图像的清晰度和视觉效果㊂最后本文搭建了基于FPGA 的红外成像硬件系统并依次实现了红外图像滤波㊁增强和伪彩色变换等功能,并且达到实时处理的要求㊂本文搭建的基于FPGA 的红外成像系统体积小,成本低,性能和实时性较好,可以适应绝大多数应用场合㊂论文的研究对于红外成像系统搭建和红外图像处理领域具有一定的参考价值,虽然整体系统搭建成功,但是依然存在着红外图像处理算法适应性较低,受环境影响大和伪彩色效果评价具有主观性等问题㊂通过后续进一步对这些问题展开研究和实验,有望获得性能更优的红外成像系统㊂参考文献1 ABDEL-MOATI H MORRIS J ZENG Y et al.Near field icedetection using infrared based optical imaging technology J .Optics &Laser Technology 2018 99 402-410.2 WANG C G DUAN S B ZHANG X Y et al.An alternativesplit-window algorithm for retrieving land surface temperature from visible infrared imaging radiometer suite data J .InternationalJournal of Remote Sensing 2019 40 5/6 1640-1654.3 李其昌 李兵伟 王宏臣.非制冷红外成像技术发展动态及其军事应用 J .军民两用技术与产品 2016 21 54-57.LI Q C LI B W WANG H C.Development of uncooled infraredimaging technology and its military application J .Dual UseTechnologies &Products 2016 21 54-57.4 王洋 潘志斌.红外图像降噪与增强技术综述 J .无线电工程 2016 46 10 1-7.WANG Y PAN Z B.Review of de-noise and enhancementtechnology for infrared image J .Radio Engineering 2016 4610 1-7.5 宋奋韬 王梦莹 付志远.FPGA 发展概论 J .科技信息2012 23 145-145.SONG F T WANG M Y FU Z Y.Development introduction ofFPGA J .Science &Technology Information 2012 23145-145.第2期高美静等㊀基于FPGA的红外成像系统及图像处理算法167㊀6李卫王杉魏急波.SDRAM控制器的FPGA设计与实现 J .信息化研究2004 30 10 29-32.LI W WANG S WEI J B.The design and implementation of SDRAM controller with FPGA J .Information Research 2004 30 10 29-32.7韩团军.快速中值滤波算法研究及其FPGA硬件实现 J .电子器件2017 40 3 97-100.HAN T J.Research of fast median filtering algorithm and hardware implementation based on FPGA J .Chinese Journal of Electron Devices 2017 40 3 97-100.8刘恒辉.红外图像处理算法研究及其FPGA实现 D .武汉武汉理工大学2008 6-9.LIU H H.The research and implementation of infrared imaging processing based on FPGA D .Wuhan Wuhan University of Technology 2008 6-9.9高美静芦鑫张春晓.光学微扫描显微热成像系统超分辨力图像处理方法研究 J .燕山大学学报2011 35 1 69-73. GAO M J LU X ZHANG C X.Superresolution image processing for optical microscanning thermal microscope imaging system J .Journal of Yanshan University 2011 35 1 69-73.10陈海飞李一民李勃等.基于FPGA灰度图像伪彩色处理系统的研究 J .云南大学学报自然科学版2009S2 17-19.CHEN H F LI Y M LI B et al.Research on pseudo-color codeing of image based on FPGA J .Journal of Yunnan University Natural Science Edition 2009 S2 17-19.11张仁柱.基于FPGA的红外图像增强系统的研究 D .秦皇岛燕山大学2014 1.ZHANG R Z.Research on infrared image enhancement system based on FPGA D .Qinhuangdao Yanshan University 2014 1.12廖诤张攀颜悦.ADV7180在图像采集嵌入式系统中的应用 J .电视技术2012 36 S2 231-233.LIAO Z ZHANG P YAN Y.Application of ADV7180in image acquisition embedded system J .Television Technology 2012 36 S2 231-233.13DENNIS T J.High quality digital PAL decoding for Single Frames J .Electronics Letters 1998 34 23 2221-2222.Infrared imaging system and image processing algorithm based on FPGA GAO Meijing1 2PENG Chunyang1LI Shiyu1ZHANG Bozhi1ZU Zhenlong11.School of Information Science and Engineering Yanshan University Qinhuangdao Hebei066004 China2.The Key Laboratory for Special Fiber and Fiber Sensor of Hebei Province Qinhuangdao Hebei066004 ChinaAbstract Infrared imaging technology is a hot topic in the field of optoelectronics.Infrared imaging is affected by imaging characteristics infrared detector technology limitations and imaging environment resulting image noise and low image contrast causing target fuzzy low signal-to-noise ratio inability to effectively identify targets and other issues.Under this condition image processing effect and processing speed are difficult to be improved simultaneously.Therefore an infrared processing system and an infrared image processing algorithm are proposed as a solution.FPGA is used in the system to realize functions of image acquisition video decoding data buffering and image display.The image processing algorithm including an improved median filter algorithm a combination algorithm of gamma transform and histogram equalization and an improved pseudo-color transform algorithm is proposed to improve the infrared images quality.Simulation and experiment results show that image processing speed is maintained and image processing results is effectively improved by using the method proposed in this article.Keywords infrared image processing median filter pseudo-color conversion infrared imaging system FPGA。
