基于Retinex理论的低光图像增强算法

第40卷第6期Vol.40　No.6重庆工商大学学报(自然科学版)JChongqingTechnol&BusinessUniv(NatSciEd)2023年12月Dec.2023

基于Retinex理论的低光图像增强算法

史宇飞,赵佰亭

安徽理工大学电气与信息工程学院,安徽淮南232001

摘　要:为了解决低光照图像存在的对比度低、噪声大等问题,提出一种基于Retinex理论的卷积神经网络增强模型(Retinex-RANet)。它包括分解网络、降噪网络和亮度调整网络3部分:在分解网络中融入残差模块(RB)和跳跃连

接,通过跳跃连接将第一个卷积层提取的特征与每一个RB提取的特征融合,以确保图像特征的完整提取,从而得到更准确的反射分量和光照分量;降噪网络以U-Net网络为基础,同时加入了空洞卷积和注意力机制,空洞卷积能提取更多的图像相关信息,注意力机制可以更好地去除反射分量中噪声,还原细节;亮度调整网络由卷积层和Sigmoid层组成,用来提高光照分量的对比度;最后将降噪网络去噪后的反射分量和亮度调整网络增强后的光照分

量融合,得到最终的增强结果。实验结果显示:Retinex-RANet在主观视觉上不仅提高了低光图像的亮度,还提高了色彩深度和对比度,在客观评价指标上,相较于R2RNet,PSNR值上升了4.4%,SSIM值上升了6.1%。结果表明:Retinex-RANet具有更好的低光图像增强效果。

关键词:低光增强;残差模块;注意力机制;Retinex理论

中图分类号:TP391 文献标识码:A doi:10.16055/j.issn.1672-058X.2023.0006.008

收稿日期:2022-06-09　修回日期:2022-07-20　文章编号:1672-058X(2023)06-0061-07基金项目:国家自然科学基金面上项目(52174141);安徽省重点研究与开发计划资助项目(202004A07020043);安徽省自然科学基金面上项目(2108085ME158);安徽高校协同创新项目(GXXT-2020-54).作者简介:史宇飞(1997—),男,安徽安庆人,硕士研究生,从事图像处理研究.通讯作者:赵佰亭(1981—),男,山东枣庄人,教授,博士,从事图像处理、智能控制研究.Email:btzhao@aust.edu.cn.

引用格式:史宇飞,赵佰亭.基于Retinex理论的低光图像增强算法[J].重庆工商大学学报(自然科学版),2023,40(6):61—67.SHIYufei ZHAOBaiting.Low-lightImageenhancementalgorithmbasedonRetinextheory J .JournalofChongqingTechnologyandBusinessUniversity NaturalScienceEdition 2023 40 6 61—67.Low-lightImageEnhancementAlgorithmBasedonRetinexTheorySHIYufei ZHAOBaitingSchoolofElectricalandInformationEngineering AnhuiUniversityofScienceandTechnology AnhuiHuainan232001 China

Abstract Inordertosolvetheproblemsoflowcontrastandhighnoiseoflow-lightimages aconvolutionalneuralnetworkenhancementmodelbasedonRetinextheory Retinex-RANet isproposed.Itincludesthreeparts thedecompositionnetwork thenoisereductionnetwork andthebrightnessadjustmentnetwork.Theresidualmodule RB andthejumpconnectionwereincorporatedintothedecompositionnetwork andthefeaturesextractedbythefirstconvolutionallayerwerefusedwitheachRBextractedfeaturethroughthejumpconnectiontoensurethecompleteextractionoftheimagefeatures resultinginmoreaccuratereflectionandilluminationcomponents.ThenoisereductionnetworkwasbasedontheU-Netnetwork andthecavityconvolutionandattentionmechanismwereaddedatthesametime soastoextractmoreimage-relatedinformation.Theattentionmechanismcanbetterremovethenoiseinthereflectedcomponentandrestorethedetails.ThebrightnessadjustmentnetworkconsistsofaconvolutionallayerandaSigmoidlayer whichisusedtoincreasethecontrastofthelightcomponents.Finally thereflectioncomponentafterdenoisingbythenoisereductionnetworkandthelightcomponentafterthebrightnessadjustmentnetworkwerefusedtoobtainthefinalenhancementresult.ExperimentalresultsshowthatRetinex-RANetnotonlyimprovesthebrightnessoflow-lightimagesinsubjectivevision butalsoimprovesthecolordepthandcontrast.Intermsofobjectiveevaluationindicators comparedwithR2RNet thePSNRvalueincreasedby4.4% andtheSSIMvalueincreasedby6.1%.TheresultsshowthatRetinex-RANethasbetter重庆工商大学学报(自然科学版)第40卷

low-lightimageenhancement.Keywords lowlightenhancement residualsmodule attentionmechanism Retinextheory

1　引　言

在光照不足、不均或者有阴影遮挡等条件下,采集的图像一般都存在噪声过多和对比度弱等问题,而这些问题不但会对图像的品质产生负面影响,还会妨碍一些机器视觉任务的进行。对低光照图像进行增强,有助于提高高级视觉性能,如图像识别、语义分割、目标检测等;也可以在一些实际应用中提高智能系统的性能,如视觉导航、自动驾驶等。因此,对低光图像增强进行研究是十分必要的。低光图像增强方法可分为以下4类:基于直方图均衡化的方法[1],其核心是通过改变

图像部分区域的直方图来达到整体对比度提高的效果。此类方法可以起到提高图像对比度的作用,但是大多数不够灵活,部分区域仍会出现曝光不足和放大噪音等不好的视觉效果。基于去雾的方法[2-3],如一些研究人员[4]利用有雾图像和低光图像之间的相似性,通过已有的去雾算法来增强低光照图像。尽管此类方法得到了较好结果,但此类模型的物理解释不够充分,同时对增强后的图像进行去噪可能会导致图像细节模糊。基于Retinex理论[5]的方法,其将低光图像分解为光照和反射率两部分,在保持反射率一致性的前提下,增加光照的亮度,从而增强图像。此类方法不仅提高了图像的对比度,还降低了噪声带来的的影响,不足之处是要根据经验来人工设置算法的相关参数,并且不能对不同类型图像自适应增强。基于深度学习的方法,Lore等[6]提出的LLNet通过类深度神经网络来识别低光图像中的信号特征并对其自适应增强;Wei等[7]提出的Retinex-Net结合Retinex理论和神经网络进行图像增强;Wang等[8]提出的GLADNet先通过编解码网络对低光图像生成全局照明先验知识,然后结合全局照明先验知识和输入图像,采用卷积神经网络来增强图像的细节。此类基于深度学习的方法均取得了不错的效果,但是大多数方法在增强过程中并没有对噪声进行有效抑制,从而使得增强后的图像出现噪声大、颜色失真等问题。为解决这些问题,提出了Retinex-RANet(Retinex-ResidualsAttentionNet)方法。Retinex-RANet首先在分

解阶段采用残差模块与跳跃连接,通过跳跃连接将第一个卷积层提取的特征与每一个RB提取的特征融合,从而得到更准确的反分量和光照分量。另外,还在降噪网络中加入通道注意力模块和空洞卷积,注意力机制可以更好地去除反射分量中的噪声,还原细节;而空洞卷积能获取更多的上下文信息特征。实验结果表明:Retinex-RANet具有更好的低光图像增强效果。2　模　型

Retinex-RANet模型框图如图1所示。由图1可以

看到:整个网络模型由3个子网络组成,即分解网络、降噪网络以及调整网络,分别用于分解图像、降低噪声和调整亮度。具体地说,首先该算法通过分解网络将低光照图像Sl和正常光图像Sh分解为反射分量(Rl、

Rh)和光照分量(Il、Ih),然后降噪网络将分解的反射分

量Rl作为输入,并使用光照分量Il作为约束来抑制反射分量中的噪声,同时将光照分量Il送入调整网络,来提高光照分量的对比度,最后融合R′和I′得到增强后的图像。

输入Sh分解网络反射分量Rh

光照分量Ih反射分量Rl

光照分量Il分解网络输入Sl降噪网络

调整网络输出R′

I′

Conv+Relu

Conv+Relu

Conv+Relu

Conv

Sigmoid

图1　Retinex-RANet模型结构图Fig.1　Retinex-RANetmodelstructurediagram2.1　分解网络

基于Retinex理论方法的关键是在分解阶段如何得到高质量的光照分量和反射分量,而分解后的结果对后续的增强和降噪操作都会产生影响,因此,设计一个有效的网络对低光图像进行分解是很有必要的。分解网络结构如图2所示。

输入Sl

33Conv+Relu

3?3Conv+Relu

3?3Conv+Relu

3?3Conv+Relu

3?3Conv+Relu

3?3Conv

3?3Conv+Relu

3?3Conv+Relu

3?3Conv+Relu

1?1Conv+Relu

1?1Conv+Relu跳跃连接SC反射分量Rl