下载文档原格式
低光增强算法指标-回复低光增强算法是一种图像处理技术，用于改善在低照度环境下拍摄的图像质量。
它通过增加图像的亮度和对比度来提高画面的可见性。
在本文中，我们将逐步回答有关低光增强算法的指标，包括其原理、常用技术以及评估方法。
一、低光增强算法的原理低光增强算法的目标是提高图像在低照度环境下的可视性。
它采用多种技术来增加图像的亮度和对比度，从而使图像更清晰、更易观察。
这些技术通常涉及灰度拉伸、直方图均衡化、多尺度变换和图像增强滤波等。
灰度拉伸是一种常见的低光增强技术，通过扩展图像的灰度范围来增强图像的明暗细节。
直方图均衡化则是一种统计方法，根据图像的直方图分布特性来增加图像的对比度。
多尺度变换是一种通过将图像分解为不同比例的尺度来提取和增强图像细节的方法。
而图像增强滤波是通过应用滤波器来调整图像的亮度和对比度，以达到增强的效果。
二、常用的低光增强算法技术1. 双边滤波算法：双边滤波算法是一种常用的低光增强算法，它通过保持边缘信息，同时对图像进行平滑处理，以减少噪声的影响。
双边滤波算法能够在增强图像的同时保持图像的细节。
2. 清晰度增强算法：清晰度增强算法通过增加图像的锐度来提高图像质量。
它能够增强图像的细节和边缘，使其更加清晰和鲜明。
3. 深度学习技术：近年来，深度学习技术在低光增强领域取得了显著的成果。
通过使用大量的图像数据进行训练，深度学习模型能够学习到图像的特征，并通过增强细节和对比度来提高图像质量。
三、低光增强算法的评估方法评估低光增强算法的效果是非常重要的，因为它能够帮助我们了解算法的优势和不足之处。
以下是一些常用的评估方法：1. 主观评估：主观评估是一种使用人工主观感觉进行评估的方法。
通过请专家或普通用户对增强后的图像进行观察和评价，从而确定增强算法的效果如何。
主观评估方法通常采用问卷调查或实验室实验来进行。
2. 客观评估：客观评估是一种使用指标和度量方法来评估算法效果的方法。
例如，可以使用图像质量评价指标，如峰值信噪比（PSNR）、结构相似性指标（SSIM）和感知质量评估指标（PQI）等来评估增强算法的效果。
基于Retinex理论的低照度图像自适应增强算法目录1. 内容概览 (3)1.1 研究背景 (3)1.2 研究意义 (5)1.3 文献综述 (6)1.4 本文结构 (7)2. Retinex理论概述 (8)2.1 Retinex理论起源 (8)2.2 Retinex理论核心 (9)2.3 Retinex与其他图像增强算法的区别 (10)3. 低照度图像增强问题分析 (12)3.1 低照度图像的特点 (13)3.2 图像增强的目的与挑战 (13)3.3 现有方法存在的问题 (14)4. 基于Retinex的理论低照度图像自适应增强算法 (15)4.1 算法原理 (16)4.1.1 Retinex与自适应增强的理论联系 (18)4.1.2 算法自适应性的实现手段 (19)4.2 算法关键步骤 (20)4.2.1 光照映射的获取 (21)4.2.2 局部对比度的计算 (22)4.2.3 光照校正和对比度增强 (23)4.3 算法实现细节 (24)4.3.1 光照映射的精确计算 (25)4.3.2 对比度增强的策略 (27)4.3.3 自适应参数的确定 (28)4.4 算法有效性验证 (29)4.4.1 算法精度分析 (30)4.4.2 算法性能测试 (31)5. 实验验证与结果分析 (32)5.1 数据集与实验设置 (34)5.2 对比算法与方法 (35)5.3 实验结果与分析 (36)5.3.1 增强效果 (37)5.3.2 对比算法的比较 (39)5.4 算法存在的问题与改进建议 (40)6. 结论与展望 (42)6.1 研究总结 (43)6.2 未来工作方向 (44)1. 内容概览本文档详细介绍了一种基于Retinex理论的低照度图像自适应增强算法。
该算法旨在解决低照度条件下图像对比度低、细节不清晰等问题，通过自适应地增强图像的亮度和对比度，提高图像的视觉效果。
介绍了Retinex理论的基本原理，该理论认为图像是由光照和反射率两个部分组成的，通过分别处理这两个部分可以实现图像的增强。
改进Retinex⁃Net的低光照图像增强算法欧嘉敏1 胡 晓1 杨佳信1摘 要 针对Retinex⁃Net存在噪声较大㊁颜色失真的问题,基于Retinex⁃Net的分解-增强架构,文中提出改进Ret⁃inex⁃Net的低光照图像增强算法.首先,设计由浅层上下采样结构组成的分解网络,将输入图像分解为反射分量与光照分量,在此过程加入去噪损失,抑制分解过程产生的噪声.然后,在增强网络中引入注意力机制模块和颜色损失,旨在增强光照分量亮度的同时减少颜色失真.最后,反射分量和增强后的光照分量融合成正常光照图像输出.实验表明,文中算法在有效提升图像亮度的同时降低增强图像噪声.关键词 低光照图像增强,深度网络,视网膜大脑皮层网络(Retinex⁃Net),浅层上下采样结构,注意机制模块引用格式 欧嘉敏,胡晓,杨佳信.改进Retinex⁃Net的低光照图像增强算法.模式识别与人工智能,2021,34(1):77-86.DOI 10.16451/ki.issn1003⁃6059.202101008 中图法分类号 TP391.4Low⁃Light Image Enhancement Algorithm Based onImproved Retinex⁃NetOU Jiamin1,HU Xiao1,YANG Jiaxin1ABSTRACT Aiming at the problems of high noise and color distortion in Retinex⁃Net algorithm,a low⁃light image enhancement algorithm based on improved Retinex⁃Net is proposed grounded on the decomposition⁃enhancement framework of Retinex⁃Net.Firstly,a decomposition network composed of shallow upper and lower sampling structure is designed to decompose the input image into reflection component and illumination component.In this process,the denoising loss is added to suppress the noise generated during the decomposition process.Secondly,the attention mechanism module and color loss are introduced into the enhancement network to enhance the brightness of the illumination component and meanwhile reduce the image color distortion.Finally,the reflection component and the enhanced illumination component are fused into the normal illumination image to output.The experimental results show that the proposed algorithm improves the image brightness effectively with the noise of enhanced image reduced.Key Words Low⁃Light Image Enhancement,Deep Network,Retinal Cortex Theory⁃Net,Shallow Up⁃per and Lower Sampling Structure,Attention Mechanism ModuleCitation OU J M,HU X,YANG J X.Low⁃Light Image Enhancement Algorithm Based on Improved Retinex⁃Net.Pattern Recognition and Artificial Intelligence,2021,34(1):77-86.收稿日期:2020-05-12;录用日期:2020-09-17 Manuscript received May12,2020;accepted September17,2020国家自然科学基金项目(No.62076075)资助Supported by National Natural Science Foundation of China(No. 62076075)本文责任编委黄华Recommended by Associate Editor HUANG Hua1.广州大学电子与通信工程学院 广州5100061.School of Electronics and Communication Engineering,Guang⁃zhou University,Guangzhou510006 由于低光照环境和有限的摄像设备,图像存在亮度较低㊁对比度较低㊁噪声较大㊁颜色失真等问题,不仅会影响图像的美学㊁人类的视觉感受,还会降低运用正常光照图像的高级视觉任务的性能[1-3].为了有效改善低光图像质量,学者们提出许多低光照图像增强算法,经历灰度变换[4-5]㊁视网膜皮层理论[6-11]和深度神经网络[12-19]三个阶段.早期,通过直方图均衡[4-5]㊁伽马校正等灰度变换方法对低亮度区域进行灰度拉抻,可达到提高暗区亮度的目的.然而,因为未考虑像素与其邻域像素的关系,灰度变换常会导致增强图像缺乏真实感.第34卷 第1期模式识别与人工智能Vol.34 No.1 2021年1月Pattern Recognition and Artificial Intelligence Jan. 2021Land [6]提出视网膜皮层理论(Retinal CortexTheory,Retinex).该理论认为物体颜色与光照强度无关,即物体具有颜色恒常性.基于该理论,相继出现经典的单尺度视网膜增强算法(Single Scale Retinex,SSR)[7]和色彩恢复的多尺度视网膜增强算法(Multi⁃scale Retinex with Color Restoration,MSR⁃CR)[8].算法主要思想是利用高斯滤波器获取低光照图像的光照分量,再通过像素间逐点操作求得反射分量作为增强结果.Wang 等[9]利用亮通滤波器和对数变换平衡图像亮度和自然性,使增强后的图像趋于自然.Fu 等[10]设计用于同时估计反射和光照分量(Simultaneous Reflectance and Illumination Esti⁃mation,SRIE)的加权变分模型,可有效处理暗区过度增强的问题.Guo 等[11]提出仅估计光照分量的低光照图像增强算法(Low Light Image Enhancementvia Illumination Map Estimation,LIME),主要利用局部一致性和结构感知约束条件计算图像的反射分量并作为输出结果.然而,这些基于Retinex 理论模型的算法虽然可调整低光图像亮度,但增亮程度有限.研究者发现卷积神经网络(Convolutional NeuralNetwork,CNN)[12]与Retinex 理论结合能进一步提高增强图像的视觉效果,自动学习图像的特征,解决Retinex 依赖手工设置参数的问题.Lore 等[13]提出深度自编码自然低光图像增强算法(A Deep Auto⁃encoder Approach to Natural Low Light Image Enhan⁃cement,LLNet),有效完成低光增强任务.Lü等[14]提出多边低光增强网络(Multi⁃branch Low⁃Light En⁃hancement Network,MBLLEN),学习低光图像到正常光照图像的映射.Zhang 等[15]结合最大信息熵和Retinex 理论,提出自监督的光照增强网络.Wei 等[16]基于图像分解思想,设计视网膜大脑皮层网络(Retinex⁃Net),利用分解-增强架构调整图像亮度.Zhang 等[17]基于Retinex⁃Net 设计低光增强器.然而,由于噪声与光照水平有关,Retinex⁃Net 提取反射分量后,图像暗区噪声高于亮区.因此,Retinex⁃Net 的增强结果存在噪声较大㊁颜色失真的问题,不利于图像质量的提升.为此本文提出改进Retinex⁃Net 的低光照图像增强算法.以Retinex⁃Net 的分解与增强框架为基础,针对噪声问题,在分解网络采用浅层上下采样结构[15],利用反射分量梯度项[15]作为损失.同时为了改善增强图像的色彩偏差,保留丰富的细节信息,在增强网络中嵌入注意力机制模块[18]和颜色损失[19].实验表明,本文算法在LOL 数据集和其它公开数据集上取得较优的视觉效果和客观结果.1 改进Retinex⁃Net 的低光照图像增强算法改进Retinex⁃Net 的低光照图像增强算法框图如图1所示.S lowS normalR highI highI lowR lowI end图1 本文算法框图Fig.1 Flowchart of the proposed algorithm87模式识别与人工智能(PR&AI) 第34卷 Retinex理论[6]认为彩色图像可分解为反射分量和光照分量:S=R I.(1)其中: 表示逐像素相乘操作;S表示彩色图像,可以是任何具有不同曝光程度的图像;R表示反射分量,反映物体内在固有属性,与外界光照无关;I表示光照分量,不同曝光度的物体光照分量不同.本文算法主要利用2个相互独立训练的子网络,分别是分解网络与增强网络.具体地说,首先,分解网络以数据驱动方式学习,将低光照图像和与之配对的正常光照图像分解为相应的反射分量(R low, R normal)和光照分量(I low,I normal).然后,增强网络以低光图像的光照分量I low作为输入,在结构感知约束下,提升光照分量的亮度.最后,重新组合增强的光照分量I en与反射分量R low,形成增强图像S en,作为网络输出.1.1 分解网络的浅层上下采样结构由于式(1)是一个不适定问题[20],很难设计适用于多场景的约束函数.本文算法以数据驱动的方式进行学习,不仅能解决该问题,还能进一步提高网络的泛化能力.如图1所示,在训练阶段,分解网络以低光照图像S low和与之对应的正常光照图像S normal 作为输入,在约束条件下学习输出它们一致的反射分量R low和R normal,及不同的光照分量I low和I normal.值得注意的是,S low与S normal共享分解网络的参数.区别于常用的深度U型网络(U⁃Net)结构及Retinex⁃Net简单的堆叠卷积层,本文算法的分解网络是一个浅层的上下采样结构,由卷积层与通道级联操作组成,采样层只有4层,网络训练更简单.实验表明,运用此上下采样结构变换图像尺度时,下采样操作一定程度上舍去含有噪声的像素点,达到降噪效果的目的,但同时会引起图像的模糊.因此为了提高分解图像清晰度,减少语义特征丢失,在图像上采样后应用通道数级联操作,可给图像补偿下采样丢失的细节信息,增强清晰度.在浅层上下采样结构中,首先,使用1个9×9的卷积层提取输入图像S low的特征.然后,采用5层以ReLU作为激活函数的卷积层变换图像尺度,学习反射分量与光照分量的特征.最后,分别利用2层卷积层及Sigmoid函数,将学习到的特征映射成反射图R low和光照图I low后再输出.对于分解网络的约束损失,本文算法沿用Retinex⁃Net的重构损失l rcon㊁不变反射率损失l R及光照平滑损失l I.另外为了在分解网络中更进一步减小噪声,添加去噪损失l d.因此总损失如下:l=l rcon+λ1l R+λ2l I+λ3l d,其中,λ1㊁λ2㊁λ3为权重系数,用于平衡各损失分量.对于L1㊁L2范数和结构相似性(Structural Similarity, SSIM)损失的选择,当涉及图像质量任务时,L2范数与人类视觉对图像质量的感知没有很好的相关性,在训练中容易陷入局部最小值,而SSIM虽然能较好地学习图像结构特征,但对平滑区域的误差敏感度较低,引起颜色偏差[21].因此本文算法使用L1范数约束所有损失.在分解网络中输出的结果R low和R normal都可与光照图重构成新的图像,则重构损失如下:l rcon=∑i=low,normalW1Rlow I i-S i1+∑j=low,normal W2R normal I j-S j1,其中 表示逐像素相乘操作.当i为low或j为normal 时,权重系数W1=W2=1,否则W1=W2=0.001.对于配对的图像,使用较大的权重能够使分解网络更好地学习配对图像的特征.对于配对的图像对,使用较大的权重可使分解网络更好地学习配对图像的特征.不变反射率损失l R是基于Retinex理论的颜色恒常性,在分解网络中主要用于约束学习不同光照图像的一致反射率:l R=Rlow-R normal1.对于光照平滑损失l I,本文采用结构感知平滑损失[16].该损失以反射分量梯度项作为权重,在图像梯度变化较大的区域,光照变得不连续,从而亮度平滑的光照图能保留图像结构信息,则l I=ΔIlow exp(-λgΔR low)1+ΔI normal exp(-λgΔR normal)1,其中,Δ表示图像水平和垂直梯度和,λg表示平衡系数.Rudin等[22]观察到,噪声图像的总变分(Total Variation,TV)大于无噪图像,通过限制TV可降低图像噪声.然而在图像增强中,限制TV相当于最小化梯度项.受TV最小化理论[22-23]启发,本文引入反射分量的梯度项作为损失,用于控制反射图像噪声,故称为去噪损失:l d=λΔRlow1.当λ值增加时,噪声减小,同时图像会模糊.因此对于权重参数的选择十分重要,经过实验研究发现,当权重λ=0.001时,图像获得较好的视觉效果.1.2 增强网络的注意力机制如图1所示,增强网络以分解网络的输出I low作97第1期 欧嘉敏 等:改进Retinex⁃Net的低光照图像增强算法为输入,学习增强I low的亮度,将增强结果I en与分解网络另一输出R low重新结合为增强图像S en后输出.在增强网络中,I low经过多个下采样块生成较小尺度图像,使增强网络有较大尺度角度分配光照,从而具有调节亮度的能力.网络采用上采样方式重构局部光照,对亮的区域分配较低亮度,对较暗的区域调整较高亮度.此外,将上采样层的输出进行通道数的级联,在调整不同局部光照的同时,保持全局光照一致性.而且跳过连接是从下采样块引入相应的上采样块,通过元素求和,强制网络学习残差.针对Retinex⁃Net出现的颜色失真问题,在增强网络中嵌入注意力机制模块.值得注意的是,与其它复杂的注意力模块不同,注意力机制模块由简单卷积层和激活操作组成,不要求强大的硬件设备,也不需要训练多个模型和大量额外参数.在光照调整过程中,可减少对无关背景的特征响应,只激活感兴趣的特征,提高算法对图像细节的处理能力和对像素的敏感性,指导网络既调整图像亮度又保留图像结构.由图1可见,注意力模块的输入是图像特征αi㊁βi,输出为图像特征γi,i=1,2,3,表示注意力机制模块的序号.αi为下采样层输出的图像特征,βi为上采样层的输出特征.这2个图像特征分别携带不同的亮度信息,两者经过注意力模块后,降低亮度无关特征(如噪声)的响应,使输出特征γi携带更多亮度信息被输入到下一上采样层,提高网络对亮度特征的学习能力.αi与重建尺度后的βi分别经过一个独立的1×1卷积层,在ReLU激活之前进行加性操作.依次经过1×1卷积层㊁Sigmoid函数,最后与βi通过逐元素相乘后将结果与αi进行通道级联.在此传播过程中,注意机制可融合不同尺度图像信息,同时减少无关特征的响应,增强网络调整亮度能力.独立于分解网络的约束损失,增强网络调整光照程度是基于局部一致性和结构感知[16]的假设.本文算法除了沿用Retinex⁃Net中约束增强网络的损失外,在实验中,针对Retinex⁃Net出现的色彩偏差,增加颜色损失[19],因此增强网络损失:L=L rcon+L I+μL c,其中,L rcon为增强图像的重构损失,L rcon=Snormal-R low I en1,L I表示结构感知平滑损失,L c表示本文的颜色损失,μ表示平衡系数.L rcon定义表示增强后的图像与其对应的正常光照图像的距离项,结构感知平滑损失L I 与分解网络的平滑损失类似,不同的是,在增强网络中,I en以R low的梯度作为权重系数:L I=ΔIen exp(-λgΔR low)1.此外,本文添加颜色损失L c,衡量增强图像与正常光照图像的颜色差异.先对2幅图像采用高斯模糊,滤除图像的纹理㊁结构等高频信息,留下颜色㊁亮度等低频部分.再计算模糊后图像的均方误差.模糊操作可使网络在限制纹理细节干扰情况下,更准确地衡量图像颜色差异,进一步学习颜色补偿.颜色损失为L c=F(Sen)-F(S normal)21.其中:F(x)表示高斯模糊操作,x表示待模糊的图像.该操作可理解为图像每个像素以正态分布权重取邻域像素的平均值,从而达到模糊的效果,S en为增强图像,S normal为对应的正常光照图像,F(x(i,j))=∑k,lx(i+k,j+l)G(k,l),G(k,l)表示服从正态分布的权重系数.在卷积网络中G(k,l)相当于固定大小的卷积核,G(k,l)=0.æèçç053exp k2-l2öø÷÷6.2 实验及结果分析2.1 实验环境本文算法采用LOL训练集[16]和合成数据集[16]训练网络.测试集选取LOL的评估集㊁DICM数据集㊁MEF数据集.在训练过程中,网络采用图像对训练,批量化大小(Batch Size)设为32,块大小(Patch Size)设为48×48.分解网络的损失平衡系数λ1=0.001,λ2=0.1,λ3=0.001.增强网络的平衡系数μ=0.01,λg=10.本文采用自适应矩估计优化器(Adaptive Moment Estima⁃tion,Adam).网络的训练和测试实验均在Nvidia GTX2080GPU设备上完成,实现代码基于TensorFlow框架.为了验证本文算法的性能及效果,采用如下对比算法:Retinex⁃Net,SRIE[10],LIME[11],MBLLEN[14]㊁文献[15]算法㊁全局光照感知和细节保持网络(Global Illumination⁃Aware and Detail⁃Preserving Net⁃work,GLADNet)[24]㊁无成对监督深度亮度增强(Deep Light Enhancement without Paired Supervision, EnlightenGAN)[25].在实验过程中,均采用原文献提供的模型或源代码对图像进行测试.采用如下客观评估指标:峰值信噪比(Peak Signal to Noise Ratio,PSNR)㊁结构相似性(Structural08模式识别与人工智能(PR&AI) 第34卷Similarity,SSIM)[26]㊁自然图像质量评估(NaturalQuality Evaluator,NIQE)[27]㊁通用图像质量评估(Universal Quality Index,UQI)[28]㊁基于感知的图像质量评估(Perception⁃Based Image Quality Evaluator,PIQE)[29].SSIM㊁PSNR㊁UQI 值越高,表示增强结果图质量越优.相反,PIQE㊁NIQE 值越高,表示图像质量越差.2.2 消融性实验为了进一步验证本文算法各模块的有效性,以Retinex⁃Net 为基础设计消融性实验,利用PSNR 衡量噪声水平,采用SSIM 从亮度㊁对比度㊁结构评估图像综合质量.实验结果如表1所示,表中S⁃ULS 表示浅层上下采样结构,l d 表示去噪损失.Enhan _I low 表示增强网络输入仅为光照分量,AMM 表示注意力机制模块,L c 表示颜色损失.参数微调1表示增强网络的平滑损失系数由原Retinex⁃Net 的3设为1;参数微调2是增强网络的平滑损失系数为1,批量化大小由16设为32.表1 各改进模块及损失的消融性实验结果Table 1 Ablation experiment results of improved modules and loss序号基础框架改进方法PSNRSSIM1-Retinex⁃Net 16.7740.55923Retinex⁃Net 添加S⁃ULS,不添加l d 添加S⁃ULS,添加l d17.45217.4940.6890.699456Retinex⁃Net+S⁃ULS+l d添加Enhan _I low ,不添加AMM,不添加L c 添加Enhan _I low ,添加AMM,不添加L c 添加Enhan _I low ,添加AMM,添加L c17.89718.00218.0910.7030.7080.70478Retinex⁃Net+S⁃ULS+l d +AMM+L c参数微调1参数微调218.27218.5290.7190.720 表1中序号2给出以Retinex⁃Net 为基础,采用浅层上下采样结构作为分解网络的结果.相比Retinex⁃Net,PSNR 值显著提高,表明此结构可抑制由图像分解带来的噪声.在此基础上添加去噪损失,进一步降低噪声,见序号3.由此验证浅层上下采样结构与去噪损失的有效性.在本文算法中,由于采用两步训练的方式,即先训练分解网络后训练增强网络,因此在验证浅层上下采样结构和去噪损失的有效性后,以此为基础评估增强网络引入的注意力机制模块和颜色损失的有效性.在Retinex⁃Net 中增强网络的输入为反射分量与光照分量通道级联后的结果.该设置一定程度上会导致反射分量丢失图像结构和细节,同时影响光照分量的亮度提升.为此,先设置序号4的实验验证上述分析.由结果可见:PSNR㊁SSIM 值大幅提高,证明此分析的正确性,表明本文算法的增强网络仅以光照分量作为输入的有效性.另外,从序号5结果看出,利用注意力模块后,图像噪声显著降低,这归功于注意力模块可减少对图像无关特征的响应,集中注意力学习亮度特征,从而降低图像噪声水平.在颜色损失的消融性实验中,尽管客观数值上没有直观体现颜色的恢复,但根据图2和图3可知,该损失是有效的.为了使各模块更好地发挥优势,本文算法对参数进行微调.从序号7㊁序号8的实验结果可见,微调参数后本文算法各模块作用进一步体现,取得更优结果. (a)输入图像 (b)参考图像 (a)Input image (b)Ground truth18第1期 欧嘉敏 等:改进Retinex⁃Net 的低光照图像增强算法 (c)SRIE (d)LIME (e)GLADNet (f)MBLLEN (g)EnlightenGAN (h)Retinex⁃Net (i)文献[15]算法 (j)本文算法 (i)Algorithm in reference[15] (j)The proposed algorithm图2 各算法在LOL数据集上的视觉效果Fig.2 Visual results of different algorithms on LOLdatasetA B C D(a)输入图像(a)Inputimages(b)LIME(c)GLADNet28模式识别与人工智能(PR&AI) 第34卷(d)MBLLEN(e)EnlightenGAN(f)Retinex⁃Net(g)文献[15]算法(g)Algorithm in reference[15](h)本文算法(h)The proposed algorithm图3 各算法在DICM㊁MEF数据集上的视觉效果Fig.3 Visual results of different algorithms on DICM and MEF datasets38第1期 欧嘉敏 等:改进Retinex⁃Net的低光照图像增强算法2.3 对比实验各算法在3个数据集上的客观评估结果如表2所示,表中黑体数字表示最优结果,斜体数字表示次优结果.在LOL 数据集上,SSIM 可从亮度㊁对比度㊁结构度量2幅图像相似度,与人类视觉系统(Human Vision System,HVS)具有较高相关性[21,30],可较全面体现图像质量.从表2可见,在SSIM㊁UQI 指标上,本文算法取得最高数值,表明低光照图像经本文算法增强后图像质量得到明显提升.从图2和图3发现,本文算法也提升视觉效果的表现力.由表2的LOL 数据集上结果可知,在PSNR 指标上,本文算法总体上优于先进算法.根据文献[21]㊁文献[30]和文献[31]的研究,PSNR 指标因为容易计算,被广泛用于评估图像,但其计算是基于误差敏感度,在评估中常出现与人类感知系统不一致的现象,因此与图像主观效果结合分析能更好地体现图像质量.结合图2和图3的分析,GLADNet 的增强图像饱和度较低,存在颜色失真现象.文献[15]算法使图像过曝光.本文算法在Retinex⁃Net 基础上显著降低图像噪声,保留图像丰富结构信息,相比其它方法,视觉效果更佳,符合人类的视觉感知系统.在LOL 数据集上,对比大部分算法,本文取得与参考图像相近的NIQE 数值,表明本文算法的增强结果更接近参考图像.DICM㊁MEF 数据集没有正常光照图作为参照.本文只采用盲图像质量评估指标(NIQE㊁PIQE)评估各算法.在PIQE 指标上,本文算法取得最优值.对于NIQE,虽然未取得较好优势,但相比Retinex⁃Net,本文算法取得更好的增强结果.综上所述,虽然本文算法未在所有指标上取得最优结果,但仍有较高优势.在与人类视觉感知系统有较好相关性的SSIM 指标及噪声抑制和避免过曝能力上,本文算法最优.表2 各算法在3个数据集上的客观评估结果Table 2 Objective evaluation results of different algorithms on 3datasets 算法LOL 数据集SSIMUQI PSNRNIQEDICM 数据集PIQE NIQEMEF 数据集PIQE NIQESRIE0.4980.48211.8557.28716.95 3.89810.70 3.474LIME 0.6010.78916.8348.37815.60 3.8319.12 3.716GLADNet 0.7030.87919.718 6.47514.85 3.6817.96 3.360MBLLEN0.7040.82517.5633.58412.293.27012.043.322EnlightenGAN 0.6580.80817.483 4.68414.613.5627.863.221文献[15]算法0.7120.86019.150 4.79316.21 4.71811.78 4.361Retinex⁃Net 0.5590.87916.7749.73014.16 4.41511.90 4.480本文算法0.7200.88018.5294.49010.11 3.9607.77 3.820参考图像1--4.253---- 由图2可见,SRIE㊁LIME㊁EnlightenGAN 的增亮程度有限,增强结果偏暗.GLADNet㊁MBLLEN 改变图像饱和度,降低图像视觉效果.相比Retinex⁃Net,本文算法的增强结果图噪声水平较低,可保持图像原有的色彩.由图3可见,SRIE 增强程度远不足人类视觉需求,在图3的图像A 中,未展示其增强结果.在图3中,根据人眼视觉系统,首先能判断LIME㊁GLADNet㊁MBLLEN㊁EnlightenGAN 对人脸的增亮程度仍不足,GLADNet㊁MBLLEN 分别存在饱和度过低和过高现象.而文献[15]算法㊁Retinex⁃Net㊁本文算法能较好观察到人脸细节,但同时从左下角细节图可见,Retinex⁃Net 人脸的边缘轮廓对比度过强.从颜色上进一步分析可知,文献[15]算法亮度过度增强,导致图像颜色失真,如天空的颜色对比输入图像色调偏白㊁曝光难以观察远处的景物等.同样观察图3中图像B 右下角细节,经过分析可得,文献[15]算法㊁Retinex⁃Net㊁本文算法增强程度满足人类视觉需求,但文献[15]算法过曝光,从Retinex⁃Net 细节图可见人物服饰失真.对比其它算法,本文算法结果的亮度适中,图像具有丰富细节,避免光照伪影与过曝光现象.另外,从图3中图像C㊁D 可见,LIME㊁GLAD⁃Net㊁MBLLEN㊁EnlightenGAN 没能较好处理局部暗48模式识别与人工智能(PR&AI) 第34卷区,如笔记本㊁右下角拱门窗户区域仍未增亮,导致难以识别边缘细节.而文献[15]算法饱和度发生变化.Retinex⁃Net存在伪影和噪声等问题.本文算法不仅可增强图像的亮度,减小噪声,还保留图像的细节,图像效果更有利于高级视觉系统的识别或检测.综合上述分析发现,本文算法对低光照图像增强效果更优.3 结束语针对Retinex⁃Net噪声较大㊁颜色失真问题,本文提出改进Retinex⁃Net的低光照图像增强算法.算法在分解网络采用浅层上下采样结构及去噪损失,在增强网络嵌入注意力机制模块和颜色损失.实验表明,本文算法不仅能增强图像亮度,而且能显著降低噪声,并取得较优结果.本文算法较好地处理亮度增强过程中无法避免的噪声问题,兼顾提升亮度和降低噪声任务,可给未来研究图像多属性增强提供思路,如低光增强㊁去噪㊁颜色恢复㊁去模糊等多任务同步进行.今后研究重心将是实现图像多属性同步增强.同时扩展该研究网络结构到其它高级视觉任务中,作为图像预处理模块,期望实现网络的端到端训练.参考文献[1]HU X,MA P R,MAI Z H,et al.Face Hallucination from Low Quality Images Using Definition⁃Scalable Inference.Pattern Reco⁃gnition,2019,94:110-121.[2]陈琴,朱磊,后云龙,等.基于深度中心邻域金字塔结构的显著目标检测.模式识别与人工智能,2020,33(6):496-506. (CHEN Q,ZHU L,HOU Y L,et al.Salient Object Detection Based on Deep Center⁃Surround Pyramid.Pattern Recognition and Artificial Intelligence,2020,33(6):496-506.)[3]杨兴明,范楼苗.基于区域特征融合网络的群组行为识别.模式识别与人工智能,2019,32(12):1116-1121. (YANG X M,FAN L M.Group Activity Recognition Based on Re⁃gional Feature Fusion Network.Pattern Recognition and Artificial Intelligence,2019,32(12):1116-1121.)[4]CHENG H D,SHI X J.A Simple and Effective Histogram Equaliza⁃tion Approach to Image Enhancement.Digital Signal Processing, 2004,14(2):158-170.[5]ABDULLAH⁃AI⁃WADUD M,KABIR M H,DEWAN M A A,et al.A Dynamic Histogram Equalization for Image Contrast Enhancement. IEEE Transactions on Consumer Electronics,2007,53(2):593-600.[6]LAND E H.The Retinex Theory of Color Vision.Scientific Ameri⁃can,1977,237(6):108-128.[7]JOBSON D J,RAHMAN Z,WOODELL G A.Properties and Per⁃formance of a Center/Surround Retinex.IEEE Transactions on Im⁃age Processing,1997,6(3):451-462.[8]JOBSON D J,RAHMAN Z,WOODELL G A.A Multiscale Retinex for Bridging the Gap between Color Images and the Human Observa⁃tion of Scenes.IEEE Transactions on Image Processing,1997, 6(7):965-976.[9]WANG S H,ZHENG J,HU H M,et al.Naturalness Preserved En⁃hancement Algorithm for Non⁃uniform Illumination Images.IEEE Transactions on Image Processing,2013,22(9):3538-3548.[10]FU X Y,ZENG D L,HUANG Y,et al.A Weighted VariationalModel for Simultaneous Reflectance and Illumination Estimation// Proc of the IEEE Conference on Computer Vision and Pattern Re⁃cognition.Washington,USA:IEEE,2016:2782-2790. [11]GUO X J,LI Y,LING H B.LIME:Low⁃Light Image Enhance⁃ment via Illumination Map Estimation.IEEE Transactions on Image Processing,2017,26(2):982-993.[12]FUKUSHIMA K.Neocognitron:A Self⁃organizing Neural NetworkModel for a Mechanism of Pattern Recognition Unaffected by Shift in Position.Biological Cybernetics,1980,36:193-202. [13]LORE K G,AKINTAYO A,SARKAR S.LLNet:A Deep Autoen⁃coder Approach to Natural Low⁃Light Image Enhancement.Pattern Recognition,2017,61:650-662.[14]LÜF F,LU F,WU J H,LIM C S.MBLLEN:Low⁃Light Image/Video Enhancement Using CNNs[C/OL].[2020-05-11].http:// /bmvc/2018/contents/papers/0700.pdf. [15]ZHANG Y,DI X G,ZHANG B,et al.Self⁃supervised Image En⁃hancement Network:Training with Low Light Images Only[C/ OL].[2020-05-11].https:///pdf/2002.11300.pdf.[16]WEI C,WANG W J,YANG W H,et al.Deep Retinex Decom⁃position for Low⁃Light Enhancement[C/OL].[2020-05-11].https: ///pdf/1808.04560.pdf.[17]ZHANG Y H,ZHANG J W,GUO X J.Kindling the Darkness:APractical Low⁃Light Image Enhancer//Proc of the27th ACM In⁃ternational Conference on Multimedia.New York,USA:ACM, 2019:1632-1640.[18]AI S,KWON J.Extreme Low⁃Light Image Enhancement for Sur⁃veillance Cameras Using Attention U⁃Net.Sensors,2020,20(2): 495-505.[19]IGNATOV A,KOBYSHEV N,TIMOFTE R,et al.DSLR⁃QualityPhotos on Mobile Devices with Deep Convolutional Networks// Proc of the IEEE International Conference on Computer Vision.Washington,USA:IEEE,2017:3297-3305.[20]TIKHONOV A N,ARSENIN V Y.Solutions of Ill⁃Posed Pro⁃blems.SIAM Review,1979,21(2):266-267. [21]ZHAO H,GALLO O,FROSIO I,et al.Loss Functions for ImageRestoration with Neural Networks.IEEE Transactions on Computa⁃58第1期 欧嘉敏 等:改进Retinex⁃Net的低光照图像增强算法。
基于双路编解码器的卷积神经网络 在低照度图像增强和超分辨率中的研究【摘 要】 本文以高清户外直播技术为切入点，针对夜晚场景下受光照条件限制直播画面亮度低、不清晰的问题，提出了一种基于双路编解码器的卷积神经网络，应用于低照度图像增强和超分辨率，有效提升了户外直播的画面质量，降低了对传输带宽的需求，有利于提升户外直播的用户体验。
【关键词】 低照度图像增强，超分辨率， 卷积神经网络， 双路编解码器【中图分类号】 TP37 【文献标识码】 A【DOI编码】 10.16171/ki.rtbe.20220003008【本文献信息】刘畅，姜竹青，李凯.基于双路编解码器的卷积神经网络在低照度图像增强和超分辨率中的研究[J].广播与电视技术，2022,Vol.49(3).Research on Convolutional Neural Network Based on Dual Codecin Low-light Image Enhancement and Super-resolutionLiu Chang, Jiang Zhuqing, Li Kai(School of Artificial Intelligence, Beijing University of Posts and Telecommunications, Beijing 100876, China)Abstract This paper takes HD outdoor live broadcast technology as research background. In night scenes, live broadcast videos captured under restriction of lighting conditions are unclear and have low brightness. To solve the problem, this paper proposes a convolutional neural network based on dual codec, which can be applied in low-light image enhancement and super-resolution. This network can effectively improve the quality of outdoor live broadcast in night scenes, reduce the demand for transmission bandwidth and help improve user experience of outdoor live broadcast.Keywords Low-light image enhancement, Super-resolution, Convolutional neural network, Dual codec刘畅，姜竹青，李凯（北京邮电大学人工智能学院，北京 100876)0 引言现代科技日新月异，手机的科技含量越来越高，4G 、5G 的发展更是催生了直播的潮流。
低照度和夜视环境下视频监控清晰化解决方案 夜晚环境或光线很弱的昏暗室内，对视频监控来说总是存在着看不见和看不清的问题，尽管使用了红外等夜视设备，但视觉效果仍然很差，无法看清和分辨景物的细节信息，包括详细形状、明暗层次和色彩。
而夜间和昏暗环境正是视频监控发挥作用的时间段，尤其对安防领域更是如此。
一、存在的技术难题
以往的各种夜视摄像机因为降噪处理能力很弱，因而有意降低感光度、减少进光量，所以无法看清景物的细节信息，导致视频监控效果很差，甚至红外滤镜使得视频只能是黑白图像，没有色彩。
二、先进的解决方案
唐都仪器采用了先进的图像增强技术和3D数字降噪技术，能够对各种低照度环境下的视频图像进行实时增强和降噪处理，使极低照度下的视频图像变得明亮和清晰，形成明亮清晰的彩色视频图像，使在黑暗中看不见的景物细节都能明亮清晰的显示出来，而且不损失原景物色彩，视频感观如同白天效果。
未经处理的低照度图像 处理之后的清晰图像
未经处理的低照度图像 处理之后的清晰图像
三、先进技术方案的独特优点
1、具有高清、高帧率视频的实时处理能力
可对高清及标清视频进行实时处理，没有任何时间延迟，处理后的视频帧率不变，保证了各种视频应用领域对实时性处理的要求。
2、具有优异的超低照度实时处理能力
可实时处理各种低照度环境下的视频图像，能使极低照度下的视频图像变得明亮和清晰，使在黑暗中（如缺少光照的夜晚）看不见的景物细节都能明亮清晰的显示出来，而且不损失原景物色彩，视频感观如同白天效果。
3、不用改变原视频监控系统
在原视频监控系统不做改变的情况下，就能很好解决低照度和夜视视频监控的问题。
图像增强最全的几种方法和手段图像处理学院信息工程学院姓名钟佳杭班级14级物联网工程学号1440903010321、图像增强的原理及应用前景图象增强是图像处理的基本内容之一，图像增强是指按特定的需要突出一幅图像中的某些信息，同时削弱或去除某些不需要信息的处理方法，其目的是使得处理后的图像对某种特定的应用，比原始图像更合适。
增强图象中的有用信息，它是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。
近年来，随着消费型和专业型数码相机的日益普及，海量的图像数据正在被产生．但由于场景条件的影响，很多在高动态范围场景、昏暗环境或特殊光线条件下拍摄的图像视觉效果不佳，需要进行后期增强处理调整动态范围或提取一致色感才能满足显示和印刷的要求。
人类视觉系统具有强烈的全局和区域的自适应性和非线性，在多种不同的光照条件下都能清晰地辨识细节，具有电子设备所不可比拟的优势。
因此，图像增强引起了广泛的关注，很多图像增强方法在设计时考虑描述和模仿人类视觉系统的特性，以期获得符合人类视觉系统特性的增强效果。
2图像增强的算法分类图像增强算法可分成两大类：频率域法和空间域法。
前者把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。
基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法。
采用低通滤波（即只让低频信号通过）法，可去掉图中的噪声；采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。
基于空域的算法处理时直接对图像灰度级做运算，具有代表性的空间域算法有局部求平均值法和中值滤波（取局部邻域中的中间像素值）法等，它们可用于去除或减弱噪声。
基于空域的算法分为点运算算法和邻域去噪算法。
・159・设计与应用计算机测量与控制.2021. 29 (4)Computer Measurement & Control文章编号：1671 - 4598(2021)04 - 0159 -06DOI10. 16526/j. cnkl 11 — 4762/tp. 2021. 04 032中图分类号：TP391 文献标识码:A基于融合策略的改进Retine 狓低照度图像增强算法史瑞雪，高保禄，乔颖婧(太原理工大学软件学院，山西晋中030600)摘要：针对Retinex 算法处理低照度彩色图像出现色彩失真，边缘保持性差等问题，提出一种基于融合策略的改进Retinex低照度图像增强算法；该算法首先在YIQ 颜色空间提取亮度分量Y ,对其进行MSR 算法增强；然后采用高斯一拉普拉斯算子对 彩色图像的RGB 三个分量进行边缘检测，将其叠加合成后转换成灰度图；最后使用小波变换将两幅图像融合得到新的亮度分量, 将其与I 、Q 分量融合后转回RGB 颜色空间，从而获得色彩保真度高、细节清晰的图像；实验结果表明，该方法有效提高了图像边缘细节信息，避免了色彩失真，具有很好的视觉效果。
关键词： Retinex ； 图像增强； 颜色空间； 高斯—拉普拉斯； 小波变换Improved Retinex Low —light Image Enhancement AlgorithmBased on Fusion StrategyShi Ruixue , Gao Baolu , Qiao Yingjing(College of Software , Taiyuan University of Technology , Jingzhong 030600, China )Abstract : Aiming at the problem of color distortion and poor edge retention in low 一 illumination color images processed by Ret-inexalgorithm ，animprovedRetinexlow —i l uminanceimageenhancementalgorithmbasedonfusionstrategyisproposed Thealgo-rithmfirstextractsthebrightnesscomponentYintheYIQcolorspace ，andenhancesitwiththeMSRalgorithm ；thenusetheGauss—LaplaceoperatortoperformedgedetectionontheRGBthreecomponentsofthecolorimage ， andthensuperimposethemandcon- vertthemintograyscaleimages ；fina l y ，thewavelettransformisusedtofusethetwoimagestoobtainanewbrightnesscomponent ，whichisfusedwiththeIandQcomponentsandthenconvertedbacktotheRGBcolorspace ，soastoobtainanimagewithhighcolor fidelityandcleardetails Experimentalresultsshowthatthismethode f ectivelyimprovestheedgedetailinformationoftheimage ，a-voidscolordistortion ， andhasagoodvisuale f ectKeywords ：Retinex ；imageenhancement ； colorspace ； Gauss —Laplace ； wavelettransformo 引言图像在采集过程中由于天气、光照等外界环境的影响，使得采集到的图像会岀现光照不均、色彩失真、细节模糊等问题，从而使人们无法准确获取和识别图像中的信息。
基于含噪Retinex 模型的煤矿低光照图像增强方法李正龙1，2， 王宏伟2，3，4， 曹文艳1，2， 张夫净1，2， 王宇衡1，2（1. 太原理工大学 矿业工程学院，山西 太原 030024；2. 太原理工大学 山西省煤矿智能装备工程研究中心，山西 太原 030024；3. 太原理工大学 机械与运载工程学院，山西 太原 030024；4. 山西焦煤集团有限责任公司 博士后工作站，山西 太原 030024）摘要：低光照图像会导致许多计算机 视觉任务达不到预期效果，影响后续图像分析与智能决策。
针对现有煤矿井下低光照图像增强方法未考虑图像现实噪声的问题，提出一种基于含噪Retinex 模型的煤矿低光照图像增强方法。
建立了含噪Retienx 模型，利用噪声估计模块（NEM ）估计现实噪声，将原图像和估计噪声作为光照分量估计模块（IEM ）和反射分量估计模块（REM ）的输入，生成光照分量与反射分量并对二者进行耦合，同时对光照分量进行伽马校正等调整，对耦合后的图像及调整后的光照分量进行除法运算，得到最终的增强图像。
NEM 通过3层CNN 对含噪图像进行拜耳采样，然后重构生成与原图像大小一致的三通道特征图。
IEM 与REM 均以ResNet −34作为图像特征提取网络，引入多尺度非对称卷积与注意力模块（MACAM ），以增强网络的细节过滤能力及重要特征筛选能力。
定性和定量评估结果表明，该方法能够平衡光源与黑暗环境之间的关系，降低现实噪声的影响，在图像自然度、真实度、对比度、结构等方面均具有良好性能，图像增强效果优于Retinex −Net ，Zero −DCE ，DRBN ，DSLR ，TBEFN ，RUAS 等模型。
通过消融实验验证了NEM 与MACAM 的有效性。
关键词：煤矿低光照图像；图像增强；含噪 Retinex 模型；噪声估计；拜耳采样；多尺度非对称卷积；注意力模块中图分类号：TD67 文献标志码：AA method for enhancing low light images in coal mines based on Retinex model containing noiseLI Zhenglong 1,2, WANG Hongwei 2,3,4, CAO Wenyan 1,2, ZHANG Fujing 1,2, WANG Yuheng 1,2(1. College of Mining Engineering, Taiyuan University of Technology, Taiyuan 030024, China ； 2. Center of Shanxi Engineering Research for Coal Mine Intelligent Equipment, Taiyuan University of Technology, Taiyuan 030024,China ； 3. College of Mechanical and Vehicle Engineering, Taiyuan University of Technology, Taiyuan 030024,China ； 4. Postdoctoral Workstation, Shanxi Coking Coal Group Co., Ltd., Taiyuan 030024, China)Abstract : The low light images can lead to many computer vision tasks not achieving the expected results.This can affect subsequent image analysis and intelligent decision-making. The existing low light image enhancement methods for underground coal mines do not consider the real noise of the image. In order to solve this problem, a coal mine low light image enhancement method based on Retinex model containing noise is proposed. The Retienx model containing noise is established. The noise estimation module (NEM) is used to estimate real noise. The original image and estimated noise are used as inputs to the illumination component收稿日期：2022-08-16；修回日期：2023-03-29；责任编辑：胡娴。
基于改进Retinex算法的低照度图像增强方法作者：李武劲彭怡书欧先锋吴健辉郭龙源张一鸣黄锋徐智来源：《成都工业学院学报》2020年第02期摘要：针对低照度图像处理时的halo边缘问题和噪声干扰，提出一种基于组合滤波和自适应噪声消除的改进Retinex算法。
该算法首先采用保边的组合滤波估计亮度图像，然后恢复反射图像时，定义一个包含保真项和正则项的能量函数，通过平滑权重系数控制平滑强度，使得抑制噪声的同时能够保持图像的细节信息。
实验结果表明，提出的算法能够很好保持边缘，抑制噪声的干扰，达到增强低照度图像的目的。
关键词：图像增强;Retinex;低照度;组合滤波中图分类号：TP391 文献标志码：A 文章编号：2095-5383（2020）01-0020-06Abstract： In order to solve the halo edge problem and noise interference in low-light image processing， an improved Retinex algorithm based on integrated filtering and adaptive noise cancellation was proposed.;The algorithm used the combined filtering with edge preservation to estimate the intensity image firstly.;Then a energy function containing a fidelity term and a regularization term was defined when restoring a reflected image， and the smoothing intensity was controlled by the smoothing weight coefficient， so that the detailed information of the image can be maintained while suppressing noise.;Experimental results demonstrate that the algorithm can efficiently enhance details in the under-exposed regions， keep edges， and suppress noise.Keywords： image enhancement; Retinex; low-light; combined filtering隨着光学和电子技术的不断发展，在良好曝光情况下摄像机能够拍摄出高质量的图像。
