结合天空分割和金字塔融合的多尺度图像去雾

2020年 12月 图 学 学 报December2020第41卷 第6期JOURNAL OF GRAPHICSV ol.41No.6收稿日期：2020-06-19；定稿日期：2020-07-24 Received ：19 June ，2020；Finalized ：24 July ，2020 基金项目：国家自然科学基金项目(61502297)Foundation items ：National Natural Science Foundation of China (61502297)第一作者：王道累(1981-)，男，上海人，副教授，博士。

主要研究方向为计算机视觉、图像处理、CAD/CAM 。

E-mail ：*******************.cn First author ：WANG Dao-lei (1981-), male, associate professor, Ph.D. His main research interests cover computer vision, image processing, CAD/CAM.E-mail ：*******************.cn图像去雾算法的综述及分析王道累， 张天宇(上海电力大学能源与机械工程学院，上海 200090)摘要：图像去雾是以满足特定条件下应用需求为目的，通过对有雾图像进行分析和预处理，突出图像中的细节信息使之更加适合人机识别的一种图像预处理方法。

在雾天条件下拍摄到的图像因为雾霾的影响导致图像可能会存在细节丢失、对比度低的情况，将会影响图像后续的分析识别工作。

经归纳总结目前图像去雾算法的研究现状，主要包括基于图像增强、图像复原以及卷积神经网络3类去雾方法及其改进算法，对其中的一些算法进行了实验、评价及优缺点分析，并对未来的发展进行了展望，对算法中的难易点提出了一些参考的建议，促进了图像去雾算法的进一步发展。

关键词：图像增强；图像去雾；图像处理；卷积神经网络中图分类号：TP 317.4 DOI ：10.11996/JG .j.2095-302X.2020060861 文献标识码：A文 章 编 号：2095-302X(2020)06-0861-10Review and analysis of image defogging algorithmWANG Dao-lei, ZHANG Tian-yu(College of Energy and Mechanical Engineering, Shanghai University of Electric Power, Shanghai 200090, China)Abstract: Image defogging is an image preprocessing method for man-machine recognition by analyzing and preprocessing the image with fog, meeting the application requirements under specific conditions. The influence of haze could incur lost details and low contrast for the image taken in foggy conditions, which would impact the subsequent analysis and recognition of the image. The past research on image defogging algorithms was summarized, such as image enhancement, image restoration, convolution neural network, and the improved algorithms, some of which were tested, evaluated, and analyzed in terms of advantages and disadvantages. Explorations were made on the future development, and suggestions were propounded for the difficult and easy parts of the algorithm, thus boosting the further development of the image defogging algorithms.Keywords: image enhancement; image defogging; image processing; convolutional neural network由于卷积神经网络(convolutional neural network, CNN)强大的学习能力，人工智能、深度学习等领域成为当前的研究热点[1]，目标识别、目标跟踪等技术在生活中应用的越来越广泛，如变电站无人巡检、自动驾驶等，图像质量的好坏将会影响着系统能否正常运行。

Matlab中的图像去雾和图像去除技术引言：当我们拍摄照片或者录制视频时，面临的一个常见问题就是雾气的干扰。

雾气可以降低图像的清晰度和对比度，使得图像看起来模糊、暗淡。

虽然现在有许多图像后期处理软件可以解决这个问题，但是Matlab作为一种强大的计算工具，也提供了很多图像去雾和去除技术。

本文将介绍Matlab中的几种常见图像去雾和去除技术，包括大气散射模型、暗通道先验以及Retinex算法。

1. 大气散射模型大气散射模型是一种常见的图像去雾技术，它基于对大气散射过程的建模。

该模型假设在雾天拍摄的图像中，每个像素的亮度值由两部分组成：场景亮度和雾气散射成分。

该模型可以表示为以下公式：I = J * t + A * (1 - t)其中，I是观测到的图像，J是场景的亮度，t是透射率，A是大气光照。

在这个模型中，透射率t越小，图像就越模糊，反之，透射率越大，图像就越清晰。

在Matlab中，我们可以使用大气散射模型对图像进行去雾处理，提高图像的清晰度。

2. 暗通道先验除了大气散射模型外，暗通道先验也是一种常用的图像去雾技术。

该技术基于观察到的一个有趣现象：在大多数室外场景中，至少有一个通道在任何地方都是非常暗的。

这就是暗通道。

根据这一观察，我们可以使用暗通道先验来恢复图像。

在Matlab中，暗通道先验主要通过以下步骤实现：1）计算暗通道图像：对于每个像素，选择具有最小像素值的通道作为暗通道。

2）估计大气光照：在暗通道图像中，选择亮度值最高的像素作为估计的大气光照。

3）估计透射率：使用大气光照和暗通道图像计算透射率。

较高的透射率表示较少的雾气。

4）恢复场景亮度：使用透射率和原始图像计算恢复的场景亮度。

5）修正结果：对恢复的场景亮度进行修正，以提高图像的视觉效果。

通过以上步骤，我们可以使用暗通道先验技术对图像进行去雾处理，改善图像的清晰度和对比度。

3. Retinex算法Retinex算法是一种经典的图像去除技术，它基于人眼在不同亮度条件下对光照敏感度变化的观察。

实 验 技 术 与 管 理 第37卷 第9期 2020年9月Experimental Technology and Management Vol.37 No.9 Sep. 2020ISSN 1002-4956 CN11-2034/TDOI: 10.16791/ki.sjg.2020.09.021基于多尺度细节优化的MSRCR 图像去雾算法王小芳1,2，方登杰1，何海瑞1，邹倩颖1（1. 电子科技大学成都学院 云计算科学与技术系，四川 成都 611731；2. 西华师范大学 计算机学院，四川 南充 637002）摘 要：针对Retinex 去雾后图片模糊、细节不明显现象，该文提出基于多尺度细节优化的MSRCR 图像去雾算法。

该算法首先采用MSRCR 对图片进行整体去雾操作，在MSRCR 算法处理图像像素分类过程中，为降低像素分类时间，该文采用K 近邻算法（K nearest neighbor ，KNN ）对图片像素进行快速分类；然后采用双边滤波算法对处理后的图片中的噪声和边缘损失进行处理；最后采用MsDB 算法对图片细节进行优化。

实验结果表明，该文算法相较传统算法而言，在合成雾天图像处理后图片的峰值信噪比（peak signal to noise ratio ，PSNR ）和结构相似性（structural similarity ，SSIM ）平均分别提升22.03%和21.58%；较自然雾天处理后图片的平均梯度、信息熵、Vollaths 值平均分别提升127.62%、6.96%、227.61%。

关键词：MSRCR ；KNN ；双边滤波；MsDB中图分类号：TP391 文献标识码：A 文章编号：1002-4956(2020)09-0092-06MSRCR image defog algorithm based on multi-scaledetail optimizationWANG Xiaofang 1,2, FANG Dengjie 1, HE Hairui 1, ZOU Qianying 1(1. Department of Cloud Computing Science and Technology, Chengdu College of University ofElectronic Science and Technology of China, Chengdu 611731, China; 2. Computer Academy, China West Normal University, Chengdu 637002, China)Abstract: In view of the phenomenon of blurred image and inconspicuous detail after Retinex defogging, this paper proposes a MSRCR image defog algorithm based on multi-scale detail optimization. In order to reduce the time of pixel classification, the K nearest neighbor algorithm (KNN) is used to classify image pixels quickly. Then the noise and edge loss in the processed image are processed by bilateral filtering algorithm. Experimental results show that the peak signal to noise ratio (PSNR) and structural similarity (SSIM) increase by 22.03% and 21.58% respectively, and the average gradient, entropy and V ollaths increase by 127.62%, 6.96% and 227.61%, respectively, compared with traditional methods.Key words: MSRCR; KNN; bilateral filtering; MsDB雾天是自然界最常见的一种天气现象，也是影响可见度的最直观的因素，如何提高雾天图片可见度，提高雾天图片检测精度，降低危险情况发生概率，是各类图像去雾专家探索的目标。

融合边缘信息的单尺度Retinex海雾去除算法一、引言1. 简述海雾去除技术的重要性和应用领域2. 介绍Retinex海雾去除算法及其优缺点3. 阐释融合边缘信息的重要性和作用二、相关工作1. 综述海雾去除算法的发展历程和分类2. 简要介绍边缘检测和融合算法的原理和方法三、方法提出1. 描述融合边缘信息的单尺度Retinex海雾去除算法的具体过程2. 阐释如何融合边缘信息，提升算法的性能3. 详细阐明算法的优点与局限性四、实验设计1. 介绍实验数据集的来源和处理方法2. 定量和定性评估算法的效果3. 在比较实验中与其他算法进行对比五、结论和展望1. 总结融合边缘信息的Retinex海雾去除算法2. 指出算法的优点和进一步改进的方向3. 展望海雾去除技术的未来发展和应用前景。

一、引言随着计算机技术的不断发展，图像处理技术已经成为现代信息技术中的一个关键领域之一。

其中，海雾去除技术作为一种重要的图像处理技术，已经被广泛应用于各大领域中，如电影制作、环境监测、公路交通安全等。

目前，Retinex海雾去除算法已经成为了一种经典的海雾去除算法，并在社会中得到了广泛应用。

该算法可以通过分别对图像的亮度、色度和照明分量进行操作，得到逼真的图像，并能够有效地去除海雾的影响。

但是，由于这种算法的局限性，例如计算量大、迭代次数多、结果易受影响等，导致其性能有时无法达到期望的效果，难以满足海雾去除的实际需求。

因此，一些学者提出了一些新的算法来对Retinex海雾去除算法进行改进，如结合能量优化、多尺度、局部对比度等方法，以提高算法的效果和性能。

其中，融合边缘信息的单尺度Retinex海雾去除算法是一种相对较新的算法，通过充分利用图像边缘信息，将边缘信息融入算法中，优化Retinex海雾去除算法，有效降低算法的计算复杂度，提高算法的效率和性能。

本论文将深入研究融合边缘信息的单尺度Retinex海雾去除算法，并总结其优点与局限性，为今后的算法改进和实际应用提供有益的参考。

天空区域分割修正的图像去雾新算法
天空区域分割修正的图像去雾新算法
暴婉婷，王俊平，魏书蕾，李艳波，周勇
【摘要】摘要：为了改进基于暗通道先验假设图像去雾算法的细节信息丢失、⼤⽓光强值估计偏低、天空区域去雾效果不佳等不⾜，笔者提出⼀种天空区域分割修正的彩⾊图像去雾新算法。

新算法在暗通道先验算法的基础上，对暗通道与亮通道先验模型进⾏带参线性加权运算，提出加权平均融合COPLIP模型和MSR模型的天空区域修正新模型及实现算法。

与现有去雾算法⽐较，实验结果表明新算法能够克服现有算法对于天空区域去雾效果不佳的问题，同时通过客观评价指标验证了新算法的有效性。

【期刊名称】西安电⼦科技⼤学学报（⾃然科学版）
【年(卷),期】2019(046)002
【总页数】6
【关键词】图像去雾；参数驱动；天空区域分割修正；图像融合
基⾦项⽬：国家⾃然科学基⾦(61872433)
随着雾霾⽇益严重，图像去雾的研究越来越重要。

降低或消除图像中雾⽓对场景的影响，实现有雾图像的清晰化，是近年来国内外的研究热点[1]。

⽬前从3个⽅向划分图像去雾技术：①以图像增强技术为基础的⽅法增强了图像的对⽐度，如直⽅图均衡化[2]、双边滤波[3]、曲波变换[4]、形态学滤波[5]和RETINEX算法[6]等⽅法。

此类⽅法没有考虑图像退化的本质原因，导致重要信息特征的丢失。

②以图像融合技术为基础的⽅法通过从多重来源通道中最⼤化有效信息最终形成⾼质量图像。

ANCUTY 等[7]⾸次提出⼀个融合的技术来去雾。

在该⽅法中原始图像的两个输⼊被3个归⼀化权重图所衡量，通过多尺度。

基于深度学习的图像去雾算法张泽浩; 周卫星【期刊名称】《《华南师范大学学报（自然科学版）》》【年(卷),期】2019(051)003【总页数】6页(P123-128)【关键词】图像处理; 图像去雾; 多尺度; 卷积神经网络【作者】张泽浩; 周卫星【作者单位】华南师范大学物理与电信工程学院广州510006【正文语种】中文【中图分类】TP391.4大气中悬浮的尘粒和水滴在大气光的散射和吸收中形成雾霾，导致被观测物体的反射光在到达相机或监控设备前产生衰减，最终得到的户外图像质量下降，因此，在雾、霾和大风等恶劣天气中获得清晰图像是目前计算机视觉需要解决的问题之一[1].根据算法的设计思想不同，目前图像去雾的方法主要分为2类:基于图像增强的方法和基于大气物理散射模型的方法[2]. 基于图像增强的方法主要通过增强图像的对比度来达到去雾目的，主要算法包括直方图均衡化[3]、视网膜皮层理论Retinex[4]和小波变换[5]等. 但这类方法没有从根源上探究雾天图像形成的原因，只是对图像进行增强对比度、提高亮度和颜色矫正等操作，所以大多数算法去雾不彻底. 例如：TAN[6]进行图像去雾时利用构造代价函数最大化局部对比度，但这种方法容易使图像出现失真和产生光晕；FATTAL[7]进行图像去雾时假设在局部区域内物体的反射率与其阴影部分不相关，但此假设只在薄雾时成立，浓雾时处理效果较差. 基于大气物理散射模型的方法，根据降质机制建立去雾模型进行图像去雾，这类方法从根源上了解有雾图像的形成原理，去雾效果更佳，但仍有需改进之处. 例如，HE 等[8-9]根据对大量清晰图像的实验和统计提出一种基于暗原色先验的去雾算法，该算法简单有效，但利用软抠图对透射率图进行优化时复杂度高，以至于处理时间较长；MENG等[10]提出一种对透射率图进行边界约束及正则化的去雾算法，但仍有很多去雾后的图像出现光晕现象.近几年，随着机器学习，尤其是深度学习的迅速发展，一些基于学习的去雾算法被先后提出，但大多算法具有一定的局限性，应用范围受到约束. 例如：TANG等[11]收集图像中与雾霾相关的颜色、浓度和范围等特征，采用随机森林算法达到去雾目的，虽然提高了透射率图的精度，但没有利用图像中纹理特征并假设纹理特征与场景深度不相关，学习后的模型对透射率的估计具有一定的局限性，去雾效果不理想；CAI等[12]利用雾天成像模型和大量清晰图像来生成雾天图像，并利用卷积神经网络来学习有雾图像的特征以估计透射率图，进而反演出无雾图像，该卷积神经网络较浅且只使用单尺度进行特征提取，对于很多特定场景，易出现颜色失真、细节丢失和去雾过度等现象. 因此，本文基于深度学习，提出一种多尺度卷积神经网络，并基于此多尺度卷积神经网络给出了新的图像去雾算法，以达到更好的去雾效果.1 基本原理1.1 大气散射模型在雾、霾和大风等恶劣环境中，成像设备所得到的光线强度是由获取图片时目标物体的反射光产生衰减后的光线强度和空气中冰晶、云滴、尘粒等散射后的光线强度共同叠加的，根据此原理，MCCARTNEY[13]提出大气物理散射模型，并由NARASIMHAN和NAYAR[14-15]改进后广泛应用于计算机视觉和图像处理，其数学表达式如下：I(x,y)=t(x,y)J(x,y)+A(1-t(x,y))，(1)其中，I(x,y)为获得的有雾图像；J(x,y)为去雾后的无雾图像；A为场景中大气光值；t(x,y)为物体的反射光透射率图，可定义为：t(x,y)=e-bd(x,y)，(2)其中，b为大气的散射系数，d(x,y)为物体与成像设备间的距离.1.2 卷积神经网络卷积神经网络是一种仿照生物的视觉皮层且包含卷积神经计算并具有深度结构的神经网络，是深度学习的代表算法之一[16]. 其网络结构主要由输入层、隐含层和输出层组成：输入层主要用来接收多维数据并对其进行标准化处理，同时提升隐含层的运算效率；隐含层主要包括卷积层和池化层，卷积层的主要作用是使用多个卷积核对数据特征进行提取和学习，池化层主要用来在特征提取后进行特征选择和信息过滤；输出层用来输出分类结果.2 本文算法实现本文利用深度学习的caffe框架提出了多尺度卷积神经网络，并结合大气物理散射模型给出了新的图像去雾算法，具体步骤如下：(1)输入有雾图像.(2)利用多尺度卷积神经网络得到粗透射率图t(x,y)，利用导向滤波对粗透射率图进行细化，得到细透射率图；并根据原有雾图像中像素点的位置和亮度估计大气光值.(3)根据得到的细透射率图和大气光值，使用大气物理散射模型反演出无雾图像.(4)将反演出的无雾图像进行颜色校正，从而得到复原图像.由上述步骤，可以看出该算法的主要工作为构建多尺度卷积神经网络、优化透射率图和估计大气光值.2.1 多尺度卷积神经网络在图像去雾过程中求出最优粗透射率图，可提高图像的去雾效果. 因此，本文提出一种多尺度的卷积神经网络(图1)：首先将有雾图像输入该网络中，并用单尺度和多尺度对有雾图像进行特征提取；再使用多尺度对提取到的特征进行学习；最后进行非线性回归得到粗透射率图. 在此网络结构中，每一个卷积层后都使用ReLU激活函数来达到对信息多层感知和提高学习精度、训练速度的目的.2.1.1 特征提取首先，采用尺寸大小为5×5的卷积核对原始图像进行卷积，以得到初步特征图；然后，使用尺寸大小为3×3、5×5、7×7的卷积核进行多尺度卷积，以进一步提取特征信息，在此过程中选取不同尺度卷积核，可以提取不同尺度的特征信息，所以这种方法更容易获取更丰富的信息且避免丢掉一些细节信息. 多尺度卷积计算公式为：Fsi(Y)=Wsi*Fs-1(Y)，(3)图1 多尺度卷积神经网络Figure 1 The multi-scale convolutional neural network其中，Fsi表示s层的第i组特征图，Wsi (i=1,2,3)表示s层的第i组卷积核，*表示卷积. 多尺度信息提取参数如表1所示. 在多尺度特征提取之后进行特征图拼接和修正线性单元，以融合不同尺度的特征. 每个卷积层后都会有一个激活函数，CAI等[12]在特征提取阶段采用的激活函数为Maxout，但Maxout不是一个固定的函数，并且拟合能力非常强，可以拟合任意凸函数，这就导致在训练过程中容易过拟合，降低泛化能力. 因为图像数据没有负值，所以本文采用ReLU作为激活函数，该函数的输出在大于零的部分是个线性函数，所以这种激活函数具有单侧抑制和稀疏激活性且不存在梯度消失问题，使网络收敛速度维持在一个稳定的状态.表1 多尺度卷积神经网络特征的提取参数Table 1 The multi-scale convolutional neural network feature extraction parameters类型输入数据大小卷积核数量/个卷积核大小扩充边缘单尺度卷积3×32×32165×51修正线性单元16×30×30---多尺度卷积16×30×30163×30165×51167×72修正线性单元48×28×28---2.1.2 特征融合特征融合包含特征学习和非线性回归两部分. 由于图像中包含大的轮廓信息和小的细节信息，所以采用多尺度卷积核对之前获得的信息进行特征学习. 本文分别采用尺寸大小为3×3、5×5、7×7的卷积核进行特征学习. 采用不同尺度的卷积核进行特征学习的目的在于有利于将该网络学习的特征信息进行加权合并，更好地实现去雾重建. 学习后再采用ReLU激活函数进行参数修正，以便得到更优的特征信息. 多尺度学习参数如表2所示. 在多尺度特征提取后进行特征图拼接和修正线性单元，以对所学信息进行合并. 非线性回归采用5×5的卷积核进行卷积，并使用具有负方向抑制的激活函数ReLU将之前学习的特征融合成透射率图.表2 多尺度卷积神经网络特征的学习参数Table 2 The multi-scale convolutional neural network feature learning parameters类型输入数据大小卷积核数量/个卷积核大小扩充边缘多尺度卷积48×28×28163×30165×51167×72修正线性单元48×26×26---最大池化48×26×26-7×7-2.1.3 网络训练在卷积网络训练过程中需要大量的训练样本，但在自然界同一场景下同时获取有雾图像和无雾图像是一件非常困难的事，所以，本文从网上收集10000个大小为32 px×32 px的图像块，并用这些图像块生成100 000个有雾图像块作为训练样本. 本文用卷积网络模型训练时的学习率为0.001，权重衰减项为0.000 5，最大迭代次数为500 000次. 另外，本文的卷积模型没有使用全连接层而是使用卷积层，从而避免了图像信息损失问题.2.2 透射率图优化与大气光值估计根据已经训练好的多尺度卷积神经网络模型可以得到粗透射率图，但如果直接使用粗透射率图，去雾效果较差，所以需要优化粗透射率图. 为此，HE等[8]首先提出使用软抠图来优化粗透射率图，但软抠图复杂度太高，导致计算时间过长，去雾效率降低. 本文使用导向滤波优化粗透射率图，以提高去雾效率，且软抠图与导向滤波优化效果相近. 导向滤波模型可定义为：q(x,y)=akM(x,y)+bk, ((x,y)wk)，(4)其中，q为输出图像，即优化后得到的细透射率图，a和b是窗口wk的常熟系数，定义为：(5)其中，ε表示正则化参数；为防止ak过大，使用线性回归得：(6)(7)其中，分别为图像M在当前窗口wk中的像素平均值、方差，为窗口wk中p的平均值.在估计大气光时，HE等[8]首先选出有雾图像中亮度值前百分之一的像素点，然后计算这些像素点的亮度均值，将其作为大气光值. 这种方法在大多时候都较为有效，但当图像出现天空或大面积白色区域的时候，使用此方法估计大气光值则会不准确，导致去雾后的图像颜色失真.针对上述问题，本文利用有雾图像中像素点位置与亮度结合的方法估计大气光值. 在默认天空区域位于图像上方的情况下，首先定义每个像素点的相对高度为H(x,y)、亮度值为V(x,y)，定义该像素点位于天空区域的概率为：P(x,y)=H(x,y)V(x,y).(8)找出有雾图像中该概率值前百分之一的像素点，用这些像素点的亮度平均值作为大气光值. 得到细透射率图和大气光值后，利用大气物理散射模型反演出无雾图像，最终使用直方图均衡化对无雾图像进行颜色校正，得到复原图像.3 实验结果与分析本文实验操作系统为Ubuntu16.04，Intel Core i3-6100处理器，4.0 G内存，并使用GPU NVIDIA 1050Ti加速，并行计算架构CUDA8.0.3.1 主观评价由不同算法的透射率图(图2)可知：文献[9]和文献[10]的算法估计的透射率图较为模糊，对比度较低；本文算法估计的透射率图展现更多细节，优于其他算法.图2 不同算法的透射率对比图Figure 2 Comparison of transmittance between different algorithms利用本文算法与文献[9]、[10]、[12]的去雾算法，对高速公路、人行道、城市、天桥和高楼处的5幅有雾图像进行去雾实验，由实验结果(图3)可以看出：文献[9]的算法在处理有天空的图像时易出现失真，并在树叶、车辆和建筑物等的边缘出现白色光晕；文献[10]的算法同样在天空区域易出现失真，并且有时会出现对比度过度增大的现象，导致去雾图像不符合正常的人眼视觉感受；文献[12]的算法在处理图像近处时易出现白色光晕，处理图像远处时易出现过度去雾，导致图像远处信息丢失；本文算法进行去雾时不会出现光晕，处理天空时效果较好，且去雾后的图像符合正常的人眼视觉感受，更接近正常的清晰图像.3.2 客观评价为进一步验证本文算法的去雾效果，采用图像评价指标(图像方差、信息熵、平均梯度)对原有雾图像和各算法的去雾图像进行评测[17].(1)图像方差反映了图像灰度的离散程度，方差越大离散程度越大，图像对比度也就越大，其数学表达式如下：(9)图3 不同算法的去雾效果Figure 3 The defogging effect of different algorithms其中，I表示待评价图像，大小为M×N;u表示图像的平均像素值.(2)信息熵反映了图像中的信息量，信息熵越大，图像中包含的信息量也越多，其数学表达式如下：(10)其中，pi为像素值i所占比例.(3)平均梯度反映了图像的清晰度，平均梯度越大，表示图像显示的细节信息越多，其数学表达式如下：(11)其中，ΔxI和ΔyI表示像素点在x方向和y方向的一阶差分.图3中图像由上到下依次是高速公路、人行道、城市、天桥和高楼. 由测评结果(表3～表5)可以看出：文献[9]的算法的各项指标都相对较低，文献[10]的算法和本文算法的图像方差和平均梯度明显高于其他算法，但由图3可知文献[10]的算法有时会使图像对比度增强过度，造成颜色失真；在信息熵方面，本文算法大多高于其他算法，反映出经本文算法去雾后的图像显示的信息量最多，能更有效地去除雾霾. 表3 不同算法去雾后的图像方差Table 3 The image variance after dehazing with different algorithms图像内容原始图像文献[9]文献[10]文献[12]本文高速公路943.7492.72 877.21 828.43 100.2人行道401.1716.92 009.23 787.54 765.5城市1 170.2898.13 789.42 134.12 136.7天桥403.41 600.13 306.65 310.92 020.1高楼275.6516.14 112.21 105.43 142.8表4 不同算法去雾后的图像平均梯度Table 4 The average gradients of images after defogging with different algorithms图像内容原始图像文献[9]文献[10]文献[12]本文高速公路2.5743.1056.0623.7507.694人行道1.4812.5026.7014.0627.116城市2.7524.64710.5528.84111.959天桥1.4323.4076.7855.4918.404高楼2.0273.1428.7144.2119.828表5 不同算法去雾后的图像信息熵Table 5The image entropy after different dehazing with diffe-rent algorithms图像内容原始图像文献[9]文献[10]文献[12]本文高速公路6.7896.4537.3947.3297.266人行道6.2716.8527.4056.5547.418城市6.3656.9857.7116.5777.657天桥6.2587.2957.6096.1257.746高楼6.0446.3367.5496.8807.7704 结论目前大多数去雾算法利用单幅无雾图像进行去雾，本文提出一种基于深度学习的图像去雾算法，利用多尺度卷积核进行特征提取和特征学习，并对网络进行加深处理，更全面地学习有雾图像与透射率图的关系，得到合理的透射率图，给图像去雾研究提供了一种新思路. 实验结果表明：本文算法能够得到细节更丰富且更接近于真实无雾场景的清晰图像.参考文献：【相关文献】[1] 吴迪,朱青松. 图像去雾的最新研究进展[J]. 自动化学报,2015,41(2):221-239.WU D,ZHU Q S. The latest research progress of image dehazing[J]. Acta Automatica Sinica,2015,41(2):221-239.[2] 禹晶,李大鹏,廖庆敏. 基于物理模型的快速单幅图像去雾方法[J]. 自动化学报,2011,37(2):143-149.YU J,LI D P,LIAO Q M. Physics-based fast single ima-ge fog removal[J]. Acta Automatica Sinica,2011,37(2):143-149.[3] 王万国,王滨海,张晶晶,等. 基于直方图规定化的图像去雾算法[J]. 计算机技术与发展,2014,24(9):241-244.WANG W G,WANG B H,ZHANG J J,et al. Image haze removal algorithm based on histogram specification[J]. Computer Technology and Development,2014,24(9):241-244. [4] 张赛楠,吴亚东,张红英,等. 改进的单尺度Retinex雾天图像增强算法[J]. 激光与红外,2013,43(6):698-702.ZHANG S N,WU Y D,ZHANG H Y,et al. Haze image enhancement method based on improved single-scale Retinex[J]. Laser & Infrared,2013,43(6):698-702.[5] 孙晓晓,杨峰. 基于小波变换融合技术的去雾方法[J]. 山东师范大学学报(自然科学版),2016,31(2):40-43.SUN X X,YANG F. Defogging based on wavelet transform fusion technology[J]. Journal of Shandong Normal University(Natural Science),2016,31(2):40-43.[6] TAN R T. Visibility in bad weather from a single from a single image[C]∥Proceedings of IEEE Computer Vision and Pattern Recognition. Anchorage,Alaska:IEEE,2008:1956-1963.[7] FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics,2008,27(3):721-728.[8] HE K M,SUN J,TANG X O. Single image haze removal using dark channelprior[C]∥Proceedings of I EEE Conference on Computer Vision and Pattern Recognition. Miami,Florida:IEEE,2009:1956-1963.[9] HE K M,SUN J,TANG X O. Guided image filtering[C]∥Proceeding of the 11th European Conference on Computer Vision:Part I. Berlin:Springer,2010:1-14.[10] MENG G,WANG Y,DUAN J,et al. Efficient image dehazing with boundary constraint and contextual regularization[C]∥Proceeding of IEEE International Conference on Computer Vision. Washington:IEEE,2014:617-624.[11] TANG K,YANG J,WANG J. Investigating haze-relevant features in a learning framework for image dehazing[C]∥Proceeding of IEEE Conference on Computer Vision and Pattern Recognition. Columbus:IEEE,2014:2995-3002.[12] CAI B,XU X,JIA K,et al. DehazeNet:an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing,2016,25(11):5187-5198.[13] MCCARTNEY E J. Optics of the atmosphere:scattering by molecules and particles[M]. New Jersey:Wiley,1976.[14] NARASIMHAN S G,NAYAR S K. Contrast restoration of weather degraded images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(6):713-724. [15] NARASIMHAN S G,NAYAR S K. Vision and the atmosphere[J]. International Journal of Computer Vision,2002,48(3):233-254.[16] 周飞燕,金林鹏,董军. 卷积神经网络研究综述[J]. 计算机学报,2017,40(6):1229-1251.ZHOU F Y,JIN L P,DONG J. Review of convolutional neural network[J]. Chinese Journal of Computers,2017,40(6):1229-1251.[17] 郭璠，蔡自兴. 图像去雾算法清晰化效果客观评价方法[J]. 自动化学报,2012,38(9):1410-1419. GUO F,CAI Z X. Objective assessment method for the clearness effect of image defogging algorithm[J]. Acta Automatica Sinica,2012,38(9):1410-1419.。

基于多尺度残差和注意力机制的图像去雾算法
陈辉;牛丽丽;付辉;张天佑;席磊
【期刊名称】《兰州理工大学学报》
【年(卷),期】2024(50)2
【摘要】雾的存在严重降低了图像的质量,阻碍了后续对图像的进一步处理.针对已有去雾算法特征提取不充分等问题,提出了一种端到端的基于多尺度空洞残差块和多尺度注意力机制的图像去雾算法.首先,通过三个小尺度的卷积核进行卷积运算提取雾图的浅层特征,可以在得到较大感受野的同时降低参数量.然后,将其输入多个由多尺度残差空洞卷积特征提取模块和多尺度注意力机制模块串联组成的网络模块,多尺度空洞卷积残差特征提取模块可以提取不同感受野的雾图特征并进行不同维度的特征融合,有效解决特征尺度单一问题;多尺度注意力机制模块可合理分配不同特征的权重,并抑制无关的冗余信息.最后,把雾图中的雾特征筛减便得到去雾图的特征图,再通过卷积操作恢复出无雾图像.通过在SOTS测试集上测试,得到了比其他几种经典方法更好的视觉效果,且在PSNR和SSIM上的表现也优于其他几种经典方法.【总页数】8页(P69-76)
【作者】陈辉;牛丽丽;付辉;张天佑;席磊
【作者单位】兰州理工大学电气工程与信息工程学院;甘肃省科学院自动化研究所【正文语种】中文
【中图分类】TP273
【相关文献】
1.基于残差密集块与注意力机制的图像去雾网络
2.结合多尺度融合特征和残差注意力机制的联合三维人脸重建及密集对齐算法
3.基于残差注意力机制的图像去雾算法
4.基于多尺度注意力残差网络的图像阴影去除算法
5.基于多尺度特征融合和残差混合注意力的点云配准算法
因版权原因，仅展示原文概要，查看原文内容请购买。

图像去雾技术的研究与应用随着现代图像处理技术的不断发展，图像去雾技术也逐渐成为了一个火热的研究领域。

图像去雾技术的主要目的是消除图像中的雾霾，使得图像更加清晰明朗。

这可以为诸如地图、无人机飞行等领域提供更为精确的数据支持。

而去雾技术的应用也已经从早期的图像修复逐渐拓展到了城市监测、自动驾驶、机器人视觉等领域。

本文从原理、方法、应用等方面展开讨论，详细介绍了图像去雾技术的研究与应用进展。

一、去雾原理在进行图像去雾之前，需要了解一些基本原理。

图像中的雾是由于光的散射和反射而产生的。

当光线穿过地面、水面等透明或半透明的介质时，其波长会发生微弱的散射，导致图像变得模糊不清。

而经过处理后的图像，主要是减少图像中的散射光线，提高图像的对比度和清晰度。

二、去雾方法目前，图像去雾还没有一个标准的处理方法，各家研究机构和学者在此领域进行了许多的探索和实践。

以下介绍一些比较常见的去雾方法。

1.暗通道先验去雾法暗通道先验去雾算法是比较常见的一种方法，它要求图像中至少有一个通道的强度值在非雾部分为0，这个通道被称为暗通道。

该算法通过暗通道的一些特性和先验知识来减少图像中的散射影响，从而实现去雾。

优点是去雾效果比较好，但是会导致图像变暗。

2. 基于物理模型、多尺度分析的去雾方法基于物理模型、多尺度分析的去雾方法是比较新的一种方法。

它主要通过多尺度分析获取雾的密度和图像清晰度的之间的关系，然后采用物理模型进行计算，得出清晰的图像。

该方法在消除雾霾效果上，比较逼近于人眼看到的物体。

3. 其他方法还有一些其他的去雾方法，例如去雾滤波、全局对比度增强算法、快速无参考图像质量评价算法等。

这些算法都有其独特之处，可以根据实际需求来选择不同的处理方法。

三、应用领域图像去雾技术的应用领域非常广泛。

以下是一些具体的例子：1.城市监测和控制：在城市中，由于道路交通、工厂排放等原因，会产生大量的雾霾。

利用去雾技术，可以在监测设备的拍摄下，即时地评估环境质量，从而进行污染物的监测和控制。

科技与创新｜Science and Technology & Innovation2024年 第02期DOI ：10.15913/ki.kjycx.2024.02.033基于深度学习的单幅图像去雾算法综述＊李武劲，刘昱泽，刘道城，姜 林，罗 娜（湖南理工学院，湖南 岳阳 414000）摘 要：随着人工智能技术的快速发展，深度学习已经成为解决图像去雾问题的主要方法之一。

综述了当前深度学习在图像去雾中的应用研究进展，主要包括基于传统卷积神经网络的方法、基于生成对抗网络的方法、多尺度方法等。

对比分析了不同方法的优缺点，并对未来的研究方向进行了探讨。

关键词：深度学习；单幅图像去雾算法；图像去雾；多尺度方法中图分类号：TP391.41；TP18 文献标志码：A 文章编号：2095-6835（2024）02-0114-03——————————————————————————＊［基金项目］2022年度湖南省大学生创新创业训练计划一般项目“基于自相似性的水下图像清晰化算法研究”（编号：5373）图像去雾是计算机视觉领域中的一个重要问题，其目的是从有雾图像中还原出无雾图像。

在现实世界中，由于自然灾害、人为排放等原因，雾化图像广泛存在。

这些雾化图像通常会降低图像的质量、图像的视觉效果和识别精度。

因此，图像去雾已经成为计算机视觉中的一个重要研究方向。

在图像去雾领域，传统方法主要是基于物理模型方法，如暗通道先验方法[1]、颜色恢复方法[2]等。

但这些方法通常需要手动选择参数，处理复杂场景的效果有限。

随着深度学习技术的快速发展，基于深度学习的图像去雾算法逐渐成为研究的热点[3-5]。

深度学习算法利用深度神经网络的强大特征提取能力，自适应地学习特定场景下的图像特征，能够更好地还原有雾图像。

1 基于深度学习的单幅图像去雾算法简介深度学习去雾算法通过训练深度神经网络来实现图像去雾。

具体来说，它利用已有的带雾和清晰的图像数据集进行监督学习，训练出一种能够自动从带雾图像中恢复出清晰图像的模型。

多尺度特征融合方法
多尺度特征融合是一种常见的技术分析方法,可以帮助提取不同尺度的特征信息,并提高模型的鲁棒性和准确性。

以下是几种常见的多尺度特征融合方法:
1. 金字塔法(Pyramiding):将不同尺度的特征点按顺序组合在
一起,形成一个更大的特征空间。

金字塔法的优点是能够将不同尺度的特征信息结合起来,形成更全面的特征描述。

2. 级联特征融合(Merged 特征):将不同尺度的特征点进行加权融合,形成一个新的特征向量。

级联特征融合的优点是能够平衡不同尺度的特征信息,避免信息过载和失真。

3. 小波变换法(Wavelet Transform法):利用小波变换在不同尺度上的特性,将不同尺度的特征信息进行分离和融合。

小波变换法的优点是可以处理不同频率和不同尺度的特征信息,缺点是需要对小波系数进行编码和解码。

4. 遗传算法(Genetic Algorithms法):是一种自适应的优化方法,可以在不断尝试中找出最优的特征融合方案。

遗传算法法的优点是可以针对复杂的特征组合问题进行优化,缺点是需要大量的试验数据和计算资源。

以上是几种常见的多尺度特征融合方法,不同的方法适用于不同的场景和问题。

在实际应用中,需要根据具体情况选择最合适的方法。