基于CycleGAN的水下图像增强算法

现代电子技术Modern Electronics Technique2023年12月1日第46卷第23期Dec. 2023Vol. 46 No. 23

0 引 言

水下图像增强技术在海洋开发与探测中至关重要，

是水下机器人进行水下作业的前提[1]，在海洋开发与环

境保护方面都具有很重要的意义[2]。水体以及其中的悬

浮颗粒会引起光的衰减和散射，进而会使得水下图像出

现颜色改变、细节模糊、亮度下降等现象，因此通过图像

增强技术获得更真实的水下图像具有很重要的意义[3]。

目前，基于CycleGAN对水下图像增强的算法虽然解决了对成对数据集依赖的问题，但仍存在亮度不均衡、颜

色校正不佳和纹理细节恢复不到位的问题。

因此，针对上述问题，本文提出了一种基于循环生

成对抗网络的改进网络模型，通过在U⁃Net中引入多尺

度卷积和残差空洞卷积来提升水下图像纹理细节的恢

复。通过引入全卷积的亮度均衡模块以及图像强边缘

结构相似度（SESS）损失函数来调节亮度均衡和颜色恢

复[4]。使用双重判别器促进生成器更好地提取输入图像的

细节特征，进而生成更高质量的水下增强图像。基于CycleGAN的水下图像增强算法

胡志润， 李 然

（大连海洋大学 信息工程学院， 辽宁 大连 116023）

摘 要： 针对水下图像亮度低、颜色失真以及纹理模糊等问题，提出多尺度循环对抗（MCA）损失函数并用于CycleGAN中，构建了MCA⁃CycleGAN算法。该网络的生成器是基于U⁃Net并加入了多尺度卷积和空洞残差卷积，能有效增强水下图像的亮度、颜色以及纹理细节信息；亮度均衡方面采用了全卷积模块，使图像亮度分布均匀进而获得较好的主观视觉。判别器模块采用双重判别器，较好地提取图像的细节信息进而促进整个网络模型生成更高质量的图像。实验证明，该网络模型与其他模型相比，在PSNR、UIQM和UCIQE客观指标上分别提升了4.602、0.131 1和0.032 7，且生成的增强图像更清晰、更自然、更符合人类的主观视觉。关键词： 水下图像增强； MCA⁃CycleGAN； U⁃Net； 全卷积模块； 双重判别器； 图像纹理中图分类号： TN911.73⁃34； TP391.41； TP183 文献标识码： A 文章编号： 1004⁃373X（2023）23⁃0079⁃06

Underwater image enhancement algorithm based on CycleGAN

HU Zhirun, LI Ran(School of Information Engineering, Dalian Ocean University, Dalian 116023, China)

Abstract： A multi⁃scale and cyclic adversary (MCA) loss function is proposed and used in CycleGAN to solve the problems such as low brightness, color distortion and texture blur in underwater images. The MCA⁃CycleGAN algorithm is established. The generator of this network is based on U⁃Net, in which multi⁃scale convolution and void residual convolution are added, which can effectively enhance the brightness, color and texture details of underwater images. The full convolutional module is adopted for brightness equalization to make the image brightness distribution uniform and further obtain better subjective vision. A double discriminator is used for the discriminator module to better extract the detailed information of the image and promote the whole network model to generate higher quality images. The experiment show that, in comparison with the other models, the proposed network model has improved by 4.602, 0.131 1 and 0.032 7 in the objective indexes of PSNR, UIQM and UCIQE, respectively, and the generated enhanced images are clearer, more natural and more consistent with human subjective vision.

Keywords： underwater image enhancement; MCA⁃CycleGAN; U⁃Net; full convolutional module; double discriminator; image textureDOI：10.16652/j.issn.1004⁃373x.2023.23.015

引用格式：胡志润，李然.基于CycleGAN的水下图像增强算法[J].现代电子技术，2023，46（23）：79⁃84.

收稿日期：2023⁃07⁃10 修回日期：2023⁃07⁃28基金项目：辽宁省教育厅科研项目（LJKZ0730）；中国医药教育协会2022重大科学攻关问题和医药技术难题重点课题（2022KTM036）79现代电子技术2023年第46卷

本文提出了基于多尺度循环对抗（Multi⁃scale and Cyclic Adversary, MCA）损失函数的CycleGAN，即MCA⁃

CycleGAN，对图像纹理细节的提升起到了关键性作用。

采用弱监督学摆脱了对成对数据集的依赖。

实验证明，该网络模型在PSNR、UIQM和UCIQE指标

上取得了较优结果，分别提升了4.602、0.131 1和0.032 7。

1 MCA⁃CycleGAN水下图像增强网络

1.1 MCA⁃CycleGAN的网络结构组成

该网络模型是基于CycleGAN模型，不同之处在于

改进了生成器、判别器以及损失函数。该网络模型由

正向网络和反向网络两部分组成。正向网络：将水下

图像x输入到生成器G中生成x1，再将x1输入到生成器F中生成图像x2，双重判别器Dy对生成的脱水图像x1以及正常图像y进行判别。反向网络同理，只是把输入图

像变成了正常图像，其他结构相同。整体网络架构如图1所示。

图1 MCA⁃CycleGAN网络结构

1.2 基于改进U⁃Net与亮度均衡模块的生成器网络结构

生成器网络是CycleGAN的核心，其作用是对输入

图像进行去噪以及细节信息恢复。U⁃Net[5]网络结构主

要由三部分组成，分别为编码器、解码器和跳跃连接。

编码器负责缩小特征图的尺寸，进而得到更大感受野的

特征图；解码器负责把特征图转变为与输入相同尺寸的生成图像，为了防止由网络深度加深而引起的浅层特征

丢失加入了跳跃连接，并且融合多层次特征生成高质量

的水下图像。MCA⁃CycleGAN的生成器是以U⁃Net为主

体，并加入了多尺度卷积和残差空洞卷积，同时结合全

卷积的亮度均衡模块。大多数水下图像增强算法都是

对图像整体进行亮度增强，因此很可能会出现图片过曝

的问题，对此采用亮度均衡模块来解决这个问题。此模

块由通道数均为32的全卷积网络构成，作为辅助网络

用来定位水下图像低照度区域，进而达到增强后的图像

亮度分布均匀。亮度均衡模块得到的结果和解码器得

到的输出相乘再经过一个卷积核为7×7的卷积，卷积层

后使用tanh激活函数是为了保证输出呈非线性单调以

及防止出现梯度消失的现象。

首先使用9×9卷积得到更多的全局特征，再使用5个3×3的卷积来获得局部较暗区域的位置信息，进而得

到位置注意图，其中前5个的激活函数为LeakyReLU，

第六层为Sigmoid。生成器网络具体结构如图2所示。

其中，首字母例如A代表不同类型的卷积层，n代表通道

数，k代表卷积核大小，s代表步长，r代表空洞率。多数

水下图像普遍偏暗，导致局部的特征比较单一，为了让

生成器获取更多的特征信息，生成器首段采用了多尺度

卷积以及通道拼接，利用一个卷积核为1的小卷积将通

道数转变为64，这一过程实现了对输入图像多层次的

特征提取。编码器是一个下采样的过程，主要作用是对

水下图像的特征信息进行压缩与提取。下采样过程将256×256的特征图转变成了32×32。转换器是由6个残

差块组成，其作用是对编码器提取的特征图进行整合，

残差块的结构组成为两个卷积层+IN+ReLU，其中在第

二个卷积层中加入了空洞卷积，是为了扩大感受野提取

更多细节的特征图[6]，前三个残差块的空洞率为2，后

三个为4。解码器通过上采样将得到图像特征转换成

浅层特征，进而得到了与输入图像相同尺寸的脱水图

像。解码器在4个标准卷积中间穿插3个反卷积，反卷

积层后使用ReLU激活函数。1.3 双重判别器

判别器是用来区分图片真假的，本文采用的双重判

别器[7]结构如图3所示。

双重判别器由D1和D2两个完全相同的子判别器组

成，子判别器结构除最后一层卷积步长设置为1外，其余

层全为2。本文将尺寸为256×256以及128×128的水下图

像依次输入到D1和D2中，实现对生成图像的多尺度判

别，进而促进生成器生成更高质量的水下脱水图片。双重

判别器采用全卷积网络结构[8]，通过计算局部区域的真

实性后进行平均，进而作为衡量整张图像真实性的标准。80第23期

图3 双重判别器网络结构

1.4 损失函数

损失函数是卷积神经网络的优化准则，该网络模型

的总损失函数由多尺度循环对抗、循环一致性、强边缘

相似度三部分损失组成。1） 多尺度循环对抗损失

为了促进生成器生成纹理细节更加清晰的脱水图

像，采用多尺度循环对抗损失，其从多尺度出发对生成

的图像进行多角度判别，如式（1）所示，计算生成的空气

脱水图像x1与真实的空气脱水图像y之间分布的差距。

LGAN=(G,DY,x,y)=Ey~pdata(y)[(DY1(y)-1)2]+Ex~pdata(x)[DY1(G(x))2]+ Ey~pdata(y)[(DY2(y)-1)2]+Ex~pdata(x)[DY2(G(x))2]

（1）LGAN(F,DX,y,x)=

Ex~pdata(x)[(DX1(x)-1)2]+Ey~pdata(y)[DX1(G(y))2]+

Ex~pdata(x)[(DX2(x)-1)2]+Ey~pdata(y)[DX2(G(y))2]（2）