基于加权复杂网络模型的恢复路径优化方法

神经网络模型的训练技巧与优化方法随着人工智能技术的不断发展，神经网络已成为解决复杂问题的一种主要方法。

神经网络的训练是指通过调整网络的参数，使其能够从训练数据中学习出合适的映射关系。

为了获得更好的训练效果，必须灵活运用一些训练技巧和优化方法。

本文将介绍一些常用的神经网络训练技巧与优化方法，帮助读者更好地掌握神经网络模型的训练过程。

1. 数据预处理在进行神经网络训练时，数据预处理是非常重要的一步。

首先，需要对数据进行归一化处理，将其转化为统一的数据范围，有助于提高神经网络的收敛速度。

其次，可以采用数据增强的方式，通过对原始数据进行旋转、平移、缩放等操作来扩充数据集的规模，提高模型的泛化能力。

2. 选择合适的激活函数激活函数在神经网络中起到了非常重要的作用，它能够引入非线性特性，增加网络的表达能力。

常见的激活函数包括sigmoid函数、ReLU函数、tanh函数等。

在选择激活函数时，需要根据具体的问题和网络结构来进行选择，以获得更好的训练效果和收敛速度。

3. 适当调整学习率学习率决定了神经网络参数的调整步长，过大的学习率可能导致模型发散，而过小的学习率则会让模型收敛速度过慢。

因此，在训练过程中，需要根据实际情况适当调整学习率，可以采用指数递减的方式或根据验证集的表现来动态调整学习率，以获得更好的训练效果。

4. 使用合适的损失函数损失函数用于衡量模型预测值与实际值之间的差异，是模型优化的关键。

根据具体的问题和任务类型，可以选择不同的损失函数，常见的有均方误差损失函数、交叉熵损失函数等。

在选择损失函数时，需要考虑问题的特点以及模型的训练目标，以获得更好的训练效果。

5. 批量归一化批量归一化是一种常用的网络优化方法，它可以加速神经网络的训练过程，提高模型的泛化能力。

批量归一化通过对每个小批量样本进行规范化处理，使得网络在学习的过程中更加稳定和可靠。

同时，批量归一化还可以缓解梯度消失和梯度爆炸等问题，有助于提高网络的训练效果。

加权马尔可夫反向修正加权马尔可夫反向修正（Weighted Markov Backoff，WMB）是一种常用于自然语言处理领域的技术，它用于解决文本分类、词义消歧以及自然语言生成的问题。

本文将分步骤阐述WMB的原理和应用场景，并探讨其优缺点。

第一步，马尔可夫链的概念马尔可夫链（Markov Chain）指的是一种状态转移模型，该模型假设在任一时刻，系统的下一状态只依赖于当前状态，与之前的状态无关。

这种模型可以应用于许多领域，如语言处理、信号处理、生物学等。

第二步，加权马尔可夫链在原有的马尔可夫链基础上，加权马尔可夫链（WeightedMarkov Chain）引入了条件加权概率，这种概率考虑到了文本的局部语言特征和上下文关系。

条件加权概率表示当前状态在给定前一个状态的情况下，出现下一个状态的概率。

第三步，马尔可夫反向修正马尔可夫反向修正（Markov Backoff）指的是一种处理未知状态的方法。

在使用加权马尔可夫链进行文本处理时，可能会遇到一些未知的状态，为了处理这些状态，需要利用更少的上下文信息进行分析。

马尔可夫反向修正方法用于同时研究不同长度的状态序列，然后根据状态序列的长度，对概率进行不同程度的修正，以达到更准确的文本处理效果。

第四步，加权马尔可夫反向修正的应用场景加权马尔可夫反向修正已经应用于自然语言处理的多个领域。

例如，语音识别和自然语言生成领域的模型设计依赖于该方法；在信息抽取、文本分类以及词义消歧等领域，该方法都被广泛使用。

另外，该方法在自然语言翻译等机器翻译技术中也发挥了重要作用。

第五步，加权马尔可夫反向修正的优缺点加权马尔可夫反向修正具有较高的准确性，能够为自然语言处理提供可靠的结果。

另外，该方法具有计算速度较快、对词典范围不受限制等优点。

但是，该方法也存在一些缺点，如对文本上下文依赖较强、需要对文本进行分段处理等问题。

综上所述，加权马尔可夫反向修正是一种常用于自然语言处理领域的技术，该技术因其较高的准确性和计算速度被广泛应用于机器翻译、文本分类、词义消歧等领域。

随着经济高速发展对电能依赖程度的加剧，电力系统的规模不断增大，结构日趋复杂。

电能生产、传输与消费环节之间的强耦合性使得针对局部扰动的不恰当处置可导致影响范围扩大，甚至诱发恶性连锁反应，酿成大面积停电事故。

近年来，由于可再生能源发电大规模接入电力系统以及强随机、突发性极端自然灾害的频发，发生这种大面积停电的风险还有逐步增大的趋势。

自2003年美加大停电之后，发生在我国和巴拉圭、巴西、日本、印度等国的大面积停电事故已经充分说明：大停电是现代电力系统必须面对的严重威胁[1]。

在加强电网建设和管理的同时，研究大停电事故后局部孤立系统的快速恢复，对减少事故带来的经济损失和社会动荡具有极其重要的意义。

作为系统恢复的核心环节,网架重构的主要任务是高效利用系统中有限的启动功率，通过优化骨干机组及关键线路的投运顺序，争取在尽可能短的时间内最大化系统的有功出力,减小重要负荷的停电损失。

就大系统的总体重构策略而言，主要分为子系统内的串行恢复和不同子系统间的并行恢复，通过二者的协调配合保证全网恢复的同步[2-4]。

作为子系统内重构过程的基础，事故后的机组恢复顺序优化问题率先受到国内外研究者的关注。

20世纪90年代，基于知识库的专家系统、层次分析等定性分析与定量求解相结合的方法已被相继用来制定机组恢复方案[5，6]。

为了提高方案的客观适用性，文献[7]将机组顺序优化等效为多约束条件的背包问题，采用数据包络分析模型和回溯算法进行定量求解。

文献[8]进一步引入二进制和线性决策变量，将问题简化为混合整数线性优化问题，可求得所有机组初始启动顺序的最优解。

顺利重建网架不仅需要合理安排机组的恢复顺序，还需要关注送电路径的优化。

文献[9-11]利用复杂网络的拓扑特性指导网架重建过程中关键线路的筛选。

文献[12]将机组启动时间限制引入恢复路径的优化过程。

文献[13]将送电路径优化与节点重要性评价进行解耦，提出针对网络重构过程的通用送电路径优化模型。

大型复杂网络的建模与优化技术综述随着信息时代的快速发展，大型复杂网络在各个领域得到了广泛应用。

从社交网络到交通网络，从互联网到生物网络，复杂网络的建模和优化技术对于解决现实世界的问题至关重要。

本文将对大型复杂网络的建模和优化技术进行综述，从网络模型的基本理论开始，到各种优化方法的应用，力求给读者提供全面和深入的了解。

首先，我们来讨论大型复杂网络模型的基本理论。

网络模型是描述复杂网络的基础，其中最经典的是无标度网络模型和小世界网络模型。

无标度网络模型指出了复杂网络中节点度数的幂律分布特性，其重要性得到广泛认可。

小世界网络模型则揭示了复杂网络中短路径长度和高聚集性的特点，这对于信息传递和网络动力学的研究至关重要。

除了无标度网络和小世界网络，其他模型，如随机网络、分层网络和加权网络等也在不同场景中得到广泛应用。

接着，我们将探讨大型复杂网络的优化方法。

优化技术是改善网络性能和效率的关键手段。

在网络流量优化方面，基于网络流和图论的算法得到了广泛应用。

例如最小费用流算法和最大流算法等，通过合理规划网络路由和资源分配，优化网络中的流量分布，提高网络的性能和稳定性。

在网络拓扑优化方面，通过节点的添加、删除和布局等策略，可以改善网络的鲁棒性、可靠性和效率。

网络布线优化方法则通过合理规划网络节点之间的物理连接，最大限度地减少网络的延迟和损耗。

此外，还有一些进化算法和智能优化算法被应用于大型复杂网络的优化，如遗传算法、蚁群算法和粒子群算法等，这些算法在网络优化问题中展现了出色的性能。

此外，社交网络的兴起给大型复杂网络的建模和优化带来了新的挑战。

社交网络中人际关系的复杂性和动态性使得建模和优化变得更加复杂。

为了更好地理解和预测社交网络中的行为和信息传播，研究者提出了各种新的模型和算法。

例如，社交网络中的信息传播模型考虑了个体的影响力、社区结构和信息扩散路径等因素。

通过利用这些模型和算法，我们可以更好地理解社交网络的特性，并通过优化策略来提高信息传播的效率和影响力。

复杂网络优化模型及算法研究复杂网络是一种由大量相互连接的节点组成的网络结构，具有高度复杂性和非线性特征。

而网络优化旨在设计出最佳的网络结构，以提高网络的性能和效率。

因此，复杂网络的优化模型和算法成为了研究的焦点。

一、复杂网络优化模型复杂网络优化模型旨在解决网络结构设计及网络性能改进的问题。

尽管网络优化问题的具体形式各不相同，但优化模型通常包括以下几个关键要素。

1. 目标函数：优化模型的目标函数是衡量网络性能和效率的指标。

常见的目标函数包括最小化网络总成本、最大化网络吞吐量、最小化网络延迟等。

2. 约束条件：网络设计往往需要满足一定的约束条件，以保证网络的可行性和稳定性。

例如，网络设计需要满足带宽要求、节点度数限制、路径长度限制等。

3. 决策变量：决策变量是网络设计中的可调整参数。

它们用于表示节点之间的连接方式、带宽分配、路由选择等网络结构和性能相关的决策。

二、复杂网络优化算法复杂网络优化算法是用于求解复杂网络优化模型的数学和计算方法。

以下是几种常见的优化算法。

1. 遗传算法：遗传算法是一种基于生物进化原理的优化算法。

它通过模拟遗传操作，通过不断迭代优化个体的适应度，最终得到最优解。

遗传算法可以应用于复杂网络设计、路由优化等问题。

2. 粒子群优化算法：粒子群优化算法是一种基于群体智能的优化算法。

它通过模拟鸟群或鱼群的行为，通过不断搜索空间中的潜在解，最终收敛到全局最优解。

粒子群优化算法在复杂网络设计中具有广泛的应用。

3. 蚁群算法：蚁群算法是一种基于蚂蚁寻找食物路径的启发式优化算法。

它通过模拟蚂蚁在搜索过程中的信息交流和信息素释放行为，找到最短路径或最优解。

蚁群算法适用于复杂网络路由优化等问题。

4. 模拟退火算法：模拟退火算法是一种基于统计物理学思想的全局优化算法。

它通过模拟固体物体在高温下退火的过程，以跳出局部最优解并收敛到全局最优解。

模拟退火算法可用于复杂网络的布局和结构优化。

三、应用领域复杂网络优化模型和算法具有广泛的应用领域，包括但不限于以下几个方面。

了解神经网络常见问题与解决方法神经网络是一种模拟人脑神经元之间相互连接的计算模型，它在许多领域中取得了重要的突破和应用。

然而，神经网络在实践中也面临着一些常见问题，如梯度消失、过拟合和欠拟合等。

本文将介绍这些问题的原因和解决方法，以帮助读者更好地理解和应用神经网络。

1. 梯度消失问题梯度消失是指在神经网络的反向传播过程中，梯度逐渐变小，最终趋近于零。

这会导致网络无法学习到有效的权重更新，从而影响模型的性能。

梯度消失问题通常出现在深层神经网络中，因为在反向传播过程中，梯度需要经过多次乘法运算，导致梯度值指数级地衰减。

解决梯度消失问题的方法之一是使用激活函数，如ReLU（Rectified Linear Unit），它能够在一定程度上解决梯度消失的问题。

另外，使用批量归一化（Batch Normalization）技术也可以有效地缓解梯度消失问题。

批量归一化通过对每个批次的输入进行归一化，使得网络的输入分布更加稳定，从而减少梯度消失的风险。

2. 过拟合问题过拟合是指模型在训练集上表现良好，但在测试集上表现较差的现象。

过拟合问题通常发生在模型过于复杂或训练数据过少的情况下。

当模型过于复杂时，它可能会记住训练数据的细节，而无法泛化到新的数据。

当训练数据过少时，模型可能会过于依赖这些有限的数据，而无法捕捉到数据的真实分布。

为了解决过拟合问题，可以采用一些常用的方法。

一种方法是增加训练数据的数量，这样可以提供更多的样本来训练模型，从而减少过拟合的风险。

另一种方法是使用正则化技术，如L1正则化和L2正则化。

正则化通过在损失函数中引入正则化项，限制模型的复杂度，从而减少过拟合的可能性。

3. 欠拟合问题欠拟合是指模型无法充分拟合训练数据的现象。

当模型过于简单或训练数据过于复杂时，欠拟合问题可能会发生。

当模型过于简单时，它可能无法捕捉到数据的复杂关系。

当训练数据过于复杂时，模型可能无法从中学习到有效的特征。

为了解决欠拟合问题，可以采用一些方法来增加模型的复杂度。

权重优化方案背景和目标在机器学习和数据科学领域，权重优化是一项重要的任务。

权重优化的目标是通过调整模型中各个特征的权重，提高模型的性能和准确性。

本文将探讨几种常用的权重优化方案，并说明它们的特点和适用场景。

1. 梯度下降法梯度下降法是一种常见的权重优化算法，广泛应用于线性回归、逻辑回归和神经网络等模型中。

该算法通过计算目标函数对权重的偏导数（梯度），不断更新权重，使目标函数逐步收敛到最优解。

具体步骤如下： 1. 初始化权重向量。

2. 通过正向传播计算模型的输出。

3. 根据模型输出和实际值计算损失函数。

4. 计算损失函数对各个权重的偏导数（梯度）。

5. 根据梯度和学习率更新权重。

6. 重复步骤2到5，直到损失函数收敛或达到最大迭代次数。

梯度下降法的优点是简单易实现，收敛速度较快。

缺点是可能陷入局部最优解，对初始权重比较敏感。

2. 牛顿法牛顿法是一种基于二阶导数的优化算法，通过考虑目标函数的曲率信息，能够更快地逼近最优解。

与梯度下降法相比，牛顿法对初始权重的依赖性较小，收敛速度更快。

具体步骤如下： 1. 初始化权重向量。

2. 通过正向传播计算模型的输出。

3. 根据模型输出和实际值计算损失函数。

4. 计算损失函数对各个权重的一阶导数（梯度）和二阶导数（Hessian矩阵）。

5. 根据一阶导数和二阶导数更新权重。

6. 重复步骤2到5，直到损失函数收敛或达到最大迭代次数。

牛顿法的优点是收敛速度较快，对初始权重较不敏感。

缺点是计算二阶导数会增加计算量，且当Hessian矩阵不可逆时无法使用。

3. L1正则化和L2正则化L1正则化和L2正则化是常见的权重优化技术，通过对权重施加正则化项，使模型更加稀疏，并减小过拟合的风险。

L1正则化的损失函数定义为原始损失函数加上权重的绝对值之和的乘以一个正则化参数lambda。

L1正则化使权重向量中的某些权重变为0，实现特征选择的效果。

L2正则化的损失函数定义为原始损失函数加上权重的平方和的乘以一个正则化参数lambda。

temu 算法-回复什么是temu算法?Temu算法是一种基于机器学习的启发式搜索算法。

它被设计用来解决组合优化问题，特别是那些具有高度复杂性且无法通过传统的数学方法直接求解的问题。

Temu算法利用启发式规则和模拟退火技术，通过不断迭代地搜索问题的解空间，最终找到一个近似最优解。

一、Temu算法的工作原理1.问题建模：首先，将组合优化问题转化为一个合适的数学模型。

这个模型将问题的约束条件、目标函数以及决策变量等因素考虑在内。

2.解空间的初始化：通过设定一个初始解，即解空间中的一个点，作为Temu算法的起点。

这个初始解可以是随机生成的，也可以是根据问题的特点有选择性地生成的。

3.邻域搜索：Temu算法通过对当前解进行邻居解的生成，进行局部搜索。

邻居解是通过对当前解中的一个或多个决策变量进行微小的变化得到的。

这个邻域搜索过程可以根据问题的约束条件和特点进行调整。

4.决策：在邻域搜索之后，Temu算法根据一个启发式准则来判断是否接受邻域解作为新的当前解。

这个启发式准则可以是基于目标函数值的变化，也可以是基于约束条件的改善程度。

5.模拟退火：Temu算法引入了模拟退火的思想，通过控制一个温度参数来模拟材料在退火过程中的变化。

温度参数控制了搜索过程中的探索能力和接受劣解的概率。

6.迭代搜索：根据决策和模拟退火的结果，Temu算法不断迭代地搜索解空间。

每一次迭代都会更新当前解，并根据一个停止准则来判断是否终止搜索。

7.输出结果：最终，Temu算法会输出一个近似最优解，该解在给定的约束条件下具有最大或最小的目标函数值。

二、Temu算法的应用领域Temu算法在许多领域都有广泛的应用，例如：1.物流规划：Temu算法可以帮助企业进行物流规划，包括仓库定位、路径规划、货物分配等问题，从而实现高效的物流管理。

2.生产调度：Temu算法可以优化生产调度，确定最佳的生产顺序、资源分配以及工人调度等，提高生产效率和资源利用率。

第62卷第2期吉林大学学报(理学版)V o l.62 N o.2 2024年3月J o u r n a l o f J i l i nU n i v e r s i t y(S c i e n c eE d i t i o n)M a r2024d o i:10.13413/j.c n k i.j d x b l x b.2022343基于多模态融合的深度神经网络图像复原方法李伟伟1,王丽妍2,傅博2,王娟1,黄虹1(1.山东青年政治学院信息工程学院,济南250103;2.辽宁师范大学计算机与人工智能学院,辽宁大连116081)摘要:针对水下图像成像环境复杂常受偏色等因素干扰而影响后续图像分析的问题,提出一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络图像复原方法.首先,深度卷积神经网络在抽取图像空间特征的基础上,引入图像多尺度变换特征;其次,通过通道注意力㊁监督注意力和非局部注意力,挖掘图像特征的尺度间相关性㊁特征间相关性;最后,通过设计多模态特征融合机制,将上述两类特征有效融合.在公开的水下图像测试集上进行测试并与当前主流方法进行对比的实验结果表明,该方法在峰值信噪比㊁结构相似性等定量对比以及颜色㊁细节等定性对比上都优于对比方法.关键词:多模态融合;深度神经网络;三重注意力;图像复原中图分类号:T P391文献标志码:A 文章编号:1671-5489(2024)02-0391-08D e e p N e u r a lN e t w o r k I m a g eR e s t o r a t i o n M e t h o dB a s e d o n M u l t i m o d a l F u s i o nL IW e i w e i1,WA N GL i y a n2,F U B o2,WA N GJ u a n1,HU A N G H o n g1(1.S c h o o l o f I n f o r m a t i o nE n g i n e e r i n g,S h a n d o n g Y o u t hU n i v e r s i t y o f P o l i t i c a lS c i e n c e,J i n a n250103,C h i n a;2.S c h o o l o f C o m p u t e r a n dA r t i f i c i a l I n t e l l i g e n c e,L i a o n i n g N o r m a lU n i v e r s i t y,D a l i a n116081,L i a o n i n g P r o v i n c e,C h i n a)A b s t r a c t:A i m i n g a t t h e p r o b l e m s o f t h e c o m p l i c a t e du n d e r w a t e r i m a g e i m a g i n g e n v i r o n m e n t r e s u l t e d i n t h e s u b s e q u e n t i m a g e a n a l y s i so f t e nb e i n g a f f e c t e db y c o l o rb i a s a n do t h e r f a c t o r s,w e p r o p o s e da d e e p c o n v o l u t i o n a l n e u r a l n e t w o r k i m a g e r e s t o r a t i o n m e t h o db a s e do n m u l t i-s c a l e f e a t u r e sa n dt r i p l e a t t e n t i o n m u l t i m o d a l f u s i o n.F i r s t l y,t h ed e e p c o n v o l u t i o n a ln e u r a ln e t w o r ki n t r o d u c e dt h ei m a g e m u l t i-s c a l e t r a n s f o r m a t i o n f e a t u r eo nt h eb a s i so f e x t r a c t i n g t h e i m a g es p a t i a l f e a t u r e.S e c o n d l y,b y u s i n g c h a n n e l a t t e n t i o n,s u p e r v i s e d a t t e n t i o n a n dn o n-l o c a l a t t e n t i o n,t h e s c a l e c o r r e l a t i o n a n d f e a t u r e c o r r e l a t i o n o fi m a g e f e a t u r e s w e r e m i n e d.F i n a l l y,b y d e s i g n i n g a m u l t i m o d a lf e a t u r e f u s i o n m e c h a n i s m,t h ea b o v et w ot y p e so f f e a t u r e sc o u l db ee f f e c t i v e l y f u s e d.T h e p r o p o s e d m e t h o d w a s t e s t e do n t h eo p e nu n d e r w a t e r i m a g e t e s t s e ta n dc o m p a r e d w i t ht h ec u r r e n tm a i n s t r e a m m e t h o d s. T h e r e s u l t ss h o wt h a t t h i sm e t h o d i s s u p e r i o r t o t h ec o m p a r i s o n m e t h o d i n q u a n t i t a t i v ec o m p a r i s o n s u c ha s p e a ks i g n a l-t o-n o i s e r a t i oa n ds t r u c t u r a l s i m i l a r i t y,a sw e l l a s q u a l i t a t i v e c o m p a r i s o ns u c ha s c o l o r a n dd e t a i l s.K e y w o r d s:m u l t i m o d a l f u s i o n;d e e p n e u r a l n e t w o r k;t r i p l e a t t e n t i o n;i m a g e r e s t o r a t i o n 收稿日期:2022-08-07.第一作者简介:李伟伟(1981 ),女,汉族,硕士,副教授,从事图形图像与深度学习的研究,E-m a i l:l w w@s d y u.e d u.c n.通信作者简介:傅博(1983 ),男,汉族,博士,副教授,从事图像处理与计算机视觉的研究,E-m a i l:f u b o@l n n u.e d u.c n.基金项目:国家自然科学基金(批准号:61702246)和山东青年政治学院博士科研启动基金(批准号:X X P Y21025).293吉林大学学报(理学版)第62卷随着人工智能技术的不断发展,深度学习中神经网络强大的自学习能力在图像处理领域具有至关重要的作用,目前已将其应用于自然图像处理[1]中,并取得了显著成果.在海洋能源勘探㊁海洋环境保护以及海洋物种分析等领域,水下图像包含了大量的海洋资源视觉信息,是人们观察和探索海洋的重要载体.但由于水下复杂的成像环境及光线吸收等各种干扰因素的影响,真实水下图像的获取通常很困难.在水下图像采集过程中,图像视觉质量常会降低,例如图像模糊㊁偏色㊁有噪声等,无法获取有效且准确的图像视觉内容,进而严重影响后续的图像分析任务.因此,通过水下图像复原方法,提升图像清晰度㊁丰富图像细节信息,对海洋资源的探索利用和海洋生物的分类识别等具有重要意义.目前,水下图像复原方法已取得了许多研究成果.早期传统的水下图像复原方法大多数是基于先验知识和物理模型的设计,达到图像恢复的效果.T r u c c o等[2]设计了一种自调谐图像复原滤波器,其基于简化的J a f f e-M c G l a m e r y水下成像模型设计,对图像局部对比度质量判决函数进行优化,进而估计出滤波器中的参数值;F a n等[3]对解决水下图像复原任务,提出了新的点扩散函数(P S F)和调制解调函数(M F T),图像先经过算数平均滤波后,再用迭代盲反褶积方法得到去噪图像的初始点扩散函数的理想值,最后得到图像复原的效果;H e等[4]针对有雾图像提出了暗通道先验算法复原.之后很多研究者都对暗通道进行了研究,并应用于水下图像复原.G a l d r a n等[5]合理地利用水下图像衰减与光波长的关系,提出了一种R通道复原方法用于处理水下图像,提高了图像的颜色校正和清晰度;C h e n g等[6]利用R通道先验,通过分析P S F的物理特性,提出了一种简单㊁有效的低通滤波器复原水下图像,从而提高水下图像的对比度和可见度;张凯等[7]通过水下图像亮度通道下的多尺度R e t i n e x(M S R)算法处理,提出了一种基于多尺度的R e t i n e x算法,对水下彩色图像的全局视觉效果有很大提升;S h a r a n y a等[8]分别使用了直方图均衡㊁噪声降噪滤波器和基于二阶方向导数的重复插值方法提高水下图像质量,增强细节信息.尽管上述传统方法在一定程度上可以减少图像模糊程度㊁增强边缘㊁改善偏色,但由于数据少导致模型的适用性较差,并且模型中的参数需要手动设置,因此只适用于退化程度较小的图像.近年来,基于深度学习的水下图像复原方法逐渐成为主流.例如:L i等[9]利用水下图像及其深度学习数据训练一种可粗略地估计出水下场景深度的端到端网络;F a b b r i等[10]提出了一种U G A N网络用于水下图像复原,首先采用C y c l e G A N网络[11]将高质量的水下图像渲染为低质量的水下图像,得到数据集后再通过网络训练改善水下视觉场景质量;L i等[12]提出了一种W a t e r N e t网络用于水下图像,构建水下增强基准以建立水下图像增强网络;I s l a m等[13]从图像内容㊁颜色㊁纹理细节等方面恢复水下图像,通过对目标函数多方式调整提出了一种F U n I E-G A N网络.但上述算法泛化能力较弱,网络结构设计较浅,网络本身无法学习到图像的全部特征.无论是传统算法还是基于深度学习的方法,大多数是提取出单一的数据特征进行处理,从而达到图像复原的效果.尽管深度学习方法在去噪和去除偏色问题等各方面都表现出了明显优势,但单一的数据类型更多地限制了网络学习图像自身更多信息的能力,无法关注到更多类型的数据特征.因此,本文提出一种新的水下图像复原模型框架基于多尺度特征与三重注意力多模态融合的深度神经网络水下图像复原方法.该方法在深度学习框架下,将图像数据特征和小波数据特征有效融合,学习更多的高低频信息.同时,在网络框架中采用3种注意力模块,可以同时去除噪声和恢复图像颜色,挖掘图像更多的细节特征,有效提升图像的视觉质量.1图像复原整体架构1.1水下图像成像模型水下图像的生成通常遵循以下模型:I(x)=J(x)t(x)+A(1-t(x)),(1)其中x表示水下图像中第x个像素,I(x)表示退化后的原始图像,J(x)表示清晰图像,J(x)t(x)表示直接分量,A(1-t(x))表示背景散射分量,A表示水下环境光,t(x)表示场景光透射率.式(1)根据J a f f e-M e G l a m e r y[1]水下成像模型而得,水下成像主要由相机接收到光线衰减后的直接图1 水下图像成像模型F i g .1 I m a g i n g m o d e l o f u n d e r w a t e r i m a g e 分量㊁前向散射分量㊁后向散射分量三部分组成,如图1所示.在神经网络框架下,给定一个源域Y (退化后图像)和期望域X (清晰图像),可得到映射H :Y {I (x )}ңX ,其中I (x )表示退化的水下图像.本文的目标是学习该映射以实现水下图像的自适应复原,可得深度学习框架下的目标函数为a r g m i n X 12 X -H (Y ) 22,(2)其中X 为清晰的图像,Y 为复原后的图像,算法的目标是寻找一种使函数最小化的映射H .1.2 网络模型整体架构本文提出的基于多模态数据融合的水下图像复原网络整体架构主要包括三部分,如图2所示,即浅层特征去噪部分㊁小波特征融合部分和深度特征增强部分.浅层特征去噪部分主要由一个C N -G r o u p 组成,其中在一个卷积层和R e L U 激活层后嵌入了非局部注意力模块(n o n -l o c a l a t t e n t i o n m o d u l e ,N AM ).在提取图像浅层特征的同时,非局部注意力模块可较好地抑制噪声以达到去噪的效果,并可用于进一步的深层特征增强.由于特征空间中不同的高低频特征对图像复原有重要的参考价值,因此在小波特征融合部分网络的初始阶段采用小波分解变换,准确地分解出图像的高低频特征信息,同时末端嵌入监督注意力模块(s u p e r v i s e d a t t e n t i o nm o d u l e ,S AM ),以实现特征之间的渐进学习.监督注意力模块以真实图像作为监督条件进行约束,同时输出前一阶段的注意力特征图,将学习到的高低频信息传递给下一阶段,并与浅层去噪特征融合.深度特征增强模块是在浅层去噪特征和小波特征融合的基础上进一步挖掘图像的细节特征,进行深层特征的增强和复原,其由两个卷积层㊁两个C C -G r o u p ㊁长短跳跃连接和一个反卷积层组成,其中C C -G r o u p 包括两个卷积层㊁R e L U 激活函数层和通道注意力模块(c h a n n e l a t t e n t i o nm o d u l e ,C AM ).采用通道注意力模块可以关注通道之间的相关性,从而挖掘深层特征进行增强.因此,基于该网络框架,本文将目标函数形式化为求以下最小损失函数:m i n L (F N e t (y ;θ),x ),(3)其中F N e t 表示本文提出模型的函数,L 表示损失函数,y 为网络的输入即退化图像,x 为真实的干净图像,参数θ可通过训练网络学习得到.图2 基于多模态数据融合的水下图像复原网络架构F i g .2 U n d e r w a t e r i m a ge r e s t o r a t i o nn e t w o r kf r a m e w o r kb a s e do nm u l t i m o d a l d a t a f u s i o n 2 3种注意力模块和小波分解模块本文提出的框架主要为解决图像去噪和细节增强问题,其中非局部注意力模块用于图像浅层特征393 第2期 李伟伟,等:基于多模态融合的深度神经网络图像复原方法去噪;而通道注意力机制模块用于图像增强,恢复更多图像细节;小波分解变换下的特征融合,在整个网络框架中具有核心的作用.2.1非局部注意力模块对于图像去噪,传统的非局部均值(n o n-l o c a lm e a n s,N L M)[14]算法通过采用非局部滤波器进行滤波操作,计算所求像素值与图像中所有点的相似度,加权平均得到新的像素值,从而达到去噪的效果.其计算公式为u(x)=ðyɪI w(x,y)v(y),(4)其中:v表示噪声图像; u表示去噪后的图像;w表示加权平均的权重;x和y分别表示当前像素和相关性像素的位置,通过计算两者相似程度赋以权重w(x,y),通常采用欧氏距离计算二者的相似度.由于注意力机制可帮助卷积神经网络重点关注图片的一些局部信息生成相应的序列,因此,借鉴非局部均值的思想,本文将非局部算子模块化,嵌入到C N-G r o u p中,形成非局部注意力模块N AM,如图3所示.在非局部注意力模块中,采用卷积操作和残差连接实现该算法的思想,可以随意插入到任何网络结构中.首先,采用3个1ˑ1大小的卷积层,提取到3个特征矩阵θ,ϕ,g;其次,为减少计算量,对输出的特征进行降维,然后计算其中两个输出的特征相似性,并对其进行S o f t m a x操作进行归一化;最后,将归一化后的系数对应乘回特征矩阵g中,再经过一个1ˑ1大小卷积层得到相应的通道数,并与输入做残差连接,从而得到与输入大小一致的非局部结果,本文将此过程表示为y i=S o f t m a x(θ(x i)Tϕ(x j))g(x i),Z i=W z y i+x i.(5) 2.2监督注意力模块在小波特征融合部分的末端,嵌入监督注意力模块.在网络训练过程中,中间特征的监督具有一定的参考价值.监督注意力模块不仅提供真实图像作为监督形成约束条件,还将小波变换后学习到的特征更好地融入到浅层去噪特征中,主要表现在生成注意力特征图抑制当前信息较少的特征,只允许有用的特征传递给下一阶段,其结构如图4所示.首先,前一阶段的输入特征f i n被一个3ˑ3的卷积层卷积得到的特征叠加在退化图像I n p u t上,通过真实图像监督计算C h a r b o n n i e r损失,从而得到中间输出I n t e r_o u t p u t.然后,中间输出被一个1ˑ1卷积层和S i g m o i d函数激活后,并与输入特征f i n经过一个3ˑ3的卷积层后的特征点乘,其结果与输入特征f i n融合得到输出的注意力特征图f o u t,并将其用于小波特征和浅层去噪特征的融合.本文将此过程用网络的形式描述为I n t e r_o u t p u t=C o n v(f i n)+I n p u t,f o u t=S ig m o i d((C o n v(I n t e r_o u t p u t))㊃C o n v(f i n))+f i n.(6)图3非局部注意力模块F i g.3N o n-l o c a l a t t e n t i o nm o d u l e图4监督注意力模块F i g.4S u p e r v i s e da t t e n t i o nm o d u l e2.3通道注意力模块在深层特征增强部分中的C C-G r o u p中,本文嵌入了通道注意力模块,如图5所示,它可以更多关注重要的通道特征,对深层特征的提取和增强有极大的辨识能力,从而进行网络深层次特征增强和细节纹理恢复.将通道注意力模块嵌入到C C-G r o u p中,同时伴有残差连接,即使在更深层次的网络493吉林大学学报(理学版)第62卷中,也能利用通道之间的相互依赖关系,提取有用的特征信息.通道注意力模块由一个平均池化层㊁两个卷积层㊁R e L U 激活函数和S i gm o i d 激活函数以及残差连接组成.首先,输入特征经过一个池化层对其下采样得到压缩后的特征图;然后,经过两次卷积和R e L U 激活函数先后使通道降维再升维,从而学习了多个通道之间的非线性相互作用;最后,被S i g m o i d 函数激活后,其输出与输入相乘得到等大的输出结果.本文将此过程用网络形式描述为f o u t =S i g m o i d (C o n v (R e L U (C o n v (p o o l (f i n )))))㊃f i n .(7)图5 通道注意力模块F i g .5 C h a n n e l a t t e n t i o nm o d u l e 2.4 小波分解模块通过卷积得到的特征大多数存在显著性.因此,本文引入小波变换将图像分成低频和高频小波子带,然后将它们输入到浅层去噪和深层增强部分进一步学习和挖掘深层特征信息,如图2所示.小波变换[15]有助于减少信息损失,能较好地重构原始图像内容,采用离散小波变换(DWT )和整数小波变换(I WT )可以更好地将小波特征和浅层去噪特征融合.本文采用H a a r 小波核,用4个卷积核提取不同频率分量,分别表示直流㊁横向㊁纵向㊁斜向上的能量,用公式表示为f L L =11æèçöø÷11, f L H =-1-1æèçöø÷11, f H L =-11-æèçöø÷11, f HH =1-1-æèçöø÷11. 经过DWT 后,大小为(B ,C ,H ,W )的图像可以变成大小为(B ,4C ,H /2,W /2)的小波带,其中B ,H ,W ,C 分别表示批次尺寸㊁高度㊁宽度和通道数.这样可以降低计算成本,有助于加快训练过程.在网络训练过程中,DWT 后输出的特征图通道为12,I WT 后输出的特征图通道数变为16,卷积层输出的特征图通道为64,因此,融合小波特征后的卷积层其输入通道数为80,输出通道数为64.特别地,小波变换是双向的,能适用于端到端的网络训练.小波分解变化用公式表示为f o u t =DWT (I n p u t ).(8)2.5 损失函数基于多模态数据融合的水下图像复原网络框架的整体损失函数如下:L =L 1(O u t p u t ,G T )+L C h a r b o n n i r (I n t e r _o u t p u t ,G T ),(9)其中L 1和L C h a r b o n n i r 分别表示L 1损失和C h a r b o n n i e r 损失函数[16],G T 表示真实水下图像,O u t p u t 表示整体网络复原后的图像,I n t e r _o u t p u t 表示经过监督注意力模块得到的输出图像.C h a r b o n n i e r 损失进行约束在于利用真实图像监督提取有用的特征,其损失函数形式如下:L C h a r b o n n i r = I n t e r _o u t p u t ᵡ-G T 2+ε2.(10)为防止网络梯度消失,这里ε为常数,经验设置为10-3.3 实 验3.1 实验设置本文算法的实验操作基于W i n d o w s10操作系统㊁P y T o r c h 深度学习框架和N V I D I A G e F o r c e R T X3090G P U.采用E U V P 中的U n d e r w a t e rD a r k 水下图像数据集,其中包括5550对已配对的训练图像和570张验证图像.在实验过程中,本文选用5550对已配对的训练图像中的5022对配对图像对数据集进行训练,528对配对图像对数据集进行测试,另570张图像作为验证图像.网络训练过程中,参数b a t c h _s i z e 设置为16,pa t c h _s i z e 设置为48,学习率设置为10-4,采用A d a m 优化器,迭代次数e p o c h 为300时网络达到收敛,同时采用最优模型进行测试.此外,为验证去噪效果,在原有数据集上模拟高斯噪声进行训练和测试.采用其他4种现有的深度学习图像复原算法作为对比算法,分别是C y c l e G A N [17],F U n I E -G A N [11],S h a l l o w -UW n e t [18]和R C A N [19].为保证实验的公平性和可靠性,所有算法均采用与本文相593 第2期 李伟伟,等:基于多模态融合的深度神经网络图像复原方法同的训练集与测试集.在评价图像质量上,除主观视觉观察外,还采用峰值信噪比(P S N R)和结构化相似性(S S I M)两个客观评价指标.3.2实验结果分析本文对所有算法均在统一测试集上进行测试,并且分别模拟了高斯噪声强度为5,10和15的测试集,对P S N R和S S I M分别进行对比,其量化结果列于表1.由表1可见,本文算法测试结果在P S N R 和S S I M分数上明显突出.为进一步展示视觉效果,在噪声强度为10的情况下,选择测试集中6张不同的图像进行对比,其复原结果如图6所示.表1本文方法与其他水下复原算法的P S N R和S S I M分数值对比结果T a b l e1C o m p a r i s o n r e s u l t s o fP S N Ra n dS S I Ms c o r e s o f p r o p o s e dm e t h o da n do t h e r u n d e r w a t e r r e s t o r a t i o na l g o r i t h m s算法评价指标数据集E U V P+噪声强度σ51015C y c l e G A N P S N R/S S I M16.35/0.777316.27/0.729516.26/0.6858F U n I E-G A N P S N R/S S I M20.65/0.863220.23/0.807620.24/0.7764S h a l l o w-UW n e t P S N R/S S I M20.67/0.866320.57/0.830920.03/0.7822R C A N P S N R/S S I M22.35/0.893322.15/0.872821.95/0.8479本文P S N R/S S I M22.55/0.897322.33/0.875522.09/0.8527图610噪声强度下的水下图像复原效果F i g.6R e s t o r a t i o n e f f e c t s o f u n d e r w a t e r i m a g e s a t n o i s e l e v e l10由图6可见,相比于其他水下复原算法,本文算法无论在去噪还是恢复图像细节纹理上都有很大优势,尤其是在解决偏色问题上更突出.在6张对比图像中,前3张和后3张图像处于不同颜色范围,前3张图像均处于偏蓝绿色,而后3张图像颜色更丰富,本文提出的算法都能较好地解决偏色问题.因此,本文提出的基于多模态数据融合的水下图像复原算法可较好地复原退化的水下图像.693吉林大学学报(理学版)第62卷3.3 消融实验为进一步验证本文算法融合小波特征和3种注意力模块的有效性,对增加的不同模块做消融实验.在噪声强度为10的情况下,增加不同模块的量化结果列于表2.表2 消融实验的量化对比结果T a b l e 2 C o m p a r i s o no f q u a n t i t a t i v e r e s u l t s o f a b l a t i o n e x p e r i m e n t s 方法 数据集噪声强度σP S N R S S I M 1)w /C AM E U V P 1022.150.87282)w /N AM E U V P 1021.800.86103)w /N AM+C AM E U V P 1022.190.87084)w /N AM+C AM+S AM w /oDWT (I WT )E U V P1022.260.87495)w /N AM+C AM+S AM E U V P 1022.330.8755 具体实验内容如下:1)有小波分解模块情况下,只带有通道注意力模块;2)有小波分解模块情况下,只带有非局部注意力模块;3)有小波分解模块情况下,只带有通道注意力模块和非局部注意力模块;4)无小波分解模块情况下,带有通道注意力模块㊁非局部注意力模块和监督注意力模块;5)有小波分解模块情况下,带有通道注意力模块㊁非局部注意力模块和监督注意力模块.消融实验视觉效果如图7所示.图7 消融实验的视觉效果F i g .7 V i s u a l e f f e c t s o f a b l a t i o n e x pe r i m e n t 由表2和图7可见,方法1)~4)考虑了累加不同注意力模块的表现情况,而方法4)和5)验证了小波分解模块的优势.因此,无论是从视觉效果还是客观评价结果都可得出结论:本文算法在水下图像的恢复方面与其他算法相比有一定的优势.综上所述,针对水下图像偏色失真问题,本文提出了一种基于多尺度特征与三重注意力多模态融合的深度卷积神经网络水下图像复原方法,突破了单模态对神经网络学习的限制.在使用深度卷积神经网络提取图像空间特征时,引入了图像多尺度变换特征.通过通道注意力㊁监督注意力和非局部注意力挖掘图像特征的尺度间相关性和特征间相关性.在公开的水下图像测试集进行测试,并与其他方法进行对比的实验结果证明了本文方法的优越性.参考文献[1] D O N GC ,L O YCC ,H EK M ,e t a l .L e a r n i n g aD e e p C o n v o l u t i o n a lN e t w o r k f o r I m a g eS u p e r -r e s o l u t i o n [C ]//E u r o p e a nC o n f e r e n c e o nC o m p u t e rV i s i o n .B e r l i n :S p r i n ge r ,2014:184-199.793 第2期 李伟伟,等:基于多模态融合的深度神经网络图像复原方法893吉林大学学报(理学版)第62卷[2] T R U C C O E,O L MO S-A N T I L L O N A T.S e l f-t u n i n g U n d e r w a t e rI m a g e R e s t o r a t i o n[J].I E E E J o u r n a lo fO c e a n i cE n g i n e e r i n g,2006,31:511-519.[3] F A NF,Y A N G KC,M I N X,e t a l.U n d e r w a t e r I m a g eR e s t o r a t i o nb y M e a n so fB l i n dD e c o n v o l u t i o nA p p r o a c h[J].F r o n t i e r s o fO p t o e l e c t r o n i c s i nC h i n a,2010,3:169-178.[4] H EK M,S U N J,T A N G X O,e ta l.S i n g l eI m a g e H a z e R e m o v a l U s i n g D a r k C h a n n e lP r i o r[J].I E E ET r a n s a c t i o n s o nP a t t e r nA n a l y s i s&M a c h i n e I n t e l l i g e n c e,2011,33(12):2341-2353.[5] G A L D R A N A,P A R D OD,P I CÓN A,e t a l.A u t o m a t i cR e d-C h a n n e lU n d e r w a t e r I m a g eR e s t o r a t i o n[J].J o u r n a lo fV i s u a l C o mm u n i c a t i o n&I m a g eR e p r e s e n t a t i o n,2015,26:132-145.[6] C H E N GCY,S U N GCC,C HA N G H H.U n d e r w a t e r I m a g eR e s t o r a t i o nb y R e d-D a r kC h a n n e l P r i o r a n dP o i n tS p r e a d F u n c t i o n D e c o n v o l u t i o n[C]//2015I E E E I n t e r n a t i o n a l C o n f e r e n c e o n S i g n a la n d I m a g e P r o c e s s i n gA p p l i c a t i o n s(I C S I P A).P i s c a t a w a y,N J:I E E E,2015:110-115.[7]张凯,金伟其,裘溯,等.水下彩色图像的亮度通道多尺度R e t i n e x增强算法[J].红外技术,2011(11):14-18.(Z HA N G K,J I N W Q,Q I U S,e ta l.M u l t i-s c a l eR e t i n e xE n h a n c e m e n tA l g o r i t h m o nL u m i n a n c eC h a n n e lo fC o l o rU n d e r w a t e r I m a g e[J].I n f r a r e dT e c h n o l o g y,2011(11):14-18.)[8] S HA R A N Y A R S,R AM E S H R.H a z e-F r e e U n d e r w a t e rI m a g e E n h a n c e m e n t[J].I n t e r n a t i o n a lJ o u r n a lo fI n n o v a t i v eR e s e a r c ha n dD e v e l o p m e n t,2013,2(3):533-543.[9] L I J,S K I N N E RKA,E U S T I C ER M,e t a l.W a t e r G A N:U n s u p e r v i s e dG e n e r a t i v eN e t w o r k t oE n a b l eR e a l-T i m e C o l o rC o r r e c t i o n o fM o n o c u l a rU n d e r w a t e r I m a g e s[J].I E E ER o b o t i c s a n dA u t o m a t i o nL e t t e r s,2017,3(1):387-394.[10] F A B B R IC,I S L AM M J,S A T T A RJ.E n h a n c i n g U n d e r w a t e r I m a g e r y U s i n g G e n e r a t i v eA d v e r s a r i a lN e t w o r k s[C]//2018I E E EI n t e r n a t i o n a l C o n f e r e n c eo nR o b o t i c sa n dA u t o m a t i o n(I C R A).P i s c a t a w a y,N J:I E E E,2018:7159-7165.[11] Z HUJY,P A R K T,I S O L AP,e t a l.U n p a i r e d I m a g e-t o-I m a g eT r a n s l a t i o nU s i n g C y c l e-C o n s i s t e n tA d v e r s a r i a lN e t w o r k s[C]//P r o c e e d i n g s o f t h e I E E EI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e rV i s i o n.P i s c a t a w a y,N J:I E E E, 2017:2223-2232.[12] L ICY,G U O CL,R E N W Q,e t a l.A nU n d e r w a t e r I m a g eE n h a n c e m e n tB e n c h m a r kD a t a s e t a n dB e y o n d[J].I E E ET r a n s a c t i o n s o n I m a g eP r o c e s s i n g,2019,29:4376-4389.[13]I S L AM MJ,X I A Y,S A T T A RJ.F a s tU n d e r w a t e r I m a g eE n h a n c e m e n t f o r I m p r o v e d V i s u a lP e r c e p t i o n[J].I E E ER o b o t i c s a n dA u t o m a t i o nL e t t e r s,2020,5(2):3227-3234.[14] B U A D E S A,C O L L B,MO R E L J.A N o n-l o c a l A l g o r i t h m f o rI m a g e D e n o i s i n g[C]//C o m p u t e r S o c i e t yC o n f e r e n c e o nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n.P i s c a t a w a y,N J:I E E E,2005:60-65.[15] L I U PJ,Z HA N G HZ,L I A N W,e t a l.M u l t i-l e v e lW a v e l e t C o n v o l u t i o n a lN e u r a lN e t w o r k s[J].I E E EA c c e s s,2019,7:74973-74985.[16] C HA R B O N N I E RP,B L A N C-FÉR A U DL,A U B E R TG,e t a l.T w oD e t e r m i n i s t i cH a l f-Q u a d r a t i cR e g u l a r i z a t i o nA l g o r i t h m s f o r C o m p u t e dI m a g i n g[C]//P r o c e e d i n g s o f1s tI n t e r n a t i o n a l C o n f e r e n c e o nI m a g e P r o c e s s i n g.P i s c a t a w a y,N J:I E E E,1994:168-172.[17]I S L AM MJ,X I A Y,S A T T A RJ.F a s tU n d e r w a t e r I m a g eE n h a n c e m e n t f o r I m p r o v e d V i s u a lP e r c e p t i o n[J].I E E ER o b o t i c s a n dA u t o m a t i o nL e t t e r s,2020,5(2):3227-3234.[18] N A I K A,S WA R N A K A R A,M I T T A L K.S h a l l o w-UW n e t:C o m p r e s s e d M o d e lf o r U n d e r w a t e r I m a g eE n h a n c e m e n t[C]//C o n f e r e n c e o nA r t i f i c i a l I n t e l l i g e n c e.P a l oA l t o:A A A IP r e s s,2021:15853-15854.[19] Z HA N G Y L,L I K P,L I K,e ta l.I m a g eS u p e r-r e s o l u t i o n U s i n g V e r y D e e p R e s i d u a lC h a n n e l A t t e n t i o nN e t w o r k s[C]//I E E EC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n.P i s c a t a w a y,N J:I E E E,2018: 294-310.(责任编辑:韩啸)。