一类非光滑非凸优化问题的神经网络方法

神经网络优化算法的设计和分析神经网络作为一种人工智能技术，已经被广泛应用于各种领域，如图像识别、自然语言处理、机器翻译等等。

神经网络的优化算法是决定其性能的关键因素之一，因此对于神经网络优化算法的设计和分析具有重要的意义。

一、神经网络优化算法的目标和挑战神经网络优化算法的主要目标是寻求网络中权重和偏置的最优解，使得网络的输出与真实值尽可能接近。

然而，由于神经网络具有多个层和大量的连接，其优化过程变得十分困难。

具体挑战包括以下几点：1. 高维度：神经网络的权重和偏置通常是高维的，这就意味着对于优化算法的可行性和效率提出更高的要求。

2. 非凸性：神经网络优化问题是一个非凸的问题，存在多个局部最优解，因此需要设计算法使其能够找到全局最优解。

3. 噪声影响：神经网络优化过程中会存在一定的噪声干扰，如数据噪声、网络结构噪声等，这可能影响优化的效果。

二、常见的神经网络优化算法常见的神经网络优化算法包括梯度下降法、共轭梯度法、牛顿法等。

在实际应用中，这些算法通常会结合其他技术进行改进和优化。

1. 梯度下降法梯度下降法是一种常见的优化算法，在神经网络中被广泛使用。

该算法的基本原理是根据损失函数的梯度方向来更新权重和偏置。

梯度下降法的优点是收敛速度较快，但需要注意的是，该方法容易陷入局部最优解。

2. 共轭梯度法共轭梯度法通过选择共轭的搜索方向，降低了搜索的方向数，从而提高了算法的效率。

由于共轭梯度法考虑了梯度的方向性，因此可以有效地避免梯度下降法的局部最优解问题。

3. 牛顿法牛顿法是一种基于牛顿迭代的优化算法，在神经网络中被广泛使用。

该算法通过二次近似估计函数曲线来更新权重和偏置，因此具有一定的快速性和性能，但对于计算量较大的网络，牛顿法的效率可能较低。

三、深度优化和自适应算法为了有效地解决神经网络优化中的挑战和问题，一些新的深度优化和自适应算法不断涌现。

这些算法具有更加复杂的设计和实现方式，并且包含了更多的在线性和非线性搜索技术。

拉格朗日神经网络解决带等式和不等式约束的非光滑非凸优化问题喻昕;许治健;陈昭蓉;徐辰华【摘要】Nonconvex nonsmooth optimization problems are related to many fields of science and engineering applications, which are research hotspots. For the lack of neural network based on early penalty function for nonsmooth optimization problems, a recurrent neural network model is proposed using Lagrange multiplier penalty function to solve the nonconvex nonsmooth optimization problems with equality and inequality constrains. Since the penalty factor in this network model is variable, without calculating initial penalty factor value, the network can still guarantee convergence to the optimal solution, which is more convenient for network computing. Compared with the traditional Lagrange method, the network model adds an equality constraint penalty term, which can improve the convergence ability of the network. Through the detailed analysis, it is proved that the trajectory of the network model can reach the feasible region in finite time and finally converge to the critical point set. In the end, numerical experiments are given to verify the effectiveness of the theoretic results.%非凸非光滑优化问题涉及科学与工程应用的诸多领域,是目前国际上的研究热点.该文针对已有基于早期罚函数神经网络解决非光滑优化问题的不足,借鉴Lagrange乘子罚函数的思想提出一种有效解决带等式和不等式约束的非凸非光滑优化问题的递归神经网络模型.由于该网络模型的罚因子是变量,无需计算罚因子的初始值仍能保证神经网络收敛到优化问题的最优解,因此更加便于网络计算.此外,与传统Lagrange方法不同,该网络模型增加了一个等式约束惩罚项,可以提高网络的收敛能力.通过详细的分析证明了该网络模型的轨迹在有限时间内必进入可行域,且最终收敛于关键点集.最后通过数值实验验证了所提出理论的有效性.【期刊名称】《电子与信息学报》【年(卷),期】2017(039)008【总页数】6页(P1950-1955)【关键词】拉格朗日神经网络;收敛;非凸非光滑优化【作者】喻昕;许治健;陈昭蓉;徐辰华【作者单位】广西大学计算机与电子信息学院南宁 530004;广西大学计算机与电子信息学院南宁 530004;广西大学计算机与电子信息学院南宁 530004;广西大学电气工程学院南宁 530004【正文语种】中文【中图分类】TP183作为解决优化问题的并行计算模型，递归神经网络在过去的几十年里受到了极大的关注，不少神经网络模型被提出。

一类非凸优化问题的 UV-分解方法王炜;刘洪莹;王超楠【摘要】对于非光滑优化问题的研究往往从非光滑函数的本身出发，未曾考虑其特有的结构，即函数本身可能包含光滑部分．U V-分解理论是借助于凸函数中的光滑信息得到函数的光滑近似进而解决凸优化问题的一种新的方法，而Bundle方法是处理某些非光滑无约束优化问题的可执行算法．考虑到2种方法的各自特点，将这2种方法相结合，针对由非光滑的凸函数与光滑的非凸函数的和函数构成的一类函数进行研究，并借助于下半连续函数的迫近次微分，得到这类函数的UV-空间分解，U-Lagrange函数的一些性质，给出了结合Bundle方法的UV-分解算法，用于求解所研究函数的极小化问题，并证明了算法的收敛性．%T he currently available algorithms to solve the nonsmooth constrained minimization prob-lems pay mostly more attention to nonsmoothness (nondifferentiability ) in the problems ,without taking the special feature certained structural properties of the problem itself into consideration , which possess a certain smoothness (differentiability) .An effective method for solving convex opti-mization problems is the UV-decomposition theory ,and some nonsmooth unconstrained nonlinear programming problems can be solved by the Bundle method .Combining these two methods ,we can handle a class of functions ,w hich are constituted by a nonsmooth convex function and a smooth non-convex function .Using the proximal subdifferential of lower semi-continuous function and an UV-de-composition method ,some properties will be obtained .Then the UV-decomposition algorithm combi-ning with the Bundle method will be shown ,meanwhile ,the convergence will be solved .【期刊名称】《辽宁师范大学学报（自然科学版）》【年(卷),期】2015(000)004【总页数】6页(P433-438)【关键词】非光滑优化;凸函数;UV-分解理论;Bundle算法【作者】王炜;刘洪莹;王超楠【作者单位】辽宁师范大学数学学院，辽宁大连116029;辽宁师范大学数学学院，辽宁大连 116029;辽宁师范大学数学学院，辽宁大连 116029【正文语种】中文【中图分类】O221.2由C.Lemaréchal,F.Oustry和C.Sagastizábal(2000年)[1]等提出的UV-空间分解理论是一种研究非光滑凸函数二阶近似结构的方法，其主要思想是将空间n分解成2个正交子空间U和V的直和，使函数在空间U上的一阶逼近是线性的，而其不光滑特征集中于V中，借助于一个中间函数——U-Lagrange函数，进而得到函数在切于U的某个光滑轨道上的二阶展式.针对实际问题中某些非凸的约束优化问题，经过适当的变化可以转化为形如的无约束优化问题，但由于函数是非凸的，故不能直接地应用UV-分解理论来得到其二阶近似，笔者借助于迫近次微分，得到这类函数的UV-空间分解,U-Lagrange函数的一些性质，结合Bundle方法给出求解此类优化问题的UV-分解算法.考虑函数其中，h1(x)是有限值非光滑凸函数，h2(x)是有限值光滑函数.由于和函数f(x)往往是非凸函数，因此借助于函数的迫近次微分给出UV-空间分解.定义1.1[2] 向量ξ∈n称为函数f在点x∈domf的一个迫近次梯度(或P-次梯度)，如果这里是epif在点(x,f(x))的迫近法锥.所有这样的点ξ∈n所成的集合称为f在点x∈domf的迫近次微分，或P-次微分，记为∂Pf(x).性质1.1[2] 设是下半连续函数，x∈domf，则ξ∈∂Pf(x)当且仅当存在正数σ和η，使得性质1.2 设函数f形如式(1)，如果在B(x,η)中h2(x)∈C2，则给出空间如下的UV-分解.定义1.2 设函数形如(1)，定义n的子空间V平行于所生成的仿射包，即U:=V⊥，其中是任意的.定理1.1 如上定义的空间U,V有如下等价形式：(i)U是使方向导数为线性函数的子空间，V:=U⊥.由于是次线性的，所以有(ii)定义U和V分别为在点g°处的法锥和切锥(见文献[3])，即其中是任意的.并且U满足如下关系式：定义1.3 (U-Lagrange函数)设⊕是半正定的为子空间U的一个基矩阵定义式(1)中的函数f(x)的U-Lagrange函数如下：在V-空间中相伴的最优解集为定理1.2 设函数f(x)如式(1)定义的，则下列结论成立:(i)式(3)所定义的函数是有限值凸函数;(ii)0∈W(0),且在u=0处是可微的，并且有定理1.3 如果函数⊕在u=0处有一个广义Hessian阵H1，则对u∈U，f有如下的二阶展开式这里，x∈u⊕).2.1 UV-算法在文献[4]中，利用原始对偶轨道、迫近点函数，结合束方法给出了UV-空间分解算法，用来求解凸函数极小化问题.下面将借助于非凸函数的UV-空间分解，给出求解问题(P)的极小化问题的算法.定义2.1[4] 设是f的极小值点，称(χ(u),γ(u))是通向的原始对偶轨道，如果对足够小的u∈dimU,原始轨道：对偶轨道：满足以下条件：(i)v:dimU→dimV是C2函数，且对所有的有v(u)∈W(u);(ii)雅可比矩阵Jχ(u)是V(χ(u))⊥的基矩阵;(iii)U-Lagrange函数LU(u,-g′)是C2函数.定义2.2[5] 函数f的迫近点函数定义如下：命题2.1[6] (i)gμ(x):=μ(x-pμ(x))∈∂Pf(pμ(x));(ii)若是f的极小值点，则且‖‖2≤‖‖2-‖x-pμ(x)‖2.UV-分解算法：初始化：选取参数n是初始点，g0∈∂Pf(p0)是初始的迫近次梯度，U0是近似U 空间的n维列正交的基矩阵，置s0:=g0，k:=0.停止准则：‖sk‖2≤ε.U-Hessian阵：选取一个nk×nk的正定矩阵Hk，其中,nk是Uk的列的个数. 置原始-对偶轨道候选点：选取初始化求解束方法子问题，重复计算：直到满足其中,(ρ/μ-2σB)=(ρk+1/μk+1-2σk+1).令生成新迭代点：若则点是一个好的迭代点，并且令否则在pk与之间执行线搜索来找到xk+1，使其满足f(xk+1)≤f(pk)，重新初始化B,令x=xk+1，重新执行上述的束方法子程序，来找到新的然后令).循环：k=k+1，直到满足停止准则.2.2 束(Bundle)方法子问题给定一个偏差迫近参数μ>0，迫近中心x∈n，来寻找pμ(x)的一个σ-近似.束方法子问题的束信息为其中,B是一个指标集，包含一个指标j，使得yj=x.记线性误差记为：由于函数f是非凸的，故ei有可能小于0，但由于求解的是极小化问题，所以对于ei<0的yi舍去不要.由gi∈∂Pf(yi)，由性质1.1有，∃σi>0,ηi>0,∀x∈B(yi,ηi)使当σ≥σi时，上式均成立.令同理,∃使假设序列有界，记为σB,结合上面2个式子可以得到：由于x∈B(yi,ηi)，z∈B(yi,ηi)，所以有‖z-x‖≤2ηi，而当x充分接近yi时，‖x-yi‖就可以充分小，就会得到从而相应的束信息变为定义函数则问题的对偶问题为它们的解分别记为且满足以下关系式：为方便起见，将结果简记为：更新数据.相应的新的指标为i+，让计算同时取).由于是可利用的，因此在点处，能计算出V模型的精确误差通过解决下面的二次规划问题来得到对偶轨道点的近似，记为二次规划问题与如下指标集有关：‖p-x‖2-2εi}∪{i+}.二次规划问题为：它的对偶问题为：它们的解分别记为和满足空间n的基矩阵的构造，要使得的列是正交的因此，定义一个非空的紧的指标集，}.则由式(5),对所有的有故对某个固定的对所有的都有通过选择满足式(6)的最大的指标i来定义一个列满秩的矩阵相应的线性无关的向量gi-gl构成它的列向量.矩阵的列向量是由的零空间的正交基构成的，同时，若V={0}，则为了方便，将其结果简记为：若则束方法子问题终止，并称为pμ(x)的一个ρ-近似；否则，上述的B将由所代替，通过解决新的子问题来得到新的迭代数据.2.3 算法的收敛性定义2.3 设ε>0，若∃η>0，使得∀z∈B(x,η)，都有f(z)≥f(x)-ε，则称x是函数f 的局部ε-极小值点.引理2.1 上述问题每一步迭代的结果为且则有以下结论成立：(i)对所有的若是空的，则(v)‖‖≤‖‖，其中；除此之外，若对任意的m∈(0,1)，满足式(7),可得到定理2.1 对于算法，有如下结果：(i)假设束子问题不终止，即式(7)不成立，则序列并且pμ(x)是函数f的局部ε-极小值点;(ii)若当时，束方法子问题终止，则也是函数f的局部ε-极小值点；(iii)在上述2种情况下均有pμ(x)-x∈V(pμ(x)).定理2.2 假设算法产生的序列都有界，分别取上界记为μ,σ，其中，μ>σ，则下列结论成立：(i)序列{f(pk)}是递减的，并且有f(pk)→-∞，或者都收敛于0;(ii)若f是下有界函数，则的任一聚点是函数f的局部ε-极小值点.定义2.4 若并且相应的U-Lagrange函数LU(u,-g′)在u=0出的Hessian是正定的，则称是f的强极小值点.推论2.1 假设是f的强极小值点，算法产生的序列的上界为则(k→∞).进一步，若有界，则和都收敛到收敛到0.(1)凡是可以使用阿拉伯数字且得体的地方，均应使用阿拉伯数字.(2)日期和时刻的表示方法：a.公历世纪、年代、年、月、日和时刻用阿拉伯数字.年份不能简写，如1993年不能写成93年.b.日期可采用全数字式写法，如1993-02-18或1993 02 18或19930218.c.日的时刻表示可用GB 2809的规定写法，如15时9分38.5秒写作15：09：38.5或150938.5.(3)阿拉伯数字的使用规则：a.多位的阿拉伯数字不能拆开转行.b.计量和计数单位的数字必须用阿拉伯数字.c.小数点前或后若超过4位数(含4位)，应从小数点起向左或向右每3位空出1/4个字长，不用千分撇“′”.d.尾数“0”多的5位以上数字，可以改写以万和亿为单位的数.一般情况下不得以十、百、千、十万、百万、千万、十亿、百亿、千亿等作单位(百、千、兆等词头除外)，如1 800 000可写成180万.【相关文献】[1] LEMARÉCHAL C,OUSTRY F,SAGASTIZBAL C. The U-Lagrangian of a convexfunction[J].Trans Amer Math Soc,2000，352(2)：711-729.[2] CLARKE F H,LEDYAEV Y S,STERN RJ，et al. Nonsmooth analysis and controltheory[M].Berlin,Heidelberg:Springer-Verlag,1998:4-39.[3] ROCKAFELLAR R T,WETS R J-T. Varitional analysis[M].Berlin,Heidelberg:Springer-Verlag,1998.[4] MIFFLIN R,SAGASTIZBALC.A VU-algorithm for convex minimization[J].Math Programming Ser B,2005,104:583-608.[5] CORREA E,LEMARÉCHAL C.Convergence of some algorithms for convex minimization[J].Math Program,1993,62(2):261-275.[6] ROCKAFELLAR R.Monotone operators and the proximal point algorithm[J].SIAM Journal on Control and Optimization,1976,14:877-898.。

DOI : 10.11992/tis.202006046非光滑凸情形Adam 型算法的最优个体收敛速率黄鉴之1，丁成诚1，陶蔚2，陶卿1（1. 中国人民解放军陆军炮兵防空兵学院 信息工程系，安徽 合肥 230031; 2. 中国人民解放军陆军工程大学 指挥控制工程学院，江苏 南京 210007）l 1摘 要：Adam 是目前深度神经网络训练中广泛采用的一种优化算法框架，同时使用了自适应步长和动量技巧，克服了SGD 的一些固有缺陷。

但即使对于凸优化问题，目前Adam 也只是在线学习框架下给出了和梯度下降法一样的regret 界，动量的加速特性并没有得到体现。

这里针对非光滑凸优化问题，通过巧妙选取动量和步长参数，证明了Adam 的改进型具有最优的个体收敛速率，从而说明了Adam 同时具有自适应和加速的优点。

通过求解 范数约束下的hinge 损失问题，实验验证了理论分析的正确性和在算法保持稀疏性方面的良好性能。

关键词：机器学习；AdaGrad 算法；RMSProp 算法；动量方法；Adam 算法；AMSGrad 算法；个体收敛速率；稀疏性中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2020)06−1140−07中文引用格式：黄鉴之, 丁成诚, 陶蔚, 等. 非光滑凸情形Adam 型算法的最优个体收敛速率[J]. 智能系统学报, 2020, 15(6):1140–1146.英文引用格式：HUANG Jianzhi, DING Chengcheng, TAO Wei, et al. Optimal individual convergence rate of Adam-type al-gorithms in nonsmooth convex optimization[J]. CAAI transactions on intelligent systems, 2020, 15(6): 1140–1146.Optimal individual convergence rate of Adam-type algorithms innonsmooth convex optimizationHUANG Jianzhi 1，DING Chengcheng 1，TAO Wei 2，TAO Qing 1(1. Department of Information Engineering, Army Academy of Artillery and Air Defense of PLA, Hefei 230031, China; 2. Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China)Abstract : Adam is a popular optimization framework for training deep neural networks, which simultaneously employs adaptive step-size and momentum techniques to overcome some inherent disadvantages of SGD. However, even for the convex optimization problem, Adam proves to have the same regret bound as the gradient descent method under online optimization circumstances; moreover, the momentum acceleration property is not revealed. This paper focuses on nonsmooth convex problems. By selecting suitable time-varying step-size and momentum parameters, the improved Adam algorithm exhibits an optimal individual convergence rate, which indicates that Adam has the advantages of both adaptation and acceleration. Experiments conducted on the l 1-norm ball constrained hinge loss function problem verify the correctness of the theoretical analysis and the performance of the proposed algorithms in keeping the sparsity.Keywords : machine learning; AdaGrad algorithm; RMSProp algorithm; momentum methods; Adam algorithm; AMS-Grad algorithm; individual convergence rate; sparsityAdam 是目前深度学习中广泛采用的一种优化算法[1]。

第35卷第1期2018年 2月贵州大学学报（自然科学版）J o u r n a l o f G u iz h o u U n iv e r s ity!N a t u r a l S c ie n c e s)Vol.35 No.1Feb.2018文章编号 1000-5269 ( 2018 # 01 -0009-06D O I ： 10.15958/ki.gdxbzrl〇.2018.01.03一类非Lipschitz约束优化的光滑化投影梯度算法徐柳静，彭定涛'王鑫(贵州大学数学与统计学院，贵州贵阳550025)摘要：本文研究一类具有箱约束的非凸非光滑非Lipschitz最小化模型，它是一类典型的稀疏优 化问题，在图像重建、信号处理、变量选择等领域有广泛的应用。

本文在最优性条件的基础上，提 出了光滑化投影梯度算法对其进行求解，分析了算法的收敛性，通过数值试验验证了算法的有效 性。

关键词：非Lipschitz约束优化；稀疏优化；光滑化投影梯度算法；收敛性中图分类号:〇224 文献标识码：A本文研究如下具有箱约束的Q极小化模型的 有效算法min/(7) = y l l"7-52 + 入1171<，S.t.X " +# )X "R! • / & 7 &R(# (1)其中"""（0，i)，< " (0，1)，117< = %k l<，而/ = (/，…，/…)T " R"，r = (r，i=1…，r!)t " R!满足" R U ) - i +，R" R U ) + i +，且/ &0 < R&当/ =- i 时，X i " [/，R]的含义是X i &R;当R= + i时，X i " [/，R]的含义 是 X ' /;当/ = - i，R= + i 时，X " [/，R]的含义是X%" R&模型（1)是一类典型的稀疏优化模型，其目标函 数含有一个非凸、非光滑、非Lipschitz的正则项|| (因0 j<1，||7< Z x的拟范数），因而是一个非凸、非光滑、非Z p s h i的约束优化，它在图像恢复[1]、信号处理[2]、变量选择[3]等领域有广泛的应用。

半光滑牛顿增广拉格朗日法
半光滑牛顿增广拉格朗日法是一种优化算法，结合了增广拉格朗日方法和半光滑牛顿法的优点，用于解决无约束优化问题。

该方法在处理大规模稀疏优化问题时具有较高的效率和精度，因此在机器学习、图像处理等领域得到了广泛应用。

增广拉格朗日方法是一种惩罚函数法，通过引入一个惩罚项来将约束优化问题转化为无约束优化问题。

在每一步迭代中，增广拉格朗日方法更新解的估计值，并计算目标函数的梯度和约束条件的梯度。

这种方法在处理包含大量约束条件的问题时具有较好的性能。

半光滑牛顿法是一种基于牛顿法的优化算法，用于求解非光滑、非凸的优化问题。

该方法通过构造一个半光滑函数来逼近原问题，并利用牛顿法的性质求解该半光滑函数的临界点。

半光滑牛顿法的优点在于其收敛速度较快，且能够处理大规模的稀疏优化问题。

半光滑牛顿增广拉格朗日法将增广拉格朗日方法和半光滑牛顿法相结合，通过引入一个增广拉格朗日函数来逼近原问题，并利用半光滑牛顿法的性质求解该增广拉格朗日函数的临界点。

这种方法能够充分利用两种方法的优点，提高求解大规模稀疏优化问题的效率和精度。

在实际应用中，半光滑牛顿增广拉格朗日法通常采用迭代的方式进行求解。

在每一步迭代中，算法首先计算目标函数的梯度和约束条件的梯度，然后根据牛顿法的性质求解增广拉格朗日函数的临界点，并更新解的估计值。

通过不断迭代，算法最终收敛到一个最优解。

综上所述，半光滑牛顿增广拉格朗日法是一种有效的优化算法，能够处理大规模稀疏优化问题。

该方法结合了增广拉格朗日方法和半光滑牛顿法的优点，提高了求解问题的效率和精度。

解决一类非光滑伪凸优化问题的新型神经网络
喻昕;林植良
【期刊名称】《计算机科学》
【年(卷),期】2022(49)5
【摘要】对优化问题的研究一直以来深受科研工作者的关注。

非光滑伪凸优化作为非凸优化中的一类特殊问题,频繁出现在机器学习、信号处理、生物信息学以及各类科学与工程领域中,成为学者们研究的重点。

基于罚函数以及微分包含的思想,提出了一种解决带有不等式约束条件和等式约束条件的非光滑伪凸优化问题的新型神经网络方法。

在给定的假设条件下,该神经网络的解可以在有限时间内进入可行域并永驻其中,最终收敛到优化问题的最优解集。

相比其他神经网络模型,该模型具有以下优点:1)结构简单,为单层模型;2)不需要事先计算精确的惩罚因子;3)初始点可任意选取。

在MATLAB环境下,通过数值实验得出,所提网络都能在有限时间内收敛到一个最优解;而用现有的神经网络模型解决同样的优化问题时,若初始点选取不恰当,则会导致状态解不能在有效时间内收敛甚至不能收敛。

这不仅进一步地验证了所提神经网络的有效性,同时也说明其具有更广泛的应用范围。

【总页数】8页(P227-234)
【作者】喻昕;林植良
【作者单位】广西大学计算机与电子信息学院
【正文语种】中文
【中图分类】TP183
【相关文献】
1.拉格朗日神经网络解决带等式和不等式约束的非光滑非凸优化问题
2.一种解决非光滑伪凸优化问题的新型神经网络
3.一种新型解决非光滑伪凸优化问题的神经网络方法
4.递归神经网络方法解决非光滑伪凸优化问题
5.一种新型单层递归神经网络解决非光滑伪凸优化问题
因版权原因，仅展示原文概要，查看原文内容请购买。