正则化参数的确定方法

第42卷第4期2022年8月振动、测试与诊断Vol.42No.4Aug.2022 Journal of Vibration，Measurement&Diagnosis风机叶片掠过频率噪声的等效激励源辨识方法王晨光1，冯海军2，章艺2，周璞2，蒋伟康1（1.上海交通大学机械系统与振动国家重点实验室上海，200240）（2.上海船舶设备研究所上海，200031）摘要离心风机流体激励源位于风机内部，并且是分布式的激励源，可以通过计算流体力学（computational fluid dynamics，简称CFD）分析计算激励力分布，但无法通过表面的动力响应来反求激励力，验证CFD结果的正确性。

针对此问题，建立了风机叶片噪声的等效激励源辨识方法，用实验的方法获得蜗壳振动大小以及候选等效激励点到蜗壳振动测点的传递函数，测量了离心风机在额定工况下的压力脉动大小，通过多项式拟合得到了蜗壳面上的压力脉动分布，为等效源选择提供依据。

通过最小误差算法优化选择等效激励源候选点，根据Tikhonov正则化算法反演得到等效激励力大小，再用测量得到的传递函数与反演得到的等效激励力计算蜗壳、机脚等位置的振动响应，来验证反演结果的等效性与准确性。

主要的叶片掠过频率峰值反演结果与测量结果误差在2dB左右，成功反演了离心风机叶片掠过频率等效激励力。

关键词离心风机；分布源反演；等效激励源；叶片掠过频率中图分类号TH44；O327引言离心风机是一种将机械能转化为输送气体压力能和动能的流体机械，其在运行过程中会产生较大的振动和噪声，有必要对离心风机内部激励源的辨识进行研究，获得振动和噪声产生的机理，以便进一步降低设备的振动和噪声［1］。

离心风机流体激励源位于设备内部，并且是分布的激励源，无法直接进行测量，需要通过载荷识别技术反演和辨识分布的激励源。

国内外针对离心风机振动噪声问题的研究主要有风机和叶轮参数等对振动噪声的影响［2］、离心风机流体CFD仿真与振动噪声仿真［3⁃4］、风机振动噪声的传递路径及噪声预测［5］、载荷分布对风机气动性能影响的数值计算研究［6］、基于分布载荷的风机优化设计［7］以及风机内部流体激励对风机振动的数值研究［8］。

基于模型函数与L-曲线的正则化参数选取方法胡彬;徐会林;王泽文;喻建华【摘要】Based on the model function method,the modified L-curve principle is presented and a simple corre-sponding iteration method for choosing regularization parameters is given. Furthermore,the simple iteration method for choosing regularization parameters is proved to be local convergence under some conditions. The method is local-ly efficient by numerical experiments.%基于模型函数方法与修正的L-曲线准则，给出了选取正则化参数的1种迭代算法。

在一定条件下，证明了所提出的选取正则化参数的算法是局部收敛的，通过数值算例验证了该方法的局部有效性。

【期刊名称】《江西师范大学学报（自然科学版）》【年(卷),期】2014(000)006【总页数】5页(P569-573)【关键词】L-曲线准则;正则化方法;正则化参数;模型函数【作者】胡彬;徐会林;王泽文;喻建华【作者单位】东华理工大学理学院，江西南昌 330013;河南理工大学数学与信息科学学院，河南焦作 454000;东华理工大学理学院，江西南昌 330013;东华理工大学理学院，江西南昌 330013【正文语种】中文【中图分类】O241.8;O241.60 引言反问题研究已是计算数学及应用数学领域研究的热点问题之一.反问题一般是不适定的［1］，其不适定性在数值计算上表现为解不连续依赖测量数据.即使在实际测量过程中测量误差非常小，也会引起解的巨大波动.目前求解不适定问题最具有普遍性、完备性的是Tikhonov正则化方法，但该方法的有效性取决于选取到合适的正则化参数.目前比较有代表性的正则化参数选取策略有:Morozov偏差原理、广义交叉检验、L-曲线(L-curve)等准则.当误差水平已知或可估计时，Morozov偏差原理是最常采用的正则化参数选取策略之一，但是当不适定算子方程右端项的误差水平δ未知时，Morozov偏差原理就失效了.为了克服Morozov偏差原理需要已知误差水平的局限性，P.C.Hansen等提出基于L-曲线的正则化参数选取方法［2-3］，可以在误差水平未知的情形下找到近似最佳的正则化参数.在利用Morozov偏差原理确定正则化参数时需要借助牛顿迭代，而牛顿迭代的计算量比较大，为了克服这一缺点，文献［4-7］中提出了1种新的确定正则化参数的方法—模型函数法.它是将Tikhonov泛函定义为关于α的函数，再用1个简单的具有显示表达式的模型函数来近似F(α)，通过简单迭代确定正则化参数.本文在上述2种方法的基础上研究了基于模型函数的修正L-曲线准则，证明了所得序列点是局部收敛的，给出了相应的迭代算法.通过算例验证了该准则的有效性，同时也指出了目前还存在的不足和今后进一步研究的方向.1 模型函数法线性反问题一般可归结为解第1类不适定算子方程:其中K是Hilbert空间X到Y上的有界线性算子.由于观测数据存在误差，所以一般把方程(1)改写为其中δ为误差水平，‖yδ-y‖≤δ.Tikhonov正则化方法是将求不适定方程(2)的解转为求Tikhonov泛函的最优解，其中α＞0是正则化参数.对于固定的正则化参数α，记最优函数为引理1［4］设K:X→Y是有界线性算子，X，Y均为Hilbert空间.∀α ＞0，(3)式的唯一解x(α)是无穷次可微的，且g=dnx(α)dαn∈X可由递推求解得到.定理1［4-5］最优函数F(α)在(0，+∞)内是无限次可微的，且∀α ＞0，F(α)满足模型函数的方法就是在αk附近构造F(α)的局部近似函数Fk(α)，使其满足微分方程(4)，即若假设‖Kx(α)‖2≈ Tk‖x(α)‖2，代入(5)式并注意到F'(α)= ‖x(α)‖2，解得即得到双曲模型函数:由于Kx(α)≈ yδ，故可设‖Kx(α)‖2≈‖yδ‖2-Tk，代入(5)式得解微分方程(6)，得Fk(α)=Tk+Ckα，其中Ck、Tk是待定参数且由方程组确定，即于是，得到更为简洁的双曲模型函数:文献［8］研究了非精确数据下的线性模型函数选取正则化参数.虽然线性模型函数具有计算简单、收敛性较好等优点，但是却不能将它与L-曲线准则相结合而得到选取正则化参数的算法.文献［9］将双曲模型函数m1(α)应用于L-曲线选取准则获得选取正则化参数的新算法.本文是前述研究的继续和深入，基于双曲模型函数m2(α)研究修正的L-曲线选取准则，从而获得选取正则化参数选取的新方法.2 修正的L-曲线准则L-曲线准则是残差‖Kx(α)-yδ‖2与正则化解‖x(α)‖2在一组正则化参数下所构成的图像，也就是由(‖Kx(α)-yδ‖2，‖x(α)‖2)所构成的平面曲线.最优的正则化参数α出现在曲线的拐点处. 通常转化为对应的(2log‖Kx(α)-yδ‖，2log‖x(α)‖)曲线，因为曲线形状如字母L(见图1)，故称为L-曲线准则.从图像上很容易找到曲线的拐点，即最优正则化参数α在对应曲线的“角点”出现.记u(α)=2log‖Kx(α)-yδ‖，v(α)=2log‖x(α)‖，则L曲线上各点的曲率公式［10-11］为曲率最大的点对应正则化参数即为所需正则化参数.图1 L-曲线示意图由文献［12］知，若L-曲线在点α=α*处取到最大曲率，且在该点处曲线的斜率为 -1/μ，则下列泛函:在α=α*处取得极小值.因此，选取正则化参数的L-曲线准则等价为求泛函(8)的极小值点.修正的L-曲线准则就是通过求(8)的极小值来获得合适的正则化参数.由于是α的非线性隐式函数，不便于计算.本文利用模型函数的方法将(8)式显化，从而简化计算，提高计算效率.3 基于模型函数的修正L-曲线算法对于任意给定的α＞0，最优函数F(α)为且F'(α)= ‖x(α)‖2，则(8)式可改写成F(α)的形式，即模型函数m(α)是F(α)的局部近似，则(9)式的局部近似为本文主要研究了双曲模型函数m2(α)，代入(10)式得ω(α)=(T+2C/α)(-C/α2)μ.对ω(α)求导，得令ω'(α)=0，解得α=-C(1+2μ)(μT).对于正则化参数αk，求得对应的正则化解x(αk)，再根据方程组(7)可确定参数 Ck，Tk，则由(11)式及Ck＜0，Tk＞0知αk+1＞0且它是唯一的.该算法比文献［9］中的更为简单，因为文献［9］给出的是关于α的2次方程，选取其中较大的作为正则化参数αk+1.综合上面分析，得到基于双曲模型函数m2(α)与修正的L-曲线正则化参数选取策略的新算法:算法1 给定ε ＞ 0，yδ，K，μ ＞ 0;Step 1 给定1个初始值α0＞α*，置k=0;Step 2 解正则化方程αkx+K*Kx=Kyδ;Step 3 求出 Ck，Tk，αk+1;Step 4 当成立转Step 5，否则置k=k+1转Step 2;Step 5 停止迭代，输出正则化参数αk+1.定理2 如果则在算法1中函数ωk(α)在点αk处是局部严格单调递减的.证算法1中产生的函数ωk(α)为ωk(α)=(Tk+2Ck/α)(-Ck/α2)μ，则ωk'(α)=(-Ck)μ(-2Ck+(αTk+2Ck)·(-2μ))/α2μ+2.取α= αk，把(7)式中解得 Ck，Tk的表达式代入得由已知条件得ω'k(αk)＜0，即函数ωk(α)在点αk处是局部严格单调递减的.定理3 给定初始值α0满足(12)式，则算法1产生严格单调递减序列{αk}且收敛. 证由定理2 的证明过程知，令φ(α)=-2Ck+(αTk+2Ck)(-2μ)，显然φ(αk)＜ 0，φ'(αk)＜ 0.所以函数φ(α)是严格单调递减的.由算法1知φ(αk+1)=0，所以αk＞αk+1.又∀k均有αk＞0，故收敛性成立.4 数值算例例1 求解第1类Fredholm积分方程［13］:其中，核 K(s，t)=1 ［1+100(t-s)2］，本文用等距节点复化梯形公式来离散第1类Fredholm 积分方程(13)，得线性方程组Ax－=y－，其中把积分核K(s，t)离散成矩阵Am×n，x(s)离散成n维列向量x－.对方程组右端加入随机扰动为其中r为Matlab中的随机函数.取不同的误差值δ，求出对应不同误差值δ的正则化参数，并把不同正则化参数求出的正则化解对比(见图2～4)，其中实线表示无扰动下的精确解，星形线表示不同正则化参数下的数值近似解.情形1 当δ=5.8378e-4，α=3.7320e-4，正则化解的相对误差ρ=0.0678.正则化解与真解如图2和图3所示，其中图2是该情形下未作正则化处理的计算所得解(即当α=0时的最小二乘解)，图3为算法1计算所得解.情形2 当δ=8.5401e-8，α=6.6470 e-4，正则化解的相对误差ρ=0.0500，算法1计算结果如图4所示.图2 α=0图3 α=3.7320e-4图4 α=6.6470e-4例2 求解第1类Fredholm积分方程［14-15］:x(s)=a1e-c1(s-t1)2+a2e-c2(s-t2)2，a1=2，a2=1，c1=6，c2=2，t1=0.8，t2=-0.5，K(s，t)=(cos(s)+cos(t))2(sin(u)u)，u= πsin(s).情形1 当δ=0.0022，α=0.0470时，正则化解的相对误差ρ=0.1746.正则化解与真解如图5和图6所示，其中图5是未作正则化处理的计算所得解，图6为算法1计算所得解.图5 α=0图6 α=0.0470情形2 当δ=2.2268e-5，α=0.0466时，正则化解的相对误差ρ=0.1744，算法1计算结果如图7所示.图7 α=0.04665 结论本文基于模型函数方法研究了正则化参数选取的修正L-曲线准则，使得计算上更加简单.从算例的模拟结果可以看出，基于双曲模型函数m2(α)的所得修正后的L-曲线准则是有效的.但是，本文只证明了初始正则化参数选取满足一定前提条件下，算法1产生的序列是局部收敛的.对于是否存在全局收敛性的算法［16］，还有μ值选取原则等问题还需进一步研究.6 参考文献【相关文献】［1］刘继军.不适定问题的正则化方法及应用［M］.北京:科学出版社，2005.［2］Hansen P C，O’Leary D P.The use of the L-curve in the regularization of discrete ill-posed problems［J］.SIAM J Sci Comput，1993，14(6):1487-1503.［3］ Hansen P C.Analysis of discrete ill-posed problems bymeans of the L-curve［J］.SIAM Review，1992，34(4):561-580.［4］Xie Jianli，Zou Jun.An improvedmodel functionmethod for choosing regularization parameters in linear inverse problems［J］.Inverse Problems，2002，18(5):631-643.［5］王泽文，徐定华.线性不适定问题中选取Tikhonov正则化参数的线性模型函数方法［J］.工程数学学报，2013，30(3):451-466.［6］Wang Zewen，Liu Jijun.Newmodel functionmethods for determining regularization parameters in linear inverse problems［J］.Applied Numerical Mathematics，2009，59(10):2489-2506.［7］Wang Zewen.Multi-parameter Tiknonov regularization andmodel function approach to the damped Morozov principle for choosing regularization parameters［J］.Journal of Computational andApplied Mathematics.2012，236(7):1815-1832.［8］胡彬，夏赟，喻建华.算子非精确条件下确定正则化参数的一种方法［J］，江西师范大学学报:自然科学版，2014，38(1):65-69.［9］Heng Yi，Lu Shuai，MhamdiA，et al.Model functions in themodified L-curvemethod-case study:the heat flux reconstruction in pool boiling［J］.Inverse Problems，2010，26(5):1-13.［10］张立涛，李兆霞，张宇峰，等.结构识别计算中基于L-曲线的模型确认方法研究［J］.运动与冲击刊，2011，30(11):36-41.［11］王宏志，赵爽，胡艳君.基于L-曲线正则化的MAP超分辨率图像复原［J］.吉林大学学报:理学版，2008，46(2):275-278.［12］ Reginska T.A regularization parameter in discrete illposed problems［J］.SIAM J Sci Comput，1996，17(3):740-749.［13］樊树芳，马青华，王彦飞.算子及观测数据都非精确情况下一种新的正则化参数选择方法［J］.北京师范大学学报:自然科学版，2006，42(1):25-31.［14］王彦飞.反问题的计算方法及应用［M］.北京:高等教育出版社，2007.［15］郭文彬.奇异值分解及其广义逆理论中的应用［M］.北京:中国科学院研究生院，2003. ［16］高炜，朱林立，梁立.基于图正则化模型的本体映射算法［J］.西南大学学报:自然科学版，2012，34(3):118-121.。

第 62 卷第 5 期2023 年9 月Vol.62 No.5Sept.2023中山大学学报（自然科学版）（中英文）ACTA SCIENTIARUM NATURALIUM UNIVERSITATIS SUNYATSENI基于Tikhonov正则化改进的IHB法求解Mathieu-Duffing系统多重解*王德亮1，2，刘济科1，刘广1，21. 中山大学航空航天学院，广东深圳 5181072. 深圳市智能微小卫星星座技术与应用重点实验室，广东深圳 518107摘要：增量谐波平衡法（IHB法）是研究强非线性振动系统的一种半数值半解析方法，然而已有研究表明，在求解含多重解的系统时该方法的收敛性强烈地依赖于初值的选择。

Tikhonov正则化常被用于优化问题中来解决可能出现的病态问题。

文章通过在原始的IHB法中引入Tikhonov正则化，提出一种改进的IHB法（TIHB法）来求解具有多重解的Mathieu-Duffing系统。

结果表明，改进的TIHB法可以快速、高效地获得系统的多个稳定或不稳定解，且算法的收敛性能要远远优于原始的IHB法。

关键词：非线性振动；IHB法；Tikhonov正则化；多重解中图分类号：V21 文献标志码：A 文章编号：2097 - 0137（2023）05 - 0078 - 07Multiple solutions of the Mathieu-Duffing system obtainedby the improved IHB method based on Tikhonov regularizationWANG Deliang1，2， LIU Jike1， LIU Guang1，21. School of Aeronautics and Astronautics，Sun Yat-sen University， Shenzhen 518107， China2. Shenzhen Key Laboratory of Intelligent Microsatellite Constellation， Shenzhen 518107， ChinaAbstract：The incremental harmonic balance method （IHB method） is a semi-numerical and semi-ana‐lytical method for strongly nonlinear dynamic systems. However， previous studies have shown that the convergence performance of the original IHB method in solving systems with multiple solutions strong‐ly depends on the selection of initial values. The Tikhonov regularization is often used in optimization problems to solve potential ill-posed problems. In this paper， by incorporating the Tikhonov regulariza‐tion into the original IHB method， an improved IHB method （TIHB method） is proposed to obtain the multiple solutions of the Mathieu-Duffing system. The results show that the improved TIHB method can obtain the stable and unstable solutions of the Mathieu-Duffing system quickly and efficiently， and the convergence performance of the TIHB method is much better than the original IHB method.Key words：nonlinear vibration； IHB method； Tikhonov regularization； multiple solution现实中的各种振动系统都含有非线性因素（陈予恕，1992；陈树辉，2007；Amabili，2008）。

统计学中的统计模型选择方法统计学中的统计模型选择方法是指在进行数据分析和模型构建时，根据不同的数据集和研究目标选择合适的统计模型。

统计模型选择是进行数据分析的重要环节，其选用的准确性和合理性直接影响最终结果的可靠性和有效性。

本文将介绍几种常用的统计模型选择方法。

一、最小二乘法最小二乘法是最常用的一种统计模型选择方法。

它通过找到使观测数据与模型拟合程度最好的参数估计，来确定模型的最优解。

最小二乘法的基本思想是通过最小化实际观测值与模型预测值之间的误差平方和，来选择最合适的模型。

通过计算误差平方和来评估模型的拟合优度，误差越小，模型拟合度越好。

二、贝叶斯信息准则贝叶斯信息准则（BIC）是一种常用的模型选择准则，它基于贝叶斯推断的思想，结合了模型的拟合优度和模型的复杂度。

BIC值越小，表示模型的选择越好。

BIC的计算方式如下：BIC = -2ln(L) + K * ln(n)其中，L表示模型的最大似然函数值，K表示模型的参数个数，n表示样本量。

三、交叉验证交叉验证是一种常用的模型选择方法，它将原始数据集分为训练集和测试集，通过训练集来建立模型，再通过测试集来评估模型的拟合效果。

交叉验证的基本思想是将数据集划分为k个大小相等的子集，每次使用其中k-1个子集作为训练集，剩余的1个子集作为测试集，循环k 次，得到k个模型的评估指标。

最终可以通过在k个模型中选择平均性能最好的模型作为最终的模型选择。

四、信息准则除了BIC外，还有一些其他常用的信息准则用于模型选择，如赤池信息准则（AIC）、Bayesian information criterion（BIC）等。

这些信息准则基于模型的拟合程度和模型的复杂度进行模型选择。

五、正则化方法正则化方法是通过在优化目标函数中引入一个正则化项，来对模型的参数进行约束的一种方法。

正则化方法常用于线性回归模型和逻辑回归模型等。

常用的正则化方法有岭回归（Ridge Regression）和lasso回归（Least Absolute Shrinkage and Selection Operator）等。

地球物理反演中的正则化技术分析地球物理反演是一种通过观测地球上各种现象和数据，来推断地球内部结构和物质分布的方法。

在地球物理反演中，由于观测数据的不完整性和不精确性，常常需要借助正则化技术来提高反演结果的可靠性和准确性。

正则化技术是一种以一定规则限制解的优化方法。

通过在反演过程中引入附加信息或者假设，正则化技术可以帮助减小反演问题的不确定性，提高解的稳定性和可靠性。

在地球物理反演中，正则化技术有多种应用。

下面将介绍几种常见的正则化技术，并对其进行分析和比较。

1. Tikhonov正则化Tikhonov正则化是一种基本的正则化技术，它通过在目标函数中加入一个范数约束来限制解的空间。

常见的约束可以是L1范数和L2范数。

L1范数可以使解具有稀疏性，即解中的大部分分量为零，适用于具有稀疏特性的反演问题。

而L2范数可以使解具有平滑性，适用于具有平滑特性的反演问题。

2. 主成分分析正则化主成分分析正则化是一种通过将反演问题映射到低维空间来减小问题的维度的正则化技术。

它可以通过选择重要的主成分来实现数据降维，从而减少反演问题的不确定性。

主成分分析正则化在处理高维数据时可以提高反演的效率和精度。

3. 奇异值正则化奇异值正则化是一种基于奇异值分解的正则化技术。

通过对反演问题进行奇异值分解，可以将问题分解为多个低维子问题，从而减小高维问题的不确定性。

奇异值正则化适用于非线性反演问题，可以提高反演结果的稳定性和可靠性。

4. 稀疏表示正则化稀疏表示正则化是一种基于稀疏表示理论的正则化技术。

它通过将反演问题转化为对系数矩阵的优化问题，并引入L1范数约束，使得解具有稀疏性。

稀疏表示正则化适用于信号重构和图像恢复等问题，并在地震勘探和地球成像中有广泛应用。

在选择正则化技术时，需要考虑问题的特性和数据的特点。

不同的正则化技术适用于不同的问题，并且各自具有一些优势和限制。

因此，根据问题的具体要求和数据的特征，选择合适的正则化技术可以提高反演结果的可靠性和准确性。

模型正则化方法
正则化是指通过修改学习算法，使其降低泛化误差而非训练误差。

正则化一般可以在损失函数的基础上加入正则项，其作用是在参数数量不变的情况下，减小某些参数的值，从而解决数据的噪声问题。

以下为主要几种正则化方法：
1、对权重参数增加L1、L2正则项，L1 和L2 正则化是最常用的正则化方法。

L1正则化主要是对损失函数增加权重参数w的绝对值项，权重服从Laplace分布，得到的参数通常比较稀疏，常用于特征选择。

L2正则化对损失函数增加权重参数w的平方项，权重服从高斯分布，得到的模型参数通常比较小。

2.Early Stopping早停
模型过拟合一般是发生在训练次数过多的情况下，那么只要在过拟合之前停止训练即可。

3.Dropout
Dropout是模型正则化的一种比较高效的方法，通过以一定概率删除神经网络输入层、隐含层单元，从而生成大量具有不同结构的神经网络集成模型。

4.数据增强
数据增强是提升算法性能、满足深度学习模型对大量数据的需求的重要工具。

数据增强通过向训练数据添加转换或扰动来人工增加训练数据集。

数据增强技术如水平或垂直翻转图像、裁剪、色彩变换、扩展和旋转通常应用在视觉表象和图像分类中。

病态问题解算的直接正则化方法比较范千;方绪华;范娟【摘要】In order to resolve ill-conditioned problems, suitable regularization methods are needed to choose correctly. The characteristics of truncated singular value decomposition (TSVD) method and Tikhonov regularization method are discussed respectively. On the basis, L-curve method and generalized cross validation (GCV) method are both employed to attain the optimal regularization parameters. Numerical results show that TSVD method and Tikhonov method can eliminate ill-condition of observation equation effectively. Through applying to L-curve method and GCV method, continuous regularization parameter for Tikhonov method can be confirmed reasonably. Furthermore, discrete regularization parameter for TSVD method can be determined accurately. Finally, the accuracy and robustness of regularization solution for four combined methods are investigated.%为了解算病态问题,需正确选择适合的正则化方法,为此分析了截断奇异值法和Tikhonov正则化方法的异同点.在此基础上,阐述了L曲线法和GCV法确定最优正则化参数的基本原理.通过数值算例分析表明:截断奇异值法和Tikhonov法可以有效消除观测方程的病态性；利用L曲线法和GCV法不仅可以对Tikhonov方法中的连续正则化参数进行合理确定,而且还可以准确确定截断奇异值法中的离散正则化参数.最后,比较研究了四种组合方法的正则化解的精度和稳健性.【期刊名称】《贵州大学学报（自然科学版）》【年(卷),期】2011(028)004【总页数】4页(P29-32)【关键词】正则化方法;截断奇异值法;Tikhonov法;L曲线;GCV【作者】范千;方绪华;范娟【作者单位】福州大学土木工程学院,福建福州350108;江西省数字国土重点实验室,江西抚州344000;福州大学土木工程学院,福建福州350108;安徽省无为六洲中学,安徽巢湖238300【正文语种】中文【中图分类】P207病态问题在大地测量领域是广泛存在的，例如工程控制网平差、GPS快速精密定位［1］、地球物理反演［2］以及重力场求解［3］等方面都不可避免地存在病态问题。

线性反问题的正则化算法反问题，是相对于正问题而言的，是一个倒果求因的过程。

在地球物理，生命科学，材料科学，遥感技术，模式识别，信号(图象)处理，工业控制乃至经济决策等众多的科学技术领域中，都提出了“由效果、表现反求原因、原象”的反问题。

反问题是一个新兴的研究领域，有别于传统的定解的正问题，反问题研究由解的部分已知信息来求解问题中的某些未知量。

在许多实际问题中，需要通过输出的(部分)信息来获取或识别系统的某些性质。

反问题已经发展成为横跨数学、物理、生物、计算机等众多科学的一个热门研究领域。

反问题可以写成如下的数学模型：Fx=y其中f: x→y为从空间X到Y的一个映射，与正问题相比，反问题的研究起步较晚，发展还远不成熟，并且反问题研究的难度一般比相应的正问题要大。

这是因为反问题的求解往往违背了物理过程的自然顺序，从而使正问题中的许多良好性质不再满足。

这些困难主要体现在:与正问题相比，求解反问题面临的两个本质性的实际困难是: (l)原始数据可能不属于所论问题精确解所对应的数据集合，因而在经典意义下的近似解可能不存在; (2)近似解的不稳定性，即:原始资料的小的观测误差会导致近似解与真解的严重偏离。

也就是我们通常所说的Hadamard意义下不适定.Hadamard在1923年提出在经典意义下适定问题要满足下述三个条件：(l)该问题的解是存在的;(2)该问题的解是唯一的;(3)该问题的解对输入数据是稳定的。

上面的三个适定性条件无疑具有深刻的实际背景.首先对于实际问题，我们当然期望答案是存在唯一的.更重要的是，在实际获取的数据资料总是不可能是精确的。

除了前面提到的不适定性以外，反问题的研究还经常面临非线性的困扰。

即使正问题是线性的，它所对应的反问题也有可能表现为非线性，这为反演的研究和计算带来了很多麻烦。

为了求解非线性反问题，通常要线性化后反复进行正、反演迭代，在高维情况下需要十分巨人的计算量。

对于一个效率低下的算法在实际应用中将导致时间和人力、物力的极大浪费。

前馈神经网络中的超参数调整方法随着深度学习技术的快速发展，前馈神经网络（Feedforward neural network）在图像识别、语音识别、自然语言处理等领域取得了巨大成功。

然而，构建一个性能优异的神经网络模型并不是一件容易的事情，其中超参数的选择和调整是至关重要的一环。

本文将介绍前馈神经网络中常见的超参数，并探讨一些有效的调整方法。

一、学习率学习率是神经网络训练过程中最重要的超参数之一。

它决定了模型参数在每一轮训练中的更新幅度。

如果学习率过大，可能导致训练过程不稳定甚至无法收敛；而学习率过小则会导致训练速度过慢。

因此，选择合适的学习率对模型的性能至关重要。

针对学习率的调整，一种常见的方法是使用自适应学习率算法，如Adagrad、RMSprop、Adam等。

这些算法可以根据参数的历史梯度信息自动调整学习率，从而在训练过程中更好地平衡模型的收敛速度和稳定性。

二、正则化参数正则化参数用于控制模型的复杂度，防止过拟合。

在前馈神经网络中，常见的正则化方法包括L1正则化和L2正则化。

调整正则化参数的大小可以有效地改善模型的泛化能力，降低测试集上的误差。

一种常见的调整正则化参数的方法是使用交叉验证（cross-validation）。

通过在不同的训练集和验证集上训练模型，并选择验证集误差最小的正则化参数值，可以得到合适的正则化参数设置。

三、批量大小批量大小是指每次迭代训练时所使用的样本数。

合适的批量大小可以影响模型的训练速度和泛化能力。

通常情况下，较大的批量大小可以提高训练速度，但可能会降低模型的泛化能力；而较小的批量大小则可能导致训练过程不稳定。

一种常见的调整批量大小的方法是使用学习曲线（learning curve）。

通过观察模型在不同批量大小下的训练误差和验证误差，可以选择合适的批量大小，以达到训练速度和模型泛化能力的平衡。

四、隐藏层神经元数目隐藏层神经元数目是指网络中每个隐藏层的神经元数量。

支持向量机中正则化参数的选择方法支持向量机（Support Vector Machine，简称SVM）是一种常用的机器学习算法，广泛应用于分类和回归问题。

在SVM模型中，正则化参数是一个重要的超参数，它用于控制模型的复杂度和泛化能力。

选择合适的正则化参数对于模型的性能至关重要。

本文将介绍支持向量机中正则化参数的选择方法。

一、正则化参数的作用正则化参数在SVM中起到了平衡模型复杂度和泛化能力的作用。

正则化参数越大，模型的复杂度越低，容易过拟合训练数据；正则化参数越小，模型的复杂度越高，容易欠拟合训练数据。

因此，选择合适的正则化参数可以使模型在训练数据和未知数据上都有较好的表现。

二、交叉验证方法交叉验证是一种常用的模型选择方法，可以用于选择正则化参数。

交叉验证将训练数据划分为若干个子集，然后将其中一个子集作为验证集，其余子集作为训练集。

通过不断调整正则化参数，计算模型在验证集上的性能指标，如准确率、精确率、召回率等，选择性能最好的正则化参数作为最终的选择。

三、网格搜索方法网格搜索是一种常见的参数选择方法，也可以用于选择正则化参数。

网格搜索将正则化参数的取值范围划分为一个网格，然后遍历网格中的每个参数组合，计算模型在验证集上的性能指标。

最终选择性能最好的正则化参数。

网格搜索方法简单直观，但是计算复杂度较高，需要遍历所有的参数组合。

四、启发式方法除了交叉验证和网格搜索方法，还有一些启发式方法可以用于选择正则化参数。

例如，可以通过观察模型在训练集上的拟合程度来判断正则化参数的选择。

如果模型在训练集上过拟合，可以增大正则化参数；如果模型在训练集上欠拟合，可以减小正则化参数。

此外，还可以使用正则化路径方法，通过逐步增大或减小正则化参数的方式选择最优参数。

五、经验法则在实际应用中，还存在一些经验法则可以用于选择正则化参数。

例如，在SVM中，常用的正则化参数选择范围是10^-3到10^3之间。

如果数据量较小，可以选择较大的正则化参数；如果数据量较大，可以选择较小的正则化参数。

一种图像去模糊正则化恢复算法参数确定方法吴玲达;郝红星【摘要】为了解决模糊正则化恢复算法中参数确定问题,提出一种正则化参数确定方法,该方法根据降质图像特征计算正则化参数.分析了目前普遍应用的全变分正则化方法和该问题的改进拉格朗日迭代解法(SALSA),分析不同正则化参数对恢复效果的影响,提出的正则化参数确定方法与噪声和原图像梯度大小相关.对不同梯度和噪声图像的不同正则化参数恢复效果进行对比,得到提出的正则化参数确定方法能使恢复图像的改进信噪比处于最大值附近.从实验视觉效果得出,该参数确定方法能够抑制降质图像的噪声并能够尽量恢复原图像细节信息.%A method of determining the regularization parameter is proposed in order to solve the image deblurring problems. The main objective is to get the regularization parameter from the deblurring image. The method starts by considering the famous Total Variation methods and the Split Augmented Lagrangian Shrinkage Algorithm (SALSA) , and then it deals with the effect of the regularization parameter on the result image. The proposed method proves that the parameter is determined by the noise and the gradient of the image. Results of the recovery of images were compared with different gradient and noise, and they help to reach a conclusion that the proposed method maximizes the improvement in Signal to Noise Ratio (ISNR). The method also removed noise and protected the details of the image in the processing of recovery as much as possible.【期刊名称】《国防科技大学学报》【年(卷),期】2012(034)004【总页数】6页(P79-84)【关键词】正则化参数;去模糊;全变分正则化;改进拉格朗日迭代解法【作者】吴玲达;郝红星【作者单位】国防科技大学信息系统与管理学院,湖南长沙410073;装备学院复杂电子系统仿真重点实验室,北京怀柔101400;国防科技大学信息系统与管理学院,湖南长沙410073【正文语种】中文【中图分类】TP391目前，图像的应用领域越来越广泛，包括卫星遥感图像、医学成像，天文学成像等。

如何选择合适的正则化参数在机器学习领域，正则化是一种常用的技术，用于避免模型过拟合。

正则化参数是用来控制正则化的强度的关键因素。

选择合适的正则化参数对于模型的性能和泛化能力至关重要。

本文将探讨如何选择合适的正则化参数，并介绍几种常用的方法。

一、正则化的概念和作用正则化是一种通过在损失函数中引入额外的惩罚项来控制模型复杂度的技术。

它可以有效地减少模型在训练集上的误差，同时避免过拟合的问题。

正则化的作用是通过惩罚复杂模型的参数，使得模型更加简单，更具有泛化能力。

二、正则化参数的选择方法1. 网格搜索网格搜索是一种常用的方法，用于选择合适的正则化参数。

它通过遍历给定的参数范围，并评估模型在不同参数下的性能，从而选择最优的参数组合。

网格搜索的优点是简单易用，但是当参数范围较大时，计算复杂度较高。

2. 交叉验证交叉验证是一种评估模型性能的方法，也可以用于选择正则化参数。

它将数据集划分为训练集和验证集，然后在不同的参数下训练模型，并在验证集上进行评估。

通过比较不同参数下的性能指标，选择表现最佳的参数。

交叉验证的优点是可以更准确地评估模型性能，但是计算开销较大。

3. 正则化路径正则化路径是一种通过观察正则化参数对模型的影响来选择合适参数的方法。

它可以将正则化参数的取值范围划分为多个区间，然后观察每个区间下模型的性能变化。

通过选择在性能变化较小的区间内的参数值，可以得到合适的正则化参数。

正则化路径的优点是可以直观地观察参数对模型的影响，但是需要较多的计算和实验。

三、正则化参数的影响选择合适的正则化参数可以有效地控制模型的复杂度，从而提高模型的泛化能力。

当正则化参数较小时，模型的复杂度较高，容易出现过拟合的问题；当正则化参数较大时，模型的复杂度较低，容易出现欠拟合的问题。

因此，选择合适的正则化参数是在模型性能和泛化能力之间进行平衡的关键。

四、其他注意事项在选择正则化参数时，还需要考虑以下几个因素：1. 数据集规模：当数据集较小的时候，选择较小的正则化参数可以减少过拟合的风险；当数据集较大时，可以适当增大正则化参数来控制模型复杂度。

正则化详解⼀、为什么要正则化 学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应⽤到某些特定的机器学习应⽤时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。

正则化(regularization)技术，可以改善或者减少过度拟合问题，进⽽增强泛化能⼒。

泛化误差（generalization error）= 测试误差（test error），其实就是使⽤训练数据训练的模型在测试集上的表现（或说性能 performance）好不好。

如果我们有⾮常多的特征，我们通过学习得到的假设可能能够⾮常好地适应训练集（代价函数可能⼏乎为0），但是可能会不能推⼴到新的数据。

下图是⼀个回归问题的例⼦： 第⼀个模型是⼀个线性模型，⽋拟合，不能很好地适应我们的训练集；第三个模型是⼀个四次⽅的模型，过于强调拟合原始数据，⽽丢失了算法的本质：预测新数据。

我们可以看出，若给出⼀个新的值使之预测，它将表现的很差，是过拟合，虽然能⾮常好地适应我们的训练集但在新输⼊变量进⾏预测时可能会效果不好；⽽中间的模型似乎最合适。

分类问题中也存在这样的问题：就以多项式理解，x的次数越⾼，拟合的越好，但相应的预测的能⼒就可能变差。

如果我们发现了过拟合问题，可以进⾏以下处理： 1、丢弃⼀些不能帮助我们正确预测的特征。

可以是⼿⼯选择保留哪些特征，或者使⽤⼀些模型选择的算法来帮忙（例如PCA）。

2、正则化。

保留所有的特征，但是减少参数的⼤⼩（magnitude）。

⼆、正则化的定义 正则化的英⽂ Regularizaiton-Regular-Regularize，直译应该是"规则化"，本质其实很简单，就是给模型加⼀些规则限制，约束要优化参数，⽬的是防⽌过拟合。

其中最常见的规则限制就是添加先验约束，常⽤的有L1范数和L2范数，其中L1相当于添加Laplace先验，L相当于添加Gaussian先验。

1. 拟最优准则Tikhonov 指出当数据误差水平δ和η未知时，可根据下面的拟最优准则：0min opt dx d ααααα>⎧⎫⎪⎪=⎨⎬⎪⎪⎩⎭（1-1） 来确定正则参数。

其基本思想是：让正则参数α以及正则解对该参数的变化率同时稳定在尽可能小的水平上。

2. 广义交叉验证令22(())/()[(())]/I A y m V tr I A mδααα-=- （2-1） 其中，*1*()A (A A I)A h h h h A αα-=+，1(I A())(1())mkk k tr ααα=-=-∑，()kk αα为()A α的对角元素。

这样可以取*α满足 *()min ()V V αα= （2-2）此法源于统计估计理论中选择最佳模型的PRESS 准则，但比它更稳健。

3. L_曲线法L 曲线准则是指以log-log 尺度来描述与的曲线对比，进而根据该对比结果来确定正则 参数的方法。

其名称由来是基于上述尺度作图时将出现一个明显的L 曲线。

运用L 曲线准则的关键是给出L 曲线偶角的数学定义,进而应用该准则选取参数α。

Hanke 等[64]建议定义L 曲线的偶角为L 曲线在log-log 尺度下的最大曲率。

令log b Ax αρ=-，log x αθ=，则该曲率作为参数α的函数定义为''''''3'2'22()(()())c ρθρθαρθ-=+ （3-1）其中“'”表示关于α的微分。

H.W.Engl 在文献[40]中指出:在相当多的情况下,L 曲线准则可通过极小化泛函()x b Ax ααφα=-来实现。

即,选取*α使得{}*0arg inf ()ααφα>= （3-2） 这一准则更便于在数值计算上加以实施。

但到目前为止,还没有相关文献获得过关于L 曲线准则的收敛性结果。

另一方面,有文献己举反例指出了L 曲线准则的不收敛性。

正则化参数的确定方法1.网格：网格是一种穷举的方法，它通过遍历给定的正则化参数候选列表，来寻找最佳的正则化参数。

具体来说，首先确定一个正则化参数候选列表，然后对于每个正则化参数，使用交叉验证来评估模型的性能，并选择性能最好的正则化参数。

这种方法简单直观，但会消耗较多的计算资源。

2.随机：随机是一种更高效的方法，它与网格不同的是，不是遍历所有可能的正则化参数值，而是随机选择一部分正则化参数值进行评估。

具体来说，首先确定一个正则化参数的范围和次数，然后在指定范围内随机选择一组正则化参数值，并使用交叉验证评估模型的性能，最后选择性能最好的正则化参数。

相比于网格，随机在一些情况下可能会找到更好的正则化参数，在节省计算资源的同时，也能保持较好的性能。

3.学习曲线：学习曲线是一种可视化分析方法，用于评估模型在不同正则化参数下的性能。

具体来说，学习曲线会绘制出不同正则化参数下的训练误差和交叉验证误差随训练样本数量的变化情况。

通过观察学习曲线的趋势，可以判断模型是否出现欠拟合（高偏差）或过拟合（高方差）的情况。

如果在正则化参数很小时，训练误差和交叉验证误差的差距很大，说明模型欠拟合；如果在正则化参数很大时，训练误差和交叉验证误差的差距很大，说明模型过拟合。

通过分析学习曲线，可以选择一个正则化参数以实现更好的模型性能。

4. 正则化路径：正则化路径是一种综合考虑正则化参数和模型系数变化的方法。

具体来说，正则化路径绘制出正则化参数在一定范围内的取值和不同模型系数的变化情况。

通过观察正则化路径，可以找到正则化参数取值对应的稀疏模型系数，从而选择最佳的正则化参数。

正则化路径可以通过使用L1正则化的方法，如Lasso回归，来绘制。

总结而言，正则化参数的确定方法包括网格、随机、学习曲线和正则化路径。

这些方法可以通过使用交叉验证来选择最佳的正则化参数，从而提高模型的性能。

在实际应用中，一般需要综合考虑计算资源和模型性能的因素，选择合适的方法来确定正则化参数。

scad正则化模型相关算法
SCAD正则化模型是一种常用的变量选择方法，用于在高维数据中选择出最具代表性的变量。

该算法通过对目标函数加上一个稀疏惩罚项，实现了对不重要的变量进行惩罚，从而达到变量筛选的目的。

SCAD正则化模型的算法主要包括以下几个步骤：
1. 设定目标函数：SCAD正则化模型的目标函数包括两个部分，一个是最小二乘误差项，另一个是一个惩罚项，用于对不重要的变量进行惩罚，从而实现变量筛选。

2. 确定惩罚项：SCAD正则化模型的惩罚项是一个非凸函数，其主要作用是对不重要的变量进行惩罚，使其系数逼近于零。

SCAD正则化模型的惩罚项具有一定的光滑性和连续性，使得它更加适合于变量选择。

3. 采用交替方向乘子法求解：SCAD正则化模型通常采用交替方向乘子法来求解，该方法可以通过迭代的方式逐步优化目标函数，从而得到最优解。

该方法的优点是收敛速度快，且可用于大规模数据集的处理。

4. 确定最优参数：最后一步是确定最优参数，即确定稀疏惩罚项的参数值，该值通常需要根据实际情况进行调整。

通过调整参数值可以得到不同的变量选择结果，从而选择最优的变量集合。

SCAD正则化模型是一种有效的变量选择方法，它可以在高维数据中选择出最具代表性的变量，从而提高模型的准确性和泛化能力。

该算法在机器学习、数据挖掘等领域得到了广泛的应用。

分类模型中正则化方法的参数选择随着机器学习的广泛应用，分类模型也成为研究的焦点。

在构建分类模型时，为了提高其泛化能力和减小过拟合的风险，正则化方法被广泛应用。

正则化方法通过添加额外的惩罚项来限制模型的复杂度，有效地控制了模型的自由度。

然而，在实际应用中，选择适当的正则化参数成为一个关键问题。

一、正则化方法的选择在介绍正则化参数的选择之前，先简要回顾一下常用的正则化方法。

常见的正则化方法包括岭回归（Ridge Regression）、套索回归（Lasso Regression）和弹性网（Elastic Net）等。

1. 岭回归（Ridge Regression）岭回归采用L2正则化，通过将模型的参数添加到目标函数的惩罚项中，使得模型的参数更加平滑。

岭回归通过控制L2正则化参数λ的大小来平衡模型的复杂度和拟合数据的能力。

较大的λ会使得参数估计更加收缩，降低过拟合的风险。

2. 套索回归（Lasso Regression）相比于岭回归，套索回归采用L1正则化，对模型参数的惩罚更加严厉。

套索回归可以将某些参数压缩到零，起到特征选择的作用。

正因为如此，套索回归在一些特征较多的数据集上得到了广泛应用。

3. 弹性网（Elastic Net）弹性网是岭回归和套索回归的组合，在惩罚项中同时包含L1和L2正则化。

弹性网通过控制两者的混合比例来平衡模型的稀疏性和平滑性。

该方法可以比较有效地处理高纬度的数据，并同时实现特征选择和参数收缩。

二、正则化参数的选择正则化参数的选择对模型的性能有着重要影响。

过大或过小的正则化参数都可能导致模型拟合能力的下降，因此需要进行合理的调优。

1. 网格搜索网格搜索是常用的参数调优方法之一。

它通过给定一组候选参数值，使用交叉验证来评估每个参数值对模型性能的影响，从而找到最优的参数组合。

在选择正则化参数时，可以使用网格搜索来遍历不同的参数值，以找到最佳的正则化参数。

2. 交叉验证交叉验证是评估分类模型性能的一种常用方法。

如何调整机器学习中的正则化参数选择机器学习中的正则化参数选择是一个关键的问题，它决定了模型的复杂度和泛化能力。

合适的正则化参数可以避免过拟合和欠拟合问题，提高模型的性能和泛化能力。

本文将介绍如何调整机器学习中的正则化参数选择。

在机器学习中，正则化是一种常见的技术，通过添加一个正则化项来约束模型的复杂度。

正则化项在损失函数中引入了一个惩罚项，惩罚模型的复杂度，从而避免模型过度拟合训练数据。

正则化参数控制着惩罚项的强度，因此其选择非常重要。

要调整机器学习中的正则化参数选择，可以采用以下几种方法：1. 经验法则：根据经验法则调整正则化参数是一种常见的方法。

经验法则指出，当训练样本较少时，应该选择较小的正则化参数；当训练样本较多时，可以选择较大的正则化参数。

这是因为较小的正则化参数可以减小过拟合的风险，而较大的正则化参数可以限制模型的复杂度。

但是，经验法则只是一种启发性的指导，并不能保证最佳性能。

2. 网格搜索：网格搜索是一种较为常用的调参方法。

它通过将不同取值的正则化参数组合成一个网格，然后遍历网格中的所有组合，根据某种评价指标（如交叉验证误差）来选择最佳的正则化参数。

网格搜索需要预先定义候选的正则化参数的范围和步长，需要在给定的搜索空间中进行穷举搜索，因此耗时较长。

然而，网格搜索能够保证找到参数空间中的最优解。

3. 随机搜索：随机搜索是一种相对快速的调参方法。

与网格搜索不同，随机搜索不需要遍历整个参数空间，而是在给定的范围内随机选择参数值进行评估。

通过随机搜索，可以在相对较少的计算量下找到较好的参数组合。

然而，由于随机性的存在，随机搜索不能保证找到全局最优解。

4. 贝叶斯优化：贝叶斯优化是一种高效的参数调整方法。

它通过构建参数空间的概率模型，利用回归模型进行优化。

贝叶斯优化可以根据模型的评估结果，自适应地调整参数空间的搜索策略，从而快速找到最佳参数。

贝叶斯优化适用于参数空间连续且维度较高的情况。

5. 使用验证集：将数据集划分为训练集、验证集和测试集是一种常见的方法。