下载文档原格式
增广拉格朗日方法发展史增广拉格朗日方法（Augmented Lagrangian Method）是数学最优化中一种计算非线性约束最优化问题的方法，它采用了拉格朗日乘子法（Lagrangian Multiplier Method）和罚函数（Penalty Function）相结合的思想。
拉格朗日乘子法的思想最早由法国数学家拉格朗日（Joseph-Louis Lagrange）于18世纪50年代提出。
他研究了约束条件下的极值问题，并通过引入拉格朗日乘子将带有约束条件的优化问题转化为不带约束条件的优化问题。
这一方法为后来的非线性规划问题的研究提供了理论基础。
20世纪60年代，数学家Powell将拉格朗日乘子法与罚函数相结合，提出了增广拉格朗日方法。
增广拉格朗日方法通过在优化问题的目标函数中添加与约束条件相关的罚函数，将约束条件加入到目标函数中，从而将带约束条件的优化问题转化为目标函数带约束的优化问题，从而使得问题的求解更加方便。
随着计算机技术的发展，增广拉格朗日方法得到了进一步的推广和发展。
数学家和工程师们不断地提出了新的增广拉格朗日方法和改进算法，以解决更加复杂的优化问题。
如1981年，Nocedal等人提出了序列二次规划方法（Sequential Quadratic Programming）；1996年，Hestenes等人提出了全局收敛性的增广拉格朗日方法等。
总之，增广拉格朗日方法的发展经历了拉格朗日乘子法的提出、增广拉格朗日方法的提出以及后续的改进和应用。
它的出现和发展对求解非线性约束最优化问题起到了重要的推动作用，使得更多的问题可以得到有效的求解。
增广拉格朗日方法在理论研究和应用领域都取得了重要的成果，为解决实际问题提供了有力的工具和方法。
最优化问题的约束条件处理方法在最优化问题中，约束条件是限制优化目标的条件。
对于一个最优化问题而言，约束条件的处理是至关重要的，因为它直接影响到问题的可行解集合以及最终的优化结果。
本文将介绍几种常见的约束条件处理方法，以帮助读者更好地理解和应用最优化算法。
一、等式约束条件处理方法等式约束条件是指形如f(x) = 0的约束条件，其中f(x)是一个函数。
处理等式约束条件的常用方法是拉格朗日乘子法。
该方法通过引入拉格朗日乘子，将等式约束条件转化为目标函数的一部分，从而将原问题转化为无约束问题。
具体而言，我们可以构造拉格朗日函数：L(x,λ) = f(x) + λ·g(x)其中，g(x)表示等式约束条件f(x) = 0。
通过对拉格朗日函数求导，我们可以得到原问题的最优解。
需要注意的是，拉格朗日乘子法只能处理等式约束条件，对于不等式约束条件需要使用其他方法。
二、不等式约束条件处理方法不等式约束条件是指形如g(x) ≥ 0或g(x) ≤ 0的约束条件，其中g(x)是一个函数。
处理不等式约束条件的常用方法是罚函数法和投影法。
1. 罚函数法罚函数法通过将约束条件转化为目标函数的一部分，从而将原问题转化为无约束问题。
具体而言，我们可以构造罚函数：P(x) = f(x) + ρ·h(x)其中，h(x)表示不等式约束条件g(x) ≥ 0或g(x) ≤ 0。
通过调整罚函数中的惩罚系数ρ，可以使得罚函数逼近原问题的最优解。
罚函数法的优点是简单易实现，但需要注意选择合适的惩罚系数，以避免陷入局部最优解。
2. 投影法投影法是一种迭代算法，通过不断投影到可行域上来求解约束最优化问题。
具体而言，我们首先将原问题的可行域进行投影，得到一个近似可行解，然后利用该近似可行解来更新目标函数的取值，再次进行投影，直到收敛为止。
投影法的优点是能够处理各种类型的不等式约束条件，并且收敛性良好。
三、混合约束条件处理方法混合约束条件是指同时包含等式约束条件和不等式约束条件的问题。
最优化乘子法最优化乘子法是一种数学方法，用于求解约束条件下的优化问题。
它通过引入拉格朗日乘子，将约束条件融入目标函数，从而将原问题转化为无约束优化问题。
最优化乘子法的基本思想是，在原问题的基础上引入一个新的变量——拉格朗日乘子，它表示约束条件的权重。
通过构造拉格朗日函数，将原问题转化为在无约束条件下求解的问题。
这样，通过对拉格朗日函数求偏导数，可以得到原问题的最优解。
在应用最优化乘子法求解优化问题时，需要满足一些条件。
首先，原问题需要有明确的目标函数和约束条件。
其次，目标函数和约束条件必须是可微的。
最后，拉格朗日乘子需要满足一定的条件，以保证最优解的存在性和唯一性。
最优化乘子法在实际问题中有着广泛的应用。
例如，在经济学中，最优化乘子法可以用于求解生产最优方案，以最大化利润或最小化成本。
在工程学中，最优化乘子法可以用于求解最优控制问题，以实现系统的最佳性能。
在物理学中，最优化乘子法可以用于求解约束下的最优路径，以达到最小时间或最小能量消耗。
最优化乘子法的优点在于其简洁而直观的原理，以及对各种类型问题的适用性。
通过引入拉格朗日乘子，可以将约束条件与目标函数结合起来，从而将原问题转化为无约束优化问题。
此外，最优化乘子法还可以通过求解拉格朗日函数的极值问题，得到原问题的最优解。
然而，最优化乘子法也存在一些局限性。
首先，对于复杂的问题，求解过程可能比较繁琐，需要进行大量的计算和优化。
其次，最优化乘子法在求解非线性问题时，可能会遇到局部极值点的问题，导致结果不够准确。
此外，最优化乘子法对问题的可微性要求较高，不适用于非光滑的问题。
总的来说，最优化乘子法是一种重要的优化方法，可以用于求解约束条件下的优化问题。
它通过引入拉格朗日乘子，将约束条件融入目标函数，从而将原问题转化为无约束优化问题。
最优化乘子法在实际问题中有着广泛的应用，但也存在一些局限性。
因此，在具体应用时，需要根据问题的特点和要求，选择合适的优化方法。
拉格朗日乘子法与约束优化引言:在数学和工程学领域，约束优化是一个重要的问题。
在解决约束优化问题时，拉格朗日乘子法是一种常用的技术。
本文将介绍拉格朗日乘子法的基本概念和应用，并讨论在不同情境下如何利用该方法解决约束优化问题。
一、拉格朗日乘子法的基本原理拉格朗日乘子法是一种通过引入拉格朗日乘子来处理约束条件的方法。
它将约束优化问题转化为无约束优化问题，使得求解过程更为方便。
通过引入拉格朗日乘子，我们可以将原始优化问题转化为一个包含约束条件的拉格朗日函数的最优化问题。
二、拉格朗日乘子法的数学表达假设我们有一个最优化问题，目标是最小化一个目标函数f(x)的同时满足一组约束条件g_i(x)=0。
那么问题可以用如下拉格朗日函数来表示：L(x,λ) = f(x) + ∑(λ_i * g_i(x))其中，λ_i是拉格朗日乘子，用来表示约束条件的重要程度。
我们的目标是找到函数L(x,λ)的驻点，即满足以下条件的点(x^*,λ^*)：∂L/∂x = 0，∂L/∂λ = 0三、求解约束优化问题的步骤使用拉格朗日乘子法求解约束优化问题的一般步骤如下：1. 建立拉格朗日函数L(x,λ)；2. 分别求解∂L/∂x = 0和∂L/∂λ = 0的方程组，得到最优解x^*和λ^*；3. 根据最优解验证约束条件g_i(x^*)=0是否满足；4. 如果满足约束条件，得到最优解；否则，返回第二步进行迭代，直至满足约束条件。
四、拉格朗日乘子法的应用举例拉格朗日乘子法在许多领域都有广泛的应用。
以下是一些常见的实际问题，可以使用拉格朗日乘子法来求解。
1. 经济学中的约束优化问题：例如最大化收益的同时满足成本约束；2. 物理学中的约束优化问题：例如找到能够最小化能量的路径；3. 机械工程中的约束优化问题：例如在给定约束条件下设计一个最优的结构。
五、总结本文简要介绍了拉格朗日乘子法和其在约束优化中的应用。
拉格朗日乘子法通过引入拉格朗日乘子，将约束优化问题转化为无约束优化问题，从而方便了求解过程。
非线性最小二乘问题非线性最小二乘问题是一种解决实际应用中非线性系统求解最优化问题的有效方法，是研究遥感、机器人导航、机床控制、智能控制等领域的研究的基础。
非线性最小二乘问题具有普遍性，在很多学科和领域中都有广泛的应用。
一般来说，非线性最小二乘问题是一种优化问题，它涉及到求解满足条件的参数及其对应的函数最小值，其函数由基本函数和残差函数两部分组成。
基本函数又称作目标函数，是根据实际问题解题的依据；残差函数又称作约束函数，是根据实际约束条件而确定的。
因此，非线性最小二乘问题的求解步骤有以下几个：(1)确定基本函数和残差函数；(2)确定求解的参数及其范围；(3)对对应的函数最小值，采用梯度下降法等优化方法求解；(4)判断最小值是否满足目标要求，以达到最优化的效果。
其中，梯度下降法是一种常用的优化方法，它可以帮助求解非线性最小二乘问题，梯度下降法的基本思想是，在每次迭代中，根据目标函数对变量的梯度信息，找到该函数局部最小值，通过迭代搜索不断改进求解结果，使得每次迭代都能获得更优的结果。
另外，针对不同问题，还可以采用其他有效的优化方法，如模拟退火算法、粒子群算法等，它们都可以有效解决非线性最小二乘问题。
模拟退火算法是一种迭代算法，它可以有效地控制步长，从而有效改善求解结果；粒子群算法是一种仿生算法，它可以通过考虑各个粒子之间的信息交互，自动学习出有效的优化参数，从而有效求解非线性最小二乘问题。
总之，非线性最小二乘问题是一种常见的优化问题，其解题的基本步骤是确定基本函数和残差函数，然后采用梯度下降法、模拟退火算法、粒子群算法等有效的优化方法，从而求解满足约束条件的非线性最小二乘问题最优解。
研究非线性最小二乘问题，有利于更好地解决遥感、机器人导航、机床控制等工程实际应用中的问题，从而实现更高效的控制和决策。
不等式约束拉格朗日乘子法摘要：一、拉格朗日乘子法简介1.拉格朗日乘子法的定义2.拉格朗日乘子法的基本思想二、不等式约束问题与拉格朗日乘子法1.不等式约束问题的定义2.拉格朗日乘子法解决不等式约束问题的基本步骤三、拉格朗日乘子法的性质与特点1.拉格朗日乘子法的优点2.拉格朗日乘子法的缺点四、应用案例1.应用背景2.应用过程3.应用结果正文：一、拉格朗日乘子法简介拉格朗日乘子法是一种求解条件最优化问题的方法，由法国数学家拉格朗日于18 世纪提出。
该方法的基本思想是在原目标函数的基础上，引入一组拉格朗日乘子，构成一个新的函数，通过求解新函数的最小值，得到原问题的最优解。
拉格朗日乘子法适用于一类具有约束条件的优化问题，即需要在满足一定约束条件下，使目标函数达到最小值或最大值。
这类问题在实际生活中非常常见，如在经济学、工程设计、物理等领域都有广泛应用。
二、不等式约束问题与拉格朗日乘子法不等式约束问题是一类具有广泛应用的优化问题，其一般形式可以表示为：在满足一定约束条件g(x)≤0 的情况下，寻找使目标函数f(x) 最小化的x 值。
拉格朗日乘子法解决不等式约束问题的基本步骤如下：1.构建拉格朗日函数：在原目标函数的基础上，引入一组拉格朗日乘子λ，构成一个新的函数L(x,λ)，其中x 为决策变量，λ为拉格朗日乘子。
2.求解拉格朗日函数的极小值：求解拉格朗日函数L(x,λ) 关于x 和λ的偏导数，并令其为0，得到一组方程组。
通过求解这组方程组，可以得到拉格朗日函数的极小值点。
3.判断极小值点是否为原问题的最优解：将求得的极小值点代入原目标函数和约束条件，判断是否满足约束条件。
如果满足，则该点为原问题的最优解；否则，继续调整拉格朗日乘子λ，重复上述过程，直到找到满足约束条件的最优解。
三、拉格朗日乘子法的性质与特点拉格朗日乘子法具有以下性质和特点：1.优点：拉格朗日乘子法能够处理一类具有广泛应用的不等式约束问题，通过引入拉格朗日乘子，将原问题转化为求解一个新函数的极小值问题，从而得到原问题的最优解。
约束最优化方法
约束最优化方法是指通过给定约束条件，寻找目标函数的最优解。
以下是一些常用的约束最优化方法：
1. 拉格朗日乘子法：将约束最优化问题转化为无约束最优化问题，通过求解无约束最优化问题得到原问题的最优解。
2. 罚函数法：将约束条件转化为罚函数项，通过不断增加罚函数的权重，使目标函数逐渐逼近最优解。
3. 梯度下降法：通过迭代计算目标函数的梯度，沿着梯度的负方向搜索目标函数的最优解。
4. 牛顿法：通过迭代计算目标函数的Hessian矩阵，使用Hessian矩阵的逆矩阵乘以梯度向量来逼近最优解。
5. 遗传算法：模拟自然界的遗传机制，通过种群迭代的方式搜索最优解。
6. 模拟退火算法：模拟物理退火过程，通过随机搜索的方式搜索最优解。
7. 蚁群算法：模拟蚂蚁觅食行为，通过模拟蚂蚁的信息素传递过程来搜索最优解。
8. 粒子群算法：模拟鸟群、鱼群等群集行为，通过模拟粒子间的相互作用来搜索最优解。
这些方法各有优缺点，应根据具体问题选择合适的方法进行求解。
交叉方向乘子法交叉方向乘子法（cross-directional method of multipliers）是一种求解带有约束的优化问题的方法。
它是一种用于求解线性规划问题的变形方法，可以将非线性规划问题转化为线性约束问题，并通过引入拉格朗日乘子来加入约束条件，从而得到原问题的解。
交叉方向乘子法的基本思路是，将问题分解为多个子问题，每个子问题都包含部分约束条件，并通过引入对应的拉格朗日乘子来满足这些约束条件。
然后，不断交替求解这些子问题，通过更新拉格朗日乘子的值，使得每个子问题的解逐渐逼近原问题的解。
具体来说，交叉方向乘子法的步骤如下：1.引入拉格朗日乘子。
将原问题转化为带有约束条件的优化问题，并引入拉格朗日乘子来表示约束条件。
2.分解子问题。
将原问题分解为多个子问题，每个子问题包含部分约束条件，同时保持其他变量不变。
例如，假设原问题包含n个变量和m个约束条件，那么可以将其分解为k个子问题，其中k≥m，每个子问题包含n个变量和部分约束条件。
3.求解子问题。
对于每个子问题，固定其他变量的值，将其转化为线性规划问题，并使用线性规划算法求解。
4.更新拉格朗日乘子。
利用每个子问题的解，更新对应的拉格朗日乘子的值，使得每个子问题的解逐渐逼近原问题的解。
5.重复求解子问题，更新拉格朗日乘子。
重复执行步骤3和步骤4，直到所有子问题的解都收敛到原问题的解。
交叉方向乘子法的优点是，可以处理大规模的非线性规划问题，并且可以通过分解子问题，使得每个子问题的求解过程更加简单和高效。
然而，由于需要不断交替求解子问题和更新拉格朗日乘子的值，所以其收敛速度可能较慢。
拉格朗日乘子法公式约束优化无约束优化拉格朗日乘子法是一种常用于求解约束优化问题的数学方法。
通过引入拉格朗日乘子，将约束条件与目标函数统一起来，将原问题转化为一个无约束优化问题。
本文将介绍拉格朗日乘子法的基本原理和公式，并以实际问题为例，演示其具体应用过程。
1. 拉格朗日乘子法的基本原理在求解最优化问题时，常常会伴随着一些约束条件。
如果我们将这些约束条件直接作为目标函数的一部分进行求解，会使问题变得复杂且难以处理。
拉格朗日乘子法通过引入拉格朗日乘子，将约束条件转化为目标函数的一部分，从而将问题转化为一个无约束优化问题。
拉格朗日乘子法的基本思想是，在目标函数后面添加一个乘以约束条件的拉格朗日乘子的项，构建一个新的被称为拉格朗日函数的函数。
然后，通过对拉格朗日函数进行求导，将约束条件转化为一个等式。
通过求解该等式，可以得到最优解。
2. 拉格朗日乘子法的公式拉格朗日乘子法的公式可以通过以下步骤进行推导：(1) 假设有一个最优化问题：Maximize (或Minimize) f(x)Subject to g(x) = 0(2) 引入拉格朗日乘子λ，构建拉格朗日函数：L(x, λ) = f(x) + λ * g(x)(3) 对拉格朗日函数进行求导，并令其导数为零：∇L(x, λ) = 0(4) 根据求导得到的等式，得到一组方程：∂f/∂x = -λ * ∂g/∂xg(x) = 0(5) 求解这组方程，得到x和λ的取值。
3. 拉格朗日乘子法的应用举例为了更好地理解拉格朗日乘子法的应用，我们将以一个实际问题为例进行演示。
假设我们有一个优化问题：求解函数 f(x) = x^2 的最大值，同时满足约束条件 g(x) = x - 1 = 0。
根据拉格朗日乘子法，我们可以构建拉格朗日函数：L(x, λ) = x^2 + λ * (x - 1)然后，对拉格朗日函数进行求导，得到一组方程：∂L/∂x = 2x + λ = 0∂L/∂λ = x - 1 = 0解这组方程，可以得到λ = -2 和 x = 1。
非线性约束最优化方法 ——乘子法1.1 研究背景最优化理论与方法是一门应用性相当广泛的学科，它的最优性主要表现在讨论决策问题的最佳选择性，讨论计算方法的理论性质，构造寻求最佳解的计算方法，以及实际计算能力。
伴随着计算数学理论的发展、优化计算方法的进步以及计算机性能的迅速提高，规模越来越大的优化问题得到解决。
因为最优化问题广泛见于经济计划、工程设计、生产管理、交通运输、国防等重要领域，它已受到政府部门、科研机构和产业部门的高度重视。
然而，随着人们对模型精度和最优性的要求所得到的优化命题往往具有方程数多、变量维数高、非线性性强等特点，使得相关变量的存储、计算及命题的求解都相当困难，从而导致大规模非线性优化很难实现。
因此，寻求高效、可靠的大规模非线性优化算法成为近年来研究的热点。
本文讨论的问题属于非线性约束规划的范畴，讨论了其中的非线性等式约束最优化问题方面的一些问题。
1.2非线性约束规划问题的研究方法非线性约束规划问题的一般形式为（NPL ） {}{}m in (),,s.t. ()0,1,2,...,,()0,1,2,...,ni i f x x R c x i E l c x i I l l l m ∈=∈=≤∈=+++其中，(),()i f x c x 是连续可微的.在求解线性约束优化问题时，可以利用约束问题本身的性质，但是对于非线性约束规划问题，由于约束的非线性使得求解这类问题比较复杂、困难。
因此，我们将约束问题转化为一系列无约束优化问题，通过求解一系列无约束优化问题，来得到约束优化问题的最优解。
我们用到的几类主要的方法有:罚函数法、乘子法以及变尺度法。
传统上我们所提出的非线性约束最优化方法一般都遵循下列三个基本思路之一1 借助反复的线性逼近把线性方法扩展到非线性优化问题中来2 采用罚函数把约束非线性问题变换到一系列无约束问题3 采用可变容差法以便同时容纳可行的和不可行的X 矢量其中源于思路2 的乘子罚函数法具有适合于等式及不等式约束不要求初始点为严格内点，甚至不要求其为可行点对自由度的大小无任何要求等特点。
1.3乘子法罚函数法的主要缺点在于需要惩罚因子趋于无穷大，才能得到约束问题的极小点，这会使罚函数的Hesse矩阵变得病态，给无约束问题的数值求解带来很大问题，为克服这一缺点，Hestenes和Powell 于1964年各自独立地提出乘子法。
所谓乘子法是：由问题的Lagrange 函数出发，考虑它的精确惩罚，从而将约束优化问题化为单个函数的无约束优化问题，它同精确罚函数法一样，具有较好的收敛速度和数值稳定性，且避免了寻求精确罚函数法中关于罚参数阈值的困难，它们一直是求解约束优化问题的主要而有效的算法。
考虑如下非线性等式约束优化问题：（NEP ） min f （x ）s.t. 0)(=x c i , i=1,2,...,l 设*x为问题（NEP ）的最优解，且它的 Lagrange 函数为)()(),(x c x f x L Tλλ-=其中Tl x c x c x c x c ))(),...,(),(()(21=，Tl ),...,,(21λλλλ=是与x 相对应的Lagrange 的乘子向量。
在一般正规假设条件（Fritz John 必要条件）下，),(**λx 是),(λx L 的稳定点，即0),(**=∇πx L x 。
因此，若能找到*λ，则),(*λx L 的极小值是*λ，那么求解问题（NEP ）转化成求解一个无约束极小化问题。
然而),(λx L 的极小值往往不存在。
为了避免出现),(λx L 的极小值不存在的问题，我们构造增广Lagrange 函数)()(21)()(),,(x c x c x c x f x TTσλσλϕ+-=由于0),(**=∇πx L x ，则0)()()()(),(),,(********=∇=∇+∇=∇x c x c x c x c x L x x x σσλσλϕ这样*x是),,(*σλϕx 的一个稳定点。
由此可知，当*λλ=时，适当的选取σ可以使),,(*σλϕx 的无约束极小点就是问题（NEP ） 的最优解。
1.4 乘子法的相关定理和引理引理 设W 是n n ⨯阶矩阵，a 为n 阶向量，若对一切d 满足0,0Td a d ≠=，均有0Td W d >，则存在*σ>，使当*σσ≥时，矩阵TW aaσ+正定.证明 考虑集合{}1K d d ==，只需证明，,d K ∀∈当*σσ≥时，有()0.T Td W aa d σ+> （4.20）事实上，z ∀≠，则z d Kz=∈，则()0T Tz W aaz σ+>与()0TTd W aa d σ+>等价.令{}'0,,TK d d W d d K =≤∈若'K =∅，则,d K ∀∈有Td W d >，因此0σ∀>，有()TTTd W a a dd W dσ+≥>.因此假设'K ≠∅，当/'d K K ∈时，有0TdW d >，因此0σ∀>，有()0TTTd W aa d d W d σ+≥>.下面考虑'd K ∈，由于'K 是有界闭集，则函数TdW d与2()Tad 在'K上取到极小值，不妨设(1)(1)()T d W d 与(2)2()T a d 分别为函数的极小值，并且(2)0T a d ≠；否则由定理条件，有(2)(2)()0T dW d>与(2)'dK ∈矛盾.因此取(1)(1)*(2)2()0,()T TdW da dσ>>当*σσ≥时，有2(1)(1)(2)2()()()()0,TTTTT T d W aa d d W d a d d W da dσσσ+=+≥+>因此，,d K ∀∈（4.20）式成立. 定理1 设*x是问题（NEP ）的最优解，且满足二阶充分条件，其相应的Lagrange 乘子为*λ ，则当σ充分大时，*x 为无约束优化问题),,(*minσλϕx x=的最优解，且满足二阶充分条件。
证 只要证明对于充分大的σ，使得0),,(**=∇σλϕx x 并且),,(**2σλϕx x ∇ 为对称正定矩阵，则命题成立。
由于*x是最优解所以l i x c i ,...,2,1,0)(*==∑=∇-∇=∇li i i x x c x f x 1*****)()(),,(λσλϕBB +∇=B B +∇-∇=∇∑=Tx Tli i i x x L x c x f x σλσλσλϕ),()()(),,(**21*2**2**其中))(),...,((**1x c x c l ∇∇=B 为l h ⨯阶的矩阵，有一阶必要条件知0),,(**=∇σλϕx x再有二阶充分条件可知，若对任意的{}0|)(*=B =∈y y x M y ，且0≠y ，有0),(**2>∇y x L y x Tλ 成立.因此，存在0*>σ，使得B B +∇Tx x L ***2),(σλ为对称正定矩阵.事实上，只需要证明B B +∇Tx x L ***2),(σλ在{}1|=∈=Ωy R y n上是正定的即可.对任意的Ω∈y ，2***2***2),()),((yy x L y y x L y x TT x TB +∇=B B +∇σλσλy x L y x T),(**2λ∇≥ 故只需证存在0*>σ使得B B +∇Tx x L ***2),(σλ在 {}0),(|**2≤∇Ω∈=Ω-y x L y y x Tλ 上正定.对任意的-Ω∈y ，2****2inf )),((y y x L y y T x TB +≥B B +∇-Ω∈σσσλ其中σ为),(**2λx L x ∇的最小特征值。
下面只需证明 0inf 2>B -Ω∈y y若0inf 2=B -Ω∈yy ，则存在-Ω∈k y，使得0lim=B ∞→k k y .因为{}k y 是有界序列，故有收敛子列，不妨设-Ω∈→y y k ，因此有0),(**2≤∇y x L y x Tλ.又由于0lim lim =B =B =B ∞→∞→k k k k y y y故)(*x M y ∈，这与0),(**2>∇y x L y x Tλ矛盾，从而有0inf 2>B -Ω∈yy ，这就证明了对于充分大的σ，矩阵B B +∇Tx x L σλ),(**2是对称正定的。
定理2 对给定的),...,2,1(l i i =λ和0>σ，设*x 是无约束优化问题),,(min σλϕx x=的最优解，且满足二阶充分条件.如果),...,2,1(0)(*l i x c i ==，则*x 也是问题（NEP ）的最优解，且满足二阶充分条件. 1.5 乘子罚函数法乘子罚函数法是解决非线性等式约束优化问题的一种重要方法，它具有不要求初始点为严格内点，不要求其为可行点，对自由度的大小无任何要求的特点 ，它利用Lagrange 乘子求近似解的方法逼近原问题最优解，而不需要无穷大的罚因子，因此对它的研究有重要的理论和实用价值 ．最早的乘子罚函数法是由 Henstenes (1969)针对等式约束问题导出的，其形式为：22)(2)()(),,(x c x c x f x p Tσλσλ+-=增广Lagrange 函数的另一种等价形式是在1969年由Powell 提出的，其特征是对)(x c i 进行平移，即用i i x c θ-)(代替)(x c i ，i θ 是参数，由此Powell(1969)得到罚函数:21))((2)()(),,(∑=-+-=mi iiTx c x c x f x p θσλσλ当构造出函数(,)x φσ后，可以通过求解一个无约束问题得到约束问题的最优解.但事实上，做到这一点很困难.因为(,)x φσ中的*λ未知，在得到*x 之前，我们是无法知道它的.为了克服上述困难的我们用参数λ代替*λ，得到增广Lagrange 函数也就是我们所说的乘子罚函数2(,,)()()(),2x f x c x c x σφλσλ=++考虑其相应的无约束问题min (,,),x φλσ其最优解为(,).xx λσ=由前面定理1我们知道，只要当σ充分大（不一定趋于∞），就有**lim (,).x x λλλσ→=因此，要想求得*x ，只需要不断的调整参数λ使之逐渐接近最优乘子*λ.下面考虑如何调整参数λ，使它逐渐接近*λ在给定(),k k λσ后，求解无约束问题()m in (,,),k k x φλσ其最优解为()k x.由无约束问题的一阶必要条件有()()()()()()()(,,)()()()()0,k k k k k k k x k k xf xc xc xc xφλσλσ∇=∇+∇+∇=当k σ充分大时，由*lim (,)x x σλσ→∞=可知 ()*()*()*,()(),()(),k k k xx f xf x c xc x ≈∇≈∇∇≈∇因此有*()()*()[()]()0k k k f x c xc x λσ∇++∇≈而在*x 处，由约束问题的一阶条件有***()()0,f x c x λ∇+∇=所以有*()()(),k k k c xλλσ≈+这样得到乘子迭代公式(1)()()().k k k k c xλλσ+=+最后就是算法的终止准则条件若()k x 是无约束问题的局部解，并且满足() ()0k c x =，则有()()()()()0,k k k f xc xλ∇+∇=因此，()k x 是约束问题的K-T 点，()k λ为相应的乘子. 有定理2知()k x 是约束问题（NEP ）的最优解，停止计算.因此其终止准则为ε≤)(kx c其中ε是指定的精度要求. 1.6 结论从原问题的Lagrange 函数出发，加上适当的罚函数，从而将原问题转化为一系列的无约束优化问题。
