5等式约束条件的泛函极值问题-Lagrange乘子法

拉格朗⽇乘⼦法拉格朗⽇乘数法（Lagrange multiplier）有很直观的⼏何意义。

举个2维的例⼦来说明：假设有⾃变量x和y，给定约束条件g(x,y)=c，要求f(x,y)在约束g下的极值。

我们可以画出f的等⾼线图，如下图。

此时，约束g=c由于只有⼀个⾃由度，因此也是图中的⼀条曲线（红⾊曲线所⽰）。

显然地，当约束曲线g=c 与某⼀条等⾼线f=d1相切时，函数f取得极值。

两曲线相切等价于两曲线在切点处拥有共线的法向量。

因此可得函数f(x,y)与g(x,y)在切点处的梯度（gradient）成正⽐。

于是我们便可以列出⽅程组求解切点的坐标(x,y)，进⽽得到函数f的极值。

想法就是：能够碰到极⼤极⼩值点的必要条件是：梯度场与切空间垂直，也就是梯度场不能够有任何流形切空间上的分量，否则在切空间⽅向有分量，在流形上沿分量⽅向⾛，函数值会增加，沿反⽅向⾛，函数值会减少，不可能为局部极⼩或者极⼤值点。

⼀.⼀个基本的例⼦：假设你⽣活在三维欧⽒空间中，z⽅向的坐标数值上代表海拔⾼度。

如果你会飞，那么anyway，你想飞多⾼飞多⾼，所以你的海拔可以任意⾼也可以任意⼩，根本就没有最⼤值。

假定你是⼀个普通⼈类，你在⼀座⼭上，你的⽬标是爬到⼭顶，也就是说你希望⾃⼰的海拔⾜够⾼：当你真正到达⼭腰时，很容易“只缘⾝在此⼭中，不识此⼭真⾯⽬”，这时候如何判断是真的在往上爬呢，还是在往下⾛呢？在⾁眼所能看见的⼩范围内，你可以通过周边的局部地形来判断，假设它⼤概是这样：你就知道应该往⾼处（⼤概为红箭头⽅向）⾛，⽽不是绿箭头⽅向。

当然不⼀定⼀直沿这个⽅向直线式上升，可能还需要⾛到某个地⽅，再次做⼀下这种局部的考察，调整⼀下⽅向，保证⾃⼰能向⾼处⾛。

不过，什么是“⾼”的⼀边？这个概念究竟是如何形成的？我们知道，海拔，我们希望能够找到⼭⾯上的海拔最⾼点（⼭顶）。

梯度关于梯度⼀个很⾃然的结论就是：沿梯度⽅向是f增长最快的⽅向，反⽅向是下降最快的⽅向。

Lagrange乘子法是一种优化问题中常用的方法，它可以用来求解约束条件下的极值问题。

这种方法的基本思想是将约束条件引入目标函数中，通过拉格朗日函数来求解。

Lagrange乘子法的核心是构造拉格朗日函数。

拉格朗日函数是由原始目标函数和每个约束条件的等式右边乘以一个拉格朗日乘子组成的。

这些乘子代表了约束条件的“重要性”，它们在优化过程中起到了关键作用。

在求解过程中，我们首先固定其他变量，只考虑一个变量的变化对拉格朗日函数的影响。

然后，我们求导数并令其等于零，得到一组方程。

这组方程被称为KKT条件。

通过求解这组方程，我们可以得到最优解。

Lagrange乘子法具有很好的数学性质，它能够保证找到全局最优解。

此外，它还具有很强的灵活性，可以应用于各种类型的优化问题，包括线性规划、二次规划、非线性规划等。

总之，Lagrange乘子法是一种强大的优化工具，它能够帮助我们解决许多实际问题。

如果您对这方面感兴趣，不妨深入学习一下相关知识。

拉格朗日乘子法等式约束拉格朗日乘子法是一种用于求解等式约束问题的优化方法。

它的基本思想是通过引入拉格朗日乘子，将等式约束问题转化为无约束的优化问题，从而找到约束条件下的最优解。

使用拉格朗日乘子法求解等式约束问题的步骤如下：首先，将原始问题转化为带等式约束的优化问题。

设目标函数为f(x)，约束条件为h(x)=0，其中x为待求解的向量。

我们的目标是找到满足约束条件的x，使得f(x)达到最小或最大。

然后，构造拉格朗日函数L(x,λ)，其中λ为拉格朗日乘子。

拉格朗日函数的定义为L(x,λ)=f(x)+λ⋅h(x)。

通过引入拉格朗日乘子，我们将原始问题中的等式约束转化为了拉格朗日函数的约束条件。

接下来，求解拉格朗日函数的极值。

我们将拉格朗日函数对x和λ分别求偏导，并令其为零，得到一组方程组。

通过求解这组方程组，可以得到x和λ的值。

最后，检验解的有效性。

将求解得到的x代入原始问题的约束条件中，检验是否满足等式约束。

如果满足，则求解得到的x为原始问题的最优解；如果不满足，则需要重新进行求解。

总的来说，拉格朗日乘子法是一种有效的求解等式约束问题的方法。

通过引入拉格朗日乘子，我们可以将等式约束转化为无约束的优化问题，从而找到最优解。

在实际应用中，拉格朗日乘子法被广泛应用于经济学、物理学、工程学等领域，为解决复杂的等式约束问题提供了有力的工具。

通过使用拉格朗日乘子法，我们可以灵活地处理等式约束问题，并求解出最优解。

它的应用范围非常广泛，可以用于解决各种工程、经济和物理等领域的优化问题。

在实际应用中，我们需要结合具体问题，合理选择合适的目标函数和约束条件，才能得到准确的结果。

在使用拉格朗日乘子法求解等式约束问题时，我们需要注意以下几点：首先，需要确保目标函数和约束条件是可微的；其次，需要求解得到的解是否为局部最优解还是全局最优解；最后，需要对求解结果进行验证，确保满足等式约束。

综上所述，拉格朗日乘子法是一种求解等式约束问题的优化方法。

lagrange乘子法
什么是拉格朗日乘子法？
在数学最优问题中，拉格朗日乘子法（Lagrange Multiplier，以数学家拉格朗日命名）是一种寻找变量受一个或多个条件限制的多元函数的极值的方法。

这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k 个变量的方程组的极值问题，其变量不受任何约束。

这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。

如何使用拉格朗日乘子法？
在机器学习的过程中，我们经常遇到在有限制的情况下，最大化表达式的问题。

如maximizef(x,y）s.t. \quad g(x,y)=0
此时我们就可以构造L(x,y,λ)=f(x,y)−λ⋅g(x,y) ，其中\lambda 称为拉格朗日乘子。

接下来要对拉格朗日表达式求导，令其为0，解方程即可。

1。

拉氏乘子法
拉格朗日乘子法（Lagrange multiplier method）也称为拉格朗日乘数法或拉格
朗日乘子法，是一种优化问题的常用解法，通常用于处理约束条件的问题。

其基本思想是将原优化问题转化为一个带有约束条件的无约束极值问题，通过引入拉格朗日乘子求解约束条件。

设优化问题为$\min_{x} f(x)$，其中$x\in\mathbb{R}^n$，同时满足约束条件
$g_i(x)\leq 0$和$h_j(x)=0$，其中$g_i(x)$和$h_j(x)$是给定的函数。

构造拉格朗日函数：
$$L(x,\lambda,\mu)=f(x)+\sum_{i}\lambda_ig_i(x)+\sum_{j}\mu_jh_j(x)$$
其中，$\lambda_i\geq 0$和$\mu_j$是拉格朗日乘子。

对
$L(x,\lambda,\mu)$求偏导数：
$$\begin{cases} \frac{\partial L}{\partial x}=0 \ \frac{\partial L}{\partial
\lambda_i}=0 \ \frac{\partial L}{\partial \mu_j}=0 \end{cases}$$
解上述方程组即可求得最优解$x^$和拉格朗日乘子$\lambda^$和$\mu^$。

其中，$\lambda_i^$表示第$i$个约束条件的松弛变量（slack variable），用于表
达当约束条件不满足时的惩罚项。

拉格朗日乘子法的优点是能够直接处理约束条件问题，并且可以推广至不等式约束、等式约束和混合约束等多种情形。

缺点是当约束条件数量较大时，方程组可能变得非常复杂且难以求解。

十四. 条件极值(约束极值)的Lagrange 乘数法问题: 求积为定值的两正数之和的最小值. 即, 设x > 0, y > 0, xy = a , 求x + y 的最小值. (本题当然可以用平均不等式求解. 不过, 我们现在要考虑的是求解这类问题的一般方法.) 解法一 y =x a , f (x ) = x +xa (x > 0, a > 0), 求f 的最小值 (驻点a ). 解法一是从所给条件(方程)解出某些变量, 化为无条件极值问题. 能否不解出变量而化为无条件极值问题?解法二 设f (x , y , λ ) = x + y + λ (xy - a ), 求其最小值:⎪⎩⎪⎨⎧=-==+==+=)3(,0)2(,01)1(,01 a xy f x f y f y x λλλ 从(1), (2)得x = y , 从(3)得x = y =a . 原问题的最小值存在, 故就是2a .条件极值问题: 求(目标)函数u = f (x ) (x = (x 1,…, x n )∈D ⊂ R n )在(约束)条件g i (x ) = 0 (i = 1, …, m , m < n )下的极值.设E = {x ∈D | g i (x ) = 0, i = 1, …, m }, a ∈E . 若存在开球B (a , r ) ⊂ D 使x ∈E ∩B (a , r )时f (x )≥f (a ) (f (x )≤f (a )), 则称f 在a 达到(满足条件g i (x ) = 0的)条件极小(极大)值. 条件极值必要条件(对n = 3, m = 2叙述) 设D ⊂ R 3开, f , g 1, g 2: D →R 是C (1)类函数, x =(x 1, x 2, x 3)∈D . 若f 在点a (= (a 1, a 2, a 3))处达到条件极值, 且rank a x g x g x g x g x g x g ⎪⎪⎪⎪⎭⎫ ⎝⎛∂∂∂∂∂∂∂∂∂∂∂∂322212312111 = 2, 则存在λ1, λ2 ∈R , 使 )()()(2211a x g a x g a x f jj j ∂∂+∂∂+∂∂λλ= 0 (j = 1, 2, 3), (*) 即a 是Lagrange 函数L = f + λ1g 1 + λ2 g 2的驻点.证 设a x x g g ),(),(3221∂∂≠0. 由隐函数定理, 存在a 1的邻域V 及C (1)类函数ϕ, ψ : V →R , 使x 2 = ϕ (x 1), x 3 = ψ (x 1), a 2 = ϕ (a 1), a 3 = ψ (a 1), 且g 1 (x 1, ϕ (x 1), ψ (x 1)) = 0, g 2 (x 1, ϕ (x 1), ψ (x 1)) = 0. (**)设F (x 1) = f (x , ϕ (x 1), ψ (x 1)) (x 1∈V ), 则a 1是F 的无条件极值点, 故0 = F ' (a 1) = 1x f (a ) +)()()()(1132a a f a a f x x ψϕ'+'.再由(**)得 ,0)()()()()(,0)()()()()(1321221213112111='∂∂+'∂∂+∂∂='∂∂+'∂∂+∂∂a a x g a a x g a x g a a x g a a x g a x g ψϕψϕ 上述三式表明向量grad f (a ), grad g 1(a ), grad g 2(a )均与向量(1,ϕ '(a 1),ψ '(a 1))垂直, 故这三个向量共面, 线性相关. 但a x x g g ),(),(3221∂∂≠0, 故grad g 1 (a ), grad g 2 (a )线性无关(不共线) [否则, ∃c 使grad g 1 (a ) = c grad g 2 (a ), 即)(1a x g i ∂∂= c )(2a x g i ∂∂(i = 1, 2), 从而a x x g g ),(),(3221∂∂= 0], 因而∃λ1, λ2 ∈R , 使grad f (a ) + λ1 grad g 1 (a ) + λ2 grad g 2 (a ) = 0. 按分量写, 就是(*). Lagrange 乘数法 求f (x ) = 0 (x =(x 1,…, x n ) ∈D ⊂ R n ) 在条件g i (x ) = 0 (i = 1, …, m )下的极值的方法如下:1°作函数L (x 1,…, x n , λ1,…, λm ) = f (x ) + λ1 g 1 (x ) + … + λm g m (x ) (x ∈D );2°令ix L ∂∂= 0(i = 1, …, n ), 与j L λ∂∂= 0即条件g j (x ) =0 (j = 1, …, m )联立, 求得驻点;3°找D 中使f , g 1, …, g m 不C (1)类的点, 及使rank ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛∂∂∂∂∂∂∂∂n m m n x g x g x g x g 1111< m 的点(这些点与驻点一起, 成为期望点);4°用无条件极值方法判断期望点是否为极值点:例如, 设目标函数为u = f (x , y , z ), 条件为g 1 (x , y , z ) = 0, g 2 (x , y , z ) = 0, 期望点为(a , b , c ). 若从条件可解得y = y (x ), z = z (x ), 则u = h (x ) = f (x , y (x ), z (x )), 可求得h' (x ) = f x + f y y' + f z z' , h" (x ) = … (求h' 和h" 时用到的y', z' 可从条件得到), 从h" (a )的正负判断点(a , b , c )极大还是极小.△ 求f (x , y , z ) = xy + yz 在条件x 2 + y 2 = 2, y + z = 2下的极值.解 设L (x , y , z , λ, μ) = xy + yz + λ (x 2 + y 2 - 2) + μ (y + z - 2). 令L x = L y = L z = 0, 得解得驻点P 1 (1,1,1) (λ = - ½ , μ = -1), P 2 (-1,1,1) (λ = ½ , μ = -1),P 3()235,213,213(),231,232)(235,213,2134++---=-=--+-P μλ (λ =232+, μ =231+). rank ⎪⎭⎫ ⎝⎛1 1 0 0 2 2y x = 2. 把y , z 看作x 的函数, 设h (x ) = f (x , y (x ), z (x )) = x y (x ) + y (x ) z (x ), (下面要判断h" 在驻点的值的正负, 以确定极值)从条件可得2x + 2 y y' = 0, y' + z' = 0, y' = -y x , z' =yx , 故h' (x ) = y + xy' + y' z + yz' = y -y xz y x -2+ x , h" (x ) = y' -3222111)(2y y y xz y z x z y y x xy -=+'-'+-'-(3xy 2 + x 3 + y 2z + x 2 z ), h" (1) = -6 < 0, h" (-1) =2 > 0, h" (53324312)213--=+-< 0, h" (5333614)213++=-> 0, 故在P 1 , P 3 处达极大,在P 2 ,P 4处达极小.解二 (因为所给条件之一比较简单, 故可减少条件, 降低维数) z = 2 - y , f (x , y , z ) = xy + y (2 - y ) = g (x , y ), 化为求g 在条件x 2 + y 2 = 2下的极值.设L (x , y , λ) = xy + 2y - y 2 + λ (x 2 + y 2- 2). 由L x = L y = 0, 得⎪⎩⎪⎨⎧=+=+-+=+2,0222,0222y x y y x x y λλ解得P 1 (1,1), P 2 (-1,1), P 3 (213,213-+-), P 4 (213-,213+-). (rank (2x , 2y ) = 1.) 设h (x ) = g (x , y (x )), 则h' (x ) = y + xy' + 2y' - 2yy' , h" (x ) = 2y' + xy" + 2y" - 2y' 2 - 2yy" . 由x 2+ y 2 = 2得y'=-yx , y" = -32y , 故 h" (x ) = -2y x - (x + 2 - 2y ) 32y -222y x =3442)(2y y x y x xy +--+-, h" (1) = -6, h" (-1) = 2, h" (213+-) = 3)213(633--< 0, h" (213-) = 3)213(633+---> 0. △求函数f (x , y ) = x 2 - xy + 2y 2 在条件x 2 + y 2 = 1下的最大最小值.解一 设L (x , y , λ) = x 2 - xy + 2y 2 + λ (x 2 + y 2- 1). 令L x = L y = 0, 得⎪⎩⎪⎨⎧=+=-+-=--,1,024,02222y x y y x x y x λλ解得x 2 =22423±±, y 2 =2241±, xy =22421±±, 故在驻点处f (x , y ) = 22222 =±. 因为f 连续, 集{(x , y ) | x 2 + y 2 = 1}有界闭, 故f 有最大、最小值, 依次为2+2, 2 -2. 解二 以条件代入, 得f (x , y ) = 1 + y 2 - xy , L (x , y , λ) = 1 + y 2 - xy + λ (x 2 + y 2 - 1), ….△ 求内接于半轴为a , b , c 的椭球、棱与轴平行的最大平行六面体的体积.解 设棱长为2x , 2y , 2z . 本题为求V = 8xyz 在条件2222b y a x ++22c z =1下的最大值. 设 L (x , y , z , λ) = 8xyz + λ (2222b y a x ++22c z - 1). 令L x = 8yz + 22a x λ= 0…①, L y = 8xz + 22b y λ= 0…②, L z = 8xy + 2λ2cz λ= 0 …③, 与条件联立. ①×x + ②×y + ③×z , 得24xyz + 2λ = 0, λ = -12xyz . 代入①, ②, ③, 得x =33a , y =33b , z =33c . 由于最大平行六面体存 在, 且驻点唯一, 故所求体积为938abc . △ p.167例2. 除书上的解法外, 也可以用条件之一将目标函数化为f (x , y , z ) = z + z 2, 从而设L (x , y , z , λ, μ) = z + z 2+ λ (x 2 + y 2 - z ) + μ (x + y + z - 1).△ 求椭圆⎩⎨⎧=++=-+0,04222z y x y x 距y 轴的最近点与最远点. 解 设L (x , y , z , λ, μ) = x 2 + z 2+ λ(2x 2 +y 2 -4) + μ (x + y + z ). 令L x = L y = … = 0, 解得P 1 (1,2, -1-2), P 2 (1,-2, -1+2), P 3 (-1,2, 1-2), P 4 (-1, -2, 1+2). f (P 1) = f (P 4) = 4 + 22, f (P 2)= f (P 3) = 4 - 22,故P 1 , P 4是最远点, P 2, P 3是最近点.解二 z = - x - y , x 2 + z 2 = 4 + 2xy , 设L (x , y , λ) = 4 + 2xy + λ (2x 2 + y 2 - 4). …△ 三角形三顶点分别在三条曲线f (x , y ) = 0, g (x , y ) = 0, h (x , y ) = 0上. 证明: 若三角形面积取极值, 则每条曲线在三角形的顶点处的法线必通过该三角形的垂心.证 设三顶点为A (x 1, y 1), B (x 2, y 2), C (x 3, y 3), 且f (x 1, y 1) = 0, g (x 2, y 2) = 0, h (x 3, y 3) =0, 则三角形面积S =11121332211y x y x y x =21(x 1 (y 2 - y 3) + x 2 (y 3 - y 1) + x 3 (y 1 - y 2)). 设 L (x 1, y 1, x 2, y 2, x 3, y 3, λ1, λ2, λ3) = S + λ1 f (x 1, y 1) + λ2 g (x 2, y 2) + λ3 h (x 3, y 3) .由11y x L L == 0得 ,0)(21,0)(2111123132⎪⎩⎪⎨⎧=+-=+-y x f x x f y y λλ2323x x y y --11x y f f = -1…(*). 因为11x y f f 是曲线f (x , y ) = 0在A 处的法线的斜率, 2323x x y y --是BC 的斜率, 故(*)式表明曲线f (x , y ) = 0在A 处 的法线与BC 垂直, 从而通过垂心.Lagrange 乘数法是解条件极值问题的基本方法, 显然, 变量数增加时计算量会很大, 因此还有其它方法. 此外, 求解条件极值问题时技巧也很重要. 例如p.168例3就可以用 初等方法解: 考虑g (x , y , z ) =xyz z y x f 1),,(1=, 该题化为求和数一定时积的最大值, 由 平均不等式立即得到rz y x 31111===时g 最大, 即x = y = z = 3r 时f 最小.。

实验17 拉格朗日乘数法实验目的通过二维情形Lagrange 乘数法的几何观察，帮助学生理解Lagrange 乘数法，并掌握利用数学软件求解带等式约束条件的极值问题。

预备知识条件极值、Lagrange 乘子法实验内容Lagrange 乘数法是解有约束最优化问题的一种方法。

问题的形式为：最大化（或最小化） (,)f x y ；约束条件 (,)0g x y =。

【步骤】：为了具体，我们考察如下问题：最大化（或最小化） 2(,)f x y y x =-；约束条件 22(,)10g x y x y =+-=。

【Step1】：画出约束曲线和2(,)f x y y x =-的一些等值线，观察可能的最优值：图 17-1 等值线与可行域图从图中观察，要得到最优值，需要寻找约束曲线和等值曲线相切时的等值曲线值和它们的交点。

【程序】：Mathematica 程序constrainpic=Plot[{Sqrt[1-x^2],-Sqrt[1-x^2]},{x,-1,1},AspectRatio Automati实验17 拉格朗日乘数法 - 99 -c,Axes True,PlotStyle {{Thickness[0.01],RGBColor[0,0,1]}}];f[x_,y_]:=y-x^2;fpic=ContourPlot[f[x,y],{x,-1.4,1.4},{y,-1.4,1.4},ContourShading False]; Show[{constrainpic,fpic}]【Step2】： 寻找曲线之间相切的点由于(,)g x y 的梯度是垂直于约束(,)0g x y =的（因为(,)0g x y =是(,)g x y 的等值曲线），而且2(,)f x y y x =-的梯度是垂直于2(,)f x y y x =-的等值曲线的，因此当两个梯度互为倍数关系时，这两条曲线就相切了。

我们要做的就是解关于变量,,x y λ的方程组：(,)(,)(,)0f x yg x y g x y λ∇=∇⎧⎨=⎩ 我们可以利用Mathematica 来解这个方程组。

拉格朗日乘子法1、拉格朗日乘子法：(又称为拉格朗日乘数法)，就是求函数f(x1,x2,...)在g(x1,x2,...)=0的约束条件下的极值的方法。

其主要思想是引入一个新的参数λ（即拉格朗日乘子），将约束条件函数与原函数联系到一起，使能配成与变量数量相等的等式方程，从而求出得到原函数极值的各个变量的解。

拉格朗日乘子（Lagrange multiplier）具体方法：假设需要求极值的目标函数(objective function) 为f(x,y)，限制条件为φ(x,y)=M设g(x,y)=M-φ(x,y)定义一个新函数F(x,y,λ)=f(x,y)+λg(x,y)则用偏导数方法列出方程：F/?x=0F/?y=0F/?λ=0求出x,y,λ的值，代入即可得到目标函数的极值扩展为多个变量的式子为：F(x1,x2,...λ)=f(x1,x2,...)+λg(x1,x2...)则求极值点的方程为：F/?xi=0（xi即为x1、x2……等自变量）F/?λ=g(x1,x2...)=0以上内容在《数学手册》当中有。

另外，可以将这种把约束条件乘以λ（即不定乘子）后加到待求函数上的求极值方法推广到变分极值问题及其它极值问题当中，理论力学当中对非完整约束的处理方法就是利用变分法当中的拉格朗日乘子法。

拉格朗日乘子法的用途：从经济学的角度来看，λ代表当约束条件变动时，目标函数极值的变化。

因为?F/?M=λ，当M增加或减少一个单位值时，F会相应变化λ。

例如，假设目标函数代表一个工厂生产产品的数量，约束条件限制了生产中投入的原料和人力的总成本，我们求目标函数的极值，就是要求在成本一定的条件下，如何分配利用人力和原料，从而使得生产量达到最大。

此时λ便代表，当成本条件改变时，工厂可达到的生产量最大值的变化率。