第四章约束问题的最优化方法解析

[最优化]不等式约束的优化问题求解不等式约束的优化问题求解与前⽂讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以⽤拉格朗⽇乘⼦法进⾏求解对于⼀般形式的优化问题：其中，引⼊下⾯两个定义：定义1：对于⼀个不等式约束，如果在处，那么称该不等式约束是处的起作⽤约束；如果在处，那么称该约束是处的不起作⽤约束。

按照惯例，总是把等式约束当作起作⽤的约束定义2：设满⾜，设为起作⽤不等式约束的下标集：如果向量 是线性⽆关的，那么称是⼀个正则点下⾯介绍某个点是局部极⼩点所满⾜的⼀阶必要条件，即KKT 条件。

KKT 条件：设，设是问题的⼀个正则点和局部极⼩点，那么必然存在和，使得以下条件成⽴：那么在求解不等式约束的最优化问题的时候，可以搜索满⾜KKT 条件的点，并将这些点作为极⼩点的候选对象。

⼆阶充分必要条件除了⼀阶的KKT 条件之外，求解这类问题还有⼆阶的充分必要条件。

⼆阶必要条件：在上述的问题中若是极⼩点且。

假设是正则点，那么存在和使得1. 2. 对于所有，都有成⽴⼆阶充分条件：假定，是⼀个可⾏点，存在向量和使得1. 2. 对于所有，都有成⽴那么是优化问题的严格局部极⼩点f(x)subject toh(x)=0g(x)≤0minimize f(x)subject to h(x)=0g(x)≤0f:Rn →R,h:Rn →Rm,m≤n,g:Rn →Rp f :→R,h :→,m ≤n,g :→R n R n R m R n R pgj(x)≤0(x)≤0g j x ∗x ∗gj(x ∗)=0()=0g j x ∗x ∗x ∗x ∗x ∗gj(x ∗)<0()<0g j x ∗x ∗x ∗hi(x)(x)h i x ∗x ∗h(x ∗)=0,g(x ∗)≤0h()=0,g()≤0x ∗x ∗J(x ∗)J()x ∗J(x ∗)≜{j:gj(x ∗)=0}J()≜{j :()=0}x ∗g j x ∗∇hi(x ∗),∇gj(x ∗),1≤i≤m,j ∈J(x ∗)∇(),∇(),1≤i ≤m,j ∈J()h i x ∗g j x ∗x ∗x ∗x ∗f,h,g ∈C1f,h,g ∈C 1x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0Tµ∗Tg(x ∗)=0h(x ∗)=0g(x ∗)≤0≥0µ∗Df()+Dh()+Dg()=x ∗λ∗T x ∗µ∗T x ∗0Tg()=0µ∗T x ∗h()=0x ∗g()≤0x ∗x ∗x ∗f,h,g ∈C2f,h,g ∈C 2x ∗x ∗λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T(x ∗)y ∈T ()x ∗yTL(x ∗,λ∗,µ∗)y≥0L(,,)y ≥0y T x ∗λ∗µ∗f,h,g ∈C2f,h,g ∈C 2x ∗∈Rn ∈x ∗R n λ∗∈Rm ∈λ∗R m µ∗∈Rp ∈µ∗R p µ∗≥0,Df(x ∗)+λ∗TDh(x ∗)+µ∗TDg(x ∗)=0T,µ∗Tg(x ∗)=0≥0,Df()+Dh()+Dg()=,g()=0µ∗x ∗λ∗T x ∗µ∗T x ∗0T µ∗T x ∗y ∈T~(x ∗,µ∗),y≠0y ∈(,),y ≠0T˜x ∗µ∗yTL(x ∗,λ∗,µ∗)y>0L(,,)y >0y T x ∗λ∗µ∗x ∗x ∗h(x)=0,g(x)≤0h(x)=0,g(x)≤0。

第四章：多维有约束优化方法4.1概述一、多维有约束问题的数学模型机械优化设计问题绝大多数是属于多维有约束非线性规划，其数学模型可表示为式中a i、b i分别为x i的下界和上界。

在求解约束优化问题时，虽然可以利用第三章的无约束优化方法，再加上约束的逻辑判断，使搜索点保持在可行域内逐步逼近约束最优解，但这样处理太复杂，缺乏严格的科学性。

因此，出现了一些直接求解约束优化问题的方法，其基本思路也是数值迭代法。

目前，约束优化方法虽然不如无约束优化方法那样多而完善，但对求解工程优化问题已有很多较好的方法。

二、多维有约束优化方法的分类（1)直接法直接法包括：网格法、分层降维枚举法、复合形法、随机试验法、随机方向法、可变容差法和可行方向法。

(2)间接法间接法包括：罚函数法、内点罚函数法、外点罚函数法、混合罚函数法、精确罚函数法、广义乘子法、广义简约梯度法和约束变尺度法。

直接法不需要利用目标函数和约束函数的梯度，就可直接利用迭代点和目标函数值的信息来构造搜索方向。

间接法要利用目标、约束函数的梯度，其中也包括利用差分来近似梯度的应用。

很多约束优化方法是先转变成无约束优化方法来求解。

可见，无约束优化方法也是也是约束优化方法的基础。

4.2复合形法一、方法概述基本思路：在可行域中选取K个设计点（n+1≤K≤2n）作为初始复合形的顶点。

比较各顶点目标函数值的大小，去掉目标函数值最大的顶点(称最坏点)，以坏点以外其余各点的中心为映射中心，用坏点的映射点替换该点，构成新的复合形顶点。

反复迭代计算，使复合形不断向最优点移动和收缩，直至收缩到复合形的顶点与形心非常接近，且满足迭代精度要求为止。

初始复合形产生的全部K个顶点必须都在可行域内。

二、初始复合形的产生复合形法是一种在可行域内收索最优点大直接解法。

(1)确定可行点作为初始复合形的第一个顶点：式中：通过调整随机数，使第一个初始点控制在可行域范围内。

(2)产生其余（K－1）个随机点。

第四章 非线性规划教学重点：凸规划及其性质，无约束最优化问题的最优性条件及最速下降法，约束最优化问题的最优性条件及简约梯度法。

教学难点：约束最优化问题的最优性条件。

教学课时：24学时主要教学环节的组织：在详细讲解各种算法的基础上，结合例题，给学生以具体的认识，再通过大量习题加以巩固，也可以应用软件包解决一些问题。

第一节 基本概念教学重点：非线性规划问题的引入，非线性方法概述。

教学难点：无。

教学课时：2学时主要教学环节的组织：通过具体问题引入非线性规划模型，在具体讲述非线性规划方法的求解难题。

1、非线性规划问题举例例1 曲线最优拟合问题已知某物体的温度ϕ 与时间t 之间有如下形式的经验函数关系：312c t c c t e φ=++ （*）其中1c ，2c ，3c 是待定参数。

现通过测试获得n 组ϕ与t 之间的实验数据),(i i t ϕ，i=1，2，…,n 。

试确定参数1c ，2c ，3c ，使理论曲线(*)尽可能地与n 个测试点),(i i t ϕ拟合。

∑=++-n 1i 221)]([ min 3i t c i i e t c c ϕ例 2 构件容积问题通过分析我们可以得到如下的规划模型：⎪⎪⎩⎪⎪⎨⎧≥≥=++++=0,0 2 ..)3/1( max 212121222211221x x S x x x x a x x t s x x a V ππππ基本概念设n T n R x x x ∈=),...,(1，R R q j x h p i x g x f n j i :,...,1),(;,...,1),();(==,如下的数学模型称为数学规划(Mathematical Programming, MP)：⎪⎩⎪⎨⎧===≤q j x h p i x g t s x f j i ,...,1,0)( ,...,1,0)( ..)( min约束集或可行域X x ∈∀ MP 的可行解或可行点MP 中目标函数和约束函数中至少有一个不是x 的线性函数，称(MP)为非线性规划令 T p x g x g x g ))(),...,(()(1=T p x h x h x h ))(),...,(()(1=，其中，q n p n R R h R R g :,:，那么(MP )可简记为⎪⎩⎪⎨⎧≤≤ 0)( 0 ..)( min x h g(x)t s x f 或者 )(min x f X x ∈ 当p=0,q=0时，称为无约束非线性规划或者无约束最优化问题。