当前位置：文档之家 › 变尺度法及鲍威尔法

变尺度法及鲍威尔法

  • 格式：pptx
  • 大小：495.80 KB
  • 文档页数：16

下载文档原格式

  / 16

合集下载

非线性规划

非线性规划

1. 非线性规划我们讨论过线性规划,其目标函数和约束条件都是自变量的线性函数。

如果目标函数是非线性函数或至少有一个约束条件是非线性等式(不等式),则这一类数学规划就称为非线性规划。

在科学管理和其他领域中，很多实际问题可以归结为线性规划，但还有另一些问题属于非线性规划。

由于非线性规划含有深刻的背景和丰富的内容，已发展为运筹学的重要分支，并且在最优设计,管理科学,风险管理,系统控制,求解均衡模型,以及数据拟合等领域得到越来越广泛的应用。

非线性规划的研究始于三十年代末,是由W.卡鲁什首次进行的，40年代后期进入系统研究，1951年.库恩和.塔克提出带约束条件非线性规划最优化的判别条件,从而奠定了非线性规划的理论基础,后来在理论研究和实用算法方面都有很大的发展。

非线性规划求解方法可分为无约束问题和带约束问题来讨论，前者实际上就是多元函数的极值问题，是后一问题的基础。

无约束问题的求解方法有最陡下降法、共轭梯度法、变尺度法和鲍威尔直接法等。

关于带约束非线性规划的情况比较复杂，因为在迭代过程中除了要使目标函数下降外，还要考虑近似解的可行性。

总的原则是设法将约束问题化为无约束问题；把非线性问题化为线性问题从而使复杂问题简单化。

求解方法有可行方向法、约束集法、制约函数法、简约梯度法、约束变尺度法、二次规划法等。

虽然这些方法都有较好的效果，但是尚未找到可以用于解决所有非线性规划的统一算法。

非线性规划举例[库存管理问题] 考虑首都名酒专卖商店关于啤酒库存的年管理策略。

假设该商店啤酒的年销售量为A 箱,每箱啤酒的平均库存成本为H 元,每次订货成本都为F 元。

如果补货方式是可以在瞬间完成的,那么为了降低年库存管理费用,商店必须决定每年需要定多少次货,以及每次订货量。

我们以Q 表示每次定货数量,那么年定货次数可以为QA,年订货成本为Q A F ⨯。

由于平均库存量为2Q,所以,年持有成本为2Q H ⨯,年库存成本可以表示为:Q HQ A F Q C ⨯+⨯=2)( 将它表示为数学规划问题:min Q H Q A F Q C ⋅+⋅=2)( ..t s 0≥Q其中Q 为决策变量,因为目标函数是非线性的,约束条件是非负约束,所以这是带约束条件的非线性规划问题。

(05)第四章-无约束优化方法(梯度法-牛顿法和变尺度法)

(05)第四章-无约束优化方法(梯度法-牛顿法和变尺度法)

第四章
第四章
无约束优化问题标准形式：
无约束优化问题标准形式：
§
§
§
§
§
§
图最速下降法的收敛过程
αα
2
2
例4－1 求目标函数
取初始点
[2,2]
=
x
例4－2 求目标函数解取初始点[2,2]
=x
算出一维搜索最佳步长
§
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
例4－3 用梯度法求下面无约束优化问题：
梯度法的特点
x
给定0,ε
一般迭代式：
§4.3
§4.3
§4.3
§4.3
α0
d 0
x
x 1
x*
1
α1d 1
1()
f −∇x d 1
4-4 共轭方向法
假设目标函数f (x ) 在极值点附近的二次近似函数为
沿某个下降方向
如果能够选定这样的搜索方向，那么对于二
α
0d0
x0x1x*
1
α
1
d1
1
()
f
−∇x d
1。

机械优化设计复习总结

机械优化设计复习总结

1.优化设计问题的求解方法:解析解法和数值近似解法。

解析解法是指优化对象用数学方程（数学模型）描述,用数学解析方法的求解方法.解析法的局限性：数学描述复杂，不便于或不可能用解析方法求解。

数值解法：优化对象无法用数学方程描述，只能通过大量的试验数据或拟合方法构造近似函数式，求其优化解；以数学原理为指导，通过试验逐步改进得到优化解。

数值解法可用于复杂函数的优化解，也可用于没有数学解析表达式的优化问题.但不能把所有设计参数都完全考虑并表达，只是一个近似的数学描述。

数值解法的基本思路:先确定极小点所在的搜索区间,然后根据区间消去原理不断缩小此区间，从而获得极小点的数值近似解。

2.优化的数学模型包含的三个基本要素：设计变量、约束条件（等式约束和不等式约束）、目标函数（一般使得目标函数达到极小值）。

3.机械优化设计中，两类设计方法：优化准则法和数学规划法。

优化准则法：(为一对角矩阵）数学规划法:（分别为适当步长\某一搜索方向——数学规划法的核心）4.机械优化设计问题一般是非线性规划问题,实质上是多元非线性函数的极小化问题。

重点知识点：等式约束优化问题的极值问题和不等式约束优化问题的极值条件.5.对于二元以上的函数，方向导数为某一方向的偏导数。

函数沿某一方向的方向导数等于函数在该点处的梯度与这一方向单位向量的内积。

梯度方向是函数值变化最快的方向（最速上升方向），建议用单位向量表示，而梯度的模是函数变化率的最大值。

6.多元函数的泰勒展开。

海赛矩阵：=（对称方阵）7.极值条件是指目标函数取得极小值时极值点应满足的条件.某点取得极值，在此点函数的一阶导数为零，极值点的必要条件：极值点必在驻点处取得.用函数的二阶倒数来检验驻点是否为极值点。

二阶倒数大于零,取得极小值。

二阶导数等于零时，判断开始不为零的导数阶数如果是偶次,则为极值点，奇次则为拐点。

二元函数在某点取得极值的充分条件是在该点出的海赛矩阵正定。

极值点反映函数在某点附近的局部性质。

第七节变尺度法

第七节变尺度法
5）检查迭代次数，若k=n(完成一轮迭代仍未能满足精度要求)，则令 = 进行下一轮迭代计算；若k n,则进行下一步；
6）构造新的迭代方向
五、DFP法的特点
1）DFP法具有牛顿法的二阶收敛速度，因变尺度矩阵 最终逼近 。
2）对任意给定的初始点 ，都具有最速下降方向 =-▽f( )。这是由于初始变尺度矩阵 =I(单位阵)，所以搜索方向 =- ▽f( )=-▽f( )。
3）每次搜产生的方向都是共轭的。
4）计算公式具有递推性，便于迭代。只要给出 ， ，即可往下计算。
5）计算方便，无需计算二阶导数矩阵及其逆矩阵。
六、BFGS法
本章学习要点
1）首先要抓住并理解各种优化方法的基本思想、具体的迭代步骤，读懂计算程序框图；其次是较复杂的数学推导。对于工程技术人员来说，主要是应用。因此，对每种优化方法书中都有较简单的数学模型的例题，用手算的迭代过程，读者将例题与计算程序框图结合起来，认真地阅读理解。有条件最好再上机运算，在实践中进一步理解每种优化方法的迭代逻辑。
一、基本思想
二、构造变尺度矩阵 的基本要求
三、校正矩阵 de推导
四、变尺度法的迭代步骤
1）给定初始点 、收敛精度ε和维数n;
2）置k=0, = =I（n×n阶单位阵），计算梯度 =▽f( ),搜索方向 =- ▽f( )=- ；
3）进行一维搜索求最优步长因子，迭代点：
minf( + = +
4）收敛精度判断
第七节
变尺度法是在克服了梯度法收敛速度慢和牛顿法计算量、存储量大的特点基础上而发展起来的，被公认为是求解无约束优化问题最有效的算法之一，现已在工程优化设计中得到了广泛的应用。变尺度法的种类较多，这里只介绍其中最常用的两种方法：DFP法和BFGS法。DFP变尺度法先由戴维顿（Davidon）于1959年提出，后经费莱彻（Fletcher）和鲍威尔（Powell）于1963年改进而来，故又称DFP法。

第三讲 无约束优化(多维无约束优化方法)

第三讲 无约束优化(多维无约束优化方法)

2019/10/21
5
1. 梯度法（最速下降法 ）
（2）迭代公式 ： X (k 1) X (k) k S (k) X k f X k
或
X (k1) X (k) k
f f
X k X k
f
X k


f ，f x1 x2
X (2) 1
S (1)
S为S（2）的共轭方向。
S即为S(1)的共轭方向。
2019/10/21
18
（2）共轭梯度法的基本原理
2）共轭方向的构造
S k1 f X k1 k S k
上式的意义是以新的负梯度方向 f X k1 ，加上原
负梯度的一部分k S k 来构造 S k1 。
2019/10/21
3
1. 梯度法（最速下降法 ）
数值迭代格式
X (k 1) X (k ) k S (k )
从数值迭代格式可以看出，构造一种算法的关键 是如何确定一个有利的搜索方向。
梯度方向是函数值上升最快的方向，负梯度 方向是函数值下降最快的方向。
2019/10/21
以负梯度方向作为搜索方向
4）牛顿法不能保证函数值稳定下降，严重时还会造 成点列发散导致迭代失败。
2019/10/21
1 27
3. 多维牛顿法（阻尼牛顿法）
问题的提出
因函数不一定是二次函数，基本牛顿法的步长因子 恒为1，有时会导致迭代发散而失效。
改进方法
仍取牛顿方向，但改用最优步长因子：
X (k1) X (k ) k [H ( X (k ) )]1f ( X (k) ) 一维搜索求最优步长
'X 0

机械优化设计课程设计

机械优化设计课程设计

目录摘要 (3)关键词 (3)一、概述 (3)二、优化方法介绍 (3)（一）、一维搜索方法 (3)（二）无约束优化方法 (5)1）共轭方向的生成 (6)2）基本算法 (6)3)改进算法的基本步骤如下 (7)三、优化设计实例 (10)1）模型 (10)2）变量 (10)3）优化设计源程序 (10)4）分析结果 (20)四、课程总结 (20)《机械优化设计》课程设计论文摘要：随着社会经济的迅速发展，机械优化设计作为一门为工程设计提供手段的学科，在这样的时代背景下应运而生。

针对具体的课题，通过一些设计变量而建立起目标函数的过程，称为数学建模；应用优化方法为工程设计寻找出最优解是现代优化设计所研究的主要课题与方向。

关键词：机械优化设计；设计变量；目标函数；数学模型；优化方法一、概述优化设计是20世纪60年代初发展起来的一门新学科，它是将最优化原理与计算技术应用于设计领域，为工程设计提供一种重要的科学设计方法的手段。

利用这种新的设计方法，人们就可以从众多的设计方案中寻找出最佳设计方案，从而大大提高设计效率和设计质量。

因此优化设计是现代设计理论和方法的一个重要领域，它已广泛应用于各个工业部门，成为现代工程设计的一个重要手段！二、优化方法介绍（一）、一维搜索方法一维搜索方法可分为两类，一类称为试探法，这类方法是按某种给定的规律来确定区间内插入点的位置，此点位置的确定仅仅按照区间缩短如何加快，而不顾及函数值的分布关系，例如黄金分割法，裴波那契法等。

另一类一维搜索法称作插值法或函数逼近法。

这类方法是根据某些点处的某些信息，如函数值，一阶导数，二阶导数等，构造一个插值函数来逼近原来的函数，用插值函数的极小点作为区间的插入点，这类方法主要有二次插值法，三次插值法等。

在此重点讨论黄金分割法。

黄金分割法适用于[a, b]区间上的任何单谷函数求极小值问题，对函数除要求“单谷”外不作其他要求，甚至可以不连续。

因此，这种方法的适应面相当广。

非线性规划

非线性规划（nonlinear programming）1.非线性规划概念非线性规划是具有非线性约束条件或目标函数的数学规划，是运筹学的一个重要分支。

非线性规划研究一个n元实函数在一组等式或不等式的约束条件下的极值问题，且目标函数和约束条件至少有一个是未知量的非线性函数。

目标函数和约束条件都是线性函数的情形则属于线性规划。

2.非线性规划发展史公元前500年古希腊在讨论建筑美学中就已发现了长方形长与宽的最佳比例为0.618,称为黄金分割比。

其倒数至今在优选法中仍得到广泛应用。

在微积分出现以前，已有许多学者开始研究用数学方法解决最优化问题。

例如阿基米德证明：给定周长，圆所包围的面积为最大。

这就是欧洲古代城堡几乎都建成圆形的原因。

但是最优化方法真正形成为科学方法则在17世纪以后。

17世纪，I.牛顿和G.W.莱布尼茨在他们所创建的微积分中，提出求解具有多个自变量的实值函数的最大值和最小值的方法。

以后又进一步讨论具有未知函数的函数极值，从而形成变分法。

这一时期的最优化方法可以称为古典最优化方法。

最优化方法不同类型的最优化问题可以有不同的最优化方法，即使同一类型的问题也可有多种最优化方法。

反之,某些最优化方法可适用于不同类型的模型。

最优化问题的求解方法一般可以分成解析法、直接法、数值计算法和其他方法。

(1)解析法：这种方法只适用于目标函数和约束条件有明显的解析表达式的情况。

求解方法是：先求出最优的必要条件，得到一组方程或不等式，再求解这组方程或不等式，一般是用求导数的方法或变分法求出必要条件，通过必要条件将问题简化，因此也称间接法。

(2)直接法：当目标函数较为复杂或者不能用变量显函数描述时，无法用解析法求必要条件。

此时可采用直接搜索的方法经过若干次迭代搜索到最优点。

这种方法常常根据经验或通过试验得到所需结果。

对于一维搜索(单变量极值问题)，主要用消去法或多项式插值法；对于多维搜索问题(多变量极值问题)主要应用爬山法。

机械优化设计教案

吉林大学教师教案（20 07 ~2008 学年第二学期）课程名称：机械优化设计年级：20XX级01-09班教研室：机械设计及自动化任课教师：李风吉林大学教务处制教案等值线—等高线●等值线●等高线：●它是由许多具有相同目标函数值的设计点所构成的平面曲线。

课后小结1：人字架的优化数学模型2：数学模型的基本构成第二节机械优化问题示例第三节优化设计问题的数学模型2学时五、优化问题的几何解释●无约束优化问题就是在没有限制的条件下，对设计变量求目标函数的极小点。

在设计空间内，目标函数是以等值面的形式反映出来的，则无约束优化问题的极小点即为等值面的中心。

●约束优化问题是在可行域内对设计变量求目标函数的极小点，此极小点在可行域内或在可行域边界上。

课后小结1．机械优化设计数学模型的一般形式2：优化设计的数学基础，梯度的概念第四节优化设计问题的基本解法●求解优化问题：解析解法●数值的近似解法。

2学时●解析解法：把所研究的对象用数学方程(数学模型)描述出来，然后再用数学解析方法(如微分、变分方法等)求出优化解。

●数值解法：只能通过大量试验数据用插值或拟合方法构造一个近似函数式，再来求其优化解，这种方法是属于近似的、迭代性质的数值解法。

不仅可用于求复杂函数的优化解，也可以用于处理没有数学解析表达式的优化设计问题。

因此，它是实际问题中常用的方法。

●可以按照对函数导数计算的要求，把数值方法分为需要计算函数的二阶导数、一阶导数和零阶导数(即只要计算函数值而不须计算其导数)的方法。

●由于数值迭代是逐步逼近最优点而获得近似解的，所以要考虑优化问题解的收敛性及迭代过程的终止条。

收敛性是指某种迭代程序产生的序列收敛于第二章优化设计的数学基础第一节多元函数的方向导数与梯度二、二元函数的梯度考虑到二元函数具有鲜明的几何解释，并且可以象征性地把这种解释推广到多元函数中去，所以梯度概念的引入也先从二元函数人手。

等值线—等高线●等值线●等高线：●它是由许多具有相同目标函数值的设计点所构成的平面曲线。

第四章 无约束方法详解


[tt,ff]=opt_step_quad(xk1',dirk, th,epsx,epsf,maxiter); xk1=xk1+tt*dirk'; end xk0=xk1; xn=xk1; fn=ffx(xn); aa=norm(dir); if(aa<1e-30) aa=1e-30; end end
xn ]T
使目标函数 f ( x) min
min f ( x) x Rn
目前已研究出很多种无约束优化方法，它们的 主要不同点在于构造搜索方向上的差别。
（1）间接法（导数法）——确定搜索方向时用到一 阶或（和）二阶导数的方法。如梯度法、（阻尼） 牛顿法、变尺度法、共轭梯度法等。
（2）直接法——其搜索方向直接取定或由计算目标 函数值所得的信息来确定；即不使用导数信息，如 坐标轮换法、鲍威尔法等。
2020/9/23
5
无约束优化直接解法
坐标轮换法 鲍维尔（Powell）法 鲍维尔（Powell）修正算法
2020/9/23
6
§4-2 坐标轮换法（无约束优化直接解法）
一）搜索方向
依次沿n个正交坐标轴的方向搜索：
ee12
[1 [0
0 1
... ...
0]T 0]T
...
en [0 0 ... 1]T
坐标轮换法的Matlab程序由三部分组成。第一部分为坐标 轮换法计算函数coordinat(xk0,th,epsx, epsf,maxiter)，函数引用 变量说明见程序注释。最优步长采用二次插值法计算，函数名 为opt_step_quad(xk0,dir0, th,TolX, TolFun,maxiter)，该函数调 用区间搜索函数opt_range_serach(xk0,dir0,th)得出二次差值需 要的三个坐标点，区间搜索函数采用进退法。 第二部分为用户应用程序； 第三部分为定义目标函数，调用方式为fn=ffx(x)。 下面是坐标轮换法的Matlab计算程序：

数值解法

数值解法，就是迭代法，利用迭代公式x k+1=x k+a k d k。

a k为第k次迭代的步长，d k为第k次迭代的搜索方向。

根据搜索方向的构成分两类：一类为利用目标函数一阶和二阶导数的无约束优化方法有【最速下降法】，【共轭梯度法】，【牛顿法】，【变尺度法】，另一类只利用目标函数值【坐标轮换法】，【单形替换法】，【鲍威尔法】。

重点是【牛顿法】、【共轭梯度法】、【鲍威尔法】。

【最速下降法】：利用负梯度方向。

d k=—▽f（x k）步长：取一维搜索的最佳步长。

x k+1=x k—▽f（x k）a k【待定系数法】min a f（x k—▽f（x k）a k）→d[f（x k—▽f（x k）a k）]/da=0 特点：相邻两次迭代方向垂直；非常适合等值线为同心圆的目标函数（一些特殊函数可以进行尺度变换）；越接近极值点收敛速度越慢。

【牛顿法】：多元函数的牛顿迭代法x k+1=x k—（▽2f（x k））-1▽f（x k）【x k+1=x k—G-1▽f（x k）】牛顿方向：—G-1▽f（x k），步长为1阻尼牛顿法：步长为a k，取一维搜索的最佳步长。

【共轭方向法】：专门处理二次函数。

原理：从任意点出发，顺次m个G的共轭方向d0…d m-1进行一维搜索，最多经历m次迭代后找到二次函数f（x）=1/2x T Gx+b T x+c的极小值。

对于共轭方向的产生，分【共轭梯度法】和【鲍威尔法】。

【共轭梯度法】：共轭矢量根据负梯度构造的方向：d0为负梯度方向—g0；d1和d1之后的方向为g1（或g k+1）和g0（或g k+1）作差后的共轭方向，计算为：d1=—g1+（丨g1丨2/丨g0丨2）* d0。

步长为a k，取一维搜索的最佳步长。

【鲍威尔法】：直接利用两个点的梯度构造共轭方向。

x0→e1，e2（线性无关）→x10、x20→d1= x20—x10→e2，d1→x11、x21→d2= x21—x11→d2，d1…改进：判断原矢量组是否需要替换。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

f n 1 / 2
k
(2) (1) X0 X2
(2) 1
1 (2) 0 e1 , S2 e2 0 1
两种情况：
09:18:422015-7-9
16 16
2.4.4 鲍威尔法
8）进行终止迭代判定
X
(2) 0
X
(1) 0
在第 k 轮搜索中，根据下述条件式是否满足分两种情况来处理：
k f0 k 2 f n k f n 1/ 2
k 为第k环的起始点函数值； f 0 k f X 0
(4-43)
k 为第k环的沿基本方向组依次搜索后的终点函数值； f n k f X n k k k k k k k f n 1 f X n 1 为 X 0 对 X n 映射点函数值， X n 1 2 X n X 0
k f k f X k f X k max f X k f X k fm -1 m m-1 m i 1 i
1≤i≤n，为第环方向组中沿各方向一维搜索所得的函数值下降最大者。
09:18:402015-7-9
33
两种情况：
(10)检验鲍威尔条件，原方向组是否需要替换：
09:18:2015-7-9
7
7
若不满足判别条件:
) 由 X n( k ) 出发沿方向 S ( k ) 进行一维搜索，求出该方向的极小点 X ( k， ( k 1) ) X ( k； 并以 X ( k )作为k+1轮迭代的初始点，即令 X 0 (k ) 然后去掉方向 S m ，而将方向 S ( k ) 作为k+1轮迭代的最末一个方向， 即第k+1轮的搜索方向为： (k )
1 0 (1) 1 (1) 2

(1) 1
f ( X ) f ( X ) 4.5,
(1) 0 (1) 1
(1) (1) (1) f ( X ) f ( X 2 1 2 ) 2.9375
(1) 所以 (1) m 1 4.5
S
(1) m
S
(1) 1
1 e1 0
k) (k ) (k ) X i( k ) X i( 1 i Si
(i 1, 2,
, n)
(k ) (k ) ) (4)连接 X 0 、 X n ，构成新的共轭方向 S ( k，即
(k ) (k ) S (k ) X n X0
k (5)沿 S ( k )方向一维搜索求得步长 ,得
k X k Xn kSk
(6)检验精度，若 续进行下一步。
，则结束迭代，得
；否则继
09:18:402015-7-9
6
6
) X 0( k ) 的映射点 (7)沿共轭方向 S ( k 计算
) (k ) (k ) X n(k 2 X X 1 n 0
(8)计算第k 轮中各相邻极小点目标函数的差值，并找出其中的最 大差值及其相应的方向:
则X
(1) 2
0.5 0.25
解：第一次迭代 4）连接 X 0(1) , X 2(1) 构成共轭方向
2 0.5 1.5 (1) (1) S (1) X 2 X0 2 0.25 1.75
沿着 S (1) 计算 X 0(1) 的映射点
09:18:402015-7-9
4
4
修正的鲍威尔法的迭代计算步骤如下：
(1)给定初始点 X(o) 和收敛精度ε >0； (2)取 n 个坐标轴的单位向量 ei ( i =1,2,…,n )为初始搜索方向 Si(k) = ei ，置 k=1 ( k为迭代轮数) ； (k ) (3)从 X 0 出发，依次沿 Si( k ) (i 1, 2, , n)进行 n 次一维搜索， 得到 n 个一维极小点
(mk ) = max{ f ( X i(k1) ) f ( X i( k ) )} (i 1,2, , n)
1 m n (k ) (k ) (k ) Sm Xm 1 X m
(9)计算第k 轮初始点、终点和映射点的函数值
(k ) f0(k ) f ( X 0 ) (k ) fn( k ) f ( X n ) (k ) fn(k1) f ( X n 1 )
X3
(1)
2X
(1) 2
X
(1) 0
1 1.5
5）计算本轮相邻二点函数值的下降量，并求其最大差值及 其相应的方向
f ( X ) 8, f ( X ) 3.5, f ( X ) 0.5625
1 0 (1) 1 (1) 2
2.4.4 鲍威尔法
f ( X ) 8, f ( X ) 3.5, f ( X ) 0.5625
0.5 则X = 2
从
X1(1)
出发，沿
(1) 2
(1) S2
方向进行一维最优搜索
(1) 2 (1) 2
X
X
(1) 1
S
0.5 0.5 (1) 0 + 2 = (1) 2 1 2+ 2
(1) 同理，得最优步长为 2 -1.75
2.4.4 鲍威尔法
6）计算
1 F1 f ( X 0 ) 8, (1) F2 f ( X 2 ) 0.5605,
F3 f ( X )=2.75
(1) 3
7）进行条件判断，条件成立，则需要按照原方向进行搜索， 由于，F2<F3，故第二轮迭代的初始点为
f0
S
k
2 fn
k
S1 S1( k 1) (k ) ( k 1) S2 S2 (k ) S m 1 (k ) S m 1 (k ) Sn (k ) S ( k 1) n S
鲍威尔法为啥 这么 难？！！！！
2. 修正鲍威尔法
改进的鲍威尔法放弃了原算法中不加分析地用新形成的方向 S ( k ) 替换上一轮搜索方向组中的第一个方向的作法 。
该算法规定：
在每一轮迭代完成产生共轭方向 ( k ) 后， S 在组成新的方向组时不一律舍去上一轮的第一个方向 S ( k ) ， 1 而是先对共轭方向的好坏进行判别， 检验它是否与其他方向线性相关或接近线性相关。
若共轭方向不好，则不用它作为下一轮的迭代方向， 而仍采用原来的一组迭代方向； 若共轭方向好， 则可用它替换前轮迭代中使目标函数值下降最多的一个方向， 而不一定是替换第一个迭代方向。 这样得到的方向组，其收敛性更好。
09:18:402015-7-9 2 2
修正鲍威尔法对于是否用新的方向来替换原方向组的某一方向 的判别条件为：
2 代入函数 f ( X ) 2 x12 x2 x1 x2，得
g(1 ) 2 2+
1
(1) 2 1

4 2 2+
(1) 1
,
2.4.4 鲍威尔法
解：第一次迭代
求导，令
dg 11 d1
1
0得
(1) 1
(1) 1
= -1.5 即为最优步长
k 1 X0
X n k X n 1
k
k 当f n k f n 1时 k 当f n k f n 1时
09:18:402015-7-9
8
8
(8)进行收敛判断： 若满足
( k 1) (k ) X0 X0 ( k 1) (k ) f (X0 ) f (X0 ) 1 ( k 1) f (X0 )
0.5 2 1.5 =0.0001 0.25 2 1.75
故需要进行下一次迭代
若上述判别条件满足，则进人第k+1轮迭代时，仍采用第k轮迭代的方 向，初始点取 ( k 1) (k )
S1 S1 ( k 1) (k ) S 2 S2 ( k 1) (k ) Sn Sn
2 f ( X ) 2x12 x2 x1 x2 的最优解，并用表格列出
各次的搜索方向。 解：第一次迭代
1）初始点为X 0(1) X (0) ， 0.0001 2
2）取搜索方向为2个坐标轴的向量
S
(1) 1
2
1 (1) 0 e1 , S2 e2 0 1
2.4.4 鲍威尔法
解：第一次迭代
(1) 3）从 X 0 出发，先从 S1(1) 方向进行一维最优搜索
(1) X1(1) X 0 1(1) S1(1)
(1) 1 2+ 2 (1) 1 + 1 = 2 0 2
即x1 2+1(1) , x2 2，
或
* X 可结束迭代计算，输出最优解：
* * f f (X )
否则，置 k k 1 ，转入下一轮继续进行循环迭代。 修正鲍威尔法的计算框图如图4-c所示。
09:18:422015-7-9
9
9
2.4.4 鲍威尔法
1、试用修正鲍威尔算法从
X (0) [2, 2]T
开始求目标函数