当前位置：文档之家 › 无约束优化

无约束优化

  • 格式：doc
  • 大小：117.00 KB
  • 文档页数：4

实验10 无约束优化
实验目的
1． 1． 掌握用MA TLAB 优化工具箱的基本用法，对不同算法进行初步分析、比较。

2． 2． 练习用无约束优化方法建立和求解实际问题模型（包括非线性最小二乘拟合）。

实验内容
第2题：取不同的初值计算下列非线性规划，尽可能求出所有局部极小点，进而找出全局极小点，并对不同算法（搜索方向、步长搜索、数值梯度与分析梯度等）的结果进行分析、比较。

（4）
c a a c a a x x x x z T
T 222111)()(1
)()(1min +---+---=，2R ∈x 。

其中)73.0,7.0(),(21=c c ，T
a )4,4(1=，T
a )8.3,5.2(2=。

★问题分析：
首先用数学方法计算出真实值，
),(21'=x x x ， 将T a )4,4(1=，T a )8.3,5.2(2=代入，化z 的表达式为：
2222112221)8.3()5.2(1
)4()4(1c x x c x x z +-+--
+-+--
=
可见分母的值越小，z 越小。

当x1，x2的值在2.5—4之间时可能取最小值。

2.5
4.5
2.5
3 3.5
4 4.5
2.53
3.5
4
4.5
可以看出，z 存在两个最小值。

对z 求导：
⎥⎥⎥⎥
⎦⎤
⎢⎢⎢⎢⎣⎡+-+--++-+--+-+--++-+--=21222122
12221221222112122211])8.3()5.2[()
8.3(2]
)4()4[()4(2])8.3()5.2[()5.2(2])4()4[()4(2c x x x c x x x c x x x c x x x z ★ ★ Matlab 程序设计及结果： 下面用不同的算法进行计算：
分别运行以上两程序，
2222112221)8.3()5.2(1
)4()4(1c x x c x x z +-+--
+-+--
=的求解无论用数值法还
是分析法，无论用什么搜索方向，什么步长搜索都可以得到最优解和最优值。

但是从上面数据明显可以看出用分析法求解的迭代次数要小于数值法的迭代次数。

对于函数z 最速下降法的迭代次数最多，这是因为最速下降法使用负梯度作为搜索方向，只利用到一阶导数项，收敛阶数只为1，因此尽管开始时收敛较快，但是接近最优解时，收敛就变慢了。

而BFGS 和DFP 算法均利用到了二阶导数项，收敛阶数较高，因此收敛速率较快。

合集下载

无约束优化方法

无约束优化方法

第四章无拘束优化方法——最速降落法，牛顿型方法概括在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无拘束优化问题。

只管对于机械的优化设计问题，多半是有拘束的，无拘束最优化方法仍然是最优化设计的基本构成部分。

因为拘束最优化问题能够经过对拘束条件的办理，转变为无拘束最优化问题来求解。

为何要研究无拘束优化问题（1）有些实质问题，其数学模型自己就是一个无拘束优化问题。

（2）经过熟习它的解法能够为研究拘束优化问题打下优秀的基础。

（3）拘束优化问题的求解能够经过一系列无拘束优化方法来达到。

所以无拘束优化问题的解法是优化设计方法的基本构成部分，也是优化方法的基础。

依据构成搜寻方向所使用的信息性质的不一样，无拘束优化方法能够分为两类。

一：间接法——要使用导数的无拘束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。

二：直接法——只利用目标函数值的无拘束优化问题，如坐标轮换法、鲍威尔法纯真形法等。

无拘束优化问题的一般形式可描绘为：求 n 维设计变量X x1x2L x n T R n使目标函数 f ( X )min当前已研究出好多种无拘束优化方法，它们的主要不一样点在于结构搜寻方向上的差异。

无拘束优化问题的求解：1、分析法能够利用无拘束优化问题的极值条件求得。

马上求目标函数的极值问题变为求方程min f ( X * )0的解。

也就是＊使其知足求Ｘf ( X *)0x1f ( X*)x2f ( X*)x n解上述方程组，求得驻点后，再依据极值点所需知足的充足条件来判断能否为极小值点。

但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实质问题中一般是非线性的，很难用分析法求解，要用数值计算的方法。

由第二章的叙述我们知道，优化问题的一般解法是数值迭代的方法。

所以，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无拘束极值问题。

2、数值方法数值迭代法的基本思想是从一个初始点 X (0)出发，依据一个可行的搜寻方向 d ( 0)搜寻，确立最正确的步长0使函数值沿 d (0 )方向降落最大，获得 X (1)点。

无约束常用优化方法

无约束常用优化方法


步长 ，作前进（或后退）试探．如试探成功（目
标函数值有所减小），则按步长序列
，加
大步长（注意每次加大步长都是由初始点算起），直
至试探失败（目标函数值比前一次的有所增加）时，
则取其前一次的步长作为沿这个坐标轴方向搜索的最
优步长，并计算出该方向上的终止点，而后以这个终
止点为始点再进行下一坐标轴方向的搜索，并重复上
处
显然 是二次函数，并且还是正定二次函数，所以 是凸函数且存在唯一全局极小点．为求此极小点，令
即可解得
即
（5.9）
对照基本迭代公式,易知，式（5.9）中的搜索方向
步长因子
方向
是直指点 处近似二次函数
的极小点的方向．此时称此方向为从点 出发的
Newton方向．从初始点开始，每一轮从当前迭代点出发，
沿Newton方向并取步长 的算法称为Newton法．
另外，共轭梯度法不要求精确的直线搜 索．但是，不精确的直线搜索可能导致迭代 出来的向量不再共轭，从而降低方法的效 能．克服的办法是，重设初始点，即把经过 n次迭代得到的Xn作为初始点重新迭代．
五、坐标轮换法
在坐标轮换法中，沿各个坐标轴方向进行一维搜索
时，常选用最优步长法或加速步长法．加速步长法从
初始点出发，沿搜索（坐标轴）方向先取一个较小的
三、共轭方向法
1、概念
通常，我们把从任意点
出发，依次沿某组共轭
方向进行一维搜索的求解最优化问题的方法，叫做共
轭方向法．
2、特点
• 一般地，在n维空间中可以找出n个互相共轭的方向，对于n元正 定二次函数，从任意初始点出发，顺次沿这n个共轭方向最多作n 次直线搜索就可以求得目标函数的极小点．这就是共轭方向法的 算法形成的基本思想．
第4章无约束优化方法

第4章无约束优化方法

，
它表示沿着方向dk做一维搜索， 它的终点xk+1与始点xk的梯度之差
与dk的共轭方向dj正交。
4.5 共轭梯度法
共轭梯度法递推公式：
2 || g || d k 1 g k 1 k 1 2 d k || g k ||
，
(k 0,1, 2,
, n 1)
4.5 共轭梯度法
共轭梯度法步骤：
4.5 共轭方向及共轭方向法
2 1 0 例：求G= 1 2 1的一组共轭向量系d 0、d 1、d 2。 0 1 2
，
d
i 1
vi 1 i 1,r d
r 0
i
r
i 1, j
(d j )T Gvi 1 j T (d ) Gd j
d
0 T
Gd 1 0
4.5 共轭方向及共轭方向法
•共轭方向
设G是n n对称正定矩阵，若n维空间中有m个非零向量d 0、d1、 、d m 1 满足 (d i )T Gd j 0
，
(i, j 0,1,
, m 1) (i j )
则称d 0、d1、 、d m 1对G共轭，或称它们是G的共轭方向。
第四章
4.1 4.2 4.3 4.4 4.5 4.6 4.7
无约束优化方法
概述 最速下降法 牛顿型方法 变尺度法 共轭方向及共轭方向法
共轭梯度法
鲍威尔方法
4.1 概述
数值解法：是利用已有的信息，通过计算点一步
一步地直接移动，逐步逼近最后达到最优点。
xk 1 xk k d k (k 0,1, )
4）收敛速度与目标函数值的性质有关，对等值 线是同心圆的目标函数来说，经过一次迭代就可 以达到极值点。
无约束优化方法

无约束优化方法


为了使目旳函数值沿搜索方向 f (xk ) 能够取得最大旳
下降值，其步长因子
应取一维搜索旳最佳步长。即有
k
f
( xk1)
f [xk
akf
( xk )]
min a
f [xk
af
( xk )]
min， ( ) a
根据一元函数极值旳必要条件和多元复合函数求导公式，得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
第四章 无约束优化措施
第一节 概 述
数值解法：是从给定旳初始点x0出发，沿某一搜索方向d0
进行搜索。拟定最佳步长α，使函数值沿d0方向下降最大。 依此方式按下述公式不断进行，形成迭代旳下降算法。
x，k1 xk k d k (k 0,1, )
1）选择迭代方向即探索方向； 2）在拟定旳方向上选择合适步长迈步进行探索。 多种无约束优化措施旳区别就在于拟定其搜索方向dk旳措 施不同。所以搜索方向旳构成问题是无约束优化措施旳关键。
4）若 | xk1 xk | ，则停止迭代，
得最优解x* xk1;
否则，k k 1,转到第二步。
第四章 无约束优化措施
第二节 最速下降法
例：用最速下降法求目标函数 ，
f (x) x12 25x22
的极小点。
xk1 xk kf (xk )(k 0,1, )
第四章 无约束优化措施
解 取初始点 x0 [2,2]T f ( x0 ) 104
第四章 无约束优化措施
第四节 共轭方向及共轭方向法 •共轭方向旳形成
•格拉姆-斯密特向量系共轭化旳措施
i
d i1
vi1
，
dr i 1, r