当前位置：文档之家 › 05工程优化 第4章-1无约束最优化方法

05工程优化 第4章-1无约束最优化方法

  • 格式：ppt
  • 大小：3.57 MB
  • 文档页数：57

下载文档原格式

  / 57

合集下载

《无约束优化方法》PPT课件

《无约束优化方法》PPT课件
进行一维搜索，其终点 x k 1 与始点 x k 的梯度值差
gk1 gk 与 d k 的共轭方向 d j 正交。
精选ppt
18
图4-9 共轭梯度法的几何说明
精选ppt

精选ppt
20
精选ppt
21
精选ppt
22
精选ppt
23
精选ppt
24
第六节变尺度法
变尺度法的基本思想：
前面讨论的梯度法和牛顿法，它们的迭代公式可以看作下列 公式的特例。
3
第二节 最速下降法
优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。
按此规律不断走步，形成以下迭代算法：
xk1xkak f xk
以负梯度方向为搜索方向，所以称最速下降法或梯度法。
搜索方向确定为负梯度方向，还需确定步长因子a k
即求一维搜索的最佳步长，既有
xk 1xkkH f xk
变尺度法是对牛顿法的修正，它不是计算二阶导数的矩阵和 它的逆矩阵，而是设法构造一个对称正定矩阵H来代替Hesse 矩阵的逆矩阵。并在迭代过程中，使其逐渐逼近H-1 。
由于对称矩阵H在迭代过程中是不断修正改变的，它对于一 般尺度的梯度起到改变尺度的作用，因此H又称变尺度矩阵。
数值法
可以处理复杂函数及没有数学表达式 的优化设计问题
xk1xk akdk
搜索方向问题是无约束优化方法的关键。
各种无约束优化方法的区别：确定搜索方向的方法不同。
利用目标函数的一阶或二阶导数
无约束优化方法分类 （最速下降法、共轭梯度法、牛顿法）
利用目标函数值
（精坐选标ppt轮换法、鲍威尔等）
2
精选ppt

无约束最优化方法直接搜索法课件

无约束最优化方法直接搜索法课件

x2
S(1)
S2(1
)
(1)
X3 X2 (1)
X* X2 (2) X1 (2)
S(2)
X0 (1)
X 1 (1)
S1(1) x1
• 鲍威尔基本算法的缺点
鲍威尔基本算法仅具有理论意义，不要说对于一般的 函数，就是对于二次函数，它也可能失效。因为在迭代过程 中的n个搜索方向有时会变成线性相关，而不能形成共轭方向， 从而张不成n维空间，导致随后的迭代搜索在降维(“退化”) 的空间中进行，可能求不到极小点，故需进行改进。
x 2 XL X2
Xn+3 Xn+2
Xn+1
Xห้องสมุดไป่ตู้ XH
X1 XG x1
6)扩张：当 fn+2 < f L 时，取扩张点Xn+3 ，即
Xn+3 = Xn+1 + (Xn+2 – Xn+1)
( =1.2~2.0 )
并计算 fn+3 = f (Xn+3 ) 。 若 fn+3 < fn+2 ，则以Xn+3 代替 X H ， fn+3 代替 fH ，构造一个新的单纯形；否则，以 X n+2 代 替XH ， fn+2 代替fH ，构造新的单纯形；然后返回到 3)。
鲍威尔条件：
若 f 3 < f 1, ( f1 - 且2f2 + f3) (f1 - f2 - △m(k))2 < 0.5 △m(k) (f1 - f3 )2 同时成立，则用 S ( k ) 替代 S m ( k ) ；否则，仍用 就是鲍威尔修正算法，通常所说的鲍威尔算法就是指这一修正算法。
• 鲍威尔算法的计算步骤及算法框图

无约束优化方法

无约束优化方法

第四章无拘束优化方法——最速降落法，牛顿型方法概括在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无拘束优化问题。

只管对于机械的优化设计问题，多半是有拘束的，无拘束最优化方法仍然是最优化设计的基本构成部分。

因为拘束最优化问题能够经过对拘束条件的办理，转变为无拘束最优化问题来求解。

为何要研究无拘束优化问题（1）有些实质问题，其数学模型自己就是一个无拘束优化问题。

（2）经过熟习它的解法能够为研究拘束优化问题打下优秀的基础。

（3）拘束优化问题的求解能够经过一系列无拘束优化方法来达到。

所以无拘束优化问题的解法是优化设计方法的基本构成部分，也是优化方法的基础。

依据构成搜寻方向所使用的信息性质的不一样，无拘束优化方法能够分为两类。

一：间接法——要使用导数的无拘束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。

二：直接法——只利用目标函数值的无拘束优化问题，如坐标轮换法、鲍威尔法纯真形法等。

无拘束优化问题的一般形式可描绘为：求 n 维设计变量X x1x2L x n T R n使目标函数 f ( X )min当前已研究出好多种无拘束优化方法，它们的主要不一样点在于结构搜寻方向上的差异。

无拘束优化问题的求解：1、分析法能够利用无拘束优化问题的极值条件求得。

马上求目标函数的极值问题变为求方程min f ( X * )0的解。

也就是＊使其知足求Ｘf ( X *)0x1f ( X*)x2f ( X*)x n解上述方程组，求得驻点后，再依据极值点所需知足的充足条件来判断能否为极小值点。

但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实质问题中一般是非线性的，很难用分析法求解，要用数值计算的方法。

由第二章的叙述我们知道，优化问题的一般解法是数值迭代的方法。

所以，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无拘束极值问题。

2、数值方法数值迭代法的基本思想是从一个初始点 X (0)出发，依据一个可行的搜寻方向 d ( 0)搜寻，确立最正确的步长0使函数值沿 d (0 )方向降落最大，获得 X (1)点。

第4章 无约束优化方法

第4章 无约束优化方法

4-2 牛顿法及其改进
基本思想 ：
在Xk邻域内用一个二次函数 ( x ) 来近似代替原目 标函数，并将 ( x )的极小点作为对目标函数 f ( x )求 优的下一个迭代点 x k 1 。经多次迭代，使之逼近目 标函数 f ( x )的极小点。 牛顿法是求函数极值的最古老算法之一。
f ( X ) ( X ) f ( X k ) f ( X k )T ( X X k ) 1 ( X X k )T 2 f ( X k )( X X k ) 2
前途是光明的，道路是曲折的！
开始
给定
X 0 ,
k 0
s k f ( X k )
X k 1 X k k s k
k k k : min f ( X s ) k
k k 1
是
X k 1 X k
否
X * X k 1
结束
例4－1求目标函数
0
1. 基本思想
变量的尺度变换是放大或缩小各个坐标。通过尺 度变换可以把函数的偏心程度降到最低限度。
2 2 f ( X ) x 25 x 例如在用最速下降法求 1 2
设 X k 1为 ( X )的极小点 ( X k 1 ) 0
f ( X k ) 2 f ( X k )( X k 1 X k ) 0
X k 1 X k [2 f ( X k )]1 f ( X k ) (k 0,1,2, )
这就是多元函数求极值的牛顿法迭代公式。 对于二次函数 ，海赛矩阵H是一个常矩阵，其中 各元素均为常数。因此，无论从任何点出发，只 需一步就可找到极小点。
用直接法寻找极小点时，不必求函数的导数，只要 计算目标函数值。这类方法较适用于解决变量个数较少 的（n ≤20）问题，一般情况下比间接法效率低。 间接法除要计算目标函数值外，还要计算目标函数 的梯度，有的还要计算其海赛矩阵。

无约束优化方法

无约束优化方法

为了使目旳函数值沿搜索方向 f (xk ) 能够取得最大旳
下降值，其步长因子
应取一维搜索旳最佳步长。即有
k
f
( xk1)
f [xk
akf
( xk )]
min a
f [xk
af
( xk )]
min， ( ) a
根据一元函数极值旳必要条件和多元复合函数求导公式，得
'( ) f [ xk kf ( xk )] T f ( xk ) 0
第四章 无约束优化措施
第一节 概 述
数值解法：是从给定旳初始点x0出发，沿某一搜索方向d0
进行搜索。拟定最佳步长α，使函数值沿d0方向下降最大。 依此方式按下述公式不断进行，形成迭代旳下降算法。
x，k1 xk k d k (k 0,1, )
1）选择迭代方向即探索方向； 2）在拟定旳方向上选择合适步长迈步进行探索。 多种无约束优化措施旳区别就在于拟定其搜索方向dk旳措 施不同。所以搜索方向旳构成问题是无约束优化措施旳关键。
4）若 | xk1 xk | ，则停止迭代，
得最优解x* xk1;
否则，k k 1,转到第二步。
第四章 无约束优化措施
第二节 最速下降法
例：用最速下降法求目标函数 ，
f (x) x12 25x22
的极小点。
xk1 xk kf (xk )(k 0,1, )
第四章 无约束优化措施
解 取初始点 x0 [2,2]T f ( x0 ) 104
第四章 无约束优化措施
第四节 共轭方向及共轭方向法 •共轭方向旳形成
•格拉姆-斯密特向量系共轭化旳措施
i
d i1
vi1
，
dr i 1, r

工程优化方法及应用 第四章1-2节

工程优化方法及应用 第四章1-2节

2 x x -0f x 1/2
1 0 0
Page 8
第2次迭代：
-1 f x , -2
1
|| f x1 || 5 0.5,
1
2+1 x x -1f x = 1/2+2 1 ( )=f x1 -f x1 =f 2+ ,1/2+2
2、其基本思想和逻辑结构可以推广到约束问题；
3、约束问题可以转化成无约束问题求解。
f ( x), x D min f ( x) min F ( x), 其中F ( x) n xD 类
解析法：对简单问题，求解必要条件或充分条件； 零阶法：只需计算函数值 f(x) 迭代算法 一阶法：需计算 ▽f(x) 梯度法 二阶法：需计算 ▽2f(x) 建立迭代算法的关键：确定迭代格式
3
5/2+22 3 x x -2f ( x )= = ， 3/2 2 5/4
继续迭代可得到函数的近似最优解。
Page 10
2 2 例 用最速下降法求函数 f ( x1 , x2 )＝x1 的极小点（迭代两 4 x2 T 次）。 并验证相邻两个搜索方向是正交的。初始点 x 0 1,1 。
No
Page 6
Yes stop. x* =xk
dk= －▽f(xk ) min f(xk+λdk) s.t. λ >0 得最佳步长因子λk 令： xk+1=xk+λkdk 解
最速下降法的算例
取 x 0 1,1T , =0.5. 解：函数的梯度为
Page 7
2 2 min f ( x ) x 2 x 例 利用最速下降法求解 1 2 2 x1 x2 4 x1 ,

第4章 无约束优化方法


求
令

4 S 0 f X 0 2

0 则有 X 1 X 0 0 S 0 1 0 4 1 2 1 2
1 4




0

f X 1 1 4 0 2 1 2 0 2 1 4 0 1 2 0 4 1 4 0 f 0

因

5
还需继续迭代
（2）第二次迭代 同理有
1 1 1 f X , S 2 2 2 1 2 1 2 1 1 X X 1 S 1 0.5 2 0.5 2 1
4.2.3 变尺度法
基本思想： （1） 用简单矩阵代替二阶导数矩阵的逆矩阵 （2) 用坐标变换简化目标函数 引入矩阵变换U，令 X X k UY 代入式泰勒展开式得
T 1 T T 2 k k Y Y U f X UY f X UY f X k 2
2 f X k
S 2 f X k f X k

1

由此构成的算法称基本牛顿法，Sk 称牛顿方向。
分析可知： ⑴ 对于正定二次函数，Xk+1是精确极小点，方向 Sk 是直指函数的极小点。 ⑵ 用基本牛顿法求解正定二次函数时，无论从哪个初始 点出发，计算所得牛顿方向直指极小点，而且步长等于1。 ⑶ 对于一般非线性函数，点Xk+1只是原函数的一个近似极 小点。故将此点作为下一个迭代Xk+1。 ⑷ 但是对于非正定函数，由上式得到 的点Xk+1，不能始终保持函数的下降性，
1 0 0

《无约束优化方法》课件

收敛性分析
分析迭代点是否收敛到最优解，以及收敛速度的快慢。
04 算法实现和案例 分析
MATLAB实现
介绍MATLAB在无约束优化方 法中的应用，包括函数优化工 具箱的使用和自定义算法的实
现。
演示如何使用MATLAB求解无 约束优化问题，如最小二乘问
题、非线性规划问题等。
介绍MATLAB中常用的优化算 法，如梯度下降法、牛顿法、 拟牛顿法等，并给出相应的代 码实现。
04
总结Python在无约束优化方法中的优缺点，并给出相应的改进建议 。
案例分析：简单的二次函数优化
介绍二次函数优化的基本 概念和方法，包括最优解 的求解和性质分析。
演示如何使用MATLAB或 Python求解该问题，并 给出相应的代码实现和结 果分析。
ABCD
给出具体的二次函数优化 问题，如最小化f(x)=x^2 在区间[a,b]上的最小值。
深度学习优化
结合深度学习技术，对高维非线性问题进行 优化，解决复杂的问题。
目标函数
需要最小化或最大化的函数
约束条件
对目标函数的限制条件，无约束优化问题没有约束条件
02 无约束优化方法 简介
梯度法
总结词
基本、直观、简单
详细描述
梯度法是最早的无约束优化方法之一，它基于函数的梯度信息，通过沿着负梯 度的方向搜索来寻找最优解。由于其简单直观，被广泛应用于各种优化问题。
牛顿法
控制工程
用于系统优化、控制器设计和系统稳 定性分析，提高控制系统的性能。
无约束优化方法的未来发展方向
混合整数优化
将整数约束和连续变量优化结合起来，解决 更复杂的优化问题。
多目标优化
考虑多个目标函数，寻求多目标之间的平衡 ，满足多方面的需求。

ch05常用无约束最优化方法


f ( x ) 0
定理5.3(二阶必要条件) 设f(x)在x*的某个邻域内具 有连续的二阶偏导数, 则x*是f(x) 的局部极小值点的必 要条件是 f ( x ) 0 且 2 f ( x * ) 半正定
3

常用无约束最优化方法
定理5.4(二阶充分条件) 设f(x)在x*的某个邻域内具有 连续的二阶偏导数, 若 f ( x ) 0且 2 f ( x * )正定, 则x* 是f(x)的严格局部极小点(Isolated local minimum)。 定理5.5 阶偏导数, 若f ( x ) 0且 2 f ( x) 半正定, 则x*是f(x)的 局部极小点。 定理5.6 设f(x)是Rn上的凸函数且f(x)具有连续的偏导 数, 则x*是f(x)的全局极小点(Global minimum)的充分 必要条件是 设f(x)在x*的某个邻域 N
T
x (1,0) , x
1
2
2 0 2 2 0 (4) f (x ) , f (x ) 0 2 0 2
2 (3)
由定理5.1和定理5.3知x(2)是局部极小点。
5
常用无约束最优化方法
求解问题(5.1)具体做法为： 给定初值x(0), 按照某一个规则构造迭代序列 {x( k ) }, k 1, 2, 使
(k ) x2
2 0.001598082 -0.040008249 0.953703372 -0.046349362
常用无约束最优化方法
5.2.2 最速下降法
1847年Cauchy给出了最速下降法。
f ( x ( k 1) ) f ( x ( k ) k f ( x ( k ) )) min f ( x ( k ) f ( x ( k ) ))

四常用无约束最优化方法(精品PPT)

（3）用终止准则检测是否满足：若满足，则打印最优
解 X k 1 ，f ( X k1 ) ，结束；否则，置 k k 1，转
（2）．
，
最速下降法算法流程如图4.2所示．
Company Logo
最速下降法算 法流程如图所 示．
图4.2
开始 选定X0
f0 f (X0) g0 g(X0)
X ls(X 0 ,g0 )
Company Logo
§4.1 最速下降法
对于问题（4.1）为了求其最优解，按最优化算法的基
本思想是从一个给定的初始点
X
出发，通过基本迭代公
0
式 X k1 X k tk Pk，按照特定的算法产生一串
点列{X k } ，如果点列收敛，则该点列的极限点为问题
（4.1）的最优解．
一、最速下降法基本原理
1个迭代点
X
k
，即
1
X k1 X k tk f ( X k ) ，
其中步长因子 tk 按下式确定
也可记为
fin
t
f
(Xk
tf
(Xk
))
，
X k1 ls( X k , f ( X k )) ． （4.3）
显然，令k 0, 1, 2, 就可以得到一个点列 X0, X1, X2 ，
g( X ) AX b ，(4.5)
因此，
gk g( X k ) AX k b．(4.6)
现在从X k 出发沿 g k 作直线搜索以确定 X k1 ，于是
X k1 X k tk gk ， (4.7) 其中tk 是最优步长因子．
Company Logo
又因式（4.2），有 g( X k1 )T gk 0 ，再利用式
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 d = f x , 2
1
2+ x + d = ， 1/2+2
1 1
2
( )=f x1 + d 1 =f 2+ ,1/2+2
= 2+ 2 1/2+2 2 2+ 1/2+2 4 2+ ,
k
k
x k +1.
(4) 检查得到的新点 x k +1是否为极小点或近似极小点。 若是，则停止迭代。 否则，令 k : k 1，转(2)继续进行迭代。 在以上步骤中，选取步长可选用精确一维搜索或者非精确一 维搜索， 下降方向的选取正是下面我们要介绍的，下降方向选取的不 同，得到不同的算法。
最速下降法
( )=f x 2 + d 2 =f 5/2+2 ,3/2
= 5/2+2 2 3/2 2 5/2+2 3/2 4 5/2+2
2 2
=10 2 5 27/4 令 0= ' ( ) 20 5,
3 2 2
5/2 2 3 f x3 1/2 , x =x +2 d = +1/4 = ， 1 3/2 1 5/4
继续迭代可得到函数的近似最优解。
得 2 =1/4,
最速下降法的收敛性分析
无约束优化的最优性条件----一阶必要条件
定理(一阶必要条件) 设 f : R n R ，若 x 为 f ( x ) 的局部极小点，且在 N ( x*)
内连续可微，则
f ( x* ) 0.
无约束优化的最优性条件----二阶必要条件
定理（二阶必要条件） 若 x * 为 f x 的局部极小点，且在 N x * 内 f x 二次连续 可微，则 f ( x* ) 0, 2 f ( x* ) 半正定。
假设 f 连续可微，
负梯度方向
这是函数值减少 最快的方向
d f ( x ) f ( x k k d k ) min f ( x k d k )
k k
0
步长 k 由精确一维搜索得到。 从而得到第 k+1次迭代点，即
x k 1 x k +k d k x k , x4 不是极小点；
2 0 f x2 是正定矩阵； 0 2
2
x2 是极小点；
2 0 f x3 是负定矩阵； 0 2
2
x3 是极大点。
• 对某些较简单的函数，这样做有时是可行的； • 但对一般n元函数 f(x) 来说，由条件 f ( x) 0 得到的是一个 非线性方程组，解它相当困难。 • 为此，常直接使用迭代法。
k
的任何聚点都是 f (x)的全局最小点。
最速下降法的两个特征
1. 相邻两次迭代的方向互相垂直
令
( ) f ( xk d k ),
最速下降法
负梯度方向 d k f ( x k )是函数值减少最快的方向 ？ 令 p 是单位长度的向量， p 1, 0,
f ( x p) f ( x)+f ( x)T p o( )
P是什么方向时，函数值 f ( x p) 下降最快？也就是
f ( x)T p 取得最小值？ p是什么方向时，
函数 f x 的Hesse阵：
2
0 2 x1 f x 0 2 x2 2 在点 x1 , x2 , x3 , x4 处的Hesse阵依次为：
利用二阶条件 判断驻点是否 是极小点
2 f x2 0 2 0 2 2 2 f x3 , f x4 0 2 0
令 f x 0, 即：
x12 1 0 2 x2 2 x2 0
得到驻点：
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
线搜索方法：迭代点沿某方向产生 根据迭代点是否 沿某个方向产生 信赖域方法： 迭代点在某区域内搜索产生
线搜索迭代法的步骤
(1) 选定某一初始点 x 0 ，并令 k: 0. (2) 确定搜索方向 d k .
k ，以产生下一个迭代点 (3) 从 x 出发，沿方向 d 求步长
*
求解 (1)的计算方法称为无约束最优化方法。
最优化方法中的基本方法---无约束优化方法
无约束最优化方法应用广泛，理论也比较成熟；
可将约束优化问题转化为无约束优化问题来处理；
f ( x), x D min f ( x) min F ( x), 其中F ( x) xD xR n , others.
2
=5 2 5 11/2 令 0= ' ( ) 10 5,
2 1 1
2 1 5/2 f x 2 2 , x =x +1d = +1/2 = ， 1 1/2 2 3/2
解析法要用到目标函数的梯度或者Hesse矩阵，容易想到 利用一阶必要条件将无约束优化问题转化成一个梯度为0确定 的方程组。 这里用到的一阶必要条件就是最优性条件。 所谓最优性条件，是指最优化问题的最优解所要满足的 必要条件或充分条件。 这些条件对于最优化算法的建立和最优化理论的推导都是 至关重要的。
0 0
=40 2 20 3 令 0= ' ( ) 80 20, 得 0 =1/4,
第2次迭代：
1
0 =1/4, d 0 = 4 , 2 x1 2 x2 4 f ( x ) , 2 2 x1 +4x2 4 2 f x1 1 , 1 0 0 1 x =x +0 d = +1/4 = ， 2 1 2 1/2
f ( x)T p f ( x) p cos(f ( x), p)
f ( x) f ( x) ，此时由f ( x) p f ( x) 可得 p f ( x)
T
当 cos(f ( x), p) 1 时，f ( x)T p 最小，最小值为
T
最速下降法
最速下降法是求多元函数极值的最古老的数值算 法，早在1847年法国数学家Cauchy提出该算法，后来 Curry作了进一步的研究。 该方法直观，简单，计算方便，而且后来的一些新的 有效的方法大多数是对它的改进，或受它的启发而得到 的。
解析法：利用函数的一阶或二阶导数的方法 收敛速度快，需要计算梯度或者Hesse矩阵 无约束优化方法 可求得目标函数的梯度时使用解析法 本章介绍解析法 直接法：仅利用函数值的信息，寻找最优解
不涉及导数，适用性强，但收敛速度慢 在不可能求得目标函数的梯度或偏导数时使用直接法
最优性条件(Optimality Conditions)
2 2
2 0 f x1 , 0 2
0 , 2 0 . 2
1 1 1 1 x1 , x2 , x3 , x4 . 0 2 0 2
无约束优化的最优性条件
2 0 2 2 0 f x1 , f x4 是不定矩阵； 0 2 0 2

无约束优化的最优性条件----二阶充分条件
定理(二阶充分条件)
f ( x* ) 0, 2 f x 正定，则 x 为 f ( x) 的严格局部极小
点。
设 f : R n R ，若在 N ( x*) 内 f ( x ) 二次连续可微，且
如果 2 f x 负定，则 x 为 f ( x ) 的严格局部极大点。
最速下降法的迭代格式
x 0 ， 0 并令 k: 0 (1) 选定某一初始点
(2) 若 f (3)
k
( x k ) , x* x k，否则转（3）；
k
d f ( x )
(4) 由精确一维搜索确定步长步长 问题求得最佳步长 令 xk 1 xk
k
，即由一个极小化
例 利用最速下降法求解 min f ( x ) x1 2 x2 2 x1 x2 4 x1 ,
2 2
2 x1 2 x2 4 解：函数的梯度为 f ( x) , 2 x1 +4x2
第1次迭代：
4 4 0 0 f x , d = f x , 2 2
f ( x* ) 0, 则 x 为 f ( x) 的唯一全局极小点。
无约束优化的最优性条件
例： 利用最优性条件求解下列问题： 利用一阶条件 求驻点 利用二阶条件 判断驻点是否 是极小点
解：
1 3 1 3 2 min f x x1 x2 x2 x1 3 3 f f 2 x1 1, x22 2 x2 , x1 x2
0
取 x 0 1,1 .
T
( )=f x 0 + d 0 =f 1+4 ,1 2
= 1+4 2 1 2 2 1+4 1 2 4 1+4
2 2
1+4 x + d = ， 1 2
收敛性定理： 设目标函数 f (x)连续可微，且水平集 L x f ( x) f ( x 0 ) 有界，则最速下降法或者在有限迭代步后终止；或者得 到点列 推论： 在收敛定理的假设下，若f (x)为凸函数，则最速下降法 或在有限迭代步后达到最小点；或得到点列 x ，它