下载文档原格式
无约束优化方法1. 最速下降法（Gradient Descent Method）最速下降法是一种基于梯度信息的迭代优化算法。
其基本思想是从任意初始点开始，沿着目标函数的梯度方向进行迭代，直到达到收敛条件。
最速下降法的迭代更新公式如下：x_{k+1}=x_k-t_k*∇f(x_k)其中，x_k是第k次迭代的解向量，t_k是第k次迭代的步长（也称为学习率），∇f(x_k)是目标函数在x_k处的梯度向量。
最速下降法的步骤如下：1）选取初始点x_0。
2）计算目标函数的梯度∇f(x_k)。
3）计算步长t_k。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
最速下降法的优点是易于实现和理解，收敛性较好。
然而，最速下降法存在的问题是收敛速度较慢，特别是对于目标函数呈现狭长或弯曲形状的情况下。
这导致了在高维优化问题中，最速下降法的性能较差。
2. 牛顿法（Newton's Method）牛顿法是一种基于二阶导数信息的迭代优化算法。
它使用目标函数的一阶和二阶导数信息构造一个二次近似模型，然后求解该模型的最小值。
牛顿法的迭代更新公式如下：x_{k+1}=x_k-H_k^{-1}*∇f(x_k)其中，H_k是目标函数在x_k处的海森矩阵，∇f(x_k)是目标函数在x_k处的梯度向量。
牛顿法的步骤如下：1）选取初始点x_0。
2)计算目标函数的梯度∇f(x_k)和海森矩阵H_k。
3）计算更新方向H_k^{-1}*∇f(x_k)。
4）更新解向量x_{k+1}。
5）判断迭代终止条件，如果满足则停止迭代；否则返回第2步。
牛顿法的优点是收敛速度快，尤其是在目标函数曲率大的地方。
然而，牛顿法也存在一些问题。
首先，计算海森矩阵需要大量的计算资源，特别是在高维空间中。
其次，当海森矩阵不可逆或近似不可逆时，牛顿法可能会失效。
综上所述，最速下降法和牛顿法是两种常用的无约束优化方法。
最速下降法简单易实现，但收敛速度较慢；牛顿法收敛速度快，但计算量大且可能遇到海森矩阵不可逆的问题。
无约束优化方法
**一、最速下降法**
最速下降法（Gradient Descent）是一种迭代优化方法，它是在梯度下降算法的基础上，通过更新梯度的方式来实现最优化目标的过程。
它的思想是：从一个初始点出发，沿着梯度方向，使得目标函数值在末尾尽可能的小。
它可以用来优化非线性的最优化问题，此外，它还可以用于估计函数的最小值。
最速下降法中的基本概念是梯度和梯度下降。
梯度描述了梯度函数的变化情况，它可以衡量函数值在特定点的变化程度。
如果梯度更大，则说明函数值发生的变化更大。
梯度下降是按照梯度的反方向进行函数的，它的目标是出函数值较小的点，也就是最优解。
最速下降法的两个基本步骤是：
1）当前点求梯度之后，按梯度负方向，沿着函数曲面降低。
2）每次迭代，都是沿着相反于梯度的方向，更新当前点，并继续。
最速下降法的优势在于：它比较简单，实现方便，只需要计算梯度，就可以出最优解；且它不需要考虑约束条件，也不需要研究局部最优点，所以它的速度比较快。
但最速下降法也有一些缺点：它有可能陷入局部最优；它缺乏判断能力，只能当前梯度的方向。
第四章 无约束优化方法第一节 概述1为什么要研究无约束优化问题?（1）有些实际问题，其数学模型本身就是一个无约束优化问题。
（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。
（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。
所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。
2各种无约束优化方法的区别在于确定其搜索方向0d 的方法不同。
根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。
一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。
二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。
第二节 最速下降法（梯度法） 1基本思想：函数的负梯度方向是函数值在该点下降最快的方向。
将n 维问题转化为一系列沿负梯度方向用一维搜索方法寻优的问题，利用负梯度作为搜索方向，故称最速下降法或梯度法。
2梯度法的特点：（1）理论明确，程序简单，对初始点要求不严格。
（2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。
（3）梯度法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，在远离极小点时逼近速度较快，而在接近极小点时逼近速度较慢。
（4）梯度法的收敛速度与目标函数的性质密切相关。
对于等值线(面)为同心圆（球）的目标函数，一次搜索即可达到极小点。
3选用原则及条件：一般与其他算法配合，在迭代开始时使用。
第三节 牛顿型方法 1基本思想：在xk 邻域内用一个二次函数)(x ϕ来近似代替原目标函数，并将)(x ϕ的极小点作为对目标函数)(x f 求优的下一个迭代点1+k x 。
经多次迭代，使之逼近目标函数)(x f 的极小点。
2牛顿型方法的特点：（1） 初始点应选在X *附近，有一定难度；（2） 若迭代点的海赛矩阵为奇异，则无法求逆矩阵，不能构造牛顿法方向； （3） 不仅要计算梯度，还要求海赛矩阵及其逆矩阵，计算量和存储量大。
