使用精确搜索算法确定步长的最速下降法

f x1 , x2 c, c>0,
2
改写为：
x12 2c 1

2 x2

2c 2
2
1
二、最速下降法
x2
这是以
2c
1
和
2c
2
为半轴的椭圆
2c
2c
2
2
从下面的分析可见 两个特征值的相对
x1
大小决定最速下降法的收敛性。
（1）当 1 2 时，等值线变为圆
2 2
4 f x , 2
2 x1 2 x2 4 f ( x) , 2 x1 +4x2
4 d = f x , 2
0 0
=40 2 20 3 令 0= ' ( ) 80 20, 得 0 =1/4,
一
一维搜索
二 三 四
下 降 算 法
五
最速下降法 Newton法 共轭梯度法
多尺度法 （拟Newton法）
二、最速下降法 假设 f 连续可微，取 线搜索方向
k
d f ( x )
k
步长k 由精确一维搜索得到。 从而得到第 k+1次迭代点，即
f ( x k k d k ) min f ( x k d k )


(推论)在收敛定理的假设下，若f (x)为凸函数，则最速下降 法或在有限迭代步后达到最小点；或得到点列 x k ，它的任 何聚点都是 f (x)的全局最小点。
二、最速下降法

最速下降法特征：相邻两次迭代的方向互相垂直。
令
( ) f ( x d ), 利用精确一维搜索，可得

最速下降法姓名：沈东东 班级：研1404 学号：1415033005一、最速下降法的原理目标函数:(1)n f R R n →>在决策变量的当前点()k n x R ∈处的一阶Taylor 展开式为()()()()()()()k k k T f x f x g x δδοδ+=++式中，()()k n g x R ∈为f 在点()k x 处的梯度向量。

当扰动量n R δ∈充分小时，有()()()()()()k k k T f x f x g x δδ+≈+设新的迭代点为(1)()k k x x δ+=+，于是得到(1)()()()()()k k k T f x f x g x δ+-≈为了使(1)k x +处的目标函数值比()k x 处有所下降，需要满足()()0k T g x δ<此外，梯度向量()()k g x 和扰动量δ的内积可以表示为()()()()cos k T k g x g x δδθ=式中，θ为两向量之间的夹角。

若要使目标函数值的下降量尽可能大，可知δ的方向应该为梯度方向的负方向，即cos 1θ=-。

函数f 在点()k x 处的负梯度方向称为该点的最速下降方向。

在每次迭代时都取最速下降方向作为搜索方向的方法就称为最速下降法。

二、最速下降法的特点1.若()k x 不是极小点，则f 在点()k x 处的最速下降方向总是下降方向。

2.如果每次迭代时都用精确搜索方法得到最佳步长作为搜索步长，则寻优过程中相邻的最速下降方向是正交的。

3最速下降法产生的迭代点序列在一定条件下是线性收敛的，其收敛性质与极小点*x 处的Hesse 矩阵有关。

三、最速下降法的计算步骤最速下降法的计算步骤如下：步骤1：已知待求问题的目标函数()f x ，选择初始点(0)x ，并设定精度要求tol ，令:0k =。

步骤2：计算()f x 在点()k x 处的梯度向量()()k g x ，得到最速下降方向()()()k k d g x =-。

的梯度，记作
函数的梯度是一个向量，
在
处的梯度向量为：
梯度方向是函数在该点增长最快的方向，负梯度方向是函数 在该点减少最快的方向。 如下示意图：
令 p ( k ) ( x ( k ) ) ， k 为在 x
(k )
点沿最速下降
方向 p ( k ) 所走的距离，最优步长。 可有最速下降法的迭代公式：
x(2) x(1) 1 p1 ( 36 8 T , ) 31 31
13 62
关于相邻连个梯度的关系
n 1 1 n n 函数 : R R ； ( x) ( Ax, x) (b, x) aij xi x j b j x j 2 2 i 1 j 1 j 1
p1 f ( x (1) ) (4, 6)T x(1) p1 (2 4 ,1 6 )T
( ) f ( x(1) p1 ) (2 4 )2 3(1 6 ) 2
min ( x)


' ( ) 8(2 4 ) 36(1 6 ) 0 1
谢谢

最速下降法基本思想
从当前点 出发，取函数在该点 处下降最快的 方向作为搜索方向 。 任一点的负梯度方向是函数值在该点下降最快 的方向。 将n维问题转化为一系列沿负梯度方向用一维 搜索方法寻优的问题。

定义函数：
，
可微。
梯度的概念： 是定义在 量为 即 上的可微函数，称以 的 n 个偏导数为分量的向
( p ( k 1) , p ( k ) ) (b A( x ( k ) p ( k ) ), p ( k ) ) ( p ( k ) , p ( k ) ) k ( Ap ( k ) , p ( k ) ) 0

《MATLAB 程序设计实践》课程考核实践一、编程实现以下科学计算法，并举一例应用之。

（参考书籍《精通MATLAB 科学计算》，王正林等著，电子工业出版社，2009年）“最速下降法无约束最优化”最速下降法：解： 算法说明：最速下降法是一种沿着N 维目标函数的负梯度方向搜索最小值的方法。

原理：由高等数学知识知道任一点的负梯度方向是函数值在该点下降最快的方向，那么利用负梯度作为极值搜索方向，达到搜寻区间最速下降的目的。

而极值点导数性质，知道该点的梯度=0，故而其终止条件也就是梯度逼近于0，也就是当搜寻区间非常逼近极值点时，即：当▽f(a ）→0推出f(a ）→极值）（x f ，f(a ）即为所求。

该方法是一种局部极值搜寻方法。

函数的负梯度表示如下：-g(x ）=-▽f(x)=-⎢⎣⎡∂∂1)(x x f 2)(x x f ∂∂ … T N x x f ⎥⎦⎤∂∂)(搜索步长可调整，通常记为αk （第k 次迭代中的步长）。

该算法利用一维的线性搜索方法，如二次逼近法，沿着负梯度方向不断搜索函数的较小值，从而找到最优解。

方法特点（1）初始值可任选，每次迭代计算量小，存储量少，程序简短。

即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。

（2）任意相邻两点的搜索方向是正交的，它的迭代路径胃绕道逼近极小点。

当迭代点接近极小点时，步长变得很小，越走越慢。

（3）全局收敛，线性收敛，易产生扭摆现象而造成早停。

算法步骤：最速下降法的基本求解流程如下：第一步迭代次数初始化为k=0，求出初始点0x 的函数值f 0=f （0x ）。

第二步迭代次数加1，即k=k+1，用一维线性搜索方法确定沿负梯度方向-1-k g 的步长1k -α，其中1k -α=ArgMinaf （111k /----k k g g x α）。

第三步沿着负梯度方向寻找下一个接近最小值的点，其中步长为1k -α，得到下一点的坐标为：1111/-----=k k k k k g g x x α。

最速下降法（Steepest Descent Method）是一种数值优化算法，用于求解无约束优化问题的最小值。

下面是最速下降法的一般解题步骤：
1.定义目标函数：首先，需要明确要优化的目标函数。

这个函数通常表示为f(x)，其中
x 是优化变量。

2.初始化起始点：选择一个合适的起始点x0，作为最速下降法的初始点。

3.计算梯度：计算目标函数在当前点的梯度，即∇f(x)。

这可以通过对目标函数进行偏
导数计算得到。

4.确定搜索方向：将梯度反向取负作为搜索方向d，即d = -∇f(x)。

5.确定步长：确定沿着搜索方向移动的步长，也称为学习率或步长因子。

常见的选择
方法有固定步长、线性搜索和精确线搜索等。

6.更新当前点：根据步长和搜索方向，更新当前点x，即x = x + αd，其中α 表示步
长。

7.判断终止条件：判断是否满足终止条件，可以是达到预定的迭代次数、目标函数值
变化很小或梯度变化很小等。

8.若不满足终止条件，则返回第3步，重新计算梯度，并重复3-7步骤，直到满足终
止条件。

最速下降法的关键在于选择合适的步长和搜索方向。

步长过大可能导致无法收敛，步长过小可能导致收敛速度慢。

搜索方向的选择应该保证在当前点能够使目标函数值下降最快。

需要注意的是，最速下降法可能会陷入局部最小值，而无法达到全局最小值。

为了克服这个问题，可以考虑使用其他优化算法，如共轭梯度法、牛顿法等。

−1 1
=
G
αk
=
g1d1 + g2d2 3d12 + d22 − 2d1d2
[ ] [ ] 取 X (1) = (0, 0)T ，则 ∇f ( X (1) ) = −2, 0 T ，所以 d (1) = −∇f ( X (1) ) = 2, 0 T ，
因此
α1
=
22 3× 22
=
1 3
[ ] [ ] X (2) = X (1) + α1d (1) =
=
1 + 4x1 + 2x2 −1+ 2x1 + 2x2
∂(x2 )
∇f
(X
(1) )
=
1 −1
令搜索方向 d (1)
=
−∇f
(X
(1) )
=
−1 1
再从
X
(1) 出发，沿
d (1) 方向作一维寻优，令
步长变量为 λ
，最优步长为 λ1 ，则有
X
(1)
+
λd (1)
=
0 0
+
λ
−1 1
min f ( X ) = (x1 − 2)4 + (x1 − 2x2 )2
其中 X = (x1, x2 )T ，要求选取初始点 X 0 = (0, 3)T ，终止误差 ε = 0.1.
解：因
∇f ( X ) = [4(x1 − 2)3 + 2(x1 − 2x2 ), −4(x1 − 2x2 )]T
∇f (x∗ ) = 0源自(二)最速下降法的基本思想和迭代步骤
最速下降法又称为梯度法，是 1847 年由著名数学家 Cauchy 给出的。他是解析法中最古老的一 种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。

随着人工智能、模糊控制、模式识别、人工网络等新技术的应用和发展。

可以让它们与广义预测控制相结合，建立高精度、多模态的预测模型。

使广义预测控制在异常情况下可以稳定运行，推进广义预测控制的进一步发展。

2.2.1最速下降法最速下降法是无约束最优化中是比较有效的方法，它是以d}=一可(x})作为下降方向的算法。

其迭代格式为xx+i=xx一。

*Of (xk)上式中，一般通过精确线搜索准则求得步长因子。

*，当然也不排除可以利用非精确线搜索准则来求得步长因子。

*。

不管最速下降法采取何种线搜索准则，它均具有全局收敛性，但是这也不能直接就认为最速下降算法就是一个良好的优化算法。

在实际试验中，有很多优化问题利用最速下降法并不是下降的特快，反而下将的十分缓慢。

这是因为出现了锯齿现象:就是在计算过程中，最速下降法开始几步还是挺快的，但是当目标函数f (x)的等高线接近于一个球的时候，就出现了类似锯齿现象，前进十分缓慢，降低了算法的效能。

2.2.12.2.2牛顿法牛顿法也是无约束最优化问题中的一种经典算法，它是利用目标函数.f (x)的二次泰勒展开式，并将二次泰勒展开式进行极小化。

其迭代格式为x}+}=xA十d}(2-5)其中步长因子。

、=l} d、为02f (x} )d + Of (xA ) = 0的解。

当目标函数f(x)是正定二次函数的时候，牛顿法可以一步达到最优解;当目标函数f (x)是非二次函数的时候，牛顿法经过有限次迭代之后就不能确保求得目标函数f (x)的最优解。

我们知道目标函数f (x)在极小点附近是很接近于二次函数的，所以，假如初始点非常靠近无约束最优化问题((1-1)的最优解x的时候，并且}Z.f (x.)正定的时候，那么牛顿法就会有很快的收敛速度，而由此算法产生的点列也具有了超线性收敛速度，同时还在一定条件下具有二次收敛性;假如初始点与无约束最优化问题(1-1)的最优解x’相距比较远的时候，这时的}Z.}(x})就不一定是正定的了，也就存在了一个问题，那就是此时的牛顿方向就不一定是下降方向，有可能是上升方向，此时由此算法产生的点列可能也就不收敛于无约束最优化问题((1-1)的最优解了。

g1=jacobian(df,v);
ep=1e-5;xm=[-30,100]';
g1=subs(df,{x1,x2},{xm(1,1),xm(2,1)});
k=0;
while(norm(g1)>ep)
p=-g1;
xm=xm+p;
g1=subs(df,{x1,x2},{xm(1,1),xm(2,1)});
1）给出初始点 ，允许误差 ， ；
2）计算 ，若 ，Stop 令 ；
3）由一维搜索确定步长因子 ，使得
4）令 ， ，go to 2).
3、代码
syms x1 x2
f= 10.5*x1^2+4*x1*x2-7.5*x2^2+2*x1+3*x2;
v=[x1,x2];
df=jacobian(f,v);
df=df.';
k=k+1;
运算次数
234
最优解
X1=-8.3097x2=-0.9122
函数最小值
729.7610
5、计算结果的分析
这次试验用最速下降法可以使一些复杂难以计算的问题找到一种有效的解，通过计算机多次运算得出结果。使问题简单化。
6、计算中出现的问题，解决方法及体会
这一次的实验让我了解到了精确步长的最速下降法解决二次正定优化问题这个对于我们实际运用也很有用的算法，但是学到的知识，更在于能运用到实践生活中，希望我能将所学到的知识灵活运用。
最优化理论与算法实验报告(一)
实验名称
精确步长的最速下降法解决二次正定优化问题
实验时间
姓名
专业班级
学号
成绩
1、实验目的和内容
实验内容：用最速下降法求解

求单变量极小化问题：
min f ( x 0 + tp 0 ) = min f (44t , 3 − 24t )
t ≥0 t ≥0
= min(44t − 2)4 + (92t − ቤተ መጻሕፍቲ ባይዱ)2
t ≥0
的最优解 t 0 ，由 0.618 法可得 t 0 = 0.06 ，于是
X 1 = x 0 + t 0 p 0 = (2.70,1.51)T ∇f ( X 1 ) = (0.73,1.28)T ∇f ( X 1 ) = 1.47 > ε
T T
解：计算目标函数的梯度和 Hesse 阵
设d
(k )
= [ d1 , d 2 ] ， ∇f ( X ( k ) ) = [ g1 , g 2 ] 得到精确一维搜索步长 αk = g1d1 + g 2 d 2 3d + d 2 2 − 2d1d 2
2 1
取X
(1)
= (0, 0)T ，则 ∇f ( X (1) ) = [ −2, 0] ，所以 d (1) = −∇f ( X (1) ) = [ 2, 0 ] ，
故
f ( x) = f ( X ( 2) + λ d (2) ) = (λ − 1) − (λ + 1) + 2(λ − 1)2 + 2(λ − 1)(λ + 1) + (λ + 1) 2 = 5λ 2 − 2λ − 1 = ϕ 2 (λ )
' 令 ϕ2 (λ ) = 10λ − 2 = 0 可得 λ2 =
一、最速下降法基本原理
(一) 无约束问题的最优性条件
无约束问题的最优解所要满足的必要条件和充分条件是我们设计算法的依据， 为此我们有以下 几个定理。 定理 1 设 f : R → R 在点 x ∈ R 处可微。若存在 p ∈ R ，使

最优化Armijo算法确定步长的最速下降法资料最速下降法是最优化算法中最简单、最基础的一种方法，但其收敛速度较慢且容易陷入局部最优解。

因此，在最速下降法的基础上，可以通过引入步长的方法来提高算法的收敛速度。

而Armijo算法就是一种常见的用于确定步长的方法。

最速下降法基础假设我们要最小化目标函数f(x)，那么最速下降法的思路就是从一个初始点x0开始，不断朝着负梯度方向进行迭代，直到找到最优解x∗，即：$x_{k+1} = x_k - \\alpha_k \ abla f(x_k)$其中，ablaf(x k)是f(x)在x k处的梯度，$\\alpha_k$ 是步长（也称为学习率），表示每次迭代的步长大小。

但这里还有一个问题：如何确定每次迭代的步长呢？Armijo算法Armijo算法是一种基于梯度下降法的步长确定方法。

它的思路是，每次迭代的步长不应该过大，否则容易导致超出收敛区域。

同时，步长也不应该过小，否则收敛速度会变得非常缓慢。

因此，步长的大小应该恰到好处，即在一定范围内找到一个最优的步长大小。

具体地，Armijo算法通过二分搜索的方法，在可行步长范围内找到一个最优的步长 $\\alpha_k$。

具体过程如下：1.首先初始化 $\\alpha_0$，并设定一些参数，如尝试步长大小t、可行步长下界 $\\tau$ 和函数下降的最小比例 $\\gamma$。

2.计算目标函数f(x k−t ablaf(x k))，以及根据一定准则确定下一个$\\alpha$。

3.如果 $f(x_k - \\alpha_k\ abla f(x_k))$ 函数值比f(x k)减小了一些比例$\\gamma$，则认为当前 $\\alpha_k$ 是可行的步长。

4.如果当前 $\\alpha_k$ 不是可行的步长，则将其折半，即 $\\alpha_k\\leftarrow \\alpha_k/2$，直到找到一个可行的步长为止。

数学与计算科学学院
实验报告
实验项目名称使用精度搜索算法确定步长的最速下降法
所属课程名称最优化方法
实验类型算法编程
实验日期2015.11.6
班级信计1201
学号
姓名
成绩
【实验小结】（收获体会）
附录1：源程序
附录2：实验报告填写说明
1．实验项目名称：要求与实验教学大纲一致。

2．实验目的：目的要明确，要抓住重点，符合实验教学大纲要求。

3．实验原理：简要说明本实验项目所涉及的理论知识。

4．实验环境：实验用的软、硬件环境。

5．实验方案（思路、步骤和方法等）：这是实验报告极其重要的内容。

概括整个实验过程。

对于验证性实验，要写明依据何种原理、操作方法进行实验，要写明需要经过哪几个步骤来实现其操作。

对于设计性和综合性实验，在上述内容基础上还应该画出流程图、设计思路和设计方法，再配以相应的文字说明。

对于创新性实验，还应注明其创新点、特色。

6．实验过程（实验中涉及的记录、数据、分析）：写明具体实验方案的具体实施步骤，包括实验过程中的记录、数据和相应的分析。

7．实验结论（结果）：根据实验过程中得到的结果，做出结论。

8．实验小结：本次实验心得体会、思考和建议。

9．指导教师评语及成绩：指导教师依据学生的实际报告内容，给出本次实验报告的评价。

数学与计算科学学院
实验报告
实验项目名称使用精确搜索算法确定步长的最速下降法所属课程名称最优化方法
实验类型算法编程
实验日期201
班级
学号
姓名
成绩
令,k:=k+1
【实验结论】
最小值：0.0006096631611
最优解时：x1=0.0329218107
X2=-0.008230452675
附录1：源程序
附录2：实验报告填写说明
1．实验项目名称：要求与实验教学大纲一致.
2．实验目的：目的要明确，要抓住重点，符合实验教学大纲要求.
3．实验原理：简要说明本实验项目所涉及的理论知识.
4．实验环境：实验用的软、硬件环境.
5．实验方案（思路、步骤和方法等）：这是实验报告极其重要的内容.概括整个实验过程.
对于验证性实验，要写明依据何种原理、操作方法进行实验，要写明需要经过哪几个步骤来实现其操作.对于设计性和综合性实验，在上述内容基础上还应该画出流程图、设计思路和设计方法，再配以相应的文字说明.对于创新性实验，还应注明其创新点、特色. 6．实验过程（实验中涉及的记录、数据、分析）：写明具体实验方案的具体实施步骤，包括实验过程中的记录、数据和相应的分析.
7．实验结论（结果）：根据实验过程中得到的结果，做出结论.
8．实验小结：本次实验心得体会、思考和建议.
9．指导教师评语及成绩：指导教师依据学生的实际报告内容，给出本次实验报告的评价.。

min f x0 f x0
0
2
即进行线搜索
0
min{ 2 4 25 2 100 } min ( )
2
则
解得
' ( ) 8(2 4 ) 5000(2 100 ) 0
626 0 0.02003072 31252
方法分类： 1、间接法：对简单问题，求解必要条件或充分条件； 零阶法：只需计算函数值 f(x) 2、迭代算法： 一阶法：需计算 ▽f(x) 直接法 梯度法
二阶法：需计算
▽ 2 f(x)
考虑无约束优化问题：
min f ( x) n
x R
本章主要介绍无约束最优化方法，它的应用比较广泛，理论比较 成熟。另一方面，通常可以把一些约束优化问题转化为无约束问题来 处理，所以它是最优化方法中的基本方法。
下面说明最速下降法收敛 性的几何意义。考虑具有对称正定矩阵的函数
1 T 1 2 2 f ( x) x Qx 1 x1 2 x 2 2 2
其中 2 1 0 这个函数的等值线为
1 Q 0 0 2
f x1 , x2 c (c＞0) ，改写为：
， 等值线是很扁的椭圆，此时
q
2 1 1 2 1
对于一般的初始点收敛速度可能十分缓慢，锯齿现象严重。
x2
x0
x1
（五）优缺点
1、优点：计算简单，需记忆的容量小；对初始点要求低，稳定性高； 远离极小点时收敛快，常作为其它方法的第一步。 2、缺点：收敛速度较慢（线性或不高于线性）。原因是最速下降方向 只有在该点附近有意义。
解：梯度 f (x)＝[2x1, 8x2 ]T 。 1. 第一次迭代： f ( x(0) )＝[2, 8 ]T ， x(1) = x(0) + t0 p(0) = x(0) － t0 f (x(0))＝ [1,1]T － t0 [2, 8 ]T 用一维搜索求t0 ，对简单f(x)，可用解析法求解： 设0 (t)＝f ( x(1) )＝f ( [1,1]T － t[2, 8 ]T )＝(1－2t)2+4(1－8t)2 ’0(t)＝520t－68＝0 t0 ＝0.130769

随着人工智能、模糊控制、模式识别、人工网络等新技术的应用和发展。

可以让它们与广义预测控制相结合,建立高精度、多模态的预测模型。

使广义预测控制在异常情况下可以稳定运行,推进广义预测控制的进一步发展。

2.2.1最速下降法最速下降法是无约束最优化中是比较有效的方法,它是以d}=一可(x})作为下降方向的算法。

其迭代格式为xx+i=xx一。

*Of (xk)上式中,一般通过精确线搜索准则求得步长因子。

*,当然也不排除可以利用非精确线搜索准则来求得步长因子。

*。

不管最速下降法采取何种线搜索准则,它均具有全局收敛性,但是这也不能直接就认为最速下降算法就是一个良好的优化算法。

在实际试验中,有很多优化问题利用最速下降法并不是下降的特快,反而下将的十分缓慢。

这是因为出现了锯齿现象:就是在计算过程中,最速下降法开始几步还是挺快的,但是当目标函数f (x)的等高线接近于一个球的时候,就出现了类似锯齿现象,前进十分缓慢,降低了算法的效能。

2.2.12.2.2牛顿法牛顿法也是无约束最优化问题中的一种经典算法,它是利用目标函数.f (x)的二次泰勒展开式,并将二次泰勒展开式进行极小化。

其迭代格式为x}+}=xA十d}(2-5)其中步长因子。

、=l} d、为02f (x} )d + Of (xA ) = 0的解。

当目标函数f(x)是正定二次函数的时候,牛顿法可以一步达到最优解;当目标函数f (x)是非二次函数的时候,牛顿法经过有限次迭代之后就不能确保求得目标函数f (x)的最优解。

我们知道目标函数f (x)在极小点附近是很接近于二次函数的,所以,假如初始点非常靠近无约束最优化问题((1-1)的最优解x的时候,并且}Z.f (x.)正定的时候,那么牛顿法就会有很快的收敛速度,而由此算法产生的点列也具有了超线性收敛速度,同时还在一定条件下具有二次收敛性;假如初始点与无约束最优化问题(1-1)的最优解x’相距比较远的时候,这时的}Z.}(x})就不一定是正定的了,也就存在了一个问题,那就是此时的牛顿方向就不一定是下降方向,有可能是上升方向,此时由此算法产生的点列可能也就不收敛于无约束最优化问题((1-1)的最优解了。

数学与计算科学学院实验报告实验项目名称使用非精确线搜索Armijo算法确定步长的最速下降法所属课程名称最优化方法实验类型算法编程实验日期班级学号姓名成绩)](-)([11-)(-)( )2.3(||-||21)-()-(21)(-)( 0)( )(,*2*12**T *****x f x f x f x f x x x x Q x x x f x f q Qx x f x q Qx x f k k Q ⎪⎭⎫ ⎝⎛+≤===+=∇+=∇+κκ可以改写成所以则处且在由于对于二次函数.,( .,1 , ,1,,,)2.3(算法收敛很慢接近病态）较大时而当求出最优解算法只需一次迭代即可的所有特征值相等时即当特别最速下降收敛很快接近于当有关的条件数矩阵最速下降的收敛速度与看到由收敛速度估计式Q Q Q κκκκ=结论：最速下降法的收敛速度比较慢，通常将其用在某些算法的初始阶段求较好的初始点或作为某些算法的间插步.【实验环境】Win 7； Matlab7.0二、实验内容： 【实验方案】1、求梯度；2、向梯度相反的方向移动x ，其中 为步长。

如果步长足够小，则可以保证每一次迭代都在减小，但可能导致收敛太慢，如果步长太大，则不能保证每一次迭代都减少，也不能保证收敛。

3、循环迭代步骤2，直到x 的值变化到使得在两次迭代之间的差值足够小，比如0.00000001，也就是说，直到两次迭代计算出来的基本没有变化，则说明此时已经达到局部最小值了。

4、此时，输出x ，这个x 就是使得函数最小时的x 的取值 。

【实验过程】梯度下降法的计算过程就是沿梯度下降的方向求解极小值（也可以沿梯度上升方向求解极大值）。

其迭代公式为,其中代表梯度负方向，表示梯度方向上的搜索步长。

梯度方向我们可以通过对函数求导得到，步长的确定比较麻烦，太大了的话可能会发散，太小收敛速度又太慢。

一般确定步长的方法是由线性搜索算法来确定，即把下一个点的坐标ak+1看做是的函数，然后求满足f(ak+1)的最小值的 即可。

最速下降法
最速下降法又称为梯度法，是1847年由著名数学家Cauchy给出的，它是解析法中最古老的一种，其他解析方法或是它的变形，或是受它的启发而得到的，因此它是最优化方法的基础。

它是一种沿着N维目标函数的负梯度方向搜索最小值的方法。

1 算法原理
函数的负梯度表示如下-g(x)=-∇f(x)=-[∂f(x)
∂x1
∂f(x)
∂ x2
…∂f(x)
∂ x N
]T,搜索步长可调整，
通常记为αk（第k次迭代中的步长）该算法利用一维的线性搜索方法，如二次逼近法，沿着负梯度方向不断搜索函数的较小值，从而找出最优解。

2算法步骤
最速下降法的基本求解流程如下.
步骤 1 迭代次数初始化为k=k+1，求出初始点x0的函数值f0=f(x0)。

步骤 2 迭代次数加1.即k=k+1，用一维线性搜索方法确定沿负梯度方向-g k−1的步长αk−1，其中αk−1=ArgMinαf(x k−1−αg k−1/∥g
k−1∥
)。

步骤 3 沿着负梯度的方向寻找下一个接近最小值的点，其中步长为αk−1，得下一点的坐标为：x k=x k−1−αk−1g k−1/∥g k−1∥。

步骤4 如果x k≈x k−1，且f(x k)≈f(x k−1)，那么就认为x k为所求的最小值点，并结束循环；否则，跳到步骤2.。

我们把第k次迭代时负梯度方向记为dk一个正实数ak那么该次新产生的下降点xk1xkakdk其中ak是由最小化关于a的函数fxkadk得到的
最速下降法 steepest-descent method
最速下降法是最基本的多维空间优化算法，思想也很简单。每次沿着负梯度方向下降最长的距离。因为不可能负梯度方向就一 定指向最优解，所以解的过程需要迭代。我们把第k次迭代时，负梯度方向记为d(k)，一个正实数a(k)，那么该次新产生的下降 点x(k+1)=x(k)+a(k)d(k)，其中a(k)是由最小化关于a的函数f(x(k)+a d(k))得到的。有趣的是，每次迭代都会得到一个新的a和d， 而所有的a(k)d(k)都是依次垂直的，即a(k)d(k)垂直于a(k-1)d(k-1)。证明如下，
其中，所有齿状的