最速下降法与牛顿法及其区别
摘要：无约束优化方法是优化技术中极为重要和基本内容之一。它不仅可以直接用来求解无约束优化问题，而且很多约束优化问题也常将其转化为无约束优化问题，然后用无约束优化方法来求解。最速下降法和牛顿法是比较常见的求解无约束问题的最优化方法，这两种算法作为基本算法，在最优化方法中占有重要的地位。其中最速下降法又称梯度法，其优点是工作量少，存储变量较少，初始点要求不高；缺点是收敛慢，效率低。牛顿法的优点是收敛速度快；缺点是对初始点要求严格，方向构造困难，计算复杂且占用内存较大。同时，这两种算法的理论和方法渗透到许多方面，特别是在军事、经济、管理、生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。因此，研究最速下降法和牛顿法的原理及其算法对我们有着及其重要的意义。
关键字：无约束优化最速下降法牛顿法
Abstract: unconstrained optimization method is to optimize the technology is extremely important and basic content of. It not only can be directly used to solve unconstrained optimization problems, and a lot of constrained optimization problems are often transformed into unconstrained optimization problem, and then use the unconstrained optimization methods to solve. The steepest descent method and Newton-Raphson method is relatively common in the unconstrained problem optimization method, these two kinds of algorithm as the basic algorithm, the optimization method plays an important role in. One of the steepest descent method also known as gradient method, its advantages are less workload, storage variable is less, the initial requirements is not high; drawback is the slow convergence, low efficiency. Newtonian method has the advantages of fast convergence speed; drawback is the initial point of strict construction difficulties, directions, complicated calculation and larger memory. At the same time, these two kinds of algorithm theory and methods into many aspects, especially in the military, economic, management, production process automation, engineering design and product optimization design has important applications. Therefore, to study the steepest descent method and Newton-Raphson method principle and algorithm for us with its important significance.
Keywords: unconstrained optimization steepest descent method
一、算法的基本原理
1.1 最速下降法的基本原理
在基本迭代公式k k k k P t X X +=+1中，每次迭代搜索方向k P 取为目标函数)(X f 的负梯度方向，即)(k k X f P -?=，而每次迭代的步长k t 取为最优步长，由此确定的算法称为最速下降法。
为了求解问题)(min X f ，假定我们已经迭代了k 次，获得了第k 个迭代点k X 。现在从k X 出发，可选择的下降方法很多，一个非常自然的想法是沿最速下降方向（即负梯度方向)进行搜索应该是有利的，至少在k X 邻近的范围内是这样。因此，去搜索方向为
)(k k X f P -?=.
为了使目标函数在搜索方向上获得最多的下降，沿k P 进行一维搜索，由此得到第1+k 个跌带点，即
)(1k k k k X f t X X ?-=+，
其中步长因子k t 按下式确定
))((m in ))((k k k k k k X f t X f X f t X f ?-=?-，
))(,(1k k k X f X ls X -?=+. （1） 显然，令 ,2,1,0=k 就可以得到一个点列 ,,,210X X X ,其中0X 是初始点，由计算者任意选定。当)(X f 满足一定的条件时，由式（1）所产生的点列}{k X 必收敛于)(X f 的极小点。
下面为书写方便，记)()(X f X g ?=。因此)()(k k k X f X g g ?==.
1.2 牛顿法的基本原理
设最优化问题为)(min X f ，其中1
:R R f n
→二阶可导，Hesse 矩阵)(2
X f ?正定。 不妨设经过k 次迭代已获点k X ，现将)(X f 在k X X =处展成二阶泰勒公式，于是有
))(()(2
1
)()()()()(2k k T k k T k k X X X f X X X X X f X f X Q X f -?-+-?+=≈
显然)(X Q 是二次函数，特别由假设知)(X Q 还是正定二次函数，所以)(X Q 是凸函数且存在唯一全局极小点。为求此极小点，令
0))(()()(2=-?+?=k k k X X X f X f X Q
即可解得
)()]([12k k k X f X f X X ??-=-，
亦即
)()]([1
21k k k k X f X f X X ??-=-+。 （2）
对照基本迭代公式
k k k k P t X X +=+1
易知，式（2）中的搜索方向
)()]([1
2k k k X f X f P ??-=-， （3）
步长因子1=k t 。换句话说从点k X 出发沿搜索方向
)()]([12k k k X f X f P ??-=-
并取步长1=k t 即可得)(X Q 的极小点1+k X 。因此，
)()]([12k k k X f X f P ??-=-
是直指点k X 处近似二次函数)(X Q 的极小点的方向。此时称
)()]([12k k k X f X f P ??-=-
为从点k X 出发的Nowton 方向。从初始点开始，每一轮从当前迭代点出发，沿Nowton 方向并取步长1=k t 的算法称为牛顿法。
二、算法的迭代步骤及流程图
2.1 最速下降法迭代步骤
已知目标函数)(X f 及其梯度)(X g ，终止限21,εε和3ε. （1）选定初始点0X ，计算)(),(0000X g g X f f ==；置0=k .
（2）作直线搜索：),(1k k k g X ls X -=+；计算)(),(1111++++==k k k k X g g X f f .
用终止准则检验是否满足：若满足，则打印最优解))(,(11++k k X f X ，结束；否则，置1+=k k ，转（2）
（3）最速下降法算法流程图如图所示.
Y
N
2.2 牛顿法迭代步骤
已知目标函数)(X f 及其梯度)(X g ，Hesse 矩阵)(X G ，终止限ε. （1）选定初始点0X ；计算)(),(000X g g X f f o ==；置0=k .
（2）计算)(2
k k X f G ?=.
开始
选定0X
)
()(0000X g g X f f ==
),(00g X ls X -=
)
()(00X g g X f f ==
终止准则满足？ g g f f X
X ===00
f
X ,
结束
（3）由方程k k k g P G -=解出k P .
（4）计算)(),(,11111+++++==+=k k k k k k k X g g X f f P X X .
（5）判别终止准则是否满足：若满足，则打印最优解),(11++k k f X 结束；否则，置1+=k k ，转（2）
。 牛顿法的流程如图所示。
N Y
开始
选定0X
)
()(0000X g g X f f ==
)(0X G G =
)
()(00X g g X f f ==
终止准则满足？
g g f f X
X ===00
f
X ,
结束
三、实例分析
分别用牛顿法和最速下降法求解
2
22125)(m in x x X f +=,选取6010,22-=??????=εX .
3.1 最速下降法求解
由题意可知
??????=?21502)(x x X f ，??
?
???=?1004)(0X f ， 故
?
?
?
???--=-?=1004)(00X f P . 记
??
?
???--=??????--+??????=+=0000001100242100422λλλλP X X ，
则
20200001)1002(25)42()()(λλλ-+-=+=P X f X f .
0λ为最佳步长，应满足0|0
='=λλλf .则有
,0100165000320=-λ或,0200307.0500032
10016
0≈=
λ
故有
??
?
???-=+=003070.0919877.10001P X X λ.
继续迭代，要经过10次迭代才可满足精度6
10-=ε的要求，以下计算从略。
3.2 牛顿法求解
由题意可知
???
???=???
????=?50002)(,502)(221X f x x X f ,
故有
?
?
?
???=???????=?50002)(,1004)(020X f X f 是正定矩阵。又
???
?????=?-5010021)]([102X f .
由（3）式计算
???
???-=?????????
?
????-=??-=-2210045010021)()]([01020X f X f P .
由k k k P X X +=+1计算
?
??
???=??????--+??????=+=002222001P X X .
计算)(1X f ?为
??
?
???=?00)(1X f
故有
ε )(1X f ?.
停止迭代，并输出??
????=001X 作为极小点。
四、算法的优缺点分析
4.1 最速下降法的优缺点分析
最速下降法的优点是算法简单，每次迭代计算量小，占用内存量小，且对初始点要求不高，即使从一个不好的初始点出发，往往也能收敛到局部极小点，但它有一个严重缺点就是收敛速度慢，特别是当椭圆比较扁平时，最速下降法的收敛速度越慢。
4.2 牛顿法的优缺点分析
牛顿法收敛速度非常快，具有二次收敛的优点，但它存在下面四个严重的缺点： （1）每次迭代不能保证)(X f 下降，当Hesse 矩阵非正定时，牛顿法的搜索将会失败；
（2）对初始点要求严格，一般要求比较接近或有利于接近极小点，但这在实际生活中很难办到；
（3）在进行迭代时可能求不出搜索方向；
（4）构造困难，计算复杂，占用机器内存较大。
五、设计总结
通过上面的实例中两种算法的对比，可以看出牛顿法对于二次正定函数只需作一次迭代就得到最优解，特别是在极小点附近，收敛性很好、速度快，而最速下降法在极小点附近收敛速度很差。
但牛顿法也有缺点，它要求初始点在最优点附近，否则牛顿法不能保证其收敛，甚至也不是下降方向。因此，我们要把最速下降法和牛顿法结合起来使用，前期用最速下降法，当迭代到一定程度后改用牛顿法，相信可得到较好的效果。
六、参考文献
【1】汪汉新，朱翠涛，陈亚光，最优化方法与应用90—93，192—198
【2】何坚勇，最优化方法，清华大学出版社，2007.1
“牛顿迭代法”最新进展文献综述牛顿法是一种重要的迭代法，它是逐步线性化的方法的典型代表。牛顿迭代法又称为牛顿-拉夫逊方法，它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x) = 0的根。牛顿迭代法是求方程根的重要方法之一，其最大优点是在方程f(x) = 0的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根。另外该方法广泛用于计算机编程中。 介绍一下牛顿迭代法研究的前沿进展，1992年南京邮电学院基础课部的夏又生写的一篇题名一类代数方程组反问题的牛顿迭代法，对一类代数方程组反问题提出了一个可行的迭代解法。从算法上看,它是一种解正问题—迭代—解正问题迭代改善的求解过程。湖南师范大学的吴专保;徐大发表的题名堆浸工艺中浸润面的非线性问题牛顿迭代方法，为了研究堆浸工艺的机理,用牛顿迭代公式寻求浸润面的非线性方程的数值解,经过14次迭代的误差达到了,说明此算法收敛有效。浙江大学电机系的林友仰发表的牛顿迭代法在非线性电磁场解算中的限制对非线性电磁场解算中的限制做了分析，求解非线性方程组时迭代法是不可避免的。牛顿—拉斐森迭代法由于它的收敛速度快常被优先考虑。应用这个方法的主要问题是求雅可比矩阵。因为雅可比矩阵元素的计算非常费时。然而,本文要说明的是当利用以三角形为单元的有限元法求解非线性方程组时,应用牛顿法其雅可比矩阵容易求得,并且它保持了原系数的对称性和稀疏性,因而节省了时间。与此相反,若在差分法中应用牛顿迭代,并且按习惯用矩形网格进行剖分,则雅可比阵的计算很费时,而且不再保持原有对称性,这就使得存贮量和计算时间大为增加。南株洲工学院信息与计算科学系的吕勇;刘兴国发表的题名为牛顿迭代法加速收敛的一种修正格式，主要内容牛顿迭代法是求解非线性方程的一种重要的数值计算方法,在通常情况下,它具有至少平方收敛。本文利用文献[4]所建立的迭代格式xn+1=xn-αf(xfn)(x+n)f′(xn),对迭代格式中的参数α的讨论,实现了牛顿迭代法加速收敛的一种修正格式。
牛顿迭代法 李保洋 数学科学学院信息与计算科学学号：060424067 指导老师：苏孟龙 摘要：牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法，即牛顿迭代法.迭代法是一种不断用变量的旧值递推新值的过程.跟迭代法相对应的是直接法或者称为一次解法，即一次性解决问题.迭代法又分为精确迭代和近似迭代.“牛顿迭代法”属于近似迭代法，本文主要讨论的是牛顿迭代法，方法本身的发现和演变和修正过程，避免二阶导数计算的Newton迭代法的一个改进，并与中国古代的算法，即盈不足术，与牛顿迭代算法的比较. 关键词：Newton迭代算法；近似求解；收敛阶；数值试验；中国古代数学； 九章算术；Duffing方程；非线性方程；收敛速度；渐进性 0 引言： 迭代法也称辗转法，是一种不断用变量的旧值递推新值的过程，跟迭代法相对应的是直接法或者称为一次解法，即一次性解决问题.迭代法又分为精确迭代和近似迭代.“二分法”和“牛顿迭代法”属于近似迭代法. 迭代算法是用计算机解决问题的一种基本方法.它利用计算机运算速度快、适合做重复性操作的特点，让计算机对一组指令（或一定步骤）进行重复执行，在每次执行这组指令（或这些步骤）时，都从变量的原值推出它的一个新值.具体使用迭代法求根时应注意以下两种可能发生的情况： (1)如果方程无解，算法求出的近似根序列就不会收敛，迭代过程会变成死循环，因此在使用迭代算法前应先考察方程是否有解，并在程序中对迭代的次数给予限制. (2)方程虽然有解，但迭代公式选择不当，或迭代的初始近似根选择不合理，也会导致迭代失败. 所以利用迭代算法解决问题，需要做好以下三个方面的工作： 1、确定迭代变量.在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量. 2、建立迭代关系式.所谓迭代关系式，指如何从变量的前一个值推出其下一个值的公式(或关系).迭代关系式的建立是解决迭代问题的关键，通常可以使用递推或倒推的方法来完成. 3、对迭代过程进行控制，在什么时候结束迭代过程？这是编写迭代程序必须考虑的问题.不能让迭代过程无休止地重复执行下去.迭代过程的控制通常可分为两种情况：一种是所需的迭代次数是个确定的值，可以计算出来;另一种是所需的迭代次数无法确定.对于前一种情况，可以构建一个固定次数的循环来实现对迭代过程的控制;对于后一种情况，需要进一步分析出用来结束迭代过程的条件. 1牛顿迭代法：
实验的题目和要求 一、所属课程名称： 最优化方法 二、实验日期： 2010年5月10日~2010年5月15日 三、实验目的 掌握最速下降法，牛顿法和共轭梯度法的算法思想，并能上机编程实现相应的算法。 二、实验要求 用MATLAB实现最速下降法，牛顿法和共轭梯度法求解实例。 四、实验原理 最速下降法是以负梯度方向最为下降方向的极小化算法，相邻两次的搜索方向是互相直交的。牛顿法是利用目标函数)(x f在迭代点 x处的Taylor展开式作为模型函数，并利用这个二次模型函数的极k 小点序列去逼近目标函数的极小点。共轭梯度法它的每一个搜索方向是互相共轭的，而这些搜索方向 d仅仅是负梯度方向k g-与上一次接 k 待的搜索方向 d的组合。 k - 1 五．运行及结果如下: 最速下降法： 题目：f=(x-2)^2+(y-4)^2 M文件： function [R,n]=steel(x0,y0,eps) syms x; syms y; f=(x-2)^2+(y-4)^2; v=[x,y]; j=jacobian(f,v); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=0; syms kk; while (temp>eps) d=-T;
f1=x1+kk*d(1);f2=y1+kk*d(2); fT=[subs(j(1),x,f1),subs(j(2),y,f2)]; fun=sqrt((fT(1))^2+(fT(2))^2); Mini=Gold(fun,0,1,0.00001); x0=x1+Mini*d(1);y0=y1+Mini*d(2); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=n+1; end R=[x0,y0] 调用黄金分割法： M文件： function Mini=Gold(f,a0,b0,eps) syms x;format long; syms kk; u=a0+0.382*(b0-a0); v=a0+0.618*(b0-a0); k=0; a=a0;b=b0; array(k+1,1)=a;array(k+1,2)=b; while((b-a)/(b0-a0)>=eps) Fu=subs(f,kk,u); Fv=subs(f,kk,v); if(Fu<=Fv) b=v; v=u; u=a+0.382*(b-a); k=k+1; elseif(Fu>Fv) a=u; u=v; v=a+0.618*(b-a); k=k+1; end array(k+1,1)=a;array(k+1,2)=b; end Mini=(a+b)/2; 输入： [R,n]=steel(0,1,0.0001) R = 1.99999413667642 3.99999120501463 R = 1.99999413667642 3.99999120501463 n = 1 牛顿法：
ICA用牛顿迭代法改进的FastICA算法 ICA算法原理： 独立分量分析（ICA）的过程如下图所示：在信源()st中各分量相互独立的假设下，由观察xt通过结婚系统B把他们分离开来，使输出yt逼近st。 图1-ICA的一般过程 ICA算法的研究可分为基于信息论准则的迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等角度提出了一系列估计算法。如FastICA算法, Infomax算法，最大似然估计算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。本实验主要讨论FastICA算法。 1. 数据的预处理 一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。 若一零均值的随机向量 满足 ， 其中：I为单位矩阵，我们称这个向量为白化向量。白化的本质在于去相关，这同主分量分析的目标是一样的。在ICA中，对于为零均值的独立源信号 ， 有： ， 且协方差矩阵是单位阵cov( S ) = I，因此，源信号 S( t )是白色的。对观测信号X( t )，我们应该寻找一个线性变换，使X( t )投影到新的子空间后变成白化向量，即：
其中，W0为白化矩阵，Z为白化向量。 利用主分量分析，我们通过计算样本向量得到一个变换 其中U和 分别代表协方差矩阵XC的特征向量矩阵和特征值矩阵。可以证明，线性变换W0满足白化变换的要求。通过正交变换，可以保证 因此，协方差矩阵： 再将 代入 且令 有 由于线性变换A~连接的是两个白色随机矢量Z( t )和S( t )，可以得出A~ 一定是一个正交变换。如果把上式中的Z( t )看作新的观测信号，那么可以说，白化使原来的混合矩阵A简化成一个新的正交矩阵A~。证明也是简单的： 其实正交变换相当于对多维矢量所在的坐标系进行一个旋转。 在多维情况下，混合矩阵A是N*N 的，白化后新的混合矩阵A~ 由于是正交矩阵，其自由度降为N*(N-1)/2，所以说白化使得ICA问题的工作量几乎减少了一半。 白化这种常规的方法作为ICA的预处理可以有效地降低问题的复杂度，而且算法简单，用传统的PCA就可完成。用PCA对观测信号进行白化的预处理使得原来所求的解混合矩阵退化成一个正交阵，减少了ICA的工作量。此外，PCA本身具有降维功能，当观测信号的个数大于源信号个数时，经过白化可以自动将观测信号数目降到与源信号维数相同。
2.3 牛顿（Newton ）法及其变形 一、Newton 迭代方法 牛顿迭代法计算公式的推导过程 设*x 是()0f x =的根，()f x 在*x 的邻域内具有二阶连续导数，在*x 的邻域内取一点0x ，使0()0f x '≠，则()f x 在*x 的邻域内连续，将它在0x 点二阶Taylor 展开得 2 0000000()()()()()()2! ()()() f f x f x f x x x x x f x f x x x ξ'''=+-+-'≈+- 又()0f x =，则有 000()()()0f x f x x x '+-≈ 故()0f x =的近似解000()()f x x x f x ≈-'，记0100()() f x x x f x =-' 类似，在点1x 处Taylor 展开，可得： 111()() f x x x f x ≈-'，记1211()()f x x x f x =-' 依次往下做，可得一般的迭代格式：
上述迭代格式称为求()0 f x=的解的牛顿迭代法。 几何意义 在点 00 (,()) x f x处作() f x的切线，交x轴于一点，求该点的横坐标。此切线方程为 000 ()()() y f x f x x x ' -=-， 当0 y=时，得0 () () f x x x f x =- ' ，正是 1 x的值。 类似地，在点(,()) k k x f x作函数() f x的切线，交x轴于一点，切线方程为 ()()() k k k y f x f x x x ' -=-， 当0 y=时，得 () () k k k f x x x f x =- ' ，正是 1 k x + 的值。 所以，牛顿迭代法又称为切线求根法。 例6用牛顿迭代法求方程x x e- =在0.5 x=附近的根。解.将原方程化为()0 x f x x e- =-=，则牛顿迭代格式为
题目和要求 最速下降法是以负梯度方向最为下降方向的极小化算法，相邻两次的搜索方向是互相直交的。牛顿法是利用目标函数)(x f在迭代点 x处的Taylor展开式作为模型函数，并利用这个二次模型函数的极k 小点序列去逼近目标函数的极小点。共轭梯度法它的每一个搜索方向是互相共轭的，而这些搜索方向 d仅仅是负梯度方向k g-与上一次接 k 待的搜索方向 d的组合。 k - 1 运行及结果如下: 最速下降法： 题目：f=(x-2)^2+(y-4)^2 M文件： function [R,n]=steel(x0,y0,eps) syms x; syms y; f=(x-2)^2+(y-4)^2; v=[x,y]; j=jacobian(f,v); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=0; syms kk; while (temp>eps) d=-T; f1=x1+kk*d(1);f2=y1+kk*d(2); fT=[subs(j(1),x,f1),subs(j(2),y,f2)]; fun=sqrt((fT(1))^2+(fT(2))^2); Mini=Gold(fun,0,1,0.00001); x0=x1+Mini*d(1);y0=y1+Mini*d(2); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=n+1; end R=[x0,y0] 调用黄金分割法：
MATLAB实现最速下降法_和牛顿法和共轭梯度法最速下降法: 题目:f=(x-2)^2+(y-4)^2 M文件: function [R,n]=steel(x0,y0,eps) syms x; syms y; f=(x-2)^2+(y-4)^2; v=[x,y]; j=jacobian(f,v); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=0; syms kk; while (temp>eps) d=-T; f1=x1+kk*d(1);f2=y1+kk*d(2); fT=[subs(j(1),x,f1),subs(j(2),y,f2)]; fun=sqrt((fT(1))^2+(fT(2))^2); Mini=Gold(fun,0,1,0.00001); x0=x1+Mini*d(1);y0=y1+Mini*d(2); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0;
n=n+1; end R=[x0,y0] 调用黄金分割法: M文件: function Mini=Gold(f,a0,b0,eps) syms x;format long; syms kk; u=a0+0.382*(b0-a0); v=a0+0.618*(b0-a0); k=0; a=a0;b=b0; array(k+1,1)=a;array(k+1,2)=b; while((b-a)/(b0-a0)>=eps) Fu=subs(f,kk,u); Fv=subs(f,kk,v); if(Fu<=Fv) b=v; v=u; u=a+0.382*(b-a); k=k+1; elseif(Fu>Fv) a=u; u=v; v=a+0.618*(b-a); k=k+1;
本科生实验报告 实验课程数值计算方法 学院名称信息科学与技术学院 专业名称计算机科学与技术 学生姓名 学生学号 指导教师 实验地点 实验成绩 二〇一六年五月二〇一六年五月
实验一非线性方程求根 1.1问题描述 实验目的：掌握非线性方程求根的基本步骤及方法，。 实验内容：试分别用二分法、简单迭代法、Newton迭代法、弦截法(割线法、双点弦法)，求x5-3x3+x-1= 0 在区间[-8,8]上的全部实根，误差限为10-6。 要求：讨论求解的全过程，对所用算法的局部收敛性，优缺点等作分析及比较， 第2章算法思想 2.1二分法 思想：在函数的单调有根区间内，将有根区间不断的二分，寻找方程的解。 步骤： 1.取中点mid=(x0+x1)/2 2.若f(mid)=0,则mid为方程的根，否则比较与两端的符号，若与f(x0) 异号，则根在[x0,mid]之间，否则在[mid,x1]之间。 3并重复上述步骤，直达达到精度要求，则mid为方程的近似解。
2.2 简单迭代法 思想：迭代法是一种逐次逼近的方法，它是固定公式反复校正跟的近似值，使之逐步精确，最后得到精度要求的结果。 步骤：1.构造迭代公式f(x)，迭代公式必须是收敛的。 2.计算x1,x1=f(x0). 3.判断|x1-x0|是否满足精度要求，如不满足则重复上述步骤。 4．输出x1,即为方程的近似解。 f为迭代函数
2.3 Newton迭代法 思想：设r 是的根，选取作为r的初始近似值，过点 做曲线 的切线L，L 的方程为，求出L与x轴交点的 横坐标，称x 1 为r的一次近似值。过点做曲线 的切线，并求该切线与x 轴交点的横坐标，称为r的二次近似值。重复以上过程，得r 的近似值序列，其中，称为r 的 次近似值 步骤：1.计算原函数的导数f’(x);构造牛顿迭代公式 2.计算 ,若f’(x0)=0,退出计算，否则继续向下迭代。 3.若|x1-x0|满足精度要求，x1即为方程的近似解。
改进的牛顿迭代法求解非线性方程 摘要：牛顿法思想是将非线性方程线性化，以线性方程的解逐步逼近非线性方程的解，但是其对初值、波动和可能出现的不收敛等缺点，而牛顿下山法克服了可能出现的发散的缺点。 关键词：牛顿法、牛顿下山法、非线性方程 一、牛顿法的迭代公式 设)(x f 在其零点*x 附近一阶连续可微，且0)(≠'x f ，当*0x x →时，由Taylor 公式有： ))(()()(000x x x f x f x f -'+≈ 以方程 0))(()(000=-'+x x x f x f 近似方程0)(=x f ，其解 ) ()(0001x f x f x x '-= 可作为方程的近似解，重复上述过程，得迭代公式 ),1,0(,) ()(1 ='-=+n x f x f x x n n n n 该方法称为牛顿迭代法。 二、牛顿法的改进 由于牛顿法缺点对牛顿法进行改进，使其计算简单，无需每次迭代都去计算)(x f '，且能够更好的收敛。 2.1简化的牛顿法 牛顿法的缺点之一是每次迭代都得去计算)(k x f '。为回避该问题，常用一个固定 )(k x f '迭代若干步后再求)(k x f '。这就是简化牛顿法的基本思想。 简化牛顿法的公式为： )(1k k k x cf x x -=+
迭代函数 )()(x cf x x -=? 若 2)(0,1)(1)(<'<<'-='x f c x f c x 即?，在根*x 附近成立，则迭代法局部收敛。 显然此法简化了计算量，却降低了收敛速度。 2.2牛顿下山法 牛顿法的缺点二是其收敛依赖与初值0x 的选取，若0x 偏离所求根*x 较远，则牛顿法可能发散。为防止迭代发散，我们对迭代过程再附加一项条件，即具有单调性： )()(1k k x f x f <+ 保证函数值稳定下降，然后结合牛顿法加快收敛速度，即可达目的。将牛顿法的计算结果 ) ()(1k k k k x f x f x x '-=+ 与前一步的近似值k x 适当加权平均作为新的改进值 k k k x x x )1(11λλ-+=++ 其中，称 )10(≤<λλ为下山因子，即为： ) ()(1k k k k x f x f x x '-=+λ 称为牛顿下山法。选择下山因子λ时，从 1=λ开始逐次将λ减半进行试算，直到条件成立为止。 三 举例说明 例1 求方程013=--x x 的根 （1）取5.10=x ，用牛顿法公式： 1 32131---=-+k k k k x x x x x 计算得：32472.1,32520.1,34783.1321===x x x
第四章 无约束优化方法 ——最速下降法，牛顿型方法 概述 在求解目标函数的极小值的过程中，若对设计变量的取值范围不加限制，则称这种最优化问题为无约束优化问题。尽管对于机械的优化设计问题，多数是有约束的，无约束最优化方法仍然是最优化设计的基本组成部分。因为约束最优化问题可以通过对约束条件的处理，转化为无约束最优化问题来求解。 为什么要研究无约束优化问题? （1）有些实际问题，其数学模型本身就是一个无约束优化问题。 （2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。 （3）约束优化问题的求解可以通过一系列无约束优化方法来达到。 所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。 根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。 一：间接法——要使用导数的无约束优化方法，如梯度法、（阻尼）牛顿法、变尺度法、共轭梯度法等。 二：直接法——只利用目标函数值的无约束优化问题，如坐标轮换法、鲍威尔法单纯形法等。 无约束优化问题的一般形式可描述为： 求n 维设计变量 []1 2T n n X x x x R =∈L 使目标函数 ()min f X ? 目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。 无约束优化问题的求解： 1、解析法
可以利用无约束优化问题的极值条件求得。即将求目标函数的极值问题变成求方程 0)(min *=X f 的解。也就是求Ｘ＊使其满足 解上述方程组，求得驻点后，再根据极值点所需满足的充分条件来判定是否为极小值点。但上式是一个含有ｎ个未知量，ｎ个方程的方程组，在实际问题中一般是非线性的，很难用解析法求解，要用数值计算的方法。由第二章的讲述我们知道，优化问题的一般解法是数值迭代的方法。因此，与其用数值方法求解非线性方程组，还不如用数值迭代的方法直接求解无约束极值问题。 2、数值方法 数值迭代法的基本思想是从一个初始点) 0(X 出发，按照一个可行的搜索方向) 0(d ρ搜索，确定最佳的步长0α使函数值沿) 0(d ρ方向下降最大，得到)1(X 点。依此一步一步 地重复数值计算，最终达到最优点。优化计算所采用的基本迭代公式为 ),2,1,0() () () 1(Λρ=+=+k d X X K K K K α （4.2） 在上式中， () K d r 是第是 k+1 次搜索或迭代方向，称为搜索方向（迭代方向）。 由上面的迭代公式可以看出，采用数值法进行迭代求优时，需要确定初始点)(k X 、搜 索方向) (k d ρ和迭代步长K α，称为优化方法迭代算法的三要素。第三章我们已经讨论了 如何在搜索方向) (k d ρ上确定最优步长K α的方法，本章我们将讨论如何确定搜索方向) (k d ρ。 最常用的数值方法是搜索方法，其基本思想如下图所示： 0) (0) (0) (*2*1*=??=??=??n x X f x X f x X f M
用牛顿迭代法求非线性方程的根 一、 实验题目 求方程()013=--=x x x f 在5.1附近的根。 二、 实验引言 （1）实验目的 1. 用牛顿迭代法求解方程的根 2. 了解迭代法的原理 3. 改进和修缮迭代法 （2）实验意义 牛顿迭代法就是众多解非线性方程迭代法中比较普遍的一种，求解方便实用。 三、 算法设计 （1）基本原理 给定初始值0x ，ε为根的容许误差，η为()x f 的容许误差，N 为迭代次数的容许值。 1．如果()0='x f 或迭带次数大于N ，则算法失败，结束；否则执行2. 2．计算()() 0001x f x f x x '-=. 3．若ε<-21x x 或()η<1x f ，则输出1x ，程序结束；否则执行4. 4．令10x x =，转向1. （2）流程图
四、程序设计program nndd01 implicit none real,parameter::e=0.005 real,parameter::n=9 real::x1 real::x0=1.5 integer::k real,external::f,y do k=1,9 if (y(x0)==0) then write(*,*)"失败" else x1=x0-f(x0)/y(x0) if (abs(x1-x0) else x0=x1 end if end if end do end function f(x) implicit none real::f real::x f=x*x*x-x-1 return end function function y(x) implicit none real::y real::x y=3*x*x-1 return end function 五、求解结果 3 1.324718 4 1.324718 5 1.324718 6 1.324718 7 1.324718 8 1.324718 9 1.324718 六、算法评价及讨论 1.在求解在1.5处附近的根，不难发现在输入区间左端值为1时 需要迭代6次，而输入区间左端值为1.5时，却只要4次。初 题目和要求 最速下降法是以负梯度方向最为下降方向的极小化算法，相邻 两次的搜索方向是互相直交的。牛顿法是利用目标函数)(x f 在迭代点k x 处的Taylor 展开式作为模型函数，并利用这个二次模型函数的极小 点序列去逼近目标函数的极小点。共轭梯度法它的每一个搜索方向是互相共轭的，而这些搜索方向k d 仅仅是负梯度方向k g -与上一次接待 的搜索方向1-k d 的组合。 运行及结果如下: 最速下降法： 题目：f=(x-2)^2+(y-4)^2 M 文件： function [R,n]=steel(x0,y0,eps) syms x ; syms y ; f=(x-2)^2+(y-4)^2; v=[x,y]; j=jacobian(f,v); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=0; syms kk ; while (temp>eps) d=-T; f1=x1+kk*d(1);f2=y1+kk*d(2); fT=[subs(j(1),x,f1),subs(j(2),y,f2)]; fun=sqrt((fT(1))^2+(fT(2))^2); Mini=Gold(fun,0,1,0.00001); x0=x1+Mini*d(1);y0=y1+Mini*d(2); T=[subs(j(1),x,x0),subs(j(2),y,y0)]; temp=sqrt((T(1))^2+(T(2))^2); x1=x0;y1=y0; n=n+1; end R=[x0,y0] 调用黄金分割法： M文件： function Mini=Gold(f,a0,b0,eps) syms x;format long; syms kk; u=a0+0.382*(b0-a0); v=a0+0.618*(b0-a0); k=0; a=a0;b=b0; array(k+1,1)=a;array(k+1,2)=b; while((b-a)/(b0-a0)>=eps) Fu=subs(f,kk,u); Fv=subs(f,kk,v); if(Fu<=Fv) b=v; v=u; u=a+0.382*(b-a); k=k+1; elseif(Fu>Fv) a=u; u=v; v=a+0.618*(b-a); k=k+1; end array(k+1,1)=a;array(k+1,2)=b; end Mini=(a+b)/2; 输入： [R,n]=steel(0,1,0.0001) R = 1.99999413667642 3.99999120501463 R = 1.99999413667642 3.99999120501463 n = 1 牛顿法： 题目：f=(x-2)^2+(y-4)^2 M文件： 线性方程组的迭代法应用及牛顿迭代法的改进 摘要: 迭代解法就是通过逐次迭代逼近来得到近似解的方法。由于从不同 的问题而导出的线性代数方程组的系数矩阵不同，因此对于大型稀疏矩阵所对应线性代数方程组，用迭代法求解。本文论述了Jacobi 法，Gauss-Seidel 法，逐次超松弛法这三种迭代法，并在此基础上对牛顿型的方法进行了改进，从而使算法更为精确方便。 关键词:线性方程组，牛顿迭代法，Jacobi 法，Gauss-Seidel 法，逐次超松弛 法 1.线性方程组迭代法 1.1线性方程组的迭代解法的基本思想 迭代法求解基本思想:从某一初始向量X （0）=[x 1(0) ,x 2(0) ,……………x n (0) ]出发，按某种迭代规则，不断地对前一次近似值进行修改，形成近似解的向量{X (k)}。当近似解X (k) =[x 1(k) ,x 2(k) ,……………x n (k) ]收敛于方程组的精确解向量X* =[x 1*,x 2*,……………x n *]时，满足给定精度要求的近似解向量X (k)可作为X*的数值解。 1.2 线性方程组的迭代法主要研究的三个问题 (1) 如何构造迭代公式 (2) 向量数列{X (k)}的收敛条件 (3) 迭代的结束和误差估计 解线性方程组的迭代解法主要有简单迭代法、 Gauss-Seidel 法和SOR 法。简单迭代法又称同时代换法或Jacobi 法，是最简单的解线性方程组的迭代解法也是其他解法的基础。 1.3Jacobi 迭代法 设方程组点系数矩阵n n j A ai R ???=∈??满足条件0ii a ≠，i=0,1,2, …n 。把A 分解为 A=D+L+U 牛顿迭代法求平方根 求n的平方根，先假设一猜测值X0 = 1，然后根据以下公式求出X1，再将X1代入公式右边，继续求出X2…通过有效次迭代后即可求出n的平方根，X k+1 (迭代公式) 简单推导 假设f(x)是关于X的函数: 求出f(x)的一阶导，即斜率: 简化等式得到: 然后利用得到的最终式进行迭代运算直至求到一个比较精确的满意值，为什么可以用迭代法呢理由是中值定理(Intermediate Value Theorem): 如果f函数在闭区间[a,b]内连续，必存在一点x使得f(x) = c，c是函数f在闭区间[a,b]内的一点 我们先猜测一X初始值，例如1，当然地球人都知道除了1本身之外任何数的平方根都不会是1。然后代入初始值，通过迭代运算不断推进，逐步靠近精确值，直到得到我们主观认为比较满意的值为止。例如要求768的平方根，因为252 = 625，而302 = 900，我们可先代入一猜测值26，然后迭代运算，得到较精确值:。 回到我们最开始的那个”莫名其妙”的公式，我们要求的是N的平方根，令x2 = n，假设一关于X的函数f(x)为: f(X) = X2 - n 求f(X)的一阶导为: f'(X) = 2X 代入前面求到的最终式中: X k+1 = X k - (X k2 - n)/2X k 化简即得到我们最初提到的那个求平方根的神奇公式了: 用泰勒公式推导 我之前介绍过在The Art and Science of C一书中有用到，其实牛顿迭代法也可以看作是泰勒公式(Taylor Series)的简化，先回顾下泰勒公式: 仅保留等式右边前两项: 令f(X0+ε) = 0，得到: 再令X1 = X0+ ε0，得到ε1…依此类推可知: 转化为: 引申 从推导来看，其实牛顿迭代法不仅可以用来求平方根，还可以求立方根，甚至更复杂的运算。 同样，我们还可以利用pascal语言来实现下那个最简单的求平方根的公式(尽管我们可以直接用sqrt()完成) program asd (input,output); var a,x,n,i:real; begin writeln('Please input a!'); 最速下降法与牛顿法及其区别 摘要：无约束优化方法是优化技术中极为重要和基本内容之一。它不仅可以直接用来求解无约束优化问题，而且很多约束优化问题也常将其转化为无约束优化问题，然后用无约束优化方法来求解。最速下降法和牛顿法是比较常见的求解无约束问题的最优化方法，这两种算法作为基本算法，在最优化方法中占有重要的地位。其中最速下降法又称梯度法，其优点是工作量少，存储变量较少，初始点要求不高；缺点是收敛慢，效率低。牛顿法的优点是收敛速度快；缺点是对初始点要求严格，方向构造困难，计算复杂且占用内存较大。同时，这两种算法的理论和方法渗透到许多方面，特别是在军事、经济、管理、生产过程自动化、工程设计和产品优化设计等方面都有着重要的应用。因此，研究最速下降法和牛顿法的原理及其算法对我们有着及其重要的意义。 关键字：无约束优化最速下降法牛顿法 Abstract: unconstrained optimization method is to optimize the technology is extremely important and basic content of. It not only can be directly used to solve unconstrained optimization problems, and a lot of constrained optimization problems are often transformed into unconstrained optimization problem, and then use the unconstrained optimization methods to solve. The steepest descent method and Newton-Raphson method is relatively common in the unconstrained problem optimization method, these two kinds of algorithm as the basic algorithm, the optimization method plays an important role in. One of the steepest descent method also known as gradient method, its advantages are less workload, storage variable is less, the initial requirements is not high; drawback is the slow convergence, low efficiency. Newtonian method has the advantages of fast convergence speed; drawback is the initial point of strict construction difficulties, directions, complicated calculation and larger memory. At the same time, these two kinds of algorithm theory and methods into many aspects, especially in the military, economic, management, production process automation, engineering design and product optimization design has important applications. Therefore, to study the steepest descent method and Newton-Raphson method principle and algorithm for us with its important significance. Keywords: unconstrained optimization steepest descent method 实验报告一：实验题目 一、 实验目的 掌握求解非线性方程根的二分法、简单迭代法和牛顿迭代法，并通过数值实验比较两种方法的收敛速度。 二、 实验内容 1、编写二分法、牛顿迭代法程序，并使用这两个程序计算 02)(=-+=x e x x f 在[0, 1]区间的解，要求误差小于 4 10- ，比较两种方法收敛速度。 2、在利率问题中，若贷款额为20万元，月还款额为2160元，还期为10年，则年利率为多少？请使用牛顿迭代法求解。 3、由中子迁移理论，燃料棒的临界长度为下面方程的根cot x =(x 2?1)/2x ，用牛顿迭代法求这个方程的最小正根。 4、用牛顿法求方程f (x )=x 3?11x 2+32x ?28=0的根，精确至8位有效数字。比较牛顿迭代法算单根和重根的收敛速度，并用改进的牛顿迭代法计算重根。 三、 实验程序 第1题： 02)(=-+=x e x x f 区间[0,1] 函数画图可得函数零点约为0.5。 画图函数： function Test1() % f(x) 示意图, f(x) = x + exp(x) - 2; f(x) = 0 r = 0:0.01:1; y = r + exp(r) - 2 plot(r, y); grid on 二分法程序： 计算调用函数：[c,num]=bisect(0,1,1e-4) function [c,num]=bisect(a,b,delta) %Input –a,b 是取值区间范围 % -delta 是允许误差 %Output -c 牛顿迭代法最后计算所得零点值 % -num 是迭代次数 ya = a + exp(a) - 2; yb = b + exp(b) - 2; if ya * yb>0 return; end for k=1:100 c=(a+b)/2; yc= c + exp(c) - 2; if abs(yc)<=delta a=c; b=c; elseif yb*yc>0 b=c; yb=yc; else a=c; ya=yc; end if abs(b-a) 优化算法及应用报告 （一）用Newton 法求函数最优解 1.1课本P117页例4.3.2 t 0min （t ） = arctan xdx ?? 1.2方法步骤 Step1：给定初始点 1t ，k ε>0,=1 Step2：对函数求一次导数得到df1，若|1| df <ε ，则迭代停止，输出k t 否则，二次求导dff2=0时，停止，解题失败。 当dff2不等于0时，转下一步。 Step3:计算1(1/2)k k t t df dff += - ，如果1||k k t t +-<ε ，停止迭代，输出1k t +， 否则，k=k+1，转step2 1.3计算结果： Df1= atan(x)（matlab 中arctan （x ）用atan （x ）表示） Dff2= 1/(x^2 + 1) （1）t1=1时 接近最优解* t =0. （2）t1=2时 1.4程序，见附件test1，newton Test1 函数带入 clc clear all syms x t f1=int(atan(x),x,0,t); beex=newton(f1,t,1,0.5); newton 牛顿方法的函数 function[besx]=newton(f1,t,t1,c) %step1 syms t df1=diff(f1,t);%函数一次求导 dff2=diff(f1,t,2);%函数二次求导 while(true) if(abs(subs(df1,t1)) 牛顿法 迭代公式：(1)2()1()[()]()k k k k x x f x f x +-=-?? Matlab 代码： function [x1,k] =newton(x1,eps) hs=inline('(x-1)^4+y^2'); 写入函数 ezcontour(hs,[-10 10 -10 10]); 建立坐标系 hold on; 显示图像 syms x y 定义变量 f=(x-1)^4+y^2; 定义函数 grad1=jacobian(f,[x,y]); 求f 的一阶梯度 grad2=jacobian(grad1,[x,y]); 求f 的二阶梯度 k=0; 迭代初始值 while 1 循环 grad1z=subs(subs(grad1,x,x1(1)),y,x1(2)); 给f 一阶梯度赋初值 grad2z=subs(subs(grad2,x,x1(1)),y,x1(2)); 给f 二阶梯度赋初值 x2=x1-inv(grad2z)*(grad1z)'; 核心迭代公式 if norm(x1-x2) end end end 优点：在极小点附近收敛快 缺点：但是要计算目标函数的hesse 矩阵 最速下降法 1. ：选取初始点xo ，给定误差 2. 计算一阶梯度。若一阶梯度小于误差，停止迭代，输出 3. 取()()()k k p f x =? 4. 10 t ()(), 1.min k k k k k k k k k k t f x t p f x tp x x t p k k +≥+=+=+=+进行一维搜索，求，使得令转第二步 例题： 求min (x-2)^4+(x-2*y)^2.初始值（0,3）误差为0.1 (1)编写一个目标函数，存为f.m function z = f( x,y ) z=(x-2.0)^4+(x-2.0*y)^2; end (2)分别关于x 和y 求出一阶梯度，分别存为fx.m 和fy.m function z = fx( x,y ) z=2.0*x-4.0*y+4.0*(x-2.0)^3; end 和 function z = fy( x,y )用MATLAB实现最速下降法-牛顿法和共轭梯度法求解实例
线性方程组的迭代法应用及牛顿迭代法的改进
牛顿迭代法求平方根
最速下降法与牛顿法及其区别
数值分析求解非线性方程根的二分法,简单迭代法和牛顿迭代法
matab实现牛顿法最速下降法罚函数法
最优化牛顿法最速下降法共轭梯度法matlab代码
相关主题
文本预览