下载文档原格式
牛顿迭代法（Newton’s Method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson Method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。
与一阶方法相比，二阶方法使用二阶导数改进了优化，其中最广泛使用的二阶方法是牛顿法。
考虑无约束最优化问题：其中 \theta^{\ast} 为目标函数的极小点，假设 f\left( \theta \right) 具有二阶连续偏导数，若第 k 次迭代值为 \theta^{k} ，则可将f\left( \theta \right)在\theta^{k}近进行二阶泰勒展开：这里，g_{k}=x^{\left( \theta^{k} \right)}=∇f\left( \theta^{k} \right)是f\left( \theta \right) 的梯度向量在点 \theta^{k}的值， H\left( \theta^{k} \right) 是 f\left( \theta \right) 的Hessian矩阵：在点 \theta^{\left( k \right)}的值。
函数 f\left( \theta \right) 有极值的必要条件是在极值点处一阶导数为0，即梯度向量为0，特别是当H\left( \theta\right) 是正定矩阵时，函数 f\left( \theta \right) 的极值为极小值。
牛顿法利用极小点的必要条件：这就是牛顿迭代法。
迭代过程可参考下图：在深度学习中，目标函数的表面通常非凸（有很多特征），如鞍点。
因此使用牛顿法是有问题的。
如果Hessian矩阵的特征值并不都是正的，例如，靠近鞍点处，牛顿法实际上会导致更新朝错误的方向移动。
这种情况可以通过正则化Hessian矩阵来避免。
常用的正则化策略包括在Hessian矩阵对角线上增加常数α 。
正则化更新变为：这个正则化策略用于牛顿法的近似，例如Levenberg-Marquardt算，只要Hessian矩阵的负特征值仍然相对接近零，效果就会很好。
有一种迭代方法叫牛顿迭代法，是用于求方程或方程组近似根的一种常用的算法设计方法。
设方程为f(x)=0，用某种数学方法导出等价的形式x(n+1) = g(x(n)) = x (n)–f(x(n))/f‘(x(n)).然后按以下步骤执行：(1) 选一个方程的近似根，赋给变量x1;(2) 将x0的值保存于变量x1，然后计算g(x1)，并将结果存于变量x0;(3) 当x0与x1的差的绝对值还小于指定的精度要求时，重复步骤(2)的计算。
若方程有根，并且用上述方法计算出来的近似根序列收敛，则按上述方法求得的x0就认为是方程的根。
例1：已知f(x) = cos(x) - x。
x的初值为3.14159/4,用牛顿法求解方程f(x) =0的近似值，要求精确到10E－6。
算法分析：f(x)的Newton代法构造方程为：x(n+1) = xn - (cos(xn)-xn) / (-sin(xn)-1)。
#include<stdio.h>double F1(double x); //要求解的函数double F2(double x); //要求解的函数的一阶导数函数double Newton(double x0, double e);//通用Newton迭代子程序int main(){double x0 = 3.14159/4;double e = 10E-6;printf("x = %f\n", Newton(x0, e));getchar();return 0;}double F1(double x) //要求解的函数{return cos(x) - x;}double F2(double x) //要求解的函数的一阶导数函数{return -sin(x) - 1;}double Newton(double x0, double e)//通用Newton迭代子程序{double x1;do{x1 = x0;x0 = x1 - F1(x1) / F2(x1);} while (fabs(x0 - x1) > e);return x0; //若返回x0和x1的平均值则更佳}例2：用牛顿迭代法求方程x^2 - 5x + 6 = 0，要求精确到10E－6。
§3 牛顿迭代法Newton Iteration————切线法牛顿迭代法是最著名的方程求根方法。
已经通过各种方式把它推广到解其他更为困难的非线性问题。
【例如】非线性方程组、非线性积分方程和非线性微分方程。
虽然牛顿法对于给定的问题不一定总是最好的方法，但它的简单形式和快的收敛速度常常使得解非线性问题的人优先考虑它。
迭代一般理论告诉我们，构造好的迭代函数可使收敛速度提高。
然而迭代函数的构造方法又各不相同，方法多样。
牛顿法是受几何直观启发，给出构造迭代函数的一条重要途径。
牛顿迭代的基本思想:方程f(x)=0的根，几何意义是曲线y=f(x)与ox轴y=0的交点。
求曲线与y=0的交点没有普遍的公式，但直接与0x 轴的交点容易计算。
用直线近似曲线y=f(x)，从而用直线方程的根逐步代替f(x)=0的根。
即把非线性方程逐步线性化。
方法：设x k是f(x)=0的一个近似根，把f(x)在x k处作一阶Taylor 展开，得到))(()()(k k k x x x f x f x f -'+≈ （19）设)(k x f '≠0，由于0)())(()(=≈-'+x f x x x f x f k k k所以求得解记为1+k x ，有牛顿迭代公式：（20） 按牛顿迭代计算称为牛顿迭代法。
牛顿法的几何意义：选初值x k 以后，过))(,(k k x f x p 点，作曲线y=f(x)的切线，其切线方程为))(()()(k k k x x x f x f x f -'+= (21)切线与ox 轴的交点，为1+k x ，则)(/)(1k k k k x f x f x x '-=+（22）牛顿迭代法也称为切线法。
迭代法的收敛性：如果取)(/)()(k k x f x f x x g '-=，则有x=g(x)，从而牛顿迭代公式就是)(1k k x g x =+因此就可以由考察g(x)的性质，来讨论迭代法的收敛性及收敛速度。
一 .牛顿迭代法简介1.牛顿迭代法的产生背景牛顿迭代法（Newton's method）又称为牛顿-拉夫逊方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。
多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。
方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根。
牛顿迭代法是求方程根的重要方法之一，其最大优点是在方程f(x)=0的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根,此时线性收敛，但是可通过一些方法变成超线性收敛。
另外该方法广泛用于计算机编程中。
利用牛顿迭代法来解决问题需要做好的工作：（1）确定迭代变量。
在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。
（2）建立迭代关系式。
所谓迭代关系式，指如何从变量的前一个值推出其下一个值的公式（或关系）。
迭代关系式的建立是解决迭代问题的关键，通常可以使用递推或倒推的方法来完成。
（3）对迭代过程进行控制。
在什么时候结束迭代过程？这是编写迭代程序必须考虑的问题。
不能让迭代过程无休止地重复执行下去。
迭代过程的控制通常可分为两种情况：一种是所需的迭代次数是个确定的值，可以计算出来；另一种是所需的迭代次数无法确定。
对于前一种情况，可以构建一个固定次数的循环来实现对迭代过程的控制；对于后一种情况，需要进一步分析出用来结束迭代过程的条件。
2.牛顿迭代法的概述牛顿迭代法（Newton's method）又称为牛顿-拉夫逊方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。
多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。
方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根。
三种牛顿迭代法牛顿迭代法是求解方程的一种常用方法。
它是一种迭代法，基本思想是从一个初始点开始，通过函数的局部线性逼近，求得函数的零点。
然后利用新的零点作为下一次迭代的初始点，直到满足预设的精度要求为止。
三种常用的牛顿迭代法包括：常规牛顿迭代法、改进牛顿迭代法和高效牛顿迭代法。
常规牛顿迭代法是最基本的牛顿迭代法，它通过函数的一阶导数和二阶导数来逼近函数的零点。
具体而言，设$f(x)$是要求解的方程，$x_{k}$是当前的估计解，$f^{prime}(x_{k})$是$f(x)$在$x_{k}$处的一阶导数，$f^{prime prime}(x_{k})$是$f(x)$在$x_{k}$处的二阶导数，则常规牛顿迭代法的迭代公式为：$x_{k+1}=x_{k}-frac{f(x_{k})}{f^{prime}(x_{k})}$ 改进牛顿迭代法是针对常规牛顿迭代法的局限性而提出的。
常规牛顿迭代法在求解某些特定的方程时可能会失效，例如当$f^{prime}(x_{k})$接近于零时，迭代公式会出现除零的情况。
改进牛顿迭代法通过加入一个修正因子来避免这种情况的发生。
具体而言，在计算$x_{k+1}$时，改进牛顿迭代法的迭代公式为：$x_{k+1}=x_{k}-frac{f(x_{k})}{f^{prime}(x_{k})+frac{1}{2}f^ {prime prime}(x_{k})(x_{k+1}-x_{k})}$高效牛顿迭代法是一种优化的牛顿迭代法，它通过使用逆Hessian矩阵来加速迭代收敛。
逆Hessian矩阵是函数$f(x)$在$x_{k}$处的Hessian矩阵的逆矩阵，即$H^{-1}(x_{k})=[f^{prime prime}(x_{k})]^{-1}$，其中$[f^{prime prime}(x_{k})]^{-1}$表示$f(x)$在$x_{k}$处的二阶导数矩阵的逆矩阵。
高效牛顿迭代法的迭代公式为：$x_{k+1}=x_{k}-H^{-1}(x_{k})f(x_{k})$总之，牛顿迭代法是一种重要的求解方程的方法，常规牛顿迭代法、改进牛顿迭代法和高效牛顿迭代法是其中的三种常用方法，每种方法都有其适用范围和优缺点。
牛顿迭代法一、 牛顿迭代法牛顿迭代法也称为牛顿-拉夫森(Newton-Raphson)迭代法，它是数值分析中最重要的方法之一，它不仅适用于方程或方程组的求解，还常用于微分方程和积分方程求解。
二、 迭代公式,...2,1,0,)()(1='-=+k x f x f x x k k k k用迭代法解非线性方程时，如何构造迭代函数是非常重要的，那么怎样构造的迭代函数才能保证迭代法收敛呢？牛顿迭代法就是常用的方法之一，其迭代格式的来源大概有以下几种方式（主要是第一种）：1、设],[)(2b a C x f ∈，对)(x f 在点],[0b a x ∈作泰勒展开： !2))((''))((')()(20000x x f x x x f x f x f -+-+=ξ略去二次项，得到)(x f 的线性近似式：))((')()(000x x x f x f x f -+≈。
由此得到方程=)(x f 0的近似根(假定≠)('0x f 0)，)(')(000x f x f x x -=即可构造出迭代格式(假定≠)('k x f 0)：)(')(1k k k k x f x f x x -=+ 公式(1)这就是牛顿迭代公式，若得到的序列{k x }收敛于α，则α就是非线性方程的根。
2、 牛顿迭代法也称为牛顿切线法，这是由于)(x f 的线性化近似函数)(x l ＝))((')(000x x x f x f -+是曲线y ＝)(x f 过点))(,(00x f x 的切线而得名的，求)(x f 的零点代之以求)(x l 的零点，即切线)(x l 与x 轴交点的横坐标，如右图所示，这就是牛顿切线法的几何解释。
实际上，牛顿迭代法也可以从几何意义上推出。
利用牛顿迭代公式，由k x 得到1+k x ，从几何图形上看，就是过点))(,(k k x f x 作函数)(x f 的切线k l ，切线k l 与x 轴的交点就是1+k x ，所以有1)()('+-=k k k k x x x f x f ，整理后也能得出牛顿迭代公式：)(')(1k k k k x f x f x x -=+。
牛顿迭代法算法
牛顿迭代法，又称牛顿-拉夫逊方法，是一种用来近似求解方程根的迭代算法。
该算法以牛顿的差商公式为基础，通过不断迭代逼近方程的根。
假设我们要求解方程 f(x)=0 的根，其中 f(x) 是一个连续可微的函数。
牛顿迭代法的步骤如下：
1. 选择一个初始近似根 x0；
2. 计算初始点处的函数值 f(x0) 和导数值 f'(x0)；
3. 使用牛顿迭代公式 x1 = x0 - f(x0)/f'(x0) 计算下一个近似根；
4. 如果 |x1 - x0| 小于某个给定的精度要求，即达到所需精度，停止迭代并输出结果 x1 作为方程的近似根；
5. 否则，令 x0 = x1，返回步骤 2 继续迭代。
牛顿迭代法的思想是通过逐步改进初始近似根，使其逐渐接近真实根。
算法的收敛性与初始近似根的选择有关，通常需要合理选择初始点以确保算法的稳定性和快速收敛。
该算法被广泛应用于优化、数值分析、物理学等领域，具有较高的收敛速度和准确性。
牛顿迭代法的主要优势是可以求解高阶多项式方程以及非线性方程等复杂问题。
需要注意的是，牛顿迭代法也存在收敛速度慢、可能陷入局部最小值等缺点。
在实际应用中，需要根据具体问题来选择合适的求解方法。
