牛顿法

牛顿法拟牛顿法

牛顿法是一种求解非线性方程的方法，其原理是在迭代中使用方程的导数来近似方程的根。虽然牛顿法非常有效，但它往往需要非常精准的初始猜测才能保证收敛性。另一种类似于牛顿法的方法是拟牛顿法，它可以通过逐步调整矩阵B来近似牛顿法的矩阵Hessian。本文将介绍牛顿法和拟牛顿法的原理和应用。

一、牛顿法

假设有一个n维非线性方程系统f(x)=0，其中x是一个n维向量。牛顿法中的每个迭代都是通过以下公式来更新当前估计xk的：

xk+1=xk-Hk^(-1)fk

其中Hk是f(x)的Hessian矩阵在xk处的值，假设Hk是可逆的。牛顿法的优点是它快速收敛，并且可以通过适当选择初始估计来实现收敛。另一个好处是它可以直接用于求解大型系统，因为它只涉及二次导数的计算。

然而，牛顿法的缺点是它需要计算Hessian矩阵，这通常是一个费时且复杂的任务。另一个问题是当Hessian矩阵的条件数（即最大特征值与最小特征值之比）很大时，牛顿法的收敛可能会变得很慢。

二、拟牛顿法

拟牛顿法的思想是利用一个矩阵Bk来代替牛顿法中的Hk矩阵。Bk是一个正定对称的矩阵，其初值通常为单位矩阵In。在每个迭代中，Bk被更新为一个近似的Hessian逆矩阵。最常用的拟牛顿法算法之一是BFGS算法，其更新规则如下：

Bk+1=Bk+(yk^Tyk)/(yk^Ts)+(BkSkS^TBk)/(sk^TBksk)

其中sk=xk+1-xk，yk=g(xk+1)-g(xk)，g表示f的梯度，^T表示矩阵转置。该公式是基于以下观察得出的： Bk+1应该满足以下性质：

Bk+1是正定对称的。

Bk+1应该近似于Hk+1的逆，其应该满足以下方程：

Bk+1sk=yk

另外，BFGS算法的收敛速度也相对比牛顿法要慢，因为BFGS算法需要逐步修正矩阵Bk，直到其逼近Hessian矩阵的逆。

三、应用

牛顿法和拟牛顿法在许多实际问题中应用广泛，特别是在数学、物理、金融和工程领域。例如，它们可以用于求解非线性最小二乘问题、最大似然问题和非线性方程组，如电路设计、统计建模和图像处理等问题。

牛顿法推导

（一）牛顿法推导的概念

牛顿法，又被称为牛顿-拉夫逊方法，是17世纪由艾萨克·牛顿提出的一种在实数域和复数域上近似求解方程的方法。牛顿法的基本思想是用迭代点的梯度信息和二阶导数对目标函数进行二次函数逼近，然后将这个二次函数的极小值或极大值作为新的迭代点。这个过程会不断重复进行，直至找到满足要求的迭代解。在实际应用中，例如机器学习领域，牛顿法和梯度下降法等都是主要的优化算法。

假设我们需要求解函数f(x)在某区间[a, b]上的零点，初始点为x0。迭代公式如下：

x_{k+1} = x_k - f(x_k)/f'(x_k)

其中，f'(x_k)表示的是函数在x_k处的一阶导数，f''(x_k)表示的是函数在x_k处的二阶导数。而我们要求的就是使得上述公式趋向于零的解x，也就是极小值点或者极大值点。然而在实际应用中，由于海塞矩阵的逆矩阵计算较为复杂，因此有了拟牛顿法用来简化这一过程。

（二）牛顿法推导的优缺点

牛顿法的优点主要包括收敛速度快，具有二阶收敛性。对于二次正定函数，迭代一次便可以得到最优解，对于非二次函数，若函数二次性较强或迭代点已经进入最优点的较小邻域，则收敛速度也很快。

然而，牛顿法也存在一些缺点。首先，牛顿法是迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。此外，如果目标函数的海森矩阵无法保持正定，牛顿法可能会失效。其次，牛顿法对函数要求较为苛刻，函数必须具有连续的一、二阶偏导数，并且海森矩阵必须正定。另外，当初始点离最优解较远时，可能会导致牛顿法发散或者效率降低。最后，由于牛顿法是一种基于二次近似的算法，可能产生一定的误差，这就需要反复进行迭代。为了克服这些问题，拟牛顿法被提出，通过不直接使用二阶偏导数而构造出可以近似海森矩阵或者海森矩阵的逆的正定对称阵，来优化目标函数。

（三）牛顿法推导的意义

牛顿法的意义在于，它是一种强大的数学工具，可以求解函数的极值问题以及方程的根。这两种问题在本质上是一个问题，因为求解函数极值的思路是寻找导数为0的点，这就是求解方程。牛顿法的核心思想是利用泰勒展开式在某一点处用二次函数来近似目标函数，得到一个零导数的方程，然后求解这个方程以求得下一个迭代点。值得注意的是，由于牛顿法使用二次函数进行逼近，因此可能会产生一定的误差，这就需要反复进行迭代，直到达到导数为0的点。另外，拟牛顿法是牛顿法的一种改进形式，其所需计算量较少且收敛速度可以达到超线性。

平方根的计算方法

导言：

平方根（square root）是数学中常见的运算，用于求一个数的平方根。计算平方根可以帮助我们解决很多实际问题，例如在几何学、物理学和工程学中的应用。本文将介绍几种计算平方根的方法，并探讨它们的优缺点。

一、牛顿法（Newton's Method）

牛顿法是一种迭代法，通过不断逼近平方根的值来得到更加精确的结果。该方法基于牛顿-拉夫逊法则，其迭代公式如下：

𝑥_(𝑥+1) = 𝑥_𝑥 - (𝑥_𝑥^2 - 𝑥)/(2𝑥_𝑥)

其中，𝑥为需要求平方根的数，𝑥为迭代次数，𝑥_𝑥为迭代过程中的近似值。通过迭代计算，𝑥_𝑥将逐渐逼近平方根。

牛顿法的优点是收敛速度快、迭代次数较少，适用于求解大部分整数和实数的平方根。但是，牛顿法需要选择一个合适的初始值，否则可能导致结果偏离真实值。

二、二分法（Bisection Method）

二分法是一种基于区间划分的方法，通过不断将区间缩小，逐渐逼近平方根的值。该方法的思路是，如果一个数的平方大于待求平方根的数，那么这个数的平方根必然在该数左侧；反之，如果一个数的平方小于待求平方根的数，那么这个数的平方根必然在该数右侧。通过不断将区间一分为二，可以逐步缩小范围。

二分法的优点是简单易实现，并且收敛性较好。然而，与牛顿法相比，二分法的收敛速度较慢，需要更多的迭代次数。

三、连分数（Continued Fraction）法

连分数法是一种将平方根表示为连分数的方法，通过截断连分数的展开式，可以近似计算平方根的值。

以求解正整数的平方根为例，设平方根为一个无限连分数：

√𝑥 = 𝑥_0 + 1/(𝑥_1 + 1/(𝑥_2 + 1/(𝑥_3 + 1/(𝑥_4 + ...))))

其中，𝑥_𝑥为连分数的系数。通过不断截断、逼近连分数的展开，可以得到近似的平方根。

连分数法的优点是可以提供较为准确的结果，并且在计算机实现时能够保持高精度。然而，连分数法的计算步骤繁琐，对于非整数的平方根计算较为复杂。

牛 顿 光 环

牛顿法(Newton’s method),又称为牛顿-拉弗森方法(Newton-Raphson method),它是一种在实数域和复数域上近似求解方程的方法.方程使用函数f(x)的泰勒级数的前几项来寻找方程f(x)=0的跟.

一般来说,牛顿对此方程的解法做出的贡献应该比后者约瑟夫.拉弗森大,因为按照既定的命名规则,牛顿的名字在前.但我想说的是,牛顿是剽窃了约瑟夫的方法和成果,约瑟夫.拉弗森早在五十年前就发表了同样的方法,而且如果初始值偏离零点太远,这个方法就不适用.

约瑟夫.拉弗森,才是这个方法的创造者,而为什么时至今日,仍然没有被称为拉弗森-牛顿方法呢?这个想法有些极端,与其不能做第一,在方法上挂个名字也是对数学家的一种羞辱.一方面,牛顿的宣传工作做的比较好,牛顿在他的时代是巨人,是真理,很少有人能撼动他的学术地位.另一方面,从1700年之后,我们对约瑟夫.拉弗森了解甚少.

也许很多年之后,当约瑟夫开始从此方法的命名中被模糊,被删去,只留下神一般的牛顿;约瑟夫.拉弗森会被历史淡忘,这是他人生最大的贡献,却因为别人的光环而被忽视.这不公平,这不是数学界,这像是后宫的争宠.

很多时候,牛顿的光环遮掩了其他人的光芒.

十七世纪下半叶,在前人工作的基础上,牛顿和德国的数学家莱布尼兹分别在自己的国度里独自研究和完成和微积分的创立工作,虽然这只是十分初步的工作.他们最大的功绩是把两个貌似毫不相关的问题联系在一起,一个是切线问题(微分学的中心问题)和求积问题(积分学的中心问题).

牛顿和莱布尼兹建立微积分的出发点是直观的无穷小量,因此一开始这门科学也被称为无穷小分析.牛顿着重于运动学方面的考量,而莱布尼兹则是侧重于几何学方面.

当微积分称为一种体系,成为一门科学,势必有人开始争夺,开始为了名利,争夺谁发现了,谁创造了,谁创始了,谁发明了等等等等这种问题.当你看着一群学界泰斗,一帮大老爷们,为此争的面红耳赤,也可以看作是将要发生的数学第N次危机.微积分的发明优先权,竟也争执了从1699年开始的一百年.