高斯牛顿法公式

非线性回归预测法——高斯牛顿法(詹学朋) 非线性回归预测法

前面所研究的回归模型，我们假定自变量与因变量之间的关系是线性的，但社会经济现象是极其复杂的，有时各因素之间的关系不一定是线性的，而可能存在某种非线性关系，这时，就必须建立非线性回归模型。

一、非线性回归模型的概念及其分类

非线性回归模型，是指用于经济预测的模型是曲线型的。常见的非线性回归模型有下列几种：

(1)双曲线模型：

iiixy121 (3-59)

(2)二次曲线模型：

iiiixxy2321 (3-60)

(3)对数模型：

iiixyln21 (3-61)

(4)三角函数模型：

iiixysin21 (3-62)

(5)指数模型：

ixiiaby (3-63)

iiixxiey221110 (3-64)

(6)幂函数模型：

ibiiaxy (3-65)

(7)罗吉斯曲线：

ixxiiieey1101101 (3-66)

(8)修正指数增长曲线：

ixiibray (3-67)

根据非线性回归模型线性化的不同性质，上述模型一般可细分成三种类型。

第一类：直接换元型。

这类非线性回归模型通过简单的变量换元可直接化为线性回归模型，如：(3-59)、(3-60)、(3-61)、(3-62)式。由于这类模型的因变量没有变形，所以可以直接采用最小平方法估计回归系数并进行检验和预测。

第二类：间接代换型。

这类非线性回归模型经常通过对数变形的代换间接地化为线性回归模型，如：(3-63)、(3-64)、(3-65)式。由于这类模型在对数变形代换过程中改变了因变量的形态，使得变形后模型的最小平方估计失去了原模型的残差平方和为最小的意义，从而估计不到原模型的最佳回归系数，造成回归模型与原数列之间的较大偏差。

高斯光学

又称近轴光学，是几何光学中研究共轴光学系统近轴区成像规律的一个分支。1841年德国科学家C.F.高斯在其著作中阐明了有关理论。

基本概念 共轴光学系统 由透镜、反射镜等光学元件组成的系统，其中所有的折射面和反射面都是旋转对称面，并有一个共同的对称轴，称为光轴。一般常见的共轴光学系统中折射面和反射面都是球面（平面当作半径无穷大的球面看待），通过所有球面的球心的直线即光轴。

理想光学系统 能产生清晰的、与物体完全相似的像的光学系统。下面用图1进一步说明。不讨论光学系统的内部结构,只用最前表面M和最后表面M┡ 示意代表一个系统,OO┡为其光轴。物空间的一条光线经过光学系统中一系列光学表面的折射（或反射）后进入像空间，这条像空间光线和对应的物空间光线称为一对共轭光线。由物点P1发出许多光线，如果系统是理想的，则像空间的所有共轭光线都通过同一点P姈。P姈是P1的清晰像点,它们互称共轭点,通过P1的垂轴平面和通过P姈的垂轴平面是一对共轭面。P1和P姈到光轴的距离分别为物高y1和像高y姈;像高与物高之比，即β＝y姈/y1称垂轴放大率。在同一对共轭面上任意一对共轭点（如P2、P1）都有相同的垂轴放大率，因此理想光学系统所成的像与物有完全相似的几何形状。

实际的光学系统一般都不具有理想成像性质，但如果只考虑靠近光轴的很小范围(称为近轴区)，则由于此范围内光线与光轴的夹角很小，其正弦值可用角值（单位为弧度）代替，任何共轴光学系统用单色光成像时就具有理想光学系统的性质。

高斯光学适用范围 高斯光学的理论和公式适用于共轴光学系统的近轴区；当这个系统是理想光学系统时，对近轴区和非近轴区都同样适用。通常遇到的系统虽然都不是真正的理想光学系统，但在光学设计过程中，各种像差都得到某种程度的校正，就一定的孔径和视场范围而言，系统接近于一个理想光学系统，因此高斯光学的计算结果（像的大小、成像位置等）对非近轴区也接近正确；当然,它与光线追迹结果或多或少有些差别,而这个差别正好能说明像差校正的完善程度。因此，高斯光学虽然只描述近轴区的成像性质，但在衡量非近轴区的成像状况和质量方面是必不可少的。特别是在光学系统初步设计阶段，高斯光学的理论和有关计算公式有其重要的实用意义。

光学牛顿公式和高斯公式

光学公式（公式一）：

在光学中，有一条被称为光学公式的基本关系式，其形式类似于牛顿公式。这个公式描述了光线经过光学元件（如透镜）时产生的折射现象。

设光线从一个介质（如空气）射入另一个介质（如玻璃），其入射角为θ_1，折射角为θ_2。则根据光学公式可以得到如下关系：

n_1 × sin(θ_1) = n_2 × sin(θ_2)

n_1和n_2分别是两个介质的折射率，sin(θ_1)和sin(θ_2)分别是入射角和折射角的正弦值。

高斯公式（公式二）：

高斯公式是光学中用于计算薄透镜成像的一种公式，由哥特弗里德·威廉·莱布尼茨与约翰内斯·凯普勒设计。

设一个物体与薄透镜之间的距离为u，物体到透镜的焦距为f，则像到透镜的距离为v。根据高斯公式，我们可以得到如下关系：

1/v - 1/u = 1/f

v为像的位置，u为物体的位置。此公式的表达方式是光学中常用的一种方法，用于定性描述薄透镜成像的情况。

这两个公式在光学研究中具有重要的作用，能够描述光线在传播和成像过程中的行为，为我们解释和预测光学现象提供了基础。

高斯牛顿法和内点法

高斯牛顿法与内点法是许多数值优化问题中常用的两种优化算法。这两种方法有一些相似之处，但同时也存在一些显著的差异。

高斯牛顿法是一种用于解决非线性最小二乘问题的迭代算法。该算法将待优化的目标函数拆解为一系列二次函数的和，然后通过不断优化每个二次函数的参数，最终获得目标函数最小值。该算法主要用于解决大规模非线性回归问题。

该算法的迭代过程非常简单，每次迭代仅需要计算目标函数的梯度和海森矩阵，然后通过求解海森矩阵的逆矩阵来更新参数。由于海森矩阵的逆矩阵通常比较难计算，因此该算法在实际应用中通常使用一些简单的近似方法来计算逆矩阵，例如拟牛顿法。

虽然高斯牛顿法非常高效，但是它也存在一些缺陷。首先，该算法通常比较依赖初始参数，如果初始参数选取不好，可能会导致无法获得良好的最优解。其次，该算法只能处理凸优化问题，对于非凸问题，可能会陷入局部最优解。

内点法是另一种常用的数值优化算法，该算法通常用于处理线性规划和二次规划问题。该算法的基本思想是通过一系列迭代，将待求解的问题转化为逐步靠近可行解的新问题，并最终求解得到目标最小的最优解。

内点法的迭代过程非常复杂，每次迭代需要求解等式约束和不等式约束的牛顿方程组，并且需要保证迭代过程中所有的参数都满足约束条件。与高斯牛顿法相比，内点法更加灵活，能够处理非凸问题，并且不受初始参数的影响。

除了以上提到的差异，高斯牛顿法和内点法在一些其他方面也存在差异。例如，高斯牛顿法通常需要计算目标函数的梯度和海森矩阵，而内点法则需要处理约束条件，这导致内点法的计算复杂度更高。此外，内点法还需要使用一些特殊的数据结构来处理问题，例如Klee-Minty方案和扰动技巧，这也增加了实现和调试的难度。

综上所述，高斯牛顿法和内点法都是常用的数值优化算法，在不同的问题中具有不同的优缺点。选择正确的算法并根据具体的问题进行优化，是提高求解效率和精度的关键。随着计算机硬件和算法的不断进步，数值优化将会在越来越多的领域发挥重要的作用。