普通最小二乘法的原理

最小二乘法原理

1. 概念

最小二乘法多项式曲线拟合，根据给定的m个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。

2. 原理

给定数据点pi(xi,yi)，其中i=1,2,…,m。求近似曲线y=

φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi处的偏差δi= φ(xi)-yi，i=1,2,...,m。

常见的曲线拟合方法：

1. 是偏差绝对值最小

11min(x)ymmiiiii

2. 是最大的偏差绝对值最小

minmax(x)yiiii

3. 是偏差平方和最小

2211min((x)y)mmiiiii

按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。

推导过程：

1. 设拟合多项式为：

01...kkyaaxax

2. 各点到这条曲线的距离之和，即偏差平方和如下：

22011(...)mkiikiiRyaaxax

3. 为了求得符合条件的a值，对等式右边求ak偏导数，因而我们得到了：

0112(...)0mkikiiyaaxax

0112(...)0mkikiiyaaxaxx ……..

0112(...)0mkkikiiyaaxaxx

4. 将等式简化一下，得到下面的式子

01111...nnnkikiiiiianaxaxy

21011111...nnnnkiikiiiiiiiaxaxaxyx

……

12011111...nnnnkkkkiikiiiiiiiaxaxaxyx

5. 把这些等式表示成矩阵形式，就可以得到下面的矩阵：

11102111111121111.........nnnkiiiiiinnnnkiiiiiiiiinnnnkkkkkiiiiiiiiinxxyaaxxxxyaxxxxy

最⼩⼆乘法的原理与计算

最⼩⼆乘法的应⽤例⼦

如果某个资产在买⼊后，第 2-100 天内的收益变化如下图所⽰：

这时，我想要获得第 2-100 天内的任意收益，都是可以⽅便清晰获得的，但是如果我在第100天的时间，想要预估第107天时的收益呢？

从上图中，原始数据是没有第107天的收益的，这时间就必须根据2-100天的数据对第 107 天的收益进⾏预测。

进⾏预测有多种⽅法，但是对于上⾯的例⼦，最常见的是线性回归⽅式，⽽线性回归中最受欢迎的算法是最⼩⼆乘法。进⾏线性回归后如下图所⽰：

红⾊曲线就是2-100 天的原始数据，⽽绿⾊的斜线就是线性回归线。

可以看出，绿⾊的线是斜率固定的，是符合函数：f(y) = b + kx，这时间就能轻松的获得第107天的预测数据。

最⼩⼆乘法的原理

我们是如何求的线性回归线呢，是⼜如何最⼩⼆乘法是最优的选择呢。

先看下图：

线性回归线就是蓝⾊的点到回归线的垂直距离和最⼩的直线。上图中红⾊的线，即真实数据到回归线的垂直距离，就是真实数据与回归线（预测数据）的误差，我

们只需要使所有误差的和最⼩，也就是最优的。

利⽤Python代码计算最⼩⼆乘法来线性回归

x = [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46,

47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89,

在数学上,最小二乘法是指用一个变量(x)去替代原点所在的正方形中两个元素之一。如果所要测量的量度为"长×宽",那么使用这个方法就可以得到相关的结果了。

1：最小二乘法的定义

最小二乘法是一种常用的估计方程方法，通常用于计算变量之间的相关系数。它可以用来对一个二元函数进行线性回归分析、估计方程以及计算方程之间的误差等。最小二乘法主要有两个步骤：1. 将测量数据分配到0和m个不同的区间上；2. 使用适当的迭代算法来重新调整所有测量数据，使得其达到最优。在最小二乘法中，所有测试值都被认为相等于两个独立的点之间的距离，因此可以通过比较这两点来确定参数或方程的取值范围。

2：圆直径测量原理

圆直径测量原理是将一个标准的圆形放在水平面上，然后使用一根绳子绕着这个圆形旋转，并通过绳索和地面之间的接触来测算绳索与地面之间距离。如果绳子刚好能够穿过那个圆形的中心线孔洞，那么这根绳子就是中心线孔洞到平面的直线长度。根据这个原理，我们可以利用计算机模拟来得出准确度更高的圆直径计算公式。首先，确定所需要测量的圆的直径。其次，在绳子上缠绕一颗小钢珠或者其他材料，形成一条足够长并且不会影响测量精度的曲线。最后，让绳子按照我们想要测量的轨迹旋转，从而实现对圆的定位。

3: 常用方法及工具

常用方法及工具包括：1、几何法。使用直线或曲线的斜率来表示圆直径，通常称这些公式为“Moment’s

Rule”。这种方法可以适用于任何类型的圆，也可用于测量非圆截面图形的直径。2、最小二乘法。在已知未知数据(例如圆形半径和内角距)时，利用已知数据拟合得到一个常数度系数，将该系数与所需长度联系起来，从而达到计算圆周长的目的。3、外推算法。这是一种通过解析式来求出圆周长的方法。它首先假设圆是平面图中的一点圆弧，然后根据弧长计算并拟合出其方程，最后得出计算结果。4、微分法。这种方法主要用于解决几何问题。它首先假定圆心到边缘之间距离是一条直线，然后运用泰勒展开定理进行微分计算。

最小二乘法是一种数学工具，广泛用于误差估计，不确定性，系统识别，预测和其他数据处理领域

历史编辑

1801年，意大利天文学家朱塞佩·皮亚齐（Giuseppe Piazzi）发现了第一颗小行星谷神星。经过40天的跟踪观察，Piazzi失去了Ceres的位置，因为Ceres移到了太阳后面。然后，全世界的科学家都使用Piazzi的观测结果找到了谷神星，但是大多数人的计算都没有找到谷神星。奥地利天文学家海因里希·阿尔伯斯（Heinrich Albers）的观测证实了只有24岁的高斯计算的谷神星的轨道，这使天文学界能够预测谷神星的精确位置。相同的方法产生了许多天文结果，例如哈雷彗星。高斯的方法是最小二乘方法，于1809年在他的《天体运动》一书中发表。实际上，法国科学家勒让德（Legendre）于1806年独立发明了“最小二乘法”，但举世闻名。

1829年，高斯证明最小二乘法的优化效果优于其他方法

定义

最小二乘法是一种数学优化技术。它通过最小化误差平方和来找到数据的最佳函数匹配。使用最小二乘法，可以容易地获得未知数据，并且最小化所获得的数据与实际数据之间的误差的平方和。

最小二乘法也可以用于曲线拟合，其他优化问题可以通过使能量最小或熵最大来表示。

基本思路编辑

最小二乘法是解决曲线拟合问题最常用的方法。其基本思路是：令

其中， 是事先选定的一组线性无关的函数， 是待定系数 ，拟合准则是使 与 的距离 的平方和最小，称为最小二乘准则 。