最小二乘法LSQ(least square)_计算公式

函数逼近的几种算法及其应用汇总函数逼近是数值计算中非常重要的技术之一，它主要用于用已知函数逼近未知函数，从而得到未知函数的一些近似值。

在实际应用中，函数逼近广泛用于数据拟合、插值、信号处理、图像处理等领域。

下面将介绍几种常用的函数逼近算法及其应用。

1. 最小二乘法（Least Square Method）最小二乘法将函数逼近问题转化为最小化离散数据与拟合函数之间的残差平方和的问题。

它在数据拟合和插值中应用广泛。

例如，最小二乘法可以用于拟合数据点，找出最佳拟合曲线；也可以用于信号处理中的滤波器设计。

2. 插值法（Interpolation）插值法旨在通过已知数据点之间的连线或曲线，来逼近未知函数在这些数据点上的取值。

常见的插值方法有拉格朗日插值、牛顿插值和分段线性插值等。

插值法在图像处理中广泛应用，例如可以通过已知的像素点来重构图像，提高图像的质量和分辨率。

3. 最小二乘曲线拟合（Least Square Curve Fitting）最小二乘曲线拟合是一种将渐近函数与离散数据拟合的方法，常见的函数包括多项式、指数函数、对数函数等。

最小二乘曲线拟合可以在一定程度上逼近原始数据，从而得到曲线的一些参数。

这种方法在数据分析和统计学中经常使用，在实际应用中可以拟合出模型参数，从而做出预测。

4. 正交多项式逼近（Orthogonal Polynomial Approximation）正交多项式逼近是一种通过正交多项式来逼近未知函数的方法。

正交多项式具有良好的性质，例如正交性和递推关系，因此可以用于高效地逼近函数。

常见的正交多项式包括勒让德多项式、拉盖尔多项式和切比雪夫多项式等。

正交多项式逼近广泛应用于数值计算和信号处理中，例如用于图像压缩和数据压缩。

5. 插值样条曲线（Interpolating Spline）插值样条曲线是将多个局部的多项式插值片段拼接在一起，从而逼近未知函数的方法。

插值样条曲线在实现光滑拟合的同时，还能逼近离散数据点。

最小二乘法的概念1. 概念定义最小二乘法（Least Squares Method）是一种用于拟合数据和估计未知参数的数学方法。

它通过最小化观测值与拟合值之间的残差平方和，来找到最优的拟合曲线或平面。

最小二乘法可以用于线性和非线性回归分析，广泛应用于统计学、经济学、工程学等领域。

2. 关键概念2.1 残差残差（Residual）是指观测值与拟合值之间的差异。

在最小二乘法中，我们希望通过最小化残差的平方和来找到最优的拟合曲线或平面。

残差可以用以下公式表示：e i=y i−y î其中，e i为第i个观测值的残差，y i为第i个观测值，y î为第i个观测值对应的拟合值。

2.2 残差平方和残差平方和（Sum of Squares of Residuals，SSR）是指所有残差平方的和。

最小二乘法的目标就是通过最小化残差平方和来找到最优的拟合曲线或平面。

残差平方和可以用以下公式表示：nSSR=∑(y i−y î)2i=1其中，n为观测值的数量。

2.3 最小二乘估计最小二乘估计（Least Squares Estimation）是指通过最小化残差平方和来估计未知参数的方法。

对于线性回归模型，最小二乘估计可以通过求解正规方程来得到。

正规方程可以用以下公式表示：(X T X)β̂=X T y其中，X为设计矩阵，包含自变量的观测值；y为因变量的观测值；β̂为未知参数的估计值。

2.4 最优拟合曲线或平面最优拟合曲线或平面是指通过最小二乘法找到的最优的拟合函数。

对于线性回归模型，最优拟合曲线可以用以下公式表示：ŷ=β0̂+β1̂x1+β2̂x2+...+βp̂x p其中，ŷ为因变量的拟合值；β0̂,β1̂,β2̂,...,βp̂为未知参数的估计值；x1,x2,...,x p为自变量的观测值。

3. 重要性3.1 数据拟合最小二乘法可以用于拟合数据，通过找到最优的拟合曲线或平面，可以更好地描述数据的分布规律。

这对于理解数据的特征、预测未来趋势等具有重要意义。

最小二乘法公式推导
最小二乘法是一种用于拟合数据的统计方法，通过最小化残差平方和来确定一组最佳的拟合系数。

以下是最小二乘法的公式推导：
假设有n个数据点(x1,y1),(x2,y2),...,(xn,yn)，
要用一条直线y=a+bx来拟合这些数据，其中a和b是未知
参数。

首先定义残差ei为第i个数据点的y值减去拟合直线在该
点的预测值：
ei=yi-(a+bxi)
然后，我们将残差平方和S定义为所有n个数据点的残差平
方的和：
S=Σ(ei^2)=Σ(yi-a-bxi)^2
要找到最佳的拟合系数a和b，我们需要将S最小化。

为了
实现这一点，我们可以将S分别对a和b求偏导，并令偏导数等
于0，得到以下两个方程：
∂S/∂a=-2Σ(yi-a-bxi)=0
∂S/∂b=-2Σ(xi)(yi-a-bxi)=0
将上述两个方程展开并整理，得到：
na+bΣ(xi)=Σ(yi)
bΣ(xi^2)+aΣ(xi)=Σ(xi)(yi)
这是一个包含两个未知数a和b的线性方程组，可以通过解方程组来求出最佳的拟合系数。

具体来说，我们可以使用矩阵求解法，将上述方程组转化为矩阵形式：
|nΣ(xi)||a||Σ(yi)|
|Σ(xi)Σ(xi^2)||b|=|Σ(xi)(yi)|
然后，可以使用矩阵的逆来求解a和b的值：
|a||nΣ(xi)|^-1|Σ(yi)|
|b|=|Σ(xi)Σ(xi^2)||Σ(xi)(yi)|
最终，得到的a和b就是最小二乘法所求的拟合系数，可以将其代入y=a+bx中，得到拟合直线的方程。

最小二乘法（least sqauremethod）专栏文章汇总文章结构如下：1：最小二乘法的原理与要解决的问题2 ：最小二乘法的矩阵法解法3：最小二乘法的几何解释4：最小二乘法的局限性和适用场景5：案例python实现6：参考文献1：最小二乘法的原理与要解决的问题最小二乘法是由勒让德在19世纪发现的，形式如下式：标函数 = \sum（观测值-理论值）^2\\观测值就是我们的多组样本，理论值就是我们的假设拟合函数。

目标函数也就是在机器学习中常说的损失函数，我们的目标是得到使目标函数最小化时候的拟合函数的模型。

举一个最简单的线性回归的简单例子，比如我们有 m 个只有一个特征的样本： (x_i, y_i)(i=1, 2, 3...,m)样本采用一般的 h_{\theta}(x) 为 n 次的多项式拟合，h_{\theta}(x)=\theta_0+\theta_1x+\theta_2x^2+...\theta_nx^n,\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 为参数最小二乘法就是要找到一组\theta(\theta_0,\theta_1,\theta_2,...,\theta_n) 使得\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^2 (残差平方和) 最小，即，求 min\sum_{i=1}^n(h_{\theta}(x_i)-y_i)^22 ：最小二乘法的矩阵法解法最小二乘法的代数法解法就是对 \theta_i 求偏导数，令偏导数为0，再解方程组，得到 \theta_i 。

矩阵法比代数法要简洁，下面主要讲解下矩阵法解法，这里用多元线性回归例子来描：假设函数h_{\theta}(x_1,x_2,...x_n)=\theta_0+\theta_1x_1+...+\t heta_nx_n 的矩阵表达方式为：h_{\theta}(\mathbf{x})=\mathbf{X}\theta\\其中，假设函数 h_{\theta}(\mathbf{x})=\mathbf{X}\theta 为 m\times1 的向量, \theta 为 n\times1 的向量，里面有 n 个代数法的模型参数。

最小二乘法的基本公式最小二乘法，这玩意儿听起来是不是有点高大上？但别怕，其实它并没有那么复杂，就像咱们学骑自行车，一开始觉得难，掌握窍门后就变得轻松自如啦！先来说说最小二乘法到底是啥。

简单来讲，它就是一种找数据最佳拟合直线或者曲线的方法。

比如说，你记录了一堆气温和日期的数据，想找出它们之间的规律，这时候最小二乘法就派上用场了。

那它的基本公式是啥呢？咱们来瞧瞧。

假设咱们有一堆数据点（x₁, y₁）, （x₂, y₂）,..., （xₙ, yₙ），然后要找一条直线 y = ax + b 来拟合这些点。

那最小二乘法就是要让每个点到这条直线的垂直距离的平方和最小。

这个垂直距离，咱们叫它残差。

具体的公式就是：Q = Σ(yi - (axi + b))²，这里的Σ是求和符号，就是把所有的残差平方加起来。

然后通过求 Q 对 a 和 b 的偏导数，令它们等于 0 ，就能解出 a 和 b 的值，从而得到最佳拟合直线的方程。

我给您讲个我亲身经历的事儿吧。

有一次我带着学生们去做一个关于植物生长和光照时间关系的实验。

我们每天记录植物的高度和对应的光照时长，最后想用最小二乘法来找出它们之间的关系。

一开始，学生们都被这些数据弄得晕头转向的。

有的说：“老师，这也太乱了，怎么找规律啊？”我就告诉他们，别着急，咱们有最小二乘法这个法宝呢！然后我一步一步地给他们讲解公式的原理和计算方法。

有个叫小明的同学特别认真，眼睛紧紧盯着黑板，手里的笔不停地记着。

可算到中间的时候，他突然举手说：“老师，我这一步算错了，得重新来。

”我鼓励他说：“没关系，重新算，多算几遍就熟练啦。

”最后，经过大家的努力，我们终于算出了最佳拟合直线的方程。

当我们把这个方程画在图上，看到那些数据点都很接近这条直线的时候，孩子们都兴奋得欢呼起来。

从那以后，学生们对最小二乘法的理解可深刻多了。

他们知道了，数学不仅仅是书本上的公式，还能真真切切地帮助我们解决生活中的问题。

高中生都能看懂的最小二乘法原理在简单线性回归等曲线拟合中提到的最多的最小二乘法，那么下面引用《正态分布的前世今生》里的内容稍微简单阐述下。

一、最小二乘法的历史1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。

经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。

随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。

时年24岁的高斯也计算了谷神星的轨道。

奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。

法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻。

勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-马尔可夫定理。

（来自于wikipedia）二、原理我们口头中经常说：一般来说，平均来说。

如平均来说，不吸烟的健康优于吸烟者，之所以要加“平均”二字，是因为凡事皆有例外，总存在某个特别的人他吸烟但由于经常锻炼所以他的健康状况可能会优于他身边不吸烟的朋友。

而最小二乘法的一个最简单的例子便是算术平均。

最小二乘法（又称最小平方法）是一种数学优化技术。

它通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

用函数表示为：使误差「所谓误差，当然是观察值与实际真实值的差量」平方和达到最小以寻求估计值的方法，就叫做最小二乘法，用最小二乘法得到的估计，叫做最小二乘估计。

当然，取平方和作为目标函数只是众多可取的方法之一。

最小二乘法的一般形式可表示为：有效的最小二乘法是勒让德在1805 年发表的，基本思想就是认为测量中有误差，所以所有方程的累积误差为我们求解出导致累积误差最小的参数即可：勒让德在论文中对最小二乘法的优良性做了几点说明：•最小二乘使得误差平方和最小，并在各个方程的误差之间建立了一种平衡，从而防止某一个极端误差取得支配地位•计算中只要求偏导后求解线性方程组，计算过程明确便捷•最小二乘可以导出算术平均值作为估计值对于最后一点，从统计学的角度来看是很重要的一个性质。

最⼩⼆乘法⼀. 简介⾸先来看百度百科对最⼩⼆乘法的介绍：最⼩⼆乘法（⼜称最⼩平⽅法）是⼀种数学优化技术。

它通过最⼩化误差的平⽅和寻找数据的最佳函数匹配。

利⽤最⼩⼆乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平⽅和为最⼩。

最⼩⼆乘法还可⽤于曲线拟合。

其他⼀些优化问题也可通过最⼩化能量或最⼤化熵⽤最⼩⼆乘法来表达。

简⽽⾔之，最⼩⼆乘法同梯度下降类似，都是⼀种求解⽆约束最优化问题的常⽤⽅法，并且也可以⽤于曲线拟合，来解决回归问题。

最⼩⼆乘法实质就是最⼩化“均⽅误差”，⽽均⽅误差就是残差平⽅和的1/m(m为样本数)，同时均⽅误差也是回归任务中最常⽤的性能度量。

⼆. 对于⼀元线性模型如果以最简单的⼀元线性模型来解释最⼩⼆乘法。

回归分析中，如果只包括⼀个⾃变量和⼀个因变量，且⼆者的关系可⽤⼀条直线近似表⽰，这种回归分析称为⼀元线性回归分析。

如果回归分析中包括两个或两个以上的⾃变量，且因变量和⾃变量之间是线性关系，则称为多元线性回归分析。

对于⼆维空间线性是⼀条直线；对于三维空间线性是⼀个平⾯，对于多维空间线性是⼀个超平⾯...对于⼀元线性回归模型, 假设从总体中获取了m组观察值（X1，Y1），（X2，Y2）， …，（Xm，Ym）。

对于平⾯中的这m个点，可以使⽤⽆数条曲线来拟合。

要求样本回归函数尽可能好地拟合这组值。

综合起来看，这条直线处于样本数据的中⼼位置最合理。

选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最⼩。

有以下三个标准可以选择：（1）⽤“残差和最⼩”确定直线位置是⼀个途径。

但可能会出现计算“残差和”存在相互抵消的问题。

（2）⽤“残差绝对值和最⼩”确定直线位置也是⼀个途径。

但绝对值的计算⽐较⿇烦。

（3）最⼩⼆乘法的原则是以“残差平⽅和最⼩”确定直线位置。

⽤最⼩⼆乘法除了计算⽐较⽅便外，得到的估计量还具有优良特性。

这种⽅法对异常值⾮常敏感。

最常⽤的是普通最⼩⼆乘法（ Ordinary Least Square，OLS）：所选择的回归模型应该使所有观察值的残差平⽅和达到最⼩。

最小二乘法的基本原理
最小二乘法（Least Square Method，LSM）是一种数学优化方法，根据一组观测值，找到最能够复合观测值的模型参数。

它是求解最优化问题的重要方法之一，可以用于拟合曲线、拟合非线性函数等。

一、基本原理
（1）最小二乘法依据一组观测值的误差的平方和最小找到参数的最优解，即最小化误差的函数。

（2）为了求解最小量，假设需要估计的参数维度为n，那么应该在总共的m个观测值中找到n个能够最小二乘值的参数。

（3）具体的求解方法为，由所有的数值计算最小和可能性最大的可能性，从而求得最佳拟合参数。

二、优点
（1）最小二乘法最大的优点就是可以准确测量拟合实际数据的结果。

（2）有效利用活跃度原则让处理内容变得简单，操作计算量少。

（3）可以有效地节省计算过程，提高计算效率，使用计算机完成全部计算任务。

（4）具有实用性，可以根据应用的不同情况来自动判断最优的拟合参数，比如用最小二乘法来拟合异常值时，就可以调整参数获得更好的拟合效果，而本没有定义可以解决问题。

三、缺点
（1）对于（多维）曲线拟合问题，最小二乘法计算时特别容易陷入局部最小值，可能得到估计量的质量没有较优的实现；
（2）要求数据具有正态分布特性；
（3）数据中存在外源噪声，则必须使用其它估计方法；
（4）最小二乘法的结果只对数据有效，对机器学习的泛化能力较弱。

最小二乘法（Least Squares Method，简称LSM）是一种常用的拟合曲线的方法。

它的基本思想是通过调整拟合曲线的参数使得拟合曲线与实际数据的误差的平方和最小。

过程如下：
1.定义拟合曲线的形式：根据要求拟合的曲线的类型和需要拟合的参数个数，定义拟合曲线的形式。

例如，如果要拟合一条一次函数，则可以使用y = ax + b的形式。

2.定义误差：设实际数据点的横纵坐标分别为（x1, y1）、（x2, y2）、…、（xn, yn），则对于每一个数据点，可以定义误差为真实数据点的纵坐标与拟合曲线的纵坐标之差的平方。

3.最小化误差的平方和：将所有数据点的误差平方和最小化，从而得到最优的拟合曲线。

4.求解参数：根据定义的拟合曲线形式和误差表达式，通过一定的数学方法求解出最优的拟合曲线的参数。

最小二乘法的优点是可以得到一条能够很好地描述实际数据的拟合曲线，并且可以很方便地求解拟合曲线的参数。

但是，最小二乘法也有一些缺点：对于存在异常值的数据，最小二乘法得到的拟合曲线可能不太准确。

在拟合曲线的形式不确定的情况下，最小二乘法可能得到不同的拟合曲线。

在拟合数据量较少的情况下，最小二乘法得到的拟合曲线可能不太稳定。

总的来说，最小二乘法是一种常用的拟合曲线方法，但是也要根据具体情况选择合适的拟合方法。

最小二乘法解题
最小二乘法（LeastSquaresMethod，LSM）是一种常见的数学优化方法，用于求解最优解的估计量。

它用于拟合模型、拟合曲面和拟合函数，是统计学中最基本的建模方法。

最小二乘法可以用来拟合一个已知数据点的模型，以最大程度地逼近数据点。

使用最小二乘法解题的基本步骤如下：
1、确定拟合目标：设定拟合系数，确定拟合函数；
2、识别拟合曲线：根据给定的数据对拟合函数求导，并得到最小二乘拟合曲线；
3、计算拟合函数的最优参数：使用以上拟合曲线，根据最小二乘方法求解函数；
4、确定拟合精度：根据最优参数求取拟合函数的最小二乘值，以此来评价拟合的精度；
5、根据拟合精度，优化参数：如果所得到的最小二乘值不能满足需求，则可以优化参数或挑选更优的拟合函数，以获得更好的拟合效果。

- 1 -。

最小区域公式参考This model paper was revised by the Standardization Office on December 10, 2020直线度 (给定平面内)最小二乘法(LSM)：该方法是以最小二乘直线作为评定理想直线，求出实际直线对该直线的最大变动，从而得到直线度误差。

该方法的思路是：根据各量测点相对于起始位置的累积值，找到一条直线，使得曲线上各量测点到该直线的距离的平方和为最小。

这条直线即为最小二乘直线，是唯一的。

(但是，用最小二乘法求直线度的致命伤：评定准则与最小区域准则相悖，存在原理误差，故不能得到精确的直线度误差值。

有些文献对之改进提出旋转控制直线法，可以得到直线度误差的精确解。

)设定：最小二乘直线为：bx a y +=其中：∑∑∑∑∑∑∑=======--=-=-=ni n 0i i n 0i i n0i i n0i i ni in 0i i __x n y x n y b x n b y n x b y a 22ii )(1x ))((1x 11 求得各测量点对bx a y +=的变动量，找出最小二乘直线两侧绝对值最大的两点，它们的绝对值之差即为直线度误差。

最大凸度：max i i max bx a y ΔL ][--= 最大凹度：in in ][m i i m bx a y ΔL --= 直线度： min max ΔL ΔL ΔL -=直线度平均值：∑=--=ni i n bx a y n ΔL 1i )(1直线度量测流程最小区域法：评定给定平面内直线度误差的最小区域应符合如下两个最小包容区域判定条件：①误差曲线全部位于两平行直线之间②两平行直线与误差曲线组成高、低相间的三点接触平面度(给定平面内)如下图所示，测量基准平面为o-o平面，实际被测平面每一测点对o-o平面的高度坐标z ij=f(x i，y i)。

设理想评定基面与z轴的截距为α，与x轴的倾角为β，与y轴的倾角为γ，则理想评定基准平面的方程近似为：z=α+βx+γy评定基准面到测量基准面的高度坐标值为z’ij=α+βx i+γy i实际被测平面相对于评定基准平面的高度坐标值为v ij=f(x i，y i)-(α+βx i+γy i)= z ij-(α+βx i+γy i)三点法：以通过实际被测平面上任选三点的平面作为理想评定基准面，作平行于该理想平面的两个包容实际平面的平面，则此两平行平面间的距离即为平面度误差。