最小二乘法与曲线拟合

最小二乘法原理1. 概念 最小二乘法多项式曲线拟合，根据给定的m 个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。

2. 原理给定数据点pi(xi,yi)，其中i=1,2,…,m 。

求近似曲线y= φ(x)。

并且使得近似曲线与y=f(x)的偏差最小。

近似曲线在点pi 处的偏差δi= φ(xi)-yi ，i=1,2,...,m 。

常见的曲线拟合方法：1. 是偏差绝对值最小11min (x )y m mi i i i i φδφ===-∑∑ 2. 是最大的偏差绝对值最小min max (x )y i i i iφδϕ=- 3. 是偏差平方和最小2211min ((x )y )m mii i i i φδϕ===-∑∑ 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。

推导过程：1. 设拟合多项式为：01...k k y a a x a x =+++2. 各点到这条曲线的距离之和，即偏差平方和如下：22011(...)m k i i k i i R y a a x a x =⎡⎤=-+++⎣⎦∑ 3. 为了求得符合条件的a 值，对等式右边求ak 偏导数，因而我们得到了：0112(...)0m k i k i i y a a x a x =⎡⎤--+++=⎣⎦∑0112(...)0m k ik i i y a a x a x x =⎡⎤--+++=⎣⎦∑……..0112( 0k k i k i i y a a x a x x =⎡⎤--+++=⎣⎦∑4. 将等式简化一下，得到下面的式子01111...n n nki k ii i i i a n a x a x y ===+++=∑∑∑ 21011111...n n n nk i ik i i i i i i i a x a x a x y x +====+++=∑∑∑∑ ……12011111...n n n nkk k k ii k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ 5. 把这些等式表示成矩阵形式，就可以得到下面的矩阵：11102111111121111.........n n n k i i i i i i n n n n k i i i i i i i i i n n n n k k k k k i i i i i i i i i n x x y a a x x x x y a x x x x y ===+====+====⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦⎣⎦∑∑∑∑∑∑∑∑∑∑∑ 6. 将这个范德蒙矩阵化简后得到：011112221...1...1...k k k k n n n a y x x a y x x a y x x ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦。

最小二乘法拟合原理最小二乘法是一种常用的数学方法，用于寻找一组数据的最佳拟合曲线或者最佳拟合函数。

它的原理是通过最小化实际观测数据与拟合曲线之间的残差平方和，来确定最佳拟合曲线的参数。

这个方法在实际应用以及科学研究中非常常见，下面将详细介绍最小二乘法的拟合原理。

在介绍最小二乘法之前，我们首先需要了解线性回归模型。

线性回归是一种常见的数据拟合手段，它基于以下假设：给定自变量X和因变量Y，存在一个线性关系Y=aX+b。

其中，a称为斜率，b称为截距。

当我们拥有一组数据（X1，Y1），（X2，Y2），（X3，Y3），...，（Xn，Yn）时，最小二乘法通过找到最佳的a和b，使得方程Y=aX+b最好地拟合这组数据。

它通过最小化每个观测点的残差来确定最佳拟合曲线。

残差是指实际观测值与拟合值之间的差异。

对于每一个观测点（Xi，Yi），其拟合值为Yi'=aXi+b，残差为Ri=Yi-Yi'，即实际观测值与拟合值的差。

S=∑(Yi-Yi')²=∑(Yi-aXi-b)²为了找到最佳的a和b，我们需要求解方程S对a和b的偏导数，并令其等于0。

求解a和b的偏导数得到以下两个方程：∂S/∂a=0∂S/∂b=0对第一个方程求解可以得到：∂S/∂a=-2∑(Yi-aXi-b)Xi=0进一步整理可以得到：∑YiXi-a∑(Xi)²-b∑(Xi)=0对第二个方程求解可以得到：∂S/∂b=-2∑(Yi-aXi-b)=0进一步整理可以得到：∑Yi - a∑(Xi) - nb = 0其中，n为观测点的数目。

解这个方程组，我们可以得到a和b的值，从而确定最佳拟合曲线的方程Y=aX+b。

最小二乘法还可以用于非线性的数据拟合。

对于非线性拟合，我们可以假设一个非线性的函数模型，例如Y=f(X,θ)，其中θ是待拟合的参数。

然后，通过最小化残差平方和来确定最佳的θ值。

方法类似于线性拟合，其中拟合值变为Yi'=f(Xi,θ)，残差为Ri=Yi-Yi'。

最小二乘法excel
最小二乘法（Least Squares Method，LSM）用于拟合曲线，可以表述为：
一组已知数据点（xi，yi），拟合函数为f（x），最小二乘法要求最小化函数
∑（yi - f（xi））^2
由此可以求得最佳拟合曲线，用Excel拟合数据可以使用下列步骤：
1、载入数据
将拟合的数据输入到Excel中，假设输入的数据是
“A1:B10”，纵坐标的数据在A列，横坐标的数据在B列；
2、拟合函数
点击“工具”，点击“函数”，选择“最小二乘拟合”，弹出“函数参数”对话框；
（1）在“函数参数”对话框，单击“遵循”，选择“线性”；
（2）在“函数参数”对话框，单击“区域”，在“区域”文本框中输入拟合数据区域，即“A1:B10”；
（3）在“函数参数”对话框，单击“预测的结果”，单击“确定”；
（4）在“函数参数”对话框，单击“结果存放”，选择“图表中”，单击“确定”；
3、图表显示
此时，Excel会自动弹出图表，可以看到最小二乘拟合的曲线和数据点；
4、参数计算
在最小二乘拟合的曲线上，右键单击，选择“编辑数据系列”，弹出“编辑数据系列”对话框，在“编辑数据系列”对话框中可以计算出最小二乘拟合的具体参数；
通过以上步骤，可以轻松拟合一组数据点，并计算出最小二乘拟合函数的参数。

曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ϕ来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ϕ最好地逼近()x f ，而不必满足插值原则。

因此没必要取)(i x ϕ=i y ，只要使i i i y x -=)(ϕδ尽可能地小）。

原理：给定数据点},...2,1,0),,{(m i y x i i =。

求近似曲线)(x ϕ。

并且使得近似曲线与()x f 的偏差最小。

近似曲线在该点处的偏差i i i y x -=)(ϕδ，i=1,2,...,m 。

常见的曲线拟合方法:1.使偏差绝对值之和最小2.使偏差绝对值最大的最小3.使偏差平方和最小最小二乘法：按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。

推导过程：1. 设拟合多项式为：2. 各点到这条曲线的距离之和，即偏差平方和如下：3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到了： .......4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵：5. 将这个范德蒙得矩阵化简后可得到:6. 也就是说X*A=Y ，那么A = (X'*X)-1*X'*Y ，便得到了系数矩阵A ，同时，我们也就得到了拟合曲线。

MATLAB 实现：MATLAB 提供了polyfit （）函数命令进行最小二乘曲线拟合。

调用格式：p=polyfit(x,y,n)[p,s]= polyfit(x,y,n)[p,s,mu]=polyfit(x,y,n)x,y 为数据点，n 为多项式阶数，返回p 为幂次从高到低的多项式系数向量p 。

x 必须是单调的。

矩阵s 包括R （对x 进行QR 分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。