第5章-1 曲线拟合(线性最小二乘法)

最小二乘法的曲线拟合曲线拟合是在给定一组离散数据的情况下，通过一个函数来逼近这些数据的过程。

最小二乘法是一种常用的拟合方法，它通过最小化实际观测值与拟合值之间的误差平方和，来确定最佳的曲线拟合。

在进行最小二乘法的曲线拟合之前，我们首先需要明确拟合的目标函数形式。

根据实际问题的不同，可以选择线性拟合函数、多项式拟合函数或者其他非线性拟合函数。

然后，我们通过求解最小二乘问题的优化方程，来得到拟合函数的系数。

最小二乘法的核心思想是将拟合问题转化为一个优化问题。

我们需要定义一个损失函数，用来衡量观测值与拟合值之间的差异。

常见的损失函数有平方损失函数、绝对损失函数等。

在最小二乘法中，我们选择平方损失函数，因为它能够更好地反映误差的大小。

具体来说，我们假设待拟合的数据点为{(x1,y1),(x2,y2),...,(xn,yn)}，拟合函数为f(x)。

则拟合问题可表示为以下优化方程：min Σ(yi-f(xi))^2通过求解优化方程，即求解拟合函数的系数，我们可以得到最佳的曲线拟合。

最小二乘法的优势在于它能够考虑所有观测值的误差，并且具有较好的稳定性和可靠性。

在实际应用中，最小二乘法的曲线拟合被广泛应用于各个领域。

例如，在物理学中，可以利用最小二乘法来分析实验数据，拟合出与实际曲线相符合的函数。

在经济学中，最小二乘法可以用来估计经济模型中的参数。

在工程领域，最小二乘法可以用于信号处理、图像处理等方面。

总而言之，最小二乘法是一种常用的曲线拟合方法，通过最小化观测值与拟合值之间的误差平方和，来确定最佳的拟合函数。

它具有简单、稳定、可靠的特点，在各个领域都有广泛的应用。

摘要随着现代社会的发展，大量的统计数据和科学实验数据变得容易获得，数据变得越来越复杂，甚至还会有噪声等干扰信息。

曲线拟合就是找到一组数据点的内在规律，使用曲线近似的拟合这些数据，形成数学模型，对事务进行有效的预测和规划，来获得更大的效益，被广泛应用于社会各个领域，具有重要的实际应用价值。

本文旨在了解一些常用的曲线拟合方法及其原理，根据理解，设计并完成相应的曲线拟合程序，方便使用。

首先，对于有函数解析模型的曲线拟合，都是运用的最小二乘思想进行求解，根据模型种类分为三类：1，线性函数模型，举例一元线性函数的运算过程，通过正规方程求解得到拟合系数，最后根据这些原理，设计并完成了：从1阶到9阶的多项式拟合，幂函数拟合的线性最小二乘拟合程序；2，可线性化的非线性函数：通过变量变换将模型线性化，再进行线性最小二乘拟合；3，不可线性化的非线性函数，求解方法是将目标函数泰勒级数展开，迭代求解的方法有很多，本文实现的方法有3种：高斯牛顿法，信赖域—Dogleg法，LMF法。

最后通过五个实例计算，进行线性最小二乘拟合和非线性拟合，对比分析对于同一组数据，应用不同拟合方法或者不同模型所产生的结果，分析结果并结合实际发现，线性最小二乘拟合对于现实中的很多数据并不适用，将非线性函数线性化之后，有时会放大噪声，使得矩阵奇异，拟合不收敛或者没有非线性拟合准确。

进行非线性拟合时，对比三种方法，发现LMF法可以有效的避免矩阵为奇异值。

初始值只影响LMF法迭代的次数，对结果的影响并不大，而对于高斯牛顿法和信赖域—Dogleg法，很差的初始值会使得矩阵为奇异值或者接近奇异值，从而无法收敛，得不到拟合结果或者得到的结果拟合精度太差。

而当初始值良好的时候，高斯牛顿法的迭代求解速度最快。

而信赖域—Dogleg法，相较于另外两种方法，拟合精度和拟合速度都差了一些。

关键词：曲线拟合；最小二乘；高斯牛顿法；信赖域—Dogleg法；LMF法；对比分析1.绪论1.1.毕业论文研究的目的意义随着现代社会的发展，获取大量的数据将变得更加容易，在实际生活中，收集到的数据的复杂性将逐渐增加，并且会生成噪声，背景和其他干扰信息。

曲线拟合问题最常用的解法——线性最小二乘法的基本思路第一步:先选定一组函数 r 1(x), r 2(x), …r m (x), m<n, 令f(x)=a 1r 1(x)+a 2r 2(x)+ …+a m r m (x) （1） 其中 a 1,a 2, …a m 为待定系数。

第二步: 确定a 1,a 2, …a m 的准则（最小二乘准则）： 使n 个点（x i ,y i ) 与曲线 y=f(x) 的距离δi 的平方和最小 。

记221211211(,,)[()][()](2)n nm i i i i i nmk k i i i k J a a a f x y a r x y δ======-=-∑∑∑∑问题归结为，求 a 1,a 2, …a m 使 J(a 1,a 2, …a m ) 最小。

线性最小二乘法的求解：预备知识超定方程组：方程个数大于未知量个数的方程组111122111122 ()m m n n nm m nr a r a r a y n m r a r a r a y +++=⎧⎪>⎨⎪+++=⎩ 即 Ra=y其中111112112,,m n n nm m n a y r r r R a y r r r a y ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦超定方程一般是不存在解的矛盾方程组。

如果有向量a 使得211221()ni i im m i i r ar a r a y =+++-∑ 达到最小，则称a 为上述超定方程的最小二乘解。

线性最小二乘法的求解所以，曲线拟合的最小二乘法要解决的问题，实际上就是求以下超定方程组的最小二乘解的问题。

Ra=y （3）其中111111()(),,()()m n m n m n r x r x a y R a y r x r x a y ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦定理：当R T R 可逆时，超定方程组（3）存在最小二乘解，且即为方程组 R T Ra=R T y的解：a=(R T R)-1R T y线性最小二乘拟合f(x)=a1r1(x)+ …+a m r m(x)中函数{r1(x), …r m(x)}的选取1. 通过机理分析建立数学模型来确定f(x)；2. 将数据(x i,y i) i=1, …n 作图，通过直观判断确定f(x)：用MATLAB作线性最小二乘拟合1. 作多项式f(x)=a1x m+ …+a m x+a m+1拟合,可利用已有程序:例对下面一组数据作二次多项式拟合xi 0.1 0.2 0.4 0.5 0.6 0.7 0.8 0.9 1 yi 1.978 3.28 6.16 7.34 7.66 9.58 9.48 9.30 11.22123()f x a x a x a =++中 的123(,,)A a a a =使得:1121[()] iii f x y =-∑最小解法1．用解超定方程的方法211211111 1x x R x x ⎛⎫⎪=⎪ ⎪⎝⎭此时 1）输入以下命令：x=0:0.1:1;y=[-0.447 1.978 3.28 6.16 7.08 7.34 7.66 9.56 9.48 9.30 11.2]; R=[(x.^2)' x' ones(11,1)]； A=R\y'2）计算结果： Ａ = -9.8108 20.1293 -0.03172()9.810820.12930.0317f x x x =-+-解法2．用多项式拟合的命令 1）输入以下命令： x=0:0.1:1;y=[-0.447 1.978 3.28 6.16 7.08 7.34 7.66 9.56 9.48 9.30 11.2]; A=polyfit(x,y,2) z=polyval(A,x);plot(x,y,'k+',x,z,'r') %作出数据点和拟合曲线的图形 2）计算结果： Ａ = -9.8108 20.1293 -0.03172()9.810820.12930.0317f x x x =-+-用MATLAB 作非线性最小二乘拟合Matlab 的提供了两个求非线性最小二乘拟合的函数：lsqcurvefit 和lsqnonlin 。

一、曲线拟合是什么？曲线拟合也就是求一条曲线,使数据点均在离此曲线的上方或下方不远处, 它既能反映数据的总体分布,又不至于出现局部较大的波动, 能反映被逼近函数的特性,使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到最小。

设函数y=f(x)在m个互异点的观测数据为求一个简单的近似函数φ(x)，使之“最好”地逼近f(x),而不必满足插值原则。

这时没必要取φ(xi) = yi, 而要使i=φ(xi)yi 总体上尽可能地小。

这种构造近似函数的方法称为曲线拟合,称函数y=φ(x)为经验公式或拟合曲线。

如下为一个曲线拟合示意图。

清楚什么是曲线拟合之后，我们还需要了解一个概念——残差。

曲线拟合不要求近似曲线严格过所有的数据点，但使求得的逼近函数与已知函数从总体上来说其偏差按某种方法度量达到总体上尽可能地小。

若令（1-1）则为残向量（残差）。

“使（1-1）尽可能地小”有不同的准则（1）残差最大值最小（2）残差绝对值和最小（绝对值的计算比较麻烦）（3）残差平方和最小（即最小二乘原则。

计算比较方便，对异常值非常敏感，并且得到的估计量具有优良特性。

）二、最小二乘法是什么？个人粗俗理解：按照最小二乘原则选取拟合曲线的方法,称为最小二乘法。

百度百科：最小二乘法（又称最小平方法）是一种数学优化技术。

它通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合。

其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

三、求解最小二乘法（包含数学推导过程）我们以最简单的线性模型来解释最小二乘法。

什么是线性模型呢？监督学习中，如果预测的变量是离散的，我们称其为分类（如决策树，支持向量机等），如果预测的变量是连续的，我们称其为回归。

回归分析中，n个自变量，且因变量和自变量之间是线性关系，则称为一/多元线性回归分析。

线性最⼩⼆乘法①前置知识：曲线拟合问题：已知⼀组⼆维数据，寻求⼀个函数（曲线）\(y=f(x)\)使\(f(x)\)在某种准则下与所有数据点最为接近，即曲线拟合得最好。

②线性最⼩⼆乘法：\(1.1\) 定义线性最⼩⼆乘法是解决曲线拟合最常⽤的⽅法，基本思路是，令：\[f(x)=a_1r_1(x)+a_2r_2(x)+...+a_mr_m(x), \]式中：\(r_k(x)\)为事先选定的⼀组线性⽆关的函数;\(a_k\)为待定系数。

\(1.2\) 拟合准则使\(y_i\)与\(f(x_i)\)的距离\(\delta_i\)的平⽅和最⼩\(1.3\) 系数确认记\[J(a_1,...,a_m)=\sum_{i=1}^n \delta_i^2=\sum_{i=1}^n [f(x_i)-y_i]^2, \]要使J最⼩，即令\(\frac{\partial J}{\partial a_j}=0(j=1,...,m)\),即：\[\sum_{i=1}^nr_j(x_i)[\sum_{k=1}^ma_kr_k(x_i)-y_i]=0,j=1,...,m, \]即：\[\sum_{k=1}^ma_k[\sum_{i=1}^n r_j(x_i)r_k(x_i)]=\sum_{i=1}^nr_j(x_i)y_i,j=1,...,m, \]记：\[R=\begin{bmatrix} r_1(x_1)& \cdots & r_m(x_1) \\ \vdots &\vdots& \vdots \\ r_1(x_n)& \cdots & r_m(x_n) \end{bmatrix} ,\]\[A=[a_1,\cdots,a_m]^T,Y=[y_1,\cdots,y_n]^T, \]则⽅程式可表⽰为：\[R^TRA=R^TY。

\]当\({r_1(x),\cdots,r_m(x)}\)线性⽆关时，R满秩，\(R^TR\)可逆，此时有唯⼀解：\[A=(R^TR)^{-1}R^TY \]1.4 实际意义在空间内，任意两个向量都可以组合成新的向量，我们不妨如下表⽰：\[a_1 x_1+a_2 x_2=b \Leftrightarrow A X=B \]对于拟合的向量\(y_i\)，要使其与⽬标向量\(f(x_i)\)距离最⼩，即满⾜：\[\exists k\in N,\forall i \in N,|\vec {f(x_i)}-\vec y_i|\geq |\vec {f(x_k)}-\vec y_k| \]在此处，\(y_i=b\),\(f(x_i)\)对应的矩阵为\(AX\)，故要满⾜距离最⼩，即使得\(\vec{b-AX}\)与\(\vec b\)所在平⾯正交，也就是使\(\vec{b-AX}\)与\(\vec b\)和\(\vec a\)都正交。

曲线拟合的最小二乘法原理及实现
最小二乘法是一种用于拟合数据的常用方法，特别是在需要找到一条曲线或函数来最好地描述数据时。

它的基本思想是找到一条最适合数据的曲线，使得数据点与曲线之间的偏差最小。

具体来说，最小二乘法的原理是在给定一些数据点的情况下，通过最小化每个数据点到一条曲线或函数之间的垂直距离或水平距离来找到最适合这些数据的曲线或函数。

在实际应用中，可以使用最小二乘法来拟合各种类型的曲线，如线性、二次、三次、指数等。

下面是最小二乘法的基本步骤：
1.收集数据并确定要拟合的函数类型。

2.确定函数中的待定系数，例如线性函数中的截距和斜率，二次
函数中的二次项系数、一次项系数和截距等。

3.计算每个数据点到拟合曲线的垂直距离或水平距离。

4.通过最小化距离平方和来确定待定系数，例如线性函数中可以
使用公式(b-x)² + (c-y)² = 最小值，其中b和c是待定的截距和斜率。

5.求解方程组来确定待定系数，例如在线性函数中可以使用公式
b = ∑xiyi / ∑xi，
c = ∑xi² / ∑xi来计算截距和斜率。

6.使用确定的函数系数来绘制拟合曲线。

需要注意的是，最小二乘法可能不适用于所有类型的数据，并且可能需要使用其他曲线拟合方法来获得更好的结果。

在实际应用中，还需要考虑数据的准确性和可靠性，以及选择最适合数据类型的拟合方法。

最小二乘法曲线拟合算法
最小二乘法是一种常见的曲线拟合算法，其原理是通过计算样本点与拟合曲线的误差平方和最小化，得到最佳的曲线拟合结果。

以下是最小二乘法曲线拟合算法的步骤：
步骤一：选择合适的拟合函数。

通常情况下，拟合函数的选择取决于数据集的特性和需要得到的拟合效果。

例如，对于线性拟合，拟合函数可采用一次多项式函数y=kx+b；对于非线性拟合，拟合函数可能需要采用高次多项式函数或指数函数等。

步骤二：确定误差函数。

误差函数的目的是衡量样本点与拟合曲线的偏差程度。

最常用的误差函数是均方误差，即将每个样本点的实际值与相应拟合函数的输出值之间的平方误差求和，得到样本点的一般均方误差。

公式为：E = Σ(yi-f(xi))^2。

步骤三：最小化误差函数。

最小二乘法的核心就是通过求解误差函数的最小值来得到最佳的拟合曲线。

最小化误差函数可以采用梯度下降法或牛顿法等优化算法进行求解。

步骤四：得到最佳的拟合曲线。

在得到最小化误差函数的解后，即可获得最佳的拟合曲线，该曲线可用于对数据集进行预测、分类或回归等任务。

步骤五：评估拟合效果。

为了验证最佳拟合曲线的精度和泛化能力，需要将新的数据样本输入到该曲线中进行预测，并通过各种评估指标（例如均方根误差、相关系数等）来评估拟合效果。

最小二乘法曲线拟合算法是数据分析领域中的重要算法之一，可用于各种领域中的数据拟合和模型预测任务，例如气象科学、金融投资、信号处理等。

在应用过程中，需要根据实际情况灵活选择拟合函数和误差函数，同时对拟合结果进行合理的评估和优化，以获得更好的预测效果。

曲线拟合的线性最小二乘法拟合是已知有限个数据点，求近似函数，不要求过已知数据点，只要求在某种意义下它在这些点上的总偏差最小。

线性最小二乘法曲线拟合问题的提法是，已知一组（二维）数据，即平面上的n 个点(,),i i x y 1,2,,i n =⋅⋅⋅，i x 互不相同，寻求一个函数（曲线）()y f x =，使()f x 在某种准则下与所有数据点最为接近，即曲线拟合的最好。

线性最小二乘法是解决曲线拟合最常用的方法，基本思路是，令1122()()()(),m m f x a r x a r x a r x =++⋅⋅⋅+其中：()k r x 是事先选定的一组线性无关的函数；k a 是待定系数(1,2,,;k m =⋅⋅⋅)m n <。

拟合准则是使(1,2,,)i y i n =⋅⋅⋅与()i f x 的距离i δ的平方和最小，称为最小二乘准则。

1.系数k a 的确定 记[]221211(,,,)()nnm i i i i i J a a a f x y δ====-∑∑为求12,,,m a a a ⋅⋅⋅使J 达到最小，只需利用极值的必要条件0jJa ∂=∂(1,2,,)j m =⋅⋅⋅，得到关于12,,,m a a a ⋅⋅⋅的线性方程组11()[()]0,1,2,,n mjik kiii k r x a r x y j m ==-==∑∑，即111[()()](),1,2,,.m n nkjikijiik i i a r x r x r x y j m =====∑∑∑ （1.1）记1111()()()()m n m n n mr x r x R r x r x ⨯⎡⎤⎢⎥=⎢⎥⎢⎥⎣⎦ [][]TT1212,,,,,,,m n A a a a Y y y y =⋅⋅⋅=⋅⋅⋅方程（1.1）可表为T T .R RA R Y = （1.2） 当{}12(),(),,()m r x r x r x ⋅⋅⋅线性无关时，R 列满秩，T R R 可逆，于是方程组（1.2）有唯一解()1TT .A R R R Y -=2.函数()k r x 的选取面对一组数据(,),1,2,,i i x y i n =⋅⋅⋅，用线性最小二乘法作曲线拟合时，首要的也是关键的一步是恰当地选取12(),(),,()m r x r x r x ⋅⋅⋅。