第7章 曲线拟合与线性最小二乘问题

最小二乘法曲线拟合
最小二乘法是一种数学优化技术，它通过最小化预测值与实际观测值之间的平方误差的总和来寻找数据的最佳函数匹配。

在曲线拟合中，最小二乘法被广泛用于拟合一组数据到一个数学模型上，使得这组数据与模型之间的误差的平方和最小。

最小二乘法的核心思想是通过最小化误差的平方和来找到最佳拟合曲线。

具体来说，给定一组数据点 (x1, y1), (x2, y2), ..., (xn, yn)，我们需要找到一条曲线 y = f(x)，使得所有数据点到曲线的垂直距离的平方和最小。

最小二乘法的应用非常广泛，包括统计学、回归分析、时间序列分析、机器学习和数据挖掘等领域。

通过最小二乘法，我们可以找到最佳拟合曲线，从而更好地理解数据的内在规律和趋势，并进行预测和决策。

在实现最小二乘法时，通常需要选择合适的数学模型和参数，并使用迭代或优化算法来求解最小化问题。

同时，还需要考虑数据的噪声和异常值对拟合结果的影响，以及模型的泛化能力。

曲线拟合最小二乘法
曲线拟合是指通过已知数据点来推导出一条函数曲线，使得该曲线尽
可能地贴近这些数据点。

而最小二乘法（Least Squares Method）是求解
这种拟合问题的一种常用方法。

最小二乘法的核心思想是尽量减小误差平方和。

假设已知的数据点为$(x_i, y_i)$，曲线函数为 $y=f(x)$，我们希望找到一组参数 $\theta$，使得 $f(x_i;\theta)$ 与 $y_i$ 的差距最小，即：
$$\min_{\theta}\sum_{i=1}^n [y_i - f(x_i;\theta)]^2$$。

这个式子被称为目标函数，也叫做残差平方和（RSS）。

通过对目标
函数进行求导，可以得到最优参数 $\theta^*$ 的解析解：
$$\theta^* = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T
\mathbf{y}$$。

其中，$\mathbf{X}$ 是一个 $n \times p$ 的矩阵，每一行代表一
个数据点的特征向量，$p$ 是曲线函数的参数个数。

$\mathbf{y}$ 是一
个 $n \times 1$ 的列向量，代表数据点的真实输出值。

最小二乘法在实际应用中有很广泛的应用。

例如，可以用它来构建多
项式回归模型、高斯过程回归模型等。

此外，在机器学习领域，最小二乘
法也被用于求解线性回归模型、岭回归模型等。

最小二乘法的曲线拟合曲线拟合是在给定一组离散数据的情况下，通过一个函数来逼近这些数据的过程。

最小二乘法是一种常用的拟合方法，它通过最小化实际观测值与拟合值之间的误差平方和，来确定最佳的曲线拟合。

在进行最小二乘法的曲线拟合之前，我们首先需要明确拟合的目标函数形式。

根据实际问题的不同，可以选择线性拟合函数、多项式拟合函数或者其他非线性拟合函数。

然后，我们通过求解最小二乘问题的优化方程，来得到拟合函数的系数。

最小二乘法的核心思想是将拟合问题转化为一个优化问题。

我们需要定义一个损失函数，用来衡量观测值与拟合值之间的差异。

常见的损失函数有平方损失函数、绝对损失函数等。

在最小二乘法中，我们选择平方损失函数，因为它能够更好地反映误差的大小。

具体来说，我们假设待拟合的数据点为{(x1,y1),(x2,y2),...,(xn,yn)}，拟合函数为f(x)。

则拟合问题可表示为以下优化方程：min Σ(yi-f(xi))^2通过求解优化方程，即求解拟合函数的系数，我们可以得到最佳的曲线拟合。

最小二乘法的优势在于它能够考虑所有观测值的误差，并且具有较好的稳定性和可靠性。

在实际应用中，最小二乘法的曲线拟合被广泛应用于各个领域。

例如，在物理学中，可以利用最小二乘法来分析实验数据，拟合出与实际曲线相符合的函数。

在经济学中，最小二乘法可以用来估计经济模型中的参数。

在工程领域，最小二乘法可以用于信号处理、图像处理等方面。

总而言之，最小二乘法是一种常用的曲线拟合方法，通过最小化观测值与拟合值之间的误差平方和，来确定最佳的拟合函数。

它具有简单、稳定、可靠的特点，在各个领域都有广泛的应用。

曲线拟合问题最常用的解法——线性最小二乘法的基本思路第一步:先选定一组函数 r 1(x), r 2(x), …r m (x), m<n, 令f(x)=a 1r 1(x)+a 2r 2(x)+ …+a m r m (x) （1） 其中 a 1,a 2, …a m 为待定系数。

第二步: 确定a 1,a 2, …a m 的准则（最小二乘准则）： 使n 个点（x i ,y i ) 与曲线 y=f(x) 的距离δi 的平方和最小 。

记221211211(,,)[()][()](2)n nm i i i i i nmk k i i i k J a a a f x y a r x y δ======-=-∑∑∑∑问题归结为，求 a 1,a 2, …a m 使 J(a 1,a 2, …a m ) 最小。

线性最小二乘法的求解：预备知识超定方程组：方程个数大于未知量个数的方程组111122111122 ()m m n n nm m nr a r a r a y n m r a r a r a y +++=⎧⎪>⎨⎪+++=⎩ 即 Ra=y其中111112112,,m n n nm m n a y r r r R a y r r r a y ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦超定方程一般是不存在解的矛盾方程组。

如果有向量a 使得211221()ni i im m i i r ar a r a y =+++-∑ 达到最小，则称a 为上述超定方程的最小二乘解。

线性最小二乘法的求解所以，曲线拟合的最小二乘法要解决的问题，实际上就是求以下超定方程组的最小二乘解的问题。

Ra=y （3）其中111111()(),,()()m n m n m n r x r x a y R a y r x r x a y ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦定理：当R T R 可逆时，超定方程组（3）存在最小二乘解，且即为方程组 R T Ra=R T y的解：a=(R T R)-1R T y线性最小二乘拟合f(x)=a1r1(x)+ …+a m r m(x)中函数{r1(x), …r m(x)}的选取1. 通过机理分析建立数学模型来确定f(x)；2. 将数据(x i,y i) i=1, …n 作图，通过直观判断确定f(x)：用MATLAB作线性最小二乘拟合1. 作多项式f(x)=a1x m+ …+a m x+a m+1拟合,可利用已有程序:例对下面一组数据作二次多项式拟合xi 0.1 0.2 0.4 0.5 0.6 0.7 0.8 0.9 1 yi 1.978 3.28 6.16 7.34 7.66 9.58 9.48 9.30 11.22123()f x a x a x a =++中 的123(,,)A a a a =使得:1121[()] iii f x y =-∑最小解法1．用解超定方程的方法211211111 1x x R x x ⎛⎫⎪=⎪ ⎪⎝⎭此时 1）输入以下命令：x=0:0.1:1;y=[-0.447 1.978 3.28 6.16 7.08 7.34 7.66 9.56 9.48 9.30 11.2]; R=[(x.^2)' x' ones(11,1)]； A=R\y'2）计算结果： Ａ = -9.8108 20.1293 -0.03172()9.810820.12930.0317f x x x =-+-解法2．用多项式拟合的命令 1）输入以下命令： x=0:0.1:1;y=[-0.447 1.978 3.28 6.16 7.08 7.34 7.66 9.56 9.48 9.30 11.2]; A=polyfit(x,y,2) z=polyval(A,x);plot(x,y,'k+',x,z,'r') %作出数据点和拟合曲线的图形 2）计算结果： Ａ = -9.8108 20.1293 -0.03172()9.810820.12930.0317f x x x =-+-用MATLAB 作非线性最小二乘拟合Matlab 的提供了两个求非线性最小二乘拟合的函数：lsqcurvefit 和lsqnonlin 。

最小二乘法的基本原理和多项式拟合一最小二乘法的基本原理从整体上考虑近似函数同所给数据点 (i=0,1,…,m)误差(i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差(i=0,1,…,m)绝对值的最大值，即误差向量的∞—范数；二是误差绝对值的和，即误差向量r的1—范数；三是误差平方和的算术平方根，即误差向量r的2—范数；前两种方法简单、自然，但不便于微分运算，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和来度量误差 (i=0，1，…，m)的整体大小。

数据拟合的具体作法是：对给定数据 (i=0,1,…，m)，在取定的函数类中,求,使误差(i=0,1,…,m)的平方和最小，即=从几何意义上讲，就是寻求与给定点 (i=0,1,…,m)的距离平方和为最小的曲线 （图6-1）。

函数称为拟合函数或最小二乘解，求拟合函数的方法称为曲线拟合的最小二乘法。

在曲线拟合中，函数类可有不同的选取方法.6—1二多项式拟合假设给定数据点 (i=0,1,…,m)，为所有次数不超过的多项式构成的函数类，现求一,使得(1)当拟合函数为多项式时，称为多项式拟合，满足式（1）的称为最小二乘拟合多项式。

特别地，当n=1时，称为线性拟合或直线拟合。

显然为的多元函数，因此上述问题即为求的极值问题。

由多元函数求极值的必要条件，得(2)即(3)（3）是关于的线性方程组，用矩阵表示为(4)式（3）或式（4）称为正规方程组或法方程组。

可以证明，方程组（4）的系数矩阵是一个对称正定矩阵，故存在唯一解。

从式（4）中解出 (k=0,1,…，n)，从而可得多项式(5)可以证明，式（5）中的满足式（1），即为所求的拟合多项式。

我们把称为最小二乘拟合多项式的平方误差，记作由式(2)可得(6)多项式拟合的一般方法可归纳为以下几步：(1) 由已知数据画出函数粗略的图形——散点图，确定拟合多项式的次数n；(2) 列表计算和；(3) 写出正规方程组，求出；(4) 写出拟合多项式。