最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 2 = 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线 )(x p y =（图6-1）。函数)(x p 称为拟合函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法 . 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) [ ] ∑ = = - m i i i y x p 0 2 min ) (
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
用最小二乘法进行多项式拟合（m a t l a b 实现） 西安交通大学 徐彬华 算法分析： ,1,2,3,..,m),一共m+1 个数据点，取多项式P(x),使 函数P(x)称为拟合函数或最小二乘解，令似的 使得 其中，a0，a1,a2,…,an 为待求未知数，n 为多项式的最高次幂，由此，该问题化为求 的极值问题。由多元函数求极值的必要条件： j=0,1,…,n 得到： 总共有7个数据点，令m=6 第一步：画出已知数据的的散点图，确定拟合参数n; x=::;y=[,,,,,,]; plot(x,y,'*') xlabel 'x 轴' ylabel 'y 轴' title '散点图' hold on
因此将拟合参数n设为3. 第二步：计算矩阵 A= 注意到该矩阵为（n+1）*(n+1)矩阵， 多项式的幂跟行、列坐标（i,j）的关系为i+j-2,由此可建立循环来求矩阵的各个元素，程序如下： m=6;n=3; A=zeros(n+1); for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)^(j+i-2) end end end; 再来求矩阵 B= B=[0 0 0 0]; for j=1:n+1 for i=1:m+1 B(j)=B(j)+y(i)*x(i)^(j-1) end end 第三步：写出正规方程，求出a0,,a1…,an.
B=B'; a=inv(A)*B; 第四步：画出拟合曲线 x=[::]; z=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3; plot(x,z) legend('离散点','y=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3') title('拟合图') 总程序附下： x=::;y=[,,,,,,]; plot(x,y,'*') xlabel 'x轴' ylabel 'y轴' title '散点图' hold on m=6;n=3; A=zeros(n+1); for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)^(j+i-2) end end end; B=[0 0 0 0]; for j=1:n+1 for i=1:m+1 B(j)=B(j)+y(i)*x(i)^(j-1) end end B=B'; a=inv(A)*B; x=[::]; z=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3; plot(x,z) legend('离散点','y=a(1)+a(2)*x+a(3)*x.^2+a(4)*x.^3') title('拟合图')
曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到:
6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9)
最小二乘法多项式拟合 对于给定的数据点N i y x i i ≤≤1),,(，可用下面的n 阶多项式进行拟合，即 为了使拟合出的近似曲线能尽量反映所给数据的变化趋势，要求在所有数据点上的残差 都较小。为达到上述目标，可以令上述偏差的平方和最小，即 称这种方法为最小二乘原则，利用这一原则确定拟合多项式)(x f 的方法即为最小二乘法多项式拟合。 确定上述多项式的过程也就是确定)(x f 中的系数n k a k ≤≤0,的过程，根据最小二乘原则，则偏差平方和应该是这些系数的函数，即 为使上式取值最小，则其关于n k a k ≤≤0,的一阶导数应该为零，即有 将上面各等式写成方程组的形式可有 写成矩阵形式有 上述方程组可以通过克莱姆法则来计算，从而解出各系数n k a k ≤≤0,得到拟合方程。 考虑到一般情况提高拟合多项式的阶数并不能提高拟合精度，所以常用的多项拟合阶数为一阶和二阶，即线性拟合和二次拟合。两者的计算公式如下： 关于线性拟合，除上面按克莱姆法则来计算外，还可以有另一思路，下面对
此进行说明。由于是线性拟合，最后得到的是一条直线，因此，直线可以由斜率和截距两个参数来确定，因此，求出这两个参数即可。首先对克莱姆法的求解结果进行展开可以得到 下面考虑先计算斜率再计算截距的方法，从下图可见，斜率计算与坐标系的 位置无关，所以可以将坐标原点平移到样本的i x 和i y 坐标的均值所在点上 图中 则在新的坐标系),(y x ''下斜率的计算公式与前面1a 的计算公式相同，将其中的坐标 ),(y x 换成),(y x ''即可得到下面的计算公式 由样本在新坐标系下的坐标i x '和i y '的均值为零，或者由下面推导可知 则斜率的计算公式可以简化为 还原为原坐标有 下面推导截距的计算公式 x '
最小二乘法圆拟合 1.最小二乘法圆拟合原理 理论 最小二乘法(Least Square Method )是一种数学优化技术。它通过最小化误差的平方和找到一组数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 最小二乘圆拟合模型公式推导 在二维平面坐标系中，圆方程一般可表示为: ()22020)(r y y x x =-+- （1） 对于最小二乘法的圆拟合，其误差平方的优化目标函数为： [] 2 12020)()(∑=--+-=n i i i r y y x x S 式中：()i i y x ,n i ,...,2,1=为圆弧上特征点坐标；n 为参与拟合的特征点数。 在保持这优化目标函数特征的前提上，我们需要对其用一种稍微不同的改进方法来定义误差平方，且其避免了平方根，同时可得到一个最小化问题的直接解，定义如下: [] 2 122020)()(∑=--+-=n i i i r y y x x E （2） 则（2）式可改写为： ( )2 12 20 0220 02 22∑=-+-++-=n i i i i i r y y y y x x x x E （3） 令,02y B -=,02x A -=22020r y x C -+= 即（3）式可表示为：
() 2 22∑=++++=n i i i i i C By Ax y x E 由最小二乘法原理，参数A ,B ,C 应使E 取得极小值。根据极小值的求法，A ,B 和C 应满足 () 020 22=++++=??∑=i n i i i i i x C By Ax y x A E (4) () 020 22=++++=??∑=i n i i i i i y C By Ax y x B E (5) () 020 22=++++=??∑=n i i i i i C By Ax y x C E (6) 求解方程组，先消去参数C ,则 式()()∑=*-*n i i x n 064得 ( )0 02 202 030000002=+-++?? ? ??-+??? ??-∑∑∑∑∑∑∑∑∑∑==========n i i n i i i n i i i n i i n i n i i i n i i i n i n i i i n i i x y x y x n x n B y x y x n A x x x n （7） 式()()∑=*-*n i i y n 065得 ( )0 02 202 030002000=+-++?? ? ??-+??? ??-∑∑∑∑∑∑∑∑∑∑==========n i i n i i i n i i i n i i n i n i i i n i i n i n i i i n i i i y y x y x n y n B y y y n A y x y x n （8） 令 ??? ??-=∑∑∑===n i n i n i i i i x x x n M 000211（9） ?? ? ??-==∑∑∑===n i n i i i n i i i y x y x n M M 0002112（10） ?? ? ??-=∑∑∑===n i n i i i n i i y y y n M 000222（11）
最小二乘法原理 1. 概念 最小二乘法多项式曲线拟合，根据给定的m 个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。 2. 原理 给定数据点pi(xi,yi)，其中i=1,2,…,m 。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi 处的偏差δi= φ(xi)-yi ，i=1,2,...,m 。 常见的曲线拟合方法： 1. 是偏差绝对值最小 11min (x )y m m i i i i i φδφ===-∑∑ 2. 是最大的偏差绝对值最小 min max (x )y i i i i φδ?=- 3. 是偏差平方和最小 2211min ((x )y )m m i i i i i φδ?===-∑∑ 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 01...k k y a a x a x =+++ 2. 各点到这条曲线的距离之和，即偏差平方和如下： 2 2 011(...)m k i i k i i R y a a x a x =??=-+++??∑ 3. 为了求得符合条件的a 值，对等式右边求ak 偏导数，因而我们得到了： 011 2(...)0m k i k i i y a a x a x =??--+++=??∑ 011 2(...)0m k i k i i y a a x a x x =??--+++=??∑
…….. 0112( 0 k k i k i i y a a x a x x =??--+++=??∑ 4. 将等式简化一下，得到下面的式子 01111...n n n k i k i i i i i a n a x a x y ===+++=∑∑∑ 2 1011111...n n n n k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ …… 12011111...n n n n k k k k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ 5. 把这些等式表示成矩阵形式，就可以得到下面的矩阵： 11102111111121111.........n n n k i i i i i i n n n n k i i i i i i i i i n n n n k k k k k i i i i i i i i i n x x y a a x x x x y a x x x x y ===+====+====??????????????????????=?????????????????????? ∑∑∑∑∑∑∑∑∑∑∑ 6. 将这个范德蒙矩阵化简后得到： 0111122 21...1...1...k k k k n n n a y x x a y x x a y x x ??????????????????=????????????????????
最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：
最小二乘法数据拟合 设给定数据),(i i f x ，),,2,1(m i = 在集合},,,{Span 10n ??? =Φ中找一个函数 )()(* 0** x a x S k n k k ?∑==，)(m n < (1) 其误差是 i i i f x S -=)(*δ，),,2,1(m i = (2) 使)(* x S 满足 2 1 )(2 *1 1 2 ])()[(min ])()[(i i m i i x S i i m i i m i i f x S x f x S x -=-=∑∑∑=Φ ∈==ωωδ (3) 0)(≥x ω是],[b a 上给定的权函数。上述求逼近函数)(*x S 的方法就称为曲线拟合的最小二 乘法。满足关系式(3)的函数)(* x S 称为上述最小二乘问题的最小二乘解。 并且有结论： 1)对于给定的函数表),(i i f x ，),,2,1(m i =，在函数类},,,{Span 10n ??? =Φ中存在唯一的函数)()(*0** x a x S k n k k ?∑== ，使得关系式(3)成立。 2)最小二乘解的系数* *1*0,,,n a a a 可以通过解法方程 ),(),(0 ???f a k n k j k =∑=，),,2,1,0(n j = (4) 作为曲线拟合的一种常用的情况，如果讨论的是代数多项式拟合，即取 },,,,1{},,,{210n n x x x =??? 那么相应的法方程(4)就是 ??????????????=???????????????????????? ??∑∑∑∑∑∑∑∑∑∑∑∑++i n i i i i i i i n n i i n i i n i i n i i i i i i n i i i i i f x f x f a a a x x x x x x x x ωωωωωωωωωωωω 102112 (5)
第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 0 2 =[]∑==-m i i i y x p 0 2 min )( 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线)(x p y =（图6-1）。函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法. 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘 拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。
毕业论文文献综述 信息与计算科学 最小二乘法的原理及应用 一、国内外状况 国际统计学会第56届大会于2007年8月22-29日在美丽的大西洋海滨城市、葡萄牙首都里斯本如期召开。应大会组委会的邀请，以会长李德水为团长的中国统计学会代表团一行29人注册参加了这次大会。北京市统计学会、山东省统计学会，分别组团参加了这次大会。中国统计界（不含港澳台地区）共有58名代表参加了这次盛会。本届大会的特邀论文会议共涉及94个主题，每个主题一般至少有3-5位代表做学术演讲和讨论。通过对大会论文按研究内容进行归纳，特邀论文大致可以分为四类：即数理统计，经济、社会统计和官方统计，统计教育和统计应用。 数理统计方面。数理统计作为统计科学的一个重要部分，特别是随机过程和回归分析依然展现着古老理论的活力，一直受到统计界的重视并吸引着众多的研究者。本届大会也不例外。 二、进展情况 数理统计学19世纪的数理统计学史, 就是最小二乘法向各个应用领域拓展的历史席卷了统计大部分应用的几个分支——相关回归分析, 方差分析和线性模型理论等, 其灵魂都在于最小二乘法; 不少近代的统计学研究是在此法的基础上衍生出来, 作为其进一步发展或纠正其不足之处而采取的对策, 这包括回归分析中一系列修正最小二乘法而导致的估计方法。 数理统计学的发展大致可分 3 个时期。① 20 世纪以前。这个时期又可分成两段，大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线，前段属萌芽时期，基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先，强调了推断的地位，而摆脱了单纯描述的性质。由于高斯等的工作揭示了最小二乘法的重要性，学者们普遍认为，在实际问题中遇见的几乎所有的连续变量，都可以满意地用最小二乘法来刻画。这种观点使关于最小二乘法得到了深入的发展，②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法，以及数理统计学的主要分支学科，都是在这个时期建立和发展起来的。这个时期的成就，包含了至今仍在广泛使用的大多数统计方法。在其发展中，以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中，数理统计学在应用和理论两方面继续获得很大的进展。
第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1）
其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 整理得到拟合曲线满足的方程：
该方程的参数估计步骤如下： 取n 组观测值n i x x x y ki i i i ,,2,1),,,,(211 =代入上式中可得下列形式： ?????????++??+++=++??+++=++??+++=m mk k m m m k k k k u x x x y u x x x y u x x x y ββββββββββββ2211022222211021 112211101 （2） (2)的矩阵表达形式为： U B X y += （3） 对于模型（3），如果模型的参数估计值已经得到，则有： ^^B X y = （4） 那么，被解释变量的观测值与估计值之差的平方和为： ∑∑==--==-==n i i i n i i B X Y B X Y e e y y e Q 1 ^ '^'2^12)()()( （5） 根据最小二乘法原理，参数估计值应该是下列方程： 0)()(^' ^^=--??B X Y B X Y B （6） 的解。于是，参数的最小二乘估计值为： Y X X X B '1'^)(-= （ 7）
多变量预测模型是以多元线性回归方程为基础，其一般形式为： i ki k i i i u x x x y +++++=ββββ 22110 （8） 其中：k n i ;,,2,1 =为解释变量的数目；k x x x ,,,21 为解释变量，)1(+k 为解释变量的数目；k βββ ,,21为待估参数；u 为随机干扰项；i 为观测值下标。 统计检验是依据统计理论来检验模型参数估计值的可靠性。主要包括方程显著性检验（F 检验）和变量显著性检验（F 检验）。前者计算出F 统计量的数值；给定一个显著性水平α，查F 分布表，得到一个临界值),1,(--k n k F α当)1,(-->k n k F F α时，通过F 检验。后者计算出t 统计量的数值；给定一个显著性水平α，查t 分布表，得到一个临界值)1(2/--k n t α，当)1(||2/-->k n t t α时，通过t 检验。
最小二乘拟合 在物理实验中经常要观测两个有函数关系的物理量。根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。这类问题通常有两种情况：一种是两个观测量x 与y 之间的函数形式已知，但一些参数未知，需要确定未知参数的最佳估计值；另一种是x 与y 之间的函数形式还不知道，需要找出它们之间的经验公式。后一种情况常假设x 与y 之间的关系是一个待定的多项式，多项式系数就是待定的未知参数，从而可采用类似于前一种情况的处理方法。 一、最小二乘法原理 在两个观测量中，往往总有一个量精度比另一个高得多，为简单起见把精度较高的观测量看作没有误差，并把这个观测量选作x ，而把所有的误差只认为是y 的误差。设x 和y 的函数关系由理论公式 y ＝f （x ；c 1，c 2，……c m ） （0-0-1） 给出，其中c 1，c 2，……c m 是m 个要通过实验确定的参数。对于每组观测数据（x i ，y i ）i ＝1，2，……，N 。都对应于xy 平面上一个点。若不存在测量误差，则这些数据点都准确 落在理论曲线上。只要选取m 组测量值代入式（0-0-1），便得到方程组 y i ＝f （x ；c 1，c 2，……c m ） （0-0-2） 式中i ＝1，2，……，m.求m 个方程的联立解即得m 个参数的数值。显然N
数值计算理论报告 题目： 有一只对温度敏感的电阻，已经测得了一组温度T 和电阻R 的数据如下，问当温度为60o C 时，电阻有多大？ 多项式拟合： 已知变量x ，y 之间的函数关系为： n n-112n n+1y=a x +a x ++a x+a 通过实验获得一组{i x ，i y | i =1,2,3，···，m}测量数据，确定出系数12n+1a a a （，，，）。 当n=1时，函数为线性关系若函数为线性关系，其形式为： y=ax+b （1） 式中a, b 为要用实验数据确定的常数。由实验测得的数据是总是存在着误差，所以，把各组数据代入(1)式中，两边并不相等。相应的作图时，数据点也并不能准确地落在公式对应的直线上，误差的的平方和为： 为了使拟合出的近似曲线能尽量反映所给数据的变化趋势，要求在所有数据点上的残差 |)(|||i i i y x f -=δ 都较小。为达到上述目标，可以令上述偏差的平方和最小，即 min ])([)(212 1=-=∑∑==i i N i i N i y x f δ 称这种方法为最小二乘原则，利用这一原则确定拟合多项式)(x f 的方法即为最小二乘法多项式拟合。按最小二乘法，当a, b 选择适当，能使为最小时y=ax+b 才是最佳曲线。用偏导数的方法求出此式的最小值。 以上是线性拟合的基本原理。 程序： x0=[20.5, 32.7, 51.0, 73.0, 95.7]; %t 的行向量 y0=[765, 826, 873, 942, 1032]; %r 的列向量 %plot(x0,y0,'r'); %画连续的图形，颜色设置为红 () 2 112∑∑=--==?n i bx a y n i v i i i
Least Squares Fit Abstract: The techniques of least squares optimization have their origins in problems of curve fitting, and of finding the best possible solution for a system of linear equations with infinitely many solutions. Curve fitting problems begin with data points (t 1, S 1), . . . , (tn' sn) and a given class of functions (for example, linear functions, polynomial functions, exponential functions), and seek to identify the function S = f(t) that "best fits" the data points. On the other hand, such problems as finding the minimum distance in geometric contexts or minimum variance in statistical contexts can often be solved by finding the solution of minimum norm for an underdetermined linear system of equations. Keyword:Least Squares、Fit、Equations Text：Suppose that in a certain experiment or study, we record a series of observed values (t 1 , Sl), (t 2 , S2), ..., (tn, Sn) of two variables s, t that we have reason to believe are related by a function s = f(t) of a certain type. For example, we might know that sand t are related by a polynomial function of degree < k, where k is prescribed in advance, but we do not know the specific values of the coefficients xo, Xl' ..., X k of p(t). We are interested in choosing the values of these coefficients so that the deviations between the observed value Si at t i and the value p(tJ of p(t) at t i , are all as small as possible. One reasonable approach to this problem is to minimize the function
%最小二乘法线性拟合y=ax+b x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); title(‘V-X曲线’) grid on xlabel(‘X/mm’) ylabel(‘V/v’) hold on x=[0:0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); x=[0:-0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; xmean=mean(x);ymean=mean(y); sumx2=(x-xmean)*(x-xmean)'; sumxy=(y-ymean)*(x-xmean)'; a=sumxy/sumx2;%解出直线斜率a(即传感器灵敏度) b=ymean-a*xmean;%解出直线截距b z=((a*(x(1,11))+b-(y(1,11)))/(y(1,11))); a b z figure plot(x,y,'+'); hold on
用最小二乘法进行多项式拟合（matlab 实现） 西安交通大学 徐彬华 算法分析： 对给定数据 (i=0 ,1,2,3,..,m),一共m+1个数据点，取多项式P(x),使 函数P(x)称为拟合函数或最小二乘解，令似的 使得 其中，a0，a1,a2,…,an 为待求未知数，n 为多项式的最高次幂，由此，该问题化为求 的极值问题。由多元函数求极值的必要条件： j=0,1,…,n 得到： j=0,1,…,n 这是一个关于a0，a1,a2,…,an 的线性方程组，用矩阵表示如下：
因此，只要给出数据点 及其个数m ，再给出所要拟合的参数n ，则即可求出未知数矩阵（a0，a1,a2,…,an ） 试验题1 编制以函数 为基的多项式最小二乘拟合程序，并用于对下列数据作三次多项式最小二乘拟合(取权函数wi ≡1) x i -1.0 -0.5 0.0 0.5 1.0 1.5 2.0 y i -4.447 -0.452 0.551 0.048 -0.447 0.549 4.552 总共有7个数据点，令m=6 第一步：画出已知数据的的散点图，确定拟合参数n; x=-1.0:0.5:2.0;y=[-4.447,-0.452,0.551,0.048,-0.447,0.549,4.552]; plot(x,y,'*') xlabel 'x 轴' ylabel 'y 轴' title '散点图' hold on {} n k k x 0=
因此将拟合参数n设为3. 第二步：计算矩阵 A= 注意到该矩阵为（n+1）*(n+1)矩阵， 多项式的幂跟行、列坐标（i,j）的关系为i+j-2,由此可建立循环来求矩阵的各个元素，程序如下： m=6;n=3; A=zeros(n+1); for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)^(j+i-2) end end end; 再来求矩阵 B= for j=1:n+1 for i=1:m+1 B(j)=B(j)+y(i)*x(i)^(j-1) end end 第三步：写出正规方程，求出a0,,a1…,an.