浅谈加权最小二乘法及其残差图
——兼答孙小素副教授
何晓群 刘文卿
ABSTRACT
The paper introduces some problems in relation to weighted least square regression ,and answers a question about weighted residual plots.
关键词：异方差；加权最小二乘法；残差图；SPSS
一、引言
好几年没有翻《统计研究》了。最近，有一同行朋友打电话告诉我《统计研究》2005年第11期上刊登了一篇有关我与刘文卿合作编著的《应用回归分析》（2001.6.中国人民大学出版社）教材的文章。赶紧找到这期的《统计研究》，看到其中孙小素副教授的文章《加权最小二乘法残差图问题探讨——与何晓群教授商榷》一文，以下简称《孙文》。认真拜读后感触良多。首先衷心感谢孙小素副教授阅读了我们《应用回归分析》拙作的部分章节，同时感谢《统计研究》给我们提供这样一个好的机会，使我们能够借助贵刊对加权最小二乘法的有关问题谈谈更多的认识。
《孙文》谈到《应用回归分析》教材中有关加权最小二乘法残差图的问题。摆出了与加权最小二乘法相关的三类残差图，指出第三类残差图的局限性。直接的问题是三类残差图的作用，而更深层的原因应该是对加权最小二乘法统计思想的理解和认识上的差异。
二、对加权最小二乘法的认识
1. 加权最小二乘估计方法
拙作《应用回归分析》中对加权最小二乘法有详尽的讲述，这里仅做简要介绍。多元线性回归方程普通最小二乘法的离差平方和为：
∑=----=n
i ip p i i p x x y Q 1
211010)(),,,(ββββββ
（1）
普通最小二乘估计就是寻找参数p βββ,,,10 的估计值p
βββ?,,?,?10 使式（1）的离差平方和Q 达极小。式（1）中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项i ε等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。
然而在异方差的条件下，平方和中的每一项的地位是不相同的，误差项i ε的方差2i σ大的项，在式（1）平方和中的取值就偏大，在平方和中的作用就大，因而普通最小二乘估计
的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。
由式（1）求出的p
βββ?,,?,?10 仍然是p βββ,,,10 的无偏估计，但不再是最小方差线性无偏估计。
加权最小二乘估计的方法是在平方和中加入一个适当的权数i w ，以调整各项在平方和
中的作用，加权最小二乘的离差平方和为：
∑=----=n
i ip p i i i p w x x y w Q 1
211010)( ),,,(ββββββ （2）
加权最小二乘估计就是寻找参数p βββ,,,10 的估计值pw
w w βββ?,,?,?10 使式（2）的离差平方和w Q 达极小。所得加权最小二乘经验回归方程记做
p
pw w w w x x y βββ????110+++= （3）
理论上最优的权数i w 为误差项方差2i σ的倒数,即
2
1
i
i w σ
=
（4）
误差项方差大的项接受小的权数，以降低其在式（2）平方和中的作用; 误差项方差小的项接受大的权数，以提高其在平方和中的作用。由（2）式求出的加权最小二乘估计
pw
w w βββ?,,?,?10 就是参数p βββ,,,10 的最小方差线性无偏估计。 一个需要解决的问题是误差项的方差2i σ是未知的,因此无法真正按照式（4）选取权数。在实际问题中误差项方差2i σ通常与自变量的水平有关,可以利用这种关系确定权数。例如
2i σ与第j 个自变量取值的平方成比例时,即2i σ=k 2
ij
x 时,这时取权数为 21
ij
i x w =
（5） 更一般的情况是误差项方差2i σ与某个自变量j x 取值的幂函数m ij x 成比例，即2i σ=k m
ij x ,
其中m 是待定的未知参数。此时权数为
m ij
i x w 1
=
（6） 这时确定权数i w 的问题转化为确定幂参数m 的问题，可以借助SPSS 软件解决。《应用回归》书中和《孙文》中都讲了这个方法，本文不再重述。需要注意的是，在实际问题中比例关系2i σ=k m
ij x 只是近似的，式（6）确定的权数i w 只是式（4）最优权数的近似值，因此所得的参数最小二乘估计也只是近似的最小方差线性无偏估计。 2. 变量变换的加权最小二乘法
《孙文》中谈到：加权最小二乘法的实质是要对原始数据实施变换，获得新的解释变量和被解释变量，变换的方法是：
2m j
x y y -
?='
（y '表示变换后的被解释变量） （7）
2
m
j h h
x x x -
?='，h =0,1,2,……,p （h
x '是对应于原始变量h x 的新解释变量） （8）
对变换后的变量（p x x x y '''',,,,10
）重新进行普通最小二成估计（注意，此处的回归模型不包含常数项，增加了数据变换后派生出的一个新解释变量2
m
j x x -='），即可得到加
权最小二乘法的经验回归方程：
p pw w w w x x x y '++'+'='βββ????1100 （9）
以上是《孙文》中对加权最小二乘法的解释，其中公式（7）、（8）、（9）分别对应《孙
文》中的公式（3）、（4）、（5）。
3. 两种方法的异同
相同之处。显然，式（3）与式（9）两个回归方程是等价的，把式（3）同时乘以2
m
j
x w -=后就转化为式（9）。
不同之处。首先，式（3）的回归方程p
pw w w w x x y βββ????110+++= 使用起来比较方便，因为利用该回归方程进行预测和控制时，无须按式（8）变换自变量的新值，直接将
自变量的新值代入式（3）即可。对这一点孙小素副教授也是认同的。其实，所有方法的优劣评价根本就在于他是否方便于建模最终的应用。
其次，虽然两种加权回归方法所得的回归方程是等价的，但是对回归效果的拟合优度和检验是不同的，式（3）的加权最小二乘的总离差平方和、回归离差平方和、残差平方和的计算公式和关系为：
∑∑∑===+-=-n i n
i iw i w iw i n
i w i
i e w y y
w y y
w 1
1
2
2
1
2
)?()( （10） 其中w y 是i y 用i w 加权的算术平均数。
由于式（9）的变换加权最小二乘回归方程不含常数项，所以不满足离差平方和分解式，
而是对直接的平方和满足分解式，总平方和、回归平方和、残差平方和的计算公式和关系为：
∑∑∑==='+'='n i n
i iw iw
n i i
e y
y 11
22
12? （11）
等价于
∑∑∑===+=n
i n
i iw
i iw
i
n i i
i e w y
w y w 1
1
2
21
2
? （12） 对不含常数项的普通最小二乘回归，SPSS 软件就是用上述公式计算平方和并进而计算判定系数2
R 和做F 检验的。然而，这种做法的合理性是有欠缺的，因为总平方和
∑='
n
i i y 12
不
能如实反映因变量的变差，仅是为了满足平方和分解式而这样做，有削足适履的嫌疑。
另外一种做法是以
∑='-'n
i y y 1
2
)
(作为总离差平方和，把
∑∑=='
-'-'n i n
i iw
i
e y y 1
1
2
2
)(作为回
归离差平方和，而不使用
∑='-'n
i iw
y y
1
2)?(作为回归离差平方和，Excel 软件不含常数项（即
指定常数项为零）的普通最小二乘回归就是采用的这个方法。
对《孙文》所引用的《应用回归分析》例题，有关的计算结果见表1（a ）—（d ）。从表中可以清楚看出用变换加权最小二乘法计算离差平方和存在明显的问题，判定系数2
R 和检验统计量F 严重失真。对同样的数据做变换加权最小二乘估计，市面上流行的不同软件的拟合优度检验却差别很大，SPSS 软件计算出的F =442.2，2
R =0.968；Excel 软件计算出的F =74.26，2
R =0.837。对其他数值就不逐一对比了。
针对上述问题，变换加权最小二乘法实际上常用于式（5）成立的情况，即m =2，此时变换后的自变量j x '≡1，回归参数j β就相当于回归常数项了，对变换后的数据就可以用含有常数项的普通最小二乘估计方法，各种统计软件对变换加权最小二乘法回归的拟合优度检验的输出结果就都一致了。遗憾的是，即使是在这种特殊情况下也仍然与直接用加权最小二乘估计方法不一致，这只需仔细比较两种情况的总离差平方和公式
∑='-'n
i i
y y 1
2
)
(和
∑=-n
i w i
i y y
w 1
2)(的差异即可。
这种通过变换变量求解加权最小二乘估计方法的作用是什么呢？引用文献[1]第180页的一段文字给予解释：“许多回归软件包允许用户有选择地使用具体的权数进行加权最小二乘分析。如果不能选择，通过对观察值的具体变换，使用不加权的最小二乘法，仍能得到加权最小二乘估计量。”
可见通过变换变量求解加权最小二乘估计的方法仅是作为参数估计的一种计算手段而存在的，如果你使用的软件仅具有普通最小二乘功能，就只能用变换变量的方法求解加权最小二乘的参数估计。《应用回归分析》教材是结合SPSS 软件编写的，而SPSS 软件允许用户直接使用权数进行加权最小二乘分析，不必通过变换变量的方法求解加权最小二乘估计，因此我们在教材中没有给出这种通过变换变量求解加权最小二乘估计的方法。
纵上所述，在拥有像SPSS 这种能够直接计算加权最小二乘估计的软件时，就不必使用变换变量求解加权最小二乘估计的方法了。即使使用的是变换变量求解加权最小二乘估计的方法，也应该把式（9）变换回式（3）的形式，用来直接表示出原始变量之间的关系。因此《孙文》把式（9）称为加权最小二乘法的经验回归方程就显然不合适了。我们也没有见到其他的文献用这个称法。
三、三类残差图的作用
以残差为纵坐标轴以自变量（或回归值y ?）为横坐标轴画的散点图就是残差图。《孙文》
中的三类残差图如下：
1. 普通残差图。指用原始数据对线性回归模型做普通最小二乘估计所得的普通残差i
e 所做的残差图，也就是《孙文》中所称的第一类残差图。
2. 加权普通残差图。其残差是用原始数据做加权最小二乘估计所得的普通残差w e （在《孙文》中记做w e '）
，也就是《孙文》中所称的加权派生残差图，或第三类残差图。 3. 加权变换残差图。其残差是用变换数据做加权最小二乘估计所得的普通残差w e '（在
《孙文》中记做w e ），也就是《孙文》中所称的加权残差图，或第二类残差图。w e '的计算方法有两种，第一种方法是用式（9）的变换加权最小二乘法得到，第二种方法是把加权普通残差w e 乘以2
m
j
x w -=得到，即2
m
j
w w w x e w e e -
?=?='。
拙作《应用回归分析》一书中重点讲述的是普通残差图的作用，可以从直观上判断回归模型是否存在异方差性，还可以进一步用普通残差的绝对值与自变量计算等级相关系数，做相关性检验来判断是否存在异方差性。在教材正文中对加权残差图只是给出了软件绘制的方法和图形，并没有对图形结果做任何文字说明和评价。由于考虑有些初学者可能会产生误解，我们在教材第121页“本章小结与评注”中对加权残差图做了简要解释，引述如下：
“从残差图来看，普通最小二乘估计只能照顾到残差大的项，而小残差项往往有整体的正偏或负偏。加权最小二乘估计的残差图，对大残差和小残差拟合的都好，大残差和小残差都没有整体的正偏或负偏。”
以上这段文字指出了加权残差图的作用，如果在普通残差图中小残差有整体的正偏或负偏，而在加权普通残差图中得到明显的改善，这就说明加权最小二乘估计是显著有效的。两种残差图在《应用回归分析》和《孙文》中都已给出，本文就不重复绘制图形了，而是把三种残差的具体数值列在表2中，说明加权普通残差的作用。
这个例子共有31对数据，把数据分为3组，第1—10对数据为第1组，是小方差组；11—21对数据为第2组，是中等方差组；22—31对数据为第3组，是大方差组。
从表中看到，第1组10个普通残差i e 中有8个是负值，说明普通残差图中小残差有整体的负偏。而10个加权残差iw e 中只有6个是负值，说明加权残差对小残差整体负偏的情况已经有了明显改进。10个普通残差中绝对值最大的是6e = -253，加权回归后改善为w e 6= -221。图形是对数值的直观展示，从两张残差图上也是可以看出相同现象的。
第3组10个普通残差i e 和加权残差iw e 的正负性相同，正负值各有5个，说明普通最小二乘和加权最小二乘对大残差项拟合的都好。仔细观察这组的两种残差还是能发现区别的，10个普通残差中绝对值最大的是29e = -500，加权回归后成为w e 29= -546。不是像小残差组那样得到改善，而是误差变得更大。其道理也很简单，加权最小二乘估计照顾小残差项是以牺牲大残差项为代价的，有得必有失，也是有局限性的。
《孙文》中认为加权残差图存在一定的局限性，具体表现在：“第一，这类残差图不能用来检验模型是否存在异方差问题。第二，这类残差图也不能用来说明模型中的异方差问题是否得到妥善处理。”
关于第一点，准确地说是不必用加权残差图检验模型是否存在异方差问题，并非不能用，这是因为检验模型是否存在异方差问题的工作已经由普通残差图完成。实际上用加权普通残差图检验异方差的效果是优于普通残差图的，这是因为存在异方差时普通残差对误差的估计是失真的，而加权残差则能够更真实地反映误差项的大小。
关于第二点，如果从加权残差图中看到小残差项已经没有整体的正偏或负偏，则说明加权最小二乘估计已经消除了异方差的影响。
《孙文》中提出的加权变换残差图（第二类残差图）是有其长处的，可以比加权普通残差图（第三类残差图）更直观地看出加权最小二乘估计是否真正解决了异方差问题，这只要
看看残差图中散点在左右两端分布得是否平齐即可。还可以由加权变换残差iw
e '用等级相关系数法做检验，判断异方差是否真正得以消除，这个作用是加权普通残差iw e 不具备的。这
两个作用在《孙文》中已经详细介绍。顺便指出《孙文》以加权变换残差iw e '为纵轴，分别以两个变换后的自变量75.00
-='x x 和25
.01x x ='为横轴绘制出两张残差图是不必要的，实际
上这两张残差图是等价的，从图形上看只是左右颠倒。
加权变换残差iw e '的数值是对原始数据的残差做了变换，其数值大小只具有相对意义。加权普通残差iw e 是原始数据的残差，其数值大小具有绝对意义，它综合了普通残差和加权变换残差的部分功能，当然同时也丧失了部分功能。
《孙文》中讲述了用变换加权最小二乘法计算加权变换残差iw
e '的方法。实际上，在用SPSS 软件计算出权数i w 和加权普通残差iw e 后，只须根据关系iw i iw e w e ?='就可以计算出
加权变换残差iw
e '，而不必用变换加权最小二乘方法。 拙作《应用回归分析》在正文中对加权变换残差图完全没有提及，不过“本章小结与评注”中的一句话“如果把误差项加权，那么加权的误差项i i w ε?是等方差的”，可以看作
是对加权变换残差iw
e '的诠释。 拙作《应用回归分析》关于加权普通残差图的内容是这样讲述的：“为了画残差图，需要计算出加权最小二乘估计的残差iw e ，这需要重新做回归。
第一步，在Weight Estimation 对话框的Options 选项中，保存最优权作为新的变量。
第二步，进入线性回归对话框，点选左下角的WLS ，线性回归对话框会增加一行Weight 变量框，把在第一步保存的最优权变量选入。
第三步，点选线性回归对话框的Save 选项，保存残差变量，运行。
第四步，以自变量x 为横轴，以加权最小二乘估计的残差iw e 为纵轴画残差图”
这段内容的直接作用是介绍加权普通残差图的绘制方法，其间接作用是介绍SPSS 软件加权最小二乘估计功能的使用方法，也就是“第二步”的内容。在SPSS 软件中，加权最小二乘回归具有普通最小二乘回归的很多功能，包括共线性诊断、异常值判定、自相关分析、区间预测等等，这些功能都是以“第二步”的内容为基础的，计算残差只是众多功能之一而已。
用图形来评价结果往往只是一种粗糙的辅助手段。正像我们在拙作《应用回归分析》第121页“本章小结与评注”上强调指出：“关于异方差性的诊断，方法很多，至于哪种检验方法最好，目前还没有一致的看法。残差图方法直观但较粗糙。等级相关系数检验要比残差图检验方法更为可取。”
四、对异方差问题的深入思考
拙作《应用回归分析》教材定位于统计学专业的本科生或非统计学专业的硕士生，作为3学分54学时的课程教材，限制篇幅和深度，教材中对一些问题不可能全面展开叙述，在此对异方差的一些问题再做进一步探讨。
当回归模型存在异方差时，加权最小二乘估计只是对普通最小二乘估计的改进，这种改进有可能是细微的，不能理解为加权最小二乘估计会得到与普通最小二乘估计截然不同的回归方程，或者一定有大幅度的改进。对本例的数据，普通最小二乘的经验回归方程是x y
0847.01.648?+-=，加权最小二乘的经验回归方程是x y w 0879.01.719?+-=，两者相差不大。比较加权普通残差图与普通残差图的差异就可以如实反映这种改进幅度。看来需要
强调指出的是这个改进幅度不是指iw i iw e w e ?='是否变为等方差了，而是指回归方程也就
是回归系数估计值的差异幅度，在这一问题上加权普通残差图是优于加权变换残差图的。实
际上，可以构造出这样的数据，回归模型存在很强的异方差，加权回归后iw i iw
e w e ?='变
为等方差了，但是普通最小二乘与加权最小二乘所得的回归方程却完全一样。
加权最小二乘以牺牲大方差项的拟合效果为代价改善了小方差项的拟合效果，这也并不总是研究者所需要的。在社会经济现象中，通常变量取值大时方差也大，在以经济总量为研究目标时，更关心的是变量取值大的项，而普通最小二乘恰好能满足这个要求。动态数据的指数平滑法把近期数据加上大的权数，强调近期数据的贡献就是这样的统计思想。
加权最小二乘估计的理论权数是式（4），但是实际使用的只能是近似的，通常取为某个自变量j x 平方的倒数，即2
1j x w =。对本例的数据，取2
1x w =，加权最小二乘回归方
程为x y w 0881.05.722?+-=，判定系数2R =0.933。而取最优权数5
.11x
w =所得加权最小
二乘回归方程为x y w 0879.01.719?+-=，2
R =0.936，两者非常接近。所以当手头没有SPSS
软件时，直接取2
1j x w =是一个可行的方法，这时对加权最小二乘回归的效果要用残差图等方法验证。如前所述，当用变换变量方法做加权最小二乘估计时，选取2
1j x w =的一个好处是回归模型中仍然含有常数项，这时不同软件对回归拟合优度检验的结果就一致了。 异方差问题是社会经济现象建立回归模型时的普遍问题，加权最小二乘估计是解决异方差的一个常用方法，另外一个方法是当模型存在异方差性时,人们往往还考虑对因变量作变换,使得对变换过后的数据误差方差能够近似相等,即方差比较稳定,所以通常称这种变换为方差稳定化变换，常见的变量变换有如下几种。
(1)如果2i σ与)(i y E 存在一定的比例关系,使用y y =
';
(2)如果i σ与)(i y E 存在一定的比例关系,使用)log(y y =';
(3)如果i σ与)(i y E 存在一定的比例关系,使用y
y 1=
' 方差稳定变换在改变误差项方差的同时，也会改变误差项的分布，改变回归函数的形式。因而当误差项服从正态分布，因变量与自变量之间遵从线性回归函数，只是误差项存在异方差时，应该采用加权最小二乘估计，以消除异方差的影响。当误差项不仅存在异方差，而且误差项不服从正态分布，因变量与自变量之间也不遵从线性回归函数关系时，应该采用方差稳定变换。
变换变量的加权最小二乘估计方法可以看作方差稳定变换的一个特例，是同时变换自变量与因变量的方法，对因变量的变换是线性的，因此只改变误差项的方差，而不改变分布。从统计思想看，方差稳定变换是真正消除了异方差。加权最小二乘并不是去真正消除异方差，而只是通过加权的方法消除异方差对回归估计的不良影响，虽然存在异方差但是也能够构造良好的估计量，这体现了统计方法的灵活多样性。如果认为统计方法只能适用于等方差的情况，遇到异方差时一定要先把数据变换为等方差才能处理，这种认识就显狭隘和片面了。
异方差、自相关、共线性是计量经济学建立经济回归模型常遇到的问题，拙作《应用回归分析》中重点讲的是共线性问题，用一章的内容讲述共线性的危害及识别方法，再用一章的内容讲述用SPSS 软件做岭回归解决共线性问题的详细方法，而淡化了对异方差和自相关的讲述。自相关虽然是很重要的内容，但是对此问题的深入探讨属于时间序列分析的内容，作为回归分析教材只是做简要介绍。如前所述，即使回归模型存在很强的异方差，但是加权最小二乘所得的回归方程可能只是对普通最小二乘的微小调整，并且这种调整还不一定是研究者所需要的，所以我们认为异方差对回归模型的危害远不如共线性严重。这样就把异方差、自相关和异常值这三个问题合并为教材的一章内容，仅对重要的方法做简要介绍，一些没能在正文中讲述的问题则在“本章小结与评注”中做简要的说明或提示。这种认识是否正确，处理方式是否妥当，还请孙小素副教授和广大同行不吝指正。
参考文献 [1] ［美］约翰·内特著.张勇.王国明等译.应用线性回归模型.北京：中国统计出版社.1990. [2] 张寿.于清文.计量经济学.上海：上海交通大学出版社.1984.
作者简介
何晓群，男，中国人民大学统计学院教师，中国人民大学应用统计科学研究中心研究人员，中国人民大学六西格玛质量管理研究中心主任。 刘文卿，男，中国人民大学统计学院教师，中国人民大学六西格玛质量管理研究中心副主任。
题目： （递推最小二乘法） 考虑如下系统： )()4(5.0)3()2(7.0)1(5.1)(k k u k u k y k y k y ξ+-+-=-+-- 式中，)(k ξ为方差为0.1的白噪声。 取初值I P 610)0(=、00=∧ ）（θ。选择方差为1的白噪声作为输入信号)(k u ，采用PLS 法进行参数估计。 Matlab 代码如下： clear all close all L=400; %仿真长度 uk=zeros(4,1); %输入初值：uk(i)表示u(k-i) yk=zeros(2,1); %输出初值 u=randn(L,1); %输入采用白噪声序列 xi=sqrt(0.1)*randn(L,1); %方差为0.1的白噪声序列 theta=[-1.5;0.7;1.0;0.5]; %对象参数真值 thetae_1=zeros(4,1); %（）θ初值 P=10^6*eye(4); %题目要求的初值 for k=1:L phi=[-yk;uk(3:4)]; %400×4矩阵phi 第k 行对应的y(k-1),y(k-2),u(k-3), u(k-4) y(k)=phi'*theta+xi(k); %采集输出数据 %递推最小二乘法的递推公式 K=P*phi/(1+phi'*P*phi); thetae(:,k)=thetae_1+K*(y(k)-phi'*thetae_1); P=(eye(4)-K*phi')*P; %更新数据 thetae_1=thetae(:,k); for i=4:-1:2 uk(i)=uk(i-1); end uk(1)=u(k); for i=2:-1:2 yk(i)=yk(i-1);
一、 递推最小二乘法 递推最小二乘法的一般步骤： 1. 根据输入输出序列列出最小二乘法估计的观测矩阵?： ] )(u ... )1( )( ... )1([)(T b q n k k u n k y k y k ------=? 没有给出输出序列的还要先算出输出序列。 本例中， 2)]-u(k 1),-u(k 2),-1),-y(k -[-y(k )(T =k ?。 2. 给辨识参数θ和协方差阵P 赋初值。一般取0θ=0或者极小的数，取σσ,20I P =特别大，本例中取σ=100。 3. 按照下式计算增益矩阵G ： ) ()1()(1)()1()(k k P k k k P k G T ???-+-= 4. 按照下式计算要辨识的参数θ： )]1(?)()()[()1(?)(?--+-=k k k y k G k k T θ?θθ 5. 按照下式计算新的协方差阵P ： )1()()()1()(---=k P k k G k P k P T ? 6. 计算辨识参数的相对变化量，看是否满足停机准则。如满足，则不再递推；如不满足， 则从第三步开始进行下一次地推，直至满足要求为止。 停机准则：ε???<--) (?)1(?)(?max k k k i i i i 本例中由于递推次数只有三十次，故不需要停机准则。 7. 分离参数：将a 1….a na b 1….b nb 从辨识参数θ中分离出来。 8. 画出被辨识参数θ的各次递推估计值图形。 为了说明噪声对递推最小二乘法结果的影响，程序5-7-2在计算模拟观测值时不加噪 声， 辨识结果为a1 =1.6417，a2 = 0.7148，b1 = 0.3900，b2 =0.3499，与真实值a1 =1.642， a2 = 0.715， b1 = 0.3900，b2 =0.35相差无几。 程序5-7-2-1在计算模拟观测值时加入了均值为0，方差为0.1的白噪声序列，由于噪 声的影响，此时的结果为变值，但变化范围较小，现任取一组结果作为辨识结果。辨识结果为a1 =1.5371， a2 = 0.6874， b1 = 0.3756，b2 =0.3378。 程序5-7-2-2在计算模拟观测值时加入了有色噪声，有色噪声为 E(k)+1.642E(k-1)+0.715E(k-2)，E(k)是均值为0，方差为0.1的白噪声序列，由于有色噪声的影响，此时的辨识结果变动范围远比白噪声时大，任取一组结果作为辨识结果。辨识结果为a1 =1.6676， a2 = 0.7479， b1 = 0.4254，b2 =0.3965。 可以看出，基本的最小二乘法不适用于有色噪声的场合。
最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：
第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1）
其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 整理得到拟合曲线满足的方程：
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
偏最小二乘法 1.1 基本原理 偏最小二乘法（PLS ）是基于因子分析的多变量校正方法，其数学基础为主成分分析。但它相对于主成分回归（PCR ）更进了一步，两者的区别在于PLS 法将浓度矩阵Y 和相应的量测响应矩阵X 同时进行主成分分解： X=TP+E Y=UQ+F 式中T 和U 分别为X 和Y 的得分矩阵，而P 和Q 分别为X 和Y 的载荷矩阵，E 和F 分别为运用偏最小二乘法去拟合矩阵X 和Y 时所引进的误差。 偏最小二乘法和主成分回归很相似，其差别在于用于描述变量Y 中因子的同时也用于描述变量X 。为了实现这一点，数学中是以矩阵Y 的列去计算矩阵X 的因子。同时，矩阵Y 的因子则由矩阵X 的列去预测。分解得到的T 和U 矩阵分别是除去了大部分测量误差的响应和浓度的信息。偏最小二乘法就是利用各列向量相互正交的特征响应矩阵T 和特征浓度矩阵U 进行回归： U=TB 得到回归系数矩阵，又称关联矩阵B ： B=(T T T -1)T T U 因此，偏最小二乘法的校正步骤包括对矩阵Y 和矩阵X 的主成分分解以及对关联矩阵B 的计算。 1.2主成分分析 主成分分析的中心目的是将数据降维，以排除众多化学信息共存中相互重叠的信息。他是将原变量进行转换，即把原变量的线性组合成几个新变量。同时这些新变量要尽可能多的表征原变量的数据结构特征而不丢失信息。新变量是一组正交的，即互不相关的变量。这种新变量又称为主成分。 如何寻找主成分，在数学上讲，求数据矩阵的主成分就是求解该矩阵的特征值和特征矢量问题。下面以多组分混合物的量测光谱来加以说明。假设有n 个样本包含p 个组分，在m 个波长下测定其光谱数据，根据比尔定律和加和定理有： A n×m =C n×p B p×m 如果混合物只有一种组分，则该光谱矢量与纯光谱矢量应该是方向一致，而大小不同。换句话说，光谱A 表示在由p 个波长构成的p 维变量空间的一组点（n 个），而这一组点一定在一条通过坐标原点的直线上。这条直线其实就是纯光谱b 。因此由m 个波长描述的原始数据可以用一条直线，即一个新坐标或新变量来表示。如果一个混合物由2个组分组成，各组分的纯光谱用b1，b2表示，则有： 1122 T T T i i i a c b c b =+ 有上式看出，不管混合物如何变化，其光谱总可以用两个新坐标轴b1,b2来表示。因此可以 推出，如果混合物由p 个组分组成，那么混合物的光谱就可由p 个主成分轴的线性组合表示。
生活中的计算方法应用实例——— 最小二乘法，用MATLAB实现1. 数值实例 下面给定的是某市最近1个月早晨7：00左右（新疆时间）的天气预报所得到的温度 天数 1 2 3 4 5 6 7 8 9 10 温度9 10 11 12 13 14 13 12 11 9 天数11 12 13 14 15 16 17 18 19 20 温度10 11 12 13 14 12 11 10 9 8 天数21 22 23 24 25 26 27 28 29 30 温度7 8 9 11 9 7 6 5 3 1 下面用MATLAB编程对上述数据进行最小二乘拟合，按照数据找出任意次曲线拟合方程和它的图像。 2、程序代码 x=[1:1:30]; y=[9,10,11,12,13,14,13,12,11,9,10,11,12,13,14,12,11,10,9,8,7,8,9,11,9,7, 6,5,3,1]; a1=polyfit(x,y,3) %三次多项式拟合% a2= polyfit(x,y,9) %九次多项式拟合% a3= polyfit(x,y,15) %十五次多项式拟合% b1= polyval(a1,x) b2= polyval(a2,x) b3= polyval(a3,x) r1= sum((y-b1).^2) %三次多项式误差平方和% r2= sum((y-b2).^2) %九次次多项式误差平方和% r3= sum((y-b3).^2) %十五次多项式误差平方和% plot(x,y,'*') %用*画出x,y图像% hold on plot(x,b1, 'r') %用红色线画出x,b1图像% hold on plot(x,b2, 'g') %用绿色线画出x,b2图像% hold on plot(x,b3, 'b:o') %用蓝色o线画出x,b3图像% 3、数值结果 不同次数多项式拟合误差平方和为： r1=67.6659
曲线拟合——最小二乘法算法 一、目的和要求 1）了解最小二乘法的基本原理，熟悉最小二乘算法； 2）掌握最小二乘进行曲线拟合的编程，通过程序解决实际问题。 二、实习内容 1）最小二乘进行多项式拟合的编程实现。 2）用完成的程序解决实际问题。 三、算法 1）输入数据节点数n ，拟合的多项式次数m ，循环输入各节点的数据x j , y j (j=0,1,…,n-1) 2）由x j 求S ；由x j ,y j 求T ： S k = ∑-=10n j k j x ( k=0,1,2, … 2*m ) T k = ∑-=1 0n j k j j x y ( k=0,1,2,… m ) 3）由S 形成系数矩阵数组c i,j ：c[i][j]=S[i+j] (i=0,1,2,…m, j=0,1,2,…,m)；由T 形成系数矩阵增广部分c i,m+1：c[i][m+1]=T[i] (i=0,1,2,…m) 4）对线性方程组CA=T[或A C ]，用列主元高斯消去法求解系数矩阵A=(a 0,a 1,…,a m )T 四、实验步骤 1）完成最小二乘法进行曲线拟合的程序设计及录入、编辑； 2）完成程序的编译和链接，并进行修改； 3）用书上P105例2的例子对程序进行验证，并进行修改； 4）用完成的程序求解下面的实际问题。 5）完成实验报告。 五、实验结果 1. 经编译、链接及例子验证结果正确的源程序： #include
第十八讲 全面最小二乘法 一、 法向回归 一组测量数据()i i t ,s ,欲拟和直线 12s c t c =+ 最小二乘法采取目标函数：()2 n 12i 1i 2i 1 E c ,c s c t c min ==--=∑ 它隐含了在测量中，i t 是精确测量的，只有i s 才测得不准确，而在实际测量中，i t ，i s 都是无法准确测量的，因此，采用法向回归更有可能。 2 c t 12 c t c +() ,i i t s 点()i i t ,s 到直线12s c t c =+的距离为 i 1i 2s c t c -- 故法向回归的目标函数为 ()2 2 n 12i 1i 2i 1 E c ,c s c t c min =??=--=∑ ()()n n i 1i 22i 1i 2i 1 i 121 E 1 12s c t c 0c s c t c 1c n ==?=---=→=-?+∑∑
() () ()()()()()()()()n n 2 1i 1i 2i i 1i 22 22i 1 i 1 111 n 121i i i 1i 22i 11n n n 1i 1i 21i i 1i 2i i 1i 22i 1 i 1 i 1 1n n 1i i 1i 2i i 12i 1i 11 2c E 2s c t c t s c t c c 1c 1c 2c c c s t s c t c 1c 2c c s c t c c s s c t c t s c t c 1c 2c s s c t c t s c 1c ========?=--+---?++=----+? ?=--------?? +?? -=--+-+∑∑∑∑∑∑∑∑－ ()i 2t c 0 ??-=???? 将2c 代入之，可得 1st 21c c s c t ??= ??? =-?? 其中 () ()() ( ) n i i 1n i i 12 n n n 22ss i i i i 1i 1i 1n n n n st i i i i i i i 1i 1i 1i 12n n n 22tt i i i i 1i 1i 11s s n 1t t n 1l s s s s ,n 1l s s t t s t s t n 1l t t t t n ============?=?? ? =?? ????=-=- ????? ?????=--=-? ??? ????? ????=-=- ? ???? ∑∑∑∑∑∑∑∑∑∑∑∑ 另一种推导方法： ()()n 2 12i 1i 22 i 1 1 1 E c ,c s c t c 1c ==--+∑
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 基于最小二乘法的系统辨识的设计与开发（整理版）课程（论文）题目： 基于最小二乘法的系统辨识摘要： 最小二乘法是一种经典的数据处理方法。 最小二乘的一次性完成辨识算法（也称批处理算法），他的特点是直接利用已经获得的所有（一批）观测数据进行运算处理。 在系统辨识领域中, 最小二乘法是一种得到广泛应用的估计方法, 可用于动态系统, 静态系统, 线性系统, 非线性系统。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 关键词： 最小二乘法；系统辨识；参数估计 1 引言最小二乘理论是有高斯（ K.F.Gauss）在 1795 年提出： 未知量的最大可能值是这样一个数值，它使各次实际观测值和计算值之间的差值的平方乘以度量其精度的数值以后的和最小。 这就是最小二乘法的最早思想。 最小二乘辨识方法提供一个估算方法，使之能得到一个在最小方差意义上与实验数据最好拟合的数学模型。 递推最小二乘法是在最小二乘法得到的观测数据的基础上，用新引入的数据对上一次估计的结果进行修正递推出下一个参数估计值，直到估计值达到满意的精确度为止。 1 / 10
对工程实践中测得的数据进行理论分析，用恰当的函数去模拟数据原型是一类十分重要的问题，最常用的逼近原则是让实测数据和估计数据之间的距离平方和最小，这即是最小二乘法。 最小二乘法是一种经典的数据处理方法。 在随机的环境下，利用最小二乘法时，并不要求观测数据提供其概率统计方面的信息，而其估计结果，却有相当好的统计特性。 2 最小二乘法的系统辨识设单输入单输出线性定常系统的差分方程为： 1),()()() 1()(01knkubkubnkxakxakxnn （ 1）上式中： )(ku为输入信号；)(kx为理论上的输出值。 )(kx只有通过观测才能得到，在观测过程中往往附加有随机干扰。 )(kx的观测值)(ky可表示为 （ 2）将式（ 2）代入式（ 1）得 1()()() 1()(101kubkubnkyakyakyn (3) 我们可能不知道)(kn的统计特性，在这种情况下，往往把)(kn看做均值为 0 的白噪声。 设 （ 4）则式（ 3）可以写成 (5) 在测量)(ku时也有测量误差，系统内部也可能有噪声，应当
数值计算方法期末论文 ————同等要求下三次样条插值法与最小二值法的分析及比较。
引言 在实际中，常常要处理由实验或测量所得到的一批离散数据.插值与拟合方法就是要通过这些数据去确定某一类已知函数的参数或寻找某个近似函数，使所得到的近似函数与已知数据有较高的拟合程度.如果要求这个近似函数（曲线或曲面）经过已知的所有数据点，则称此类问题为插值问题。 当所给的数据较多时，用插值方法所得到的插值函数会很复杂，所以，通常插值方法用于数据较少的情况.但数据一般都是由观测或试验得到的，往往会带有一定的随机误差，因而，要求近似函数通过所有的数据点也是不必要的.如果不要求近似函数通过所有数据点，而是要求它能较好地反应数据的整体变化趋势，则解决这类问题的方法称为数据拟合. 插值和拟合都是要根据一组数据构造一个函数作为近似，由于近似的要求不同，二者的数学方法上是完全不同的。而面对一个实际问题，究竟应该用插值还是拟合，有时容易确定，有时则并不明显。 本文由具体题目为基础，主要论述了在同等要求下三次样条插值法与最小二值法的分析及比较。 关键词：数值计算方法、三次样条插值法、最小二值法
目录 引言--------------------------------------------------- 2 第一章三次样条插值------------------------------------ 4 1.1三次样条插值函数--------------------------------- 4 1.2 分段线性插值------------------------------------ 5 1.3插值理论----------------------------------------- 6 第二章最小二乘法--------------------------------------- 7 2.1 线性最小二乘拟合法------------------------------ 7 2.2 一般线性最小二乘拟合法--------------------------- 8 2.3非线性最小二乘拟合法------------------------------ 9 第三章算法对比与实现------------------------------------ 10 3.1对比实例一---------------------------------------- 10 3.2对比实例二---------------------------------------- 11 3.3结果及分析---------------------------------------- 15 第四章总结---------------------------------------------- 16
第四章 最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 dx v P i i i i )2exp(21 22 σπ σ-= 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为
n i i i n i i dx v P P )]()(21exp[)2(12∑- ∏= ∏=σπσ 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即 ∑=i i i Min v 2 2 σ 权因子：22o i i w σσ=即权因子i w ∝21 i σ，则 2 []i i wvv wv Min ==∑ 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑ 即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： ∑===Min v vv i 2][ 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-min max 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，
普通最小二乘法（OLS） 普通最小二乘法（Ordinary Least Square，简称OLS），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值（i=1,2,…,n）的情况下（见图 2.2.1中的散点），假如模型（2.2.1）的参数估计量已经求得到，为和，并且是最合理 的参数估计量，那么直线方程（见图2.2.1中的直线） i=1,2,…,n (2.2.2) 应该能够最好地拟合样本数据。其中为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 (2.2.3) 为什么用平方和？因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 是、的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q对、的一阶偏导数为0时，Q达到最小。即
(2.2.4) 容易推得特征方程： 解得： （2.2.5） 所以有： （2.2.6） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 （2.2.6）的参数估计量可以写成
(2.2.7) 至此，完成了模型估计的第一项任务。下面进行模型估计的第二项任务，即求随机 误差项方差的估计量。记为第i个样本观测点的残差，即被解释变量的估计值与观测值之差。则随机误差项方差的估计量为 (2.2.8) 在关于的无偏性的证明中，将给出（2.2.8）的推导过程，有兴趣的读者可以参考有关资料。 在结束普通最小二乘估计的时候，需要交代一个重要的概念，即“估计量”和“估计值”的区别。由（2.2.6）给出的参数估计结果是由一个具体样本资料计算 出来的，它是一个“估计值”，或者“点估计”，是参数估计量和的一个具体数值；但从另一个角度，仅仅把（2.2.6）看成和的一个表达式，那么，则是的函数，而是随机变量，所以和也是随机变量，在这个角度上，称之为“估计量”。在本章后续内容中，有时把和作为随机变量，有时又把和作为确定的数值，道理就在于此。
第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n ,,21记最可信赖值为x ，相应的残差x x v i i 。测值落入),(dx x x i i 的概率。 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即
权因子：2 2o i i w 即权因子i w ∝21i ，则 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w 即加权算术平均值 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i （2）最小最大残差法：Min v i max （3）最小广义权差法：Min v v i i m in m ax 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法 先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ,列出待解的数学模型。 1x =0.3 2x =-0.4 1x +3x =0.5
基于正交最小二乘算法的RBF神经网络 一、实验环境 硬件平台Win10 64位操作系统，1.5GHZ，4G内存，软件版本MA TLAB2015b 二、实验数据 训练数据集： T F W M Y Q 1000.00130010000 20.00740.03350.00150.00320.010610000 30.00430.022300.00470.005310000 40.5520.30170.25810.30940.231601000 50.54520.27930.26110.29880.203601000 60.55020.24580.27170.31150.234701000 70.24620.15080.09470.09640.099900100 80.25350.10610.09680.09710.08100100 90.26650.08940.09370.09940.090800100 100.66150.52510.51950.471100010 110.67380.44130.52250.47320.966700010 120.66650.47490.52550.47690.975800010 13110.981210.820600001 140.97970.977710.9960.775900001 150.98460.97270.98470.98570.7600001 测试数据集： T F W M Y Q 10.00310.02350.00050.0030.004510000 20.54930.26260.26590.30880.222101000 30.25720.10060.09580.09810.08900100 40.67040.49720.52350.47410.979100010 50.9920.98990.99790.99370.797900001 三、算法介绍 RBF函数网络从结构上看是一个3层前馈网络，包括一个输入层、一个输出层和一个隐含层。输入层节点的作用是将输入数据传递到隐含层节点。隐含层节点称为RBF节点，其激活函数为辐射状函数的神经元构成，通常采用高斯型函数：Array 图1 RBF结构 RBF网络中所用的非线性函数的形式对网络性能的影响并不是至关重要的，关键因素是基函数中心的选取，中心选取不当构造出来的RBF网络的性能一般不能令人满意。例如，如果某些中心靠的太近，会产生近似线形相关，从而带来数值上的病变条件。基本的RBF 神经网络采用随机抽取固定中心的方法，在输入样本数据的分布具有某种特性的情况下，采用这种方法解决给定问题就显得简单可行了。而针对其缺陷，已经有许多改进的方法，其中 之一就是利用最小二乘法选取中心，训练网络权重。
第五章 插值与最小二乘法 5.1 插值问题与插值多项式 实际问题中若给定函数是区间上的一个列表函数 ，如果,且f(x)在区间上是连续的，要求用一个简单的，便于计算的解析表达式在区间上近似f(x)，使 (5.1.1) 就称为的插值函数，点称为插值节点，包含插值节点的区间称为插值区间. 通常，其中是一组在上线性 无关的函数族，表示组成的函数空间表示为 (5.1.2) 这里是(n+1)个待定常数，它可根据条件(5.1.1)确定.当 时，表示次数不超过n次的多项式集合， ，此时 (5.1.3) 称为插值多项式，如果为三角函数，则为三角插值，同理还有 分段多项式插值，有理插值等等.由于计算机上只能使用+、-、×、÷运算，故常用的就是多项式、分段多项式或有理分式，本章着重讨论多项式插值及分段多项式插值，其他插值问题不讨论. 从几何上看，插值问题就是求过n+1个点的曲线，使它近似于已给函数，如图5-1所示.
插值法是一种古老的数学方法，它来自生产实践.早在一千多年前，我国科学家在研究历法时就应用了线性插值与二次插值，但它的基本理论却是在微积分产生以后才逐步完善的，其应用也日益广泛.特别是由于计算机的使用和航空、造船、精密机械加工等实际问题的需要，使插值法在理论上和实践上得到进一步发展.尤其是近几十年发展起来的样条(Spline)插值，获得了极为广泛的应用，并成为计算机图形学的基础. 本章主要讨论如何求插值多项式、分段插值函数、三次样条插值、插值多项式的存在唯一性及误差估计等.此外，还讨论列表函数的最小二乘曲线拟合问题与正交多项式. 讲解： 插值多项式就是根据给定n+1个点 ，求一个n次多项式： 使 即 这里是n+1个待定系数，根据n+1个条件得到的方程组是关于参数 的线性方程组。当节点互异时由于系数行列式 所以解是存在唯一的。但直接求解较复杂，也得不到统一的表达式。所以通常求插值多项式不用这种方法，而使用下节给出的基函数方法。 5.2 Lagrange插值 5.2.1 线性插值与二次插值 最简单的插值问题是已知两点及，通过此两点的插值多项式是一条直线，即两点式
实验二 #include "stdio.h" float gs(float a[20][20],float b[20],int n ) { int i,j,k,l; float s; k=1; while(k!=n+1) { if(a[k][k]!=0) { for(i=k+1;i<=n+1;i++) { a[i][k]=a[i][k]/a[k][k]; b[i]=b[i]-a[i][k]*b[k]; for(j=k+1;j<=n+1;j++) a[i][j]=a[i][j]-a[i][k]*a[k][j]; } } k=k+1; } for(k=n+1;k>=1;k--) { s=0; for(l=k+1;l<=n+1;l++) s=s+a[k][l]*b[l]; b[k]=(b[k]-s)/a[k][k]; } return 0; } int main() { float a[20][20]={0.0};//定义a矩阵 float c[20][20];//定义c矩阵 float ct[20][20];//定义ct矩阵 float x[20];//定义数组用于存放x的数据 float y[20];//定义数组用于存放y的数据 float b[20]={0.0};//定义b矩阵 int i,j,k,m,n; printf("输入所求函数的最高次数n:\n");//输入n（求线性的函数输入1。。）scanf("%d",&n);
printf("输入测试数据的组数m:\n");//输入测试数据的组数scanf("%d",&m); printf("输入x的测试数据%d个:\n",m);//输入x的测试数据m个for(i=1;i<=m;i++) scanf("%f",&x[i]); printf("输入y的测试数据%d个:\n",m);//输入y的测试数据m个for(i=1;i<=m;i++) scanf("%f",&y[i]); for(i=1;i<=m;i++)//c矩阵第一列赋值为1 c[i][1]=1.0; //求C[][] for(j=2;j<=n+1;j++) for(i=1;i<=m;i++) c[i][j]=x[i]*c[i][j-1]; //输出C[][] printf("C矩阵如下：\n"); for(i=1;i<=m;i++) for(j=1;j<=n+1;j++) { printf("%f ",c[i][j]); if(j==n+1) printf("\n"); } //求c的转置矩阵CT[][] for(i=1;i<=m;i++) for(j=1;j<=n+1;j++) ct[j][i]=c[i][j]; //输出CT[][] printf("CT矩阵如下：\n"); for(i=1;i<=n+1;i++) for(j=1;j<=m;j++) { printf("%f ",ct[i][j]); if(j==m) printf("\n");
最小二乘法综述及算例 一最小二乘法的历史简介 1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。 高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。 经过两百余年后，最小二乘法已广泛应用与科学实验和工程技术中，随着现代电子计算机的普及与发展，这个方法更加显示出其强大的生命力。 二最小二乘法原理 最小二乘法的基本原理是：成对等精度测得的一组数据),...,2,1(,n i y x i i =，是找出一条最佳的拟合曲线，似的这条曲线上的个点的值与测量值的差的平方和在所有拟合曲线中最小。 设物理量y 与1个变量l x x x ,...,2,1间的依赖关系式为:)(,...,1,0;,...,2,1n l a a a x x x f y =。 其中n a a a ,...,1,0是n +l 个待定参数,记()2 1 ∑=- = m i i i y v s 其中是测量值,是由己求得的 n a a a ,...,1,0以及实验点),...,2,1)(,...,(;,2,1m i v x x x i il i i =得出的函数值)(,...,1,0;,...,2,1n il i i a a a x x x f y =。 在设计实验时, 为了减小误差, 常进行多点测量, 使方程式个数大于待定参数的个数, 此时构成的方程组称为矛盾方程组。通过最小二乘法转化后的方程组称为正规方程组(此时方程式的个数与待定参数的个数相等) 。我们可以通过正规方程组求出a 最小二乘法又称曲线拟合, 所谓“ 拟合” 即不要求所作的曲线完全通过所有的数据点, 只要求所得的曲线能反映数据的基本趋势。 三曲线拟合 曲线拟合的几何解释: 求一条曲线, 使数据点均在离此曲线的上方或下方不远处。 （1）一元线性拟合 设变量y 与x 成线性关系x a a y 10+=,先已知m 个实验点),...,2,1(,m i v x i i =，求两个未知参数1,0a a 。 令() 2 1 10∑=--=m i i i x a a y s ，则1,0a a 应满足 1,0,0==??i a s i 。 即 i v i v