北方民族大学学士学位论文
论文题目:基于最小二乘法的状态估计理论及实验仿真分
析
院(部)名称:信息与计算科学学院
学生姓名:
专业:学号:
指导教师姓名:
论文提交时间:
论文答辩时间:（不填）
学位授予时间:（不填）
最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。最小二乘法在科学上的应用广泛，特别是在用在科学实验上，用试验数据点来拟合曲线.本文探讨了最小二乘法原理以及与统计学的关系，用最小二乘法原理进行一元线性，多元线性和多项式的拟合讨论了各种线性拟合的方法，并运用实例来展示了最小二乘法在实践中的应用，在此基础上给出了几种最小二乘法程序的设计原理。
关键词原理，实验，最小二乘法，线性拟合
The least square method is a mathematical optimization techniques, Which minimize the square error and find the best matching function of a set of data.Application of least square method on science widely, especially in used in scientific experiments, using experimental data to fit curve. This paper discusses the principle of least square method and statistics, using the principle of least square method for a linear, multivariate linear and polynomial discusses various methods of linear fitting, and to show the application of least square method in practical application examples, based on the design principle of several least squares procedure.
Keywords principle, experiment, the least square method, linear fitting.
目录
摘要 (1)
Abstract ................................................................................................................. II 第一章前言 (1)
1.1最小二乘法的产生与发展 (1)
1.1.1最小二乘法的产生 (1)
1.1.2最小二乘法的发展 (1)
1.2 最小二乘法与数理统计 (1)
第二章最小二乘法 (3)
2.1最小二乘法的原理 (3)
2.2最小二乘法的统计学原理 (4)
第三章最小二乘法的应用......................... 错误！未定义书签。
3.1一元线性拟合 (6)
3.2多元线性回归 (9)
3.3多项式线性回归 (13)
3.4应用举例 (15)
3.4.1线性拟合......................... 错误！未定义书签。
3.4.2多项式拟合 (16)
第四章最小二乘法的MATLAB实现 (19)
4.1 一元线性拟合程序设计原理 (19)
4.2多元线性拟合程序设计原理 (19)
4.3 MATLAB实例 (20)
结束语 (22)
参考文献 (23)
谢辞 (24)
第一章前言
1.1最小二乘法的产生与发展
1.1.1最小二乘法的产生
在处理数据时,常要把实验获得的一系列数据点描成曲线反映物理量间的关系.为了使曲线能代替数据点的分布规律,则要求所描曲线是平滑的,既要尽可能使各数据点对称且均匀分布在曲线两侧.由于目测有误差,所以,同一组数据点不同的实验者可能描成几条不同的曲线(或直线),而且似乎都满足上述平滑的条件.那么,究竟哪一条是最曲线呢？这一问题就是“曲线拟合”问题.而最小二乘法就由此应运而生.意大利天文学家发现了一颗小行星,经过一段时间的观察,小行星运行到太阳的背后,由此失去了小行星的位置.随后世界科学家都相继用以前的观察数据来计算小行星的位置,高斯也利用最小二乘法来计算,后人用高斯的计算方法找到了小行星.并把高斯运用的最小二乘法称为高斯-马尔可夫定理.
1.1.2最小二乘法的发展
从发现最小二乘法到现在二乘法已经被应用到多个领域.如金融学、化学、物理、计算机这些基本的学科，而这些学科的发展都离不开运用数学这个工具,最小二乘法的发现又使近代统计估计理论的概念、矩阵符号表示法和近代线性代数的概念得到进一步的发展.
1.2 最小二乘法与数理统计
美国统计学家施蒂格勒认为最小二乘法之于数理统计学,有如微分之于数学,这并非夸张之辞.他还认为,19世纪的数理统计学史,就是最小二乘法向各个领域拓展的历史.可以举出一两件事实来支持这个论点,席卷统计大部分的几个分支：方差分析、相关回归分析、线性模型理论等。所谓方差分析：就是检验同方差的若干正态母体均值是否相等的一种统计方法.最小二乘法在数据分析领域是一个很好的工具。就最小二乘法本身，虽然很实用，不过看上去更多的算是一个代数方法。虽然可以推导出最优解，对于解的误差有多大，无法给出有效的分析。而把正态分布和最小二乘法联系在一起，并使得正态分布在统计误差分析中确立了自己的定位.线性模型理论,众所周知线性模型的形式就是ax+b=y,最小二乘法就是通过实验测得的数据记在图上,根据图上的点画出直线或曲线如图一
图一
方差分析与线性模型在统计学中也占很大一部分.不少近代的统计学研究是也是在最小二乘法的基础上衍生出来的,作为其近一步发展或纠正其不足之处而
采取的对策,这包括回归分析中一系列修正最小二乘法导致的估计方法.
第二章最小二乘法
2.1最小二乘法的原理
假设x 和y 是具有某种相关关系的物理量,它们之间的关系可用下式给出：
)
,,,,(21N c c c x f y = （1）
式中n c c c ，，
?21,是N 个待定常数,即式（1)曲线形式已经确定,而曲线的具体形状是未定的.
为求得具体曲线,可同时测得x 和y 的数值,设共获得m 对观测结果：
x 1x 2x 3x
…
m x
y
1y
2y
3
y
…
m
y
(2) 根据这些观测值来确定常数n
c c c ，，?21,
设x,y 关系的最佳形式为：
)?,,?,?,(?21N c c c x f y
= (3)
式中,
N c c c
?,,?,?21 是c1,c2,…,cN 的最佳估计值.若不存在测量误差,则各观
测值都应落在曲线式（1）上,即：
)
,,,,(21N i i c c c x f y = (i=1,2,…,m) (4)
但由于存在测量误差,因而是（4）与（3）不相重合,即有：
i i i y
y e ?-= (i=1,2,…,m) (5)
称i e 为残差,它是误差的实测值.
如果m 对观测值中有比较多的y 值落到曲线式（3）上,则所得曲线就能较为满意地反映被测物理量之间的关系.当y 值落在曲线上的概率最大时,曲线式（3）
就是曲线式（1）的最佳形式.如果误差服从)
(^
i y N ，σ正态分布1,则
)
,,(P 21m e e e ?概
率为：
??????--=∑=m i i i m y y e e e P 12
2212)?(exp 21
),,,(σπσ (6)
当
)
,,(P 21m e e e ?最大时,求得的曲线就应当是最佳形式.显然,此时下式应最小
∑∑===-=m
i m
i i i i e y
y 1
1
22
)?(δ(7)
残差平方和最小,就应有：
0,,0,021=??=??=??N
c c c δ
δδ (8)
[][][]??????
????
???=????
????-=???
?
????-=?
???
????-
∑∑∑===0)?,,?,?,((0)?,,?,?,((0)?,,?,?,((12112211121m i N N i i m
i N i i m
i N i i c f c c c x f y c f c c c x f y c f c c c x f y
(9) 该方程组称为正规方程（normal equation ）,解该方程组可得未定常数,通常称之为最小二乘法解.
2.2最小二乘法的统计学原理
最小二乘法拟合原理就是就是残差平方和最小，然后通过这个方程式求解，但是求得的曲线是否符合接近试验数据点.这就得看曲线拟合程度了.这就得用到统计学里的相关系数来加以判断。
若),(ηε是一个二维随机变量，且
+∞<--η
ηηεεεD E D E )(.)(E
则称
ηεηεηηηε
εεηηεεηεD D (C .))((),(C ******），ov D E D E E E E E ov =???????????? ??-???
??-=--=
为随机变量ε和η 的相关系数用R 表示.
其中εE 是一个离散随机变量),(21n x x x ?ε 的数学期望
i n
i i p x .||E 1
∑==ε
)2,1(n i p i ??=为随机变量i x 的概率.
)(E D εεεE -=
))((),(C ηηεεηεE E E ov --=叫做协方差
ε
εεεD E -*
=
0*E =ε
第三章 最小二乘法的应用
3.1一元线性拟合
1.已知函数为线性关系,其形式为：
y=a+bx （1）
式中a, b 为要用实验数据确定的常数.此类方程叫线性回归方程,方程中的待定常数a, b 叫线性回归系数.
由实验测得的数据是
n
x x x x ??=21,时,
对应的y 值是n y y y y ??=21,
由于实验数据总是存在着误差,所以,把各组数据代入(1)式中,两边并不相等.相应的作图时,数据点也并不能准确地落在公式对应的直线上,如第一章节中的图(一）所示.最好地拟合于各数据点的最佳曲线应使各数据点与曲线偏差的平方和为最小.因而有：
∑
2
vi
()[]i i i i bx a y y v +-=?= （2）
由最小二乘法确定a,b 首先,求偏差平方和,将（2）式两边平方后相加,得：
()2
112
∑∑=--==?n
i bx a y n i v i i i
显然,∑2
vi
是a, b 的函数.按最小二乘法,当a, b 选择适当,能使为最小时
y=a+bx 才是最佳曲线.
根据二元函数求极值法,把(2)式对a 和b 分别求出偏导数.得：
()()()421212
2
??
????
?
???---=?=?---=?=?∑∑∑∑i i i i i i i x bx a y b n
i v bx a y a n i v （3） (3)
令(3)等于零,得： 解方程得：
公式(5)(6)式中：
∑∑=??∑?=?∑?=?∑?xi
b a v x b
v n a
v i i i i 2222
2
2
2
22
2
2
2
从(3)不难求出对a, b 的二阶偏导数为：
()
[
]
()
[
]
()0
444)(2
2
2
22
222222222>-=-=-=???-?????∑∑∑∑∑∑∑∑x x n n
x x x x n b a v b v a v i i i i i i i i
所以(5)、(6)式求出的a, b 可使为极小值.因而由a, b 所确定的曲线y=a+bx 就是用最小二乘法拟合的最佳曲线.
3.回归方程的精度和相关系数 用最小二乘法确定a, b 存在误差.
总结经验公式时,我们初步分析判断所假定的函数关系是正确,为了解决这些问题,就需要讨论回归方程的精度和相关性.
为了估计回归方程的精度,进一步计算数据点()yi x i ,偏离最佳直线y=a+bx 的
大小,我们引入概念——剩余标准差,它反映着回归方程与各数据点的拟合程度.
剩余标准差
2)1(22
2---∑==
n s R n v yy i s σ
x
b y a s s b xx
xy
-==((()5011101
12
?
????
??
==-=-===--=∑∑∑∑∑n
i x b n i x a n i x y n
i x b na n i y i i i i i i ((4) （5） （6）
公式中：
∑-∑
=n y y s i i yy 2
)
(2
yy
xx xy s s s R =
R 称为相关系数.其值可正可负,一般有：
1
0≤≤R
a:当R=±1时,s σ = 0
2
=∑
i
v ,即各数据点与最佳直线完全重合.
b ：0 一种可能是各数据点与该线性方程偏差较小,一种可能是各数据点与该线偏差较大. 当 1 → R 时,s σ减小,一般的数据点越靠近最佳值两旁.两变量间的关系线 性相关,可以认为是线性关系,最佳直线所反应的函数关系也越接近两变量间的客观关系.同时还说明了测量的精密度高.如图c 、d ，这两个图数据点与拟合实验比较接近。 当 1 < 数据点与“最佳”直线的偏差过大. 如图a,b,e ，a 、e 这两个图数据点与拟合实验望去不符合而b 图实验数据点与拟合直线偏差也很大。 以上的数据图只是为了说明问题从实验中简化提炼出来的. 这时“最佳”二字只能说明数据点距这直线的总偏差较小,但不能反映出数据点的分布规律.或者说,我们事先的初步判断是错误的.数据点的分布规律不是线形的,根本就不能用一条直线表示. 为了帮助我们理解这一点,我们再讨论极限情况. 当R=0时（s σ最大）0≠xx s ，0≠yy s ，0=xy s 所以 b=0,a=y , 从 而得到y= y ，而实验数据点和实验数组不同会得出不同的y ，所以这个结论 是错误的 . 这说明数据点的分布不是一元线性,不能拟合为一元线性关系曲线 . R 0的值与数据点的个数n 有关. 如果有一组数据点初步观测为线性分布.那么, R 为多大时,就可以用一条最佳直线来表示其分布呢？ 只有相关系数 R ≥R 0时（其中R 0称为起码相关系数）才能用线性回归方程y=a+bx 来描述数据的的分布规律.否则毫无意义. 3.2多元线性回归 假定被解释变量Y 与多个解释变量 之间具有线性关系, 是解释 变量的多元线性函数,称为多元线性回归模型.即 (7) 其中为被解释变量,为个解释变量, 为 个未知参数,μ为随机误差项. 对于含有个解释变量的多元线性回归模型 设 分别作为参数 的估计量,得样本回归方程为： 观测值 与回归值 的残差为： 由最小二乘法可知应使全部观测值 与回归值 的残差的 平方和最小,即使 y (8) 取得最小值.根据多元函数的极值原理,分别对求一阶偏导,并令其等于零,即 (9) 即 化简得下列方程组 (10) 上述个方程称为正规方程,其矩阵形式为 (11) 因为 设为估计值向量 样本回归模型两边同乘样本观测值矩阵的转置矩阵,则有 得正规方程组： (12) ,为阶方阵,所以满秩,的逆矩阵存在.因而 (13) 则为向量的OLS估计量. 以二元线性回归模型为例,导出二元线性回归模型的OLS估计量的表达式.由(7)式得二元线性回归模型为 为了计算的方便,先将模型中心化. 设,则二元回归模型改写为中心化模型. (14) 记 (15) 将代入得 (16) 因为 (17) 则 由(13)式得 (18) 其中 由(18)式可知 得 (19) (20) (21) 3.3多项式线性回归 假设给定数据点),(i i y x (i=0,1,…,m),Φ为所有次数不超过)(m n n ≤的多项式 构成的函数类,现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-= -=∑∑∑===m i m i n k i k i k i i n y x a y x p I (22) 当拟合函数为多项式时,称为多项式拟合,满足式（22）的)(x p n 称为最小二乘拟合多项式.特别地,当n=1时,称为线性拟合或直线拟合. ∑∑==-=m i n k i k i k y x a I 0 2 )( 为 n a a a ,,10的多元函数,因此上述问题即为求 ) ,,(10n a a a I I =的极值 问 题.由多元函数求极值的必要条件,得 n j x y x a a I m i j i n k i k i k j ,,1,0,0)(200 ==-=??∑∑== (23) 即 n j y x a x n k m i i j i k m i k j i ,,1,0, )(0 ==∑∑∑===+ (24) （24）是关于 n a a a ,,10的线性方程组,用矩阵表示为 ???? ?? ???? ??????????=????????????????????? ??????????? +∑∑∑∑∑∑∑∑∑∑∑=====+==+====m i i n i m i i i m i i n m i n i m i n i m i n i m i n i m i i m i i m i n i m i i y x y x y a a a x x x x x x x x m 00010020 10 1020001 (25) 可以证明,方程组（24）的系数矩阵是一个对称正定矩阵,故存在唯一解.从式（24）中解出k a (k=0,1,…,n), ∑==n k k k n x a x p 0 )( (26) 可以证明,式（25）中的)(x p n 满足式（22）,即)(x p n 为所求的拟合多项式. 我们把[] ∑=-m i i i n y x p 2 )(称为最小二乘拟合多项式)(x p n 的平方误差 多项式拟合的一般方法可归纳为以下几步： ①由已知数据画出函数粗略的图形——散点图,确定拟合多项式的次数n ； ②列表计算∑==m i j i n j x )2,,1,0( 和∑==m i i j i n j y x ) 2,,1,0( ③写出正规方程组,求出 n a a a ,,10 ④写出拟合多项式 ∑==n k k k n x a x p 0 )(. 在实际应用中,m n <或m n ≤；当m n =时所得的拟合多项式就是拉格朗日或牛顿插值多项式. 3.4应用举例 3.4.1线性拟合 我国1988–1998年的城镇居民人均全年耐用消费品支出、人均全年可支配收入和耐用消费品价格指数的统计资料如下表所示。试建立城镇居民人均全年耐用消费品支出 关于可支配收入 和耐用消费品价格指数 的回归模型，并进 行回归分析。 表1 我国1988–1998年间城镇居民人均全年耐用消费品支出、 人均全年可支配收入和耐用消费品价格指数的统计资料 年 份 人均耐用消费品支出 (元 ) 人均全年可支配收入 (元 ) 耐用消费品价格指 (1987年 =100) 1988 137.16 1181.4 115.96 1989 124.56 1375.7 133.35 1990 107.91 1510.2 128.21 1991 102.96 1700.6 124.85 1992 125.24 2026.6 122.49 1993 162.45 2577.4 129.86 1994 217.43 3496.2 139.52 1995 253.42 4283.0 140.44 1996 251.07 4838.9 139.12 1997 285.85 5160.3 133.35 1998 327.26 5425.1 126.39 资料来源：《中国统计年鉴》 解 根据经济理论和对实际情况的分析可以知道，城镇居民人均全年耐用消费品支出 依赖于可支配收入 和耐用消费品价格指数 的变化，因此 我们设定回归模型为 1. 估计模型未知参数 由原始数据，计算得 ， ， ， ， ， ， ， ， 将上述计算结果代入公式 ，得 即 ， ， 。最后，得估计的回归方程 3.4.2多项式拟合 已知实验数据如下表： i 0 1 2 3 4 5 6 7 8 i x 1 3 4 5 6 7 8 9 1 i y 10 5 4 2 1 1 2 3 4 最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程） 曲线拟合（curve-fitting ）：工程实践中，用测量到的一些离散的数据},...2,1,0),,{(m i y x i i =求一个近似的函数)(x ?来拟合这组数据，要求所得的拟合曲线能最好的反映数据的基本趋势（即使)(x ?最好地逼近()x f ，而不必满足插值原则。因此没必要取)(i x ?=i y ，只要使i i i y x -=)(?δ尽可能地小）。 原理： 给定数据点},...2,1,0),,{(m i y x i i =。求近似曲线)(x ?。并且使得近似曲线与()x f 的偏差最小。近似曲线在该点处的偏差i i i y x -=)(?δ，i=1,2,...,m 。 常见的曲线拟合方法: 1.使偏差绝对值之和最小 2.使偏差绝对值最大的最小 3.使偏差平方和最小 最小二乘法： 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 2. 各点到这条曲线的距离之和，即偏差平方和如下： 3. 问题转化为求待定系数0a ...k a 对等式右边求i a 偏导数，因而我们得到 了： ....... 4、 把这些等式化简并表示成矩阵的形式，就可以得到下面的矩阵： 5. 将这个范德蒙得矩阵化简后可得到: 6. 也就是说X*A=Y，那么A = (X'*X)-1*X'*Y，便得到了系数矩阵A，同时，我们也就得到了拟合曲线。 MATLAB实现： MATLAB提供了polyfit（）函数命令进行最小二乘曲线拟合。 调用格式：p=polyfit(x,y,n) [p,s]= polyfit(x,y,n) [p,s,mu]=polyfit(x,y,n) x,y为数据点，n为多项式阶数，返回p为幂次从高到低的多项式系数向量p。x必须是单调的。矩阵s包括R（对x进行QR分解的三角元素）、df(自由度）、normr(残差）用于生成预测值的误差估计。 [p,s,mu]=polyfit(x,y,n)在拟合过程中，首先对x进行数据标准化处理，以在拟合中消除量纲等影响，mu包含标准化处理过程中使用的x的均值和标准差。 polyval( )为多项式曲线求值函数，调用格式： y=polyval(p,x) [y,DELTA]=polyval(p,x,s) y=polyval(p,x)为返回对应自变量x在给定系数P的多项式的值。 [y,DELTA]=polyval(p,x,s) 使用polyfit函数的选项输出s得出误差估计Y DELTA。它假设polyfit函数数据输入的误差是独立正态的，并且方差为常数。则Y DELTA将至少包含50%的预测值。 如下给定数据的拟合曲线： x=[0.5,1.0,1.5,2.0,2.5,3.0]， y=[1.75,2.45,3.81,4.80,7.00,8.60]。 解：MATLAB程序如下： x=[0.5,1.0,1.5,2.0,2.5,3.0]; y=[1.75,2.45,3.81,4.80,7.00,8.60]; p=polyfit(x,y,2) x1=0.5:0.05:3.0; y1=polyval(p,x1); plot(x,y,'*r',x1,y1,'-b') 运行结果如图1 计算结果为： p =0.5614 0.8287 1.1560 即所得多项式为y=0.5614x^2+0.08287x+1.15560 图1 最小二乘法曲线拟合示例 对比检验拟合的有效性： 例：在[0,π]区间上对正弦函数进行拟合，然后在[0,2π]区间画出图形，比较拟合区间和非拟合区间的图形，考察拟合的有效性。 在MATLAB中输入如下代码： clear x=0:0.1:pi; y=sin(x); [p,mu]=polyfit(x,y,9) 1. 2 y a bx =+. 解：1010654542.80a b a ε?=+-=?，1065414748998738643.00a b b ε?=+-=?，解方程得 4.00955,0.0471846a b ==，均方误差13.0346ε=。 2.下述矩阵能否分解为LU （其中L 为单位下三角阵，U 为上三角阵）？若能分解，那么分解是否唯一？ .461561552621,133122111,764142321??????????=??????????=??????????=C B A 解: 按高斯消去法，A 无法进行第二次消去，换行后可以分解，B 第二次消去可乘任意系数，分解不唯一，C 可唯一分解。 3.设方程组 ?????=+-=++--=++3103220241225321321321x x x x x x x x x (a) 考察用雅可比迭代法,高斯-塞德尔迭代法解此方程组的收敛性; (b) 用雅可比迭代法,高斯-塞德尔迭代法解此方程组,要求当4)()1(10||||-∞+<-k k x x 时迭代终止． 解： (a) Jacobi 迭代矩阵 ????? ??--=+=-03.02.05.0025.02.04.00)(1U L D B 特征方程为 0055.021.0||3=-+=-λλλB I 特征根均小于1，Jacobi 迭代法收敛。 Gauss-Seidel 迭代矩阵 ????? ??=-=-17.004.007.04.002.04.00)(1U L D G 特征方程为 0096.057.0||23=+-=-λλλλG I 特征根均小于1，Gauss-Seidel 迭代法收敛。 (b) Jacobi 迭代格式为 1)()1(f BX X k k +=+ 其中B 如上，T b D f )3.052.1(11-==-， 迭代18次得 用matlab实现最小二乘递推算法辨识系统参 数 自动化系统仿真实验室指导教师： 学生姓名班级计082-2 班学号撰写时间： 全文结束》》-3-1 成绩评定： 一．设计目的 1、学会用Matlab实现最小二乘法辨识系统参数。 2、进一步熟悉Matlab的界面及基本操作； 3、了解并掌握Matlab中一些函数的作用与使用；二．设计要求最小二乘递推算法辨识系统参数，利用matlab编程实现，设初始参数为零。z(k)-1、5*z(k-1)+0、7*z(k-2)=1*u(k-1)+0、5*u(k-2)+v(k); 选择如下形式的辨识模型：z(k)+a1*z(k- 1)+a2*z(k-2)=b1*u(k-1)+b2*u(k-2)+v(k);三．实验程序 m=3;N=100;uk=rand(1,N);for i=1:Nuk(i)=uk(i)*(-1)^(i-1);endyk=zeros(1,N); for k=3:N yk(k)=1、5*yk(k-1)-0、 7*yk(k-2)+uk(k-1)+0、5*uk(k-2); end%j=100;kn=0;%y=yk(m:j);%psi=[yk(m-1:j-1);yk(m-2:j-2);uk(m-1:j-1);uk(m-2:j- 2)];%pn=inv(psi*psi);%theta=(inv(psi*psi)*psi*y);theta=[0 ;0;0;0];pn=10^6*eye(4);for t=3:Nps=([yk(t-1);yk(t- 2);uk(t-1);uk(t-2)]);pn=pn- pn*ps*ps*pn*(inv(1+ps*pn*ps));theta=theta+pn*ps*(yk(t)-ps*theta);thet=theta;a1=thet(1);a2=thet(2);b1=thet(3);b2= thet(4); a1t(t)=a1;a2t(t)=a2;b1t(t)=b1;b2t(t)=b2;endt=1:N;plot(t,a 1t(t),t,a2t(t),t,b1t(t),t,b2t(t));text(20,1、 47,a1);text(20,-0、67,a2);text(20,0、97,b1);text(20,0、47,b2);四．设计实验结果及分析实验结果图：仿真结果表明，大约递推到第步时，参数辨识的结果基本到稳态状态，即a1=1、5999，b1=1，c1=0、5，d1=-0、7。五、设计感受这周的课程设计告一段落了，时间短暂，意义重大。通过这次次练习的机会，重新把matlab课本看了一遍，另外学习了系统辨识的有关内容，收获颇丰。对matlab的使用更加纯熟，也锻炼了自己在课本中搜索信息和知识的能力。在设计过程中虽然遇到了一些问题，但经过一次又一次的思考，一遍又一遍的检查终于找出了原因所在，也暴露出了前期我在这方面的知识欠缺和经验不足。同时我也进一步认识了matlab软件强大的功能。在以后的学习和工作中必定有很大的用处。 ''' 最小二乘法拟合函数曲线f(x) 1、拟合多项式为：y=a0+a1*x+a2*x^2+...+ak*x^k 2、求每个点到曲线的距离之和：Loss=∑(yi-(a0+a1*x+a2*x^2+...+ak*x^k))^2 3、最优化Loss函数，即求Loss对a0,a1,...ak的偏导数为0 3.1、数学解法——求解线性方程组： 整理最优化的偏导数矩阵为：X：含有xi的系数矩阵，A：含有ai的系数矩阵，Y：含有yi的系数矩阵 求解：XA=Y中的A矩阵 3.2、迭代解法——梯度下降法： 计算每个系数矩阵A[k]的梯度，并迭代更新A[k]的梯度 A[k]=A[k]-(learn_rate*gradient) ''' import numpy as np import matplotlib.pyplot as plt plt.rcParams['font.sans-serif']=['SimHei'] plt.rcParams['axes.unicode_minus']=False ''' 高斯列主消元算法 ''' #得到增广矩阵 def get_augmented_matrix(matrix,b): row,col=np.shape(matrix) matrix=np.insert(matrix,col,values=b,axis=1) return matrix #取出增广矩阵的系数矩阵（第一列到倒数第二列） def get_matrix(a_matrix): return a_matrix[:,:a_matrix.shape[1]-1] #选列主元，在第k行后的矩阵里，找出最大值和其对应的行号和列号 def get_pos_j_max(matrix,k): max_v=np.max(matrix[k:,:]) pos=np.argwhere(matrix==max_v) i,_=pos[0] return i,max_v #矩阵的第k行后，行交换 def exchange_row(matrix,r1,r2,k): matrix[[r1,r2],k:]=matrix[[r2,r1],k:] return matrix #消元计算(初等变化) def elimination(matrix,k): row,col=np.shape(matrix) for i in range(k+1,row): m_ik=matrix[i][k]/matrix[k][k] matrix[i]=-m_ik*matrix[k]+matrix[i] return matrix #回代求解 def backToSolve(a_matrix): matrix=a_matrix[:,:a_matrix.shape[1]-1]#得到系数矩阵 b_matrix=a_matrix[:,-1]#得到值矩阵 row,col=np.shape(matrix) x=[None]*col#待求解空间X 最小二乘法公式推导 首先，列出一元线性回归模型的回归方程： ε β+=X Y （1）（1）式中Y 为被解释变量，X 为解释变量，β待估参数，ε为税基误差项；其次，写处（1）式的相应的误差方程： Y X V -=β （2）（2）式中V 为改正数，β 为最佳估计值；最后，根据最小二乘原理求解V 的值， min V V T =（3）由（2）式可知：Y X V -=β ? )Y X (）Y X （）Y X （）Y X （V V T T T T --=--=ββββ T Y Y T T T +-=ββββ X Y -Y X X X T T T 要使（3）式成立当且仅当 0=??β V V T 又 ββββββ ?+-?=??)X Y -Y X X X (T T T Y Y V V T T T T 0X Y Y X X X T T T +??-??-??=β ββββββ T T 【注：使用的矩阵的求导公式： I X X =??T 、X Y Y Y Y T T T T T T *X Y *X X X )X (X X X X ??+??=??+??=??】ββ βββββββ X X *X X *X X T T T ??+??=??T T T β X X 2T =Y X *X Y Y X *Y X T T T T =??+??=??T T T ββ ββββ Y X Y X **X Y X Y T T T T =??+??=??ββββββ T T ∴）Y X （2X Y X 2X X 2T T T -=-=??βββ V V T 又 0 =??β V V T ∴0）Y X （2X T =-β 将（3）式带入上式可知： 0V X T = 1、最小二乘法： 1）（用1 T A A 方法计算逆矩阵） #include double mean,temp=0,variance=0; int i; for(i=0;i 科研探索 知识创新 与109 ——科协论坛?2013年第01期（下）—— 基于移动最小二乘法的列车牵引特性曲线拟合 □ 赵笑龙 徐中伟 朱龙 (同济大学 上海 201804) 摘 要：为了精确地得到列车运行时产生的牵引力，需对列车牵引特性曲线进行拟合。详细阐述移动最小二乘法的基本原理，并以6K 型电力机车为例，分别使用分段最小二乘法和移动最小二乘法进行列车牵引特性曲线的拟合，并将拟合的结果进行对比，通过分析误差的大小及曲线的平滑性，表明该方法的优越性和有效性。关键词：移动最小二乘法牵引特性曲线曲线拟合中图分类号：O241.5 文献标识码：A 文章编号：1007-3973（2013）001-109-03 1引言 曲线拟合在工程设计、计算机图形等方面有着广泛的应用。城市轨道列车牵引力的计算一般分为图解法和分析法，分析法是直接根据物理公式进行计算，求出牵引力，而图解法是通过对牵引特性曲线的拟合，来得到牵引力。由于关于列车牵引力计算的大量公式都是通过经验得来的，因此用公式计算法并不比用图解法得到的结果精确度高。所以我们经常通过图解法来得到列车的牵引力。可以通过测量得到一组关 于速度与牵引力的数据点(),i =1,2…n ，由于不知道牵引特性曲线的原型函数f (x )，而且测量数据点也必然会有误差，因此可以根据离散数据点作出拟合曲线。曲线拟合方法中多使用传统的最小二乘法，即求解一个方程组，使得曲线的误差平方和最小。通过求解该方程组，即可得到期望的拟合曲线。但是传统最小二乘法在拟合的过程中有着较大的计算量，并且在数据量比较大的时候，由于形状比较复杂，可能需要分段拟合，这样会造成拟合曲线的不连续。为了克服上述缺点，本文将使用移动最小二乘法(MLS )来拟合列车牵引曲线。2移动最小二乘法(MLS )的逼近原理 本节主要介绍移动最小二乘法(MLS )的基本原理及其数学表达，以任一计算点处拟合系数的计算为例，来解释移动最小二乘法(MLS )的处理方式及思想。 设全局近似函数为(x )，则它在点x 的局部近似为 (1) 其中：(x )(i =1,2,…,m )是m 次完备单项式基函数，是相应的系数，这些系数是空间坐标x 的函数。基函数(x )常取单项式，在一维问题中： 线性基： ()=[1]，=2(2)二次基： ()=[12]，=3 (3) 为了体现不同节点对计算点的影响，引入了权函数，它是一个紧支撑函数，只和以i 为中心的有效区域内的结点值相关，并与节点到计算点的距离有关。其中，高斯型、紧支撑径向基函数、样条函数和指数型是常用的权函数。 在移动最小二乘法（MLS ）的中，的选取使近似函数在计算点x 领域内对待求函数f (x )的局部逼近误差最小。定义 (4) 令J 取最小值，则 (5) 由此可得 (6) 将式(4)写为矩阵形式，可以得到()=1()()( 7) 其中 (8)()=[(-1)(1)，(-2)(2)，…，(-)()(9) =[(1)，(2)， …， ()](10)()=1()，2()，…，()(11)可见，点x 处的系数有两方面决定：一是该节点值， 二是它的权函数。对不同的节点，随着权函数的变化，系数也跟着不停地变化， 相应的近似函数表示为() =( )()=()1()()(o ) (12) 将移动最小二乘法(MLS )和分段最小二乘法的拟合进行对比，可以发现：分段拟合是将节点域分成了若干段，这就等于对分段的节点分别加权；并且在每个分段内，各节点对拟合系数有着相同的影响，即加权函数取为矩形。而在移动最小二乘法(MLS )中，通过引入紧支撑权函数，对每个计算点附近的节点进行加权，计算点即为中心点，权函数的支撑域即为对中心点有影响的点的范围，随着计算点的改变，权函数的支撑域不断地移动；同时，在每个权函数内，各节点对于计算点的影响与权函数取值有关，因此权函数可以发挥一个软分段的作用。 3移动最小二乘法(MLS )的实施方案 在进行移动最小二乘法(MLS )拟合时,根据具体情况的不同，主要要考虑两方面的因素： (1)基函数的选择：基函数可以分为线性基、二次基和高次基。通常，拟合曲线的平滑性会随着基函数次数的增高越来越好，但是，它会造成就计算量的急剧增大，并且还有可能会出现拟合方程组病态的情况。因此，在拟合过程中，最多取三次基。本文将选择二次基进行实验仿真。(2)权函数的选择：在移动二乘法中，权函数起着至关重要的作用。移动二乘法中的权函数需要满足以下条件：1)在支撑域内，( - ) ＞ 0； 数学必修3测试题 说明：全卷满分100分，考试时间120分钟，交卷时只需交答题卷，考试时不能使用计算器. 参考:用最小二乘法求线性回归方程系数公式x b y a x n x y x n y x b n i i n i i i -=-?-= ∑∑==, 1 2 21 一、选择题：本大题共10小题，每小题3分，共30分．在每小题给出的四处备选项中，只有一项是符合 题目要求的． 1 ”可用于（ ） A 、输出a=10 a=10 C 、判断a=10 D 、输入a=10 2、已知甲、乙两名同学在五次数学测验中的得分如下：甲：85，91，90，89，95； 乙：95，80，98，82，95。则甲、乙两名同学数学学习成绩（ ） A 、甲比乙稳定 B 、甲、乙稳定程度相同 C 、乙比甲稳定 D 、无法确定 3、下列程序语句不正确．．． 的是（ ） A 、INPUT “MA TH=”；a+b+c B 、PRINT “MA TH=”；a+b+c C 、c b a += D 、1a =c b - 4、 在调查分析某班级数学成绩与 物理成绩的相关关系时，对数据进行 统计分析得到散点图（如右图所示）， 用回归直线?y bx a =+近似刻画 其关系，根据图形，b 的数值最有 可能是（ ） A 、 0 B 、 1.55 C 、 0.85 D 、 —0.24 5、用秦九韶算法求n 次多项式011 1)(a x a x a x a x f n n n n ++++=-- ，当0x x =时，求)(0x f 需要算 乘方、乘法、加法的次数分别为（ ） A 、 n n n n ,,2 ) 1(+ B 、n,2n,n C 、 0,2n,n D 、 0,n,n 6、为了在运行下面的程序之后得到输出16，键盘输入x 应该是（ ） INPUT x IF x<0 THEN y=(x+1)*(x+1) ELSE y=(x-1)*(x-1) END IF 第4题 最小二乘法的多项式拟 合m a t l a b实现 Document serial number【NL89WT-NY98YT-NC8CB-NNUUT-NUT108】 用最小二乘法进行多项式拟合（matlab 实现） 西安交通大学 徐彬华 算法分析： 对给定数据 (i=0 ,1,2,3,..,m),一共m+1个数据点，取多项式P(x),使 函数P(x)称为拟合函数或最小二乘解，令似的 使得 其中，a0，a1,a2,…,an 为待求未知数，n 为多项式的最高次幂，由此，该问题化为求 的极值问题。由多元函数求极值的必要条件： j=0,1,…,n 得到： j=0,1,…,n 这是一个关于a0，a1,a2,…,an 的线性方程组，用矩阵表示如下： 因此，只要给出数据点 及其个数m ，再给出所要拟合的参数n ，则即可求出未知数矩阵（a0，a1,a2,…,an ） 试验题1 编制以函数 为基的多项式最小二乘拟合程序，并用于对下列数据作三次多项式最小二乘拟合(取权函数wi ≡1) x i y i 总共有7个数据点，令m=6 第一步：画出已知数据的的散点图，确定拟合参数n; x=::;y=[,,,,,,]; plot(x,y,'*') xlabel 'x 轴' ylabel 'y 轴' title '散点图' hold on {} n k k x 0= 因此将拟合参数n设为3. 第二步：计算矩阵 A= 注意到该矩阵为（n+1）*(n+1)矩阵， 多项式的幂跟行、列坐标（i,j）的关系为i+j-2,由此可建立循环来求矩阵的各个元素，程序如下： m=6;n=3; A=zeros(n+1); for j=1:n+1 for i=1:n+1 for k=1:m+1 A(j,i)=A(j,i)+x(k)^(j+i-2) end end 第6章曲线拟合的最小二乘法 6.1 拟合曲线 通过观察或测量得到一组离散数据序列，当所得数据比较准确时，可构造插值函数逼近客观存在的函数，构造的原则是要求插值函数通过这些数据点，即。此时，序列与 是相等的。 如果数据序列，含有不可避免的误差（或称“噪音”），如图6.1 所示；如果数据序列无法同时满足某特定函数，如图6.2所示，那么，只能要求所做逼近函数最优地靠近样点，即向量与的误差或距离最小。按与之间误差最小原则作为“最优”标准构造的逼近函数，称为拟合函数。 图6.1 含有“噪声”的数据 图6.2 一条直线公路与多个景点 插值和拟合是构造逼近函数的两种方法。插值的目标是要插值函数尽量靠近离散点；拟合的目标是要离散点尽量靠近拟合函数。 向量与之间的误差或距离有各种不同的定义方法。例如： 用各点误差绝对值的和表示： 用各点误差按模的最大值表示： 用各点误差的平方和表示： 或（6.1） 其中称为均方误差，由于计算均方误差的最小值的方法容易实现而被广泛采用。按 均方误差达到极小构造拟合曲线的方法称为最小二乘法。本章主要讲述用最小二乘法构造拟合曲线的方法。 在运筹学、统计学、逼近论和控制论中，最小二乘法都是很重要的求解方法。例如，它是统计学中估计回归参数的最基本方法。 关于最小二乘法的发明权，在数学史的研究中尚未定论。有材料表明高斯和勒让德分别独立地提出这种方法。勒让德是在1805年第一次公开发表关于最小二乘法的论文，这时高斯指出，他早在1795年之前就使用了这种方法。但数学史研究者只找到了高斯约在1803年之前使用了这种方法的证据。 在实际问题中，怎样由测量的数据设计和确定“最贴近”的拟合曲线？关键在选择适当的拟合曲线类型，有时根据专业知识和工作经验即可确定拟合曲线类型；在对拟合曲线一无所知的情况下，不妨先绘制数据的粗略图形，或许从中观测出拟合曲线的类型；更一般地，对数据进行多种曲线类型的拟合，并计算均方误差，用数学实验的方法找出在最小二乘法意义下的误差最小的拟合函数。 例如，某风景区要在已有的景点之间修一条规格较高的主干路，景点与主干路之间由各具特色的支路联接。设景点的坐标为点列；设主干路为一条直线 ，即拟合函数是一条直线。通过计算均方误差最小值而确定直线方程（见图6.2）。 6.2线性拟合和二次拟合函数 线性拟合 给定一组数据，做拟合直线，均方误差为 （6.2） 是二元函数，的极小值要满足 整理得到拟合曲线满足的方程： MATLAB机械工程 最小二乘法曲线拟合的应用实例 班级: 姓名: 学号: 指导教师: 一，实验目的 通过Matlab上机编程，掌握利用Matlab软件进行数据拟合分析及数据可视化方法 二，实验内容 1.有一组风机叶片的耐磨实验数据，如下表所示，其中X为使用时间，单位为小时h，Y为磨失质量，单位为克g。要求： 对该数据进行合理的最小二乘法数据拟合得下列数据。 x=[10000 11000 12000 13000 14000 15000 16000 17000 18000 19000 2 0000 21000 22000 23000]; y=[24.0 26.5 29.8 32.4 34.7 37.7 41.1 42.8 44.6 47.3 65.8 87.5 137.8 174. 2] 三，程序如下 X=10000:1000:23000; Y=[24.0,26.5,29.8,32.4,34.7,37.7,41.1,42.8,44.6,47.3,65.8,87.5,137.8,17 4.2] dy=1.5; %拟合数据y的步长for n=1:6 [a,S]=polyfit(x,y,n); A{n}=a; da=dy*sqrt(diag(inv(S.R′*S.R))); Da{n}=da′; freedom(n)=S.df; [ye,delta]=polyval(a,x,S); YE{n}=ye; D{n}=delta; chi2(n)=sum((y-ye).^2)/dy/dy; end Q=1-chi2cdf(chi2,freedom); %判断拟合良好度 clf,shg subplot(1,2,1),plot(1：6,abs(chi2-freedom),‘b’) xlabel(‘阶次’)，title(‘chi2与自由度’) subplot(1,2,2),plot(1：6,Q,‘r’,1：6,ones(1,6)*0.5) xlabel(‘阶次’),title(‘Q与0.5线’) nod=input(‘根据图形选择适当的阶次（请输入数值）’)； elf,shg, plot(x,y,‘kx’)；xlabel(‘x’),ylabel(‘y’)； axis([8000,23000,20.0,174.2])；hold on errorbar(x,YE{nod},D{nod},‘r’)；hold off title(‘较适当阶次的拟合’) text(10000,150.0,[‘chi2=’num2str(chi2(nod))‘~’int2str(freedom(nod))]) 曲线拟合的最小二乘法 学院：光电信息学院 姓名：赵海峰 学号： 200820501001 一、曲线拟合的最小二乘法原理： 由已知的离散数据点选择与实验点误差最小的曲线 S( x) a 0 0 ( x) a 1 1(x) ... a n n ( x) 称为曲线拟合的最小二乘法。 若记 m ( j , k ) i (x i ) j (x i ) k (x i ), 0 m (f , k ) i0 (x i )f (x i ) k (x i ) d k n 上式可改写为 ( k , jo j )a j d k ; (k 0,1,..., n) 这个方程成为法方程，可写成距阵 形式 Ga d 其中 a (a 0,a 1,...,a n )T ,d (d 0,d 1,...,d n )T , 、 数值实例： 下面给定的是乌鲁木齐最近 1个月早晨 7:00左右(新疆时间 )的天气预报所得 到的温度数据表，按照数据找出任意次曲线拟合方程和它的图像。 它的平方误差为： || 2 | 2 ] x ( f (2008 年 10 月 26~11 月 26) F 面应用Matlab 编程对上述数据进行最小二乘拟合 三、Matlab 程序代码: x=[1:1:30]; y=[9,10,11,12,13,14,13,12,11,9,10,11,12,13,14,12,11,10,9,8,7,8,9,11,9,7,6,5,3,1]; %三次多项式拟合% %九次多项式拟合% %十五次多项式拟合% %三次多项式误差平方和 % %九次次多项式误差平方和 % %十五次多项式误差平方和 % %用*画出x,y 图像% %用红色线画出x,b1图像% %用绿色线画出x,b2图像% %用蓝色o 线画出x,b3图像% 四、数值结果： 不同次数多项式拟和误差平方和为: r1 = 67.6659 r2 = 20.1060 r3 = 3.7952 r1、r2、r3分别表示三次、九次、十五次多项式误差平方和 拟和曲线如下图: a 仁polyfit(x,y,3) a2= polyfit(x,y,9) a3= polyfit(x,y,15) b1= polyval(a1,x) b2= polyval(a2,x) b3= polyval(a3,x) r1= sum((y-b1).A 2) r2= sum((y-b2).A2) r3= sum((y-b3).A2) plot(x,y,'*') hold on plot(x,b1, 'r') hold on plot(x,b2, 'g') hold on plot(x,b3, 'b:o') 《传感器技术》题目要求：使用最小二乘法求线性度的拟合直线方程 程序： #include {int i; float a; a=0; for(i=0;i 普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方 法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值 i i x y ,（i=1,2,…,n ）的情况下 （见图2.2.1中的散点），假如模型（2.2.1）的参数估计量 已经求得到，为^0β和^ 1β，并且是最合理的参数估计量，那 么直线方程（见图2.2.1中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n (2.2.2) 应该能够最好地拟合样本数据。其中 ^ i y 为被解释变量的估计值，它是由参数估计量和解释 变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(102 2101ββββQ u x y Q i i n i i ==--=∑∑= ()() ),(min ????1 02 1 102 12?,?1 1 ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== (2.2.3) 为什么用平方和？因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^ 1^01 2 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是 ^ 0β、^ 1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^ 0β、 ^ 1β的一阶偏导数为0时，Q 达到最小。即 移动最小二乘法 2.1 移动最小二乘曲线拟合 将拟合函数表述为如下形式： 1 ()()()()()m T i i i f x p x a x p x a x ===∑, (3) 其中a (x )=(a 1(x ), a 2(x ),…, a m (x ))T 为待定系数，p (x )=(p 1(x ), p 2(x ),…, p m (x ))T 为基函数向量，通常需要选择完备多项式基，例如二维情况 线性基 p (x ) = (1, x , y )T (m =3) 二次基 p (x ) = (1, x , y , x 2, xy , y 2)T (m=6) 为了得到较为精确的局部近似值，需使局部近似值f (x i )和节点值y i 之差平方带权最小，因此残差的离散加权L 2范式为： 2 21 1 ()[()]()[()()]n n T i i i i i i i J w x x f x y w x x p x a x y ===--=--∑∑, (4) 其中n 是求解区域内的节点数，f (x )是拟合函数，w (x －x i )是节点x i 的权函数。 权函数应该是非负的，且随着2 i x x -的增加单调递减，权函数还应该具有紧支性，即 在支持域（x 的影响区域）内不等于0，在支持域之外全为0，一般选用圆形作为权函数的 支持域，半径记为r 。常用的权函数是样条函数，记i s x x '=-，s s r ' =，则三次样条函数形式如下： 23 23 214432 4 41 ()4413 32 0 1. s s s s s s s s s ω?-+≤ ?? ?=-+-<≤??>? ?? (5) 要求出待定系数a (x ),先要使J 取得最小值，先将（4）式写成矩阵形式： J = (Pa (x )－Y )T W (x ) (Pa (x )－Y ) 其中 Y = (y 1, y 2,…, y n )T , W (x ) = diag (w 1(x ), w 2(x ),…, w n (x ))，w i (x ) =()i w x x -. 1121112 22212()()()()()()() ()()m m n n m n p x p x p x p x p x p x P p x p x p x ??????=?? ? ??? . 根据最小二乘原理求得待定系数为： a (x ) = A -1(x )B (x )Y 其中A (x ) = P T W (x ) P , B (x ) = P T W (x )。 最小二乘法公式 ∑(X--X平)(Y--Y平) =∑(XY--X平Y--XY平+X平Y平) =∑XY--X平∑Y--Y平∑X+nX平Y平 =∑XY--nX平Y平--nX平Y平+nX平Y平 =∑XY--nX平Y平 ∑(X --X平)^2 =∑(X^2--2XX平+X平^2) =∑X^2--2nX平^2+nX平^2 =∑X^2--nX平^2 最小二乘公式（针对y=ax+b形式） a=(NΣxy-ΣxΣy)/(NΣx^2-(Σx)^2) b=y(平均)-ax（平均） 最小二乘法 在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1),(x2, y2).. (xm , ym)；将这些数据描绘在x -y直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。 Y计= a0 + a1 X (式1-1) 其中：a0、a1 是任意实数 为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)²〕最小为“优化判据”。 令: φ = ∑(Yi - Y计)² (式1-2) 把(式1-1)代入(式1-2)中得: φ = ∑(Yi - a0 - a1 Xi)2 (式1-3) 当∑(Yi-Y计)²最小时，可用函数φ 对a0、a1求偏导数，令这两个偏导数等于零。 (式1-4) (式1-5) 亦即 m a0 + (∑Xi ) a1 = ∑Yi (式1-6) (∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7) 得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出： a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8) a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式 1-9) 这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的元线性方程即：数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y1、 x2, y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。 R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) ＊ 在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。微积分应用课题一最小二乘法 从前面的学习中, 我们知道最小二乘法可以用来处理一组数据, 可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式. 本课题将介绍最小二乘法的精确定义及如何寻求与之间近似成线性关系时的经验公式. 假定实验测得变量之间的个数据, , …, , 则在平面上, 可以得到个点 , 这种图形称为“散点图”, 从图中可以粗略看出这些点大致散落在某直线近旁, 我们认为与之间近似为一线性函数, 下面介绍求解步骤. 考虑函数 , 其中和是待定常数. 如果在一直线上, 可以认为变量之间的关系为 . 但一般说来, 这些点不可能在同一直线上. 记 , 它反映了用直线来描述 , 时, 计算值与实际值产生的偏差. 当然要求偏差越小越好, 但由于可正可负, 因此不能认为总偏差时, 函数就很好地反最小二乘法及其应用..
最小二乘法曲线拟合 原理及matlab实现
用最小二乘法求一个形如
用matlab实现最小二乘递推算法辨识系统参数
最小二乘算法程序Python版
6最小二乘法推导公式
最小二乘法的编程实现
基于移动最小二乘法的列车牵引特性曲线拟合
最小二乘法求线性回归方程
最小二乘法的多项式拟合matlab实现
数值计算_第6章 曲线拟合的最小二乘法
Matlab最小二乘法曲线拟合的应用实例
曲线拟合的最小二乘法matlab举例
最小二乘法C语言的实现
普通最小二乘法(OLS)
移动最小二乘法
最小二乘法公式
相关主题
文本预览