§2-4 最小二乘原理
本节教学时数：1学时
本节重点：最小二乘原理
本节教学思路：
首先从数学的角度阐述平差中产生的方程式数量、未知数数量问题，进而说明天然的平差模型无法得到唯一解这个结论，从而启发学生知道应该引入一定条件解决此问题，顺理成章引入最小二乘原理，并说明其含义及应用方法。
教学内容：
一、平差函数模型的方程式数量与未知数数量及解方程存在的问题
1．平差函数模型的方程式数量与未知数数量
通过前面的论述可知，如果只对几何模型中的必要元素进行观测，而没有多余观测，则在观测值之间不可能产生任何函数关系式，也不存在平差问题。只有在有了多余观测的情况下，才会产生平差问题。
例如为确定一个三角形的大小和形状，必要观测数为t=3，如果实际观测了一边三角（n=4）,则存在一个多余观测（r=n-t=1）。现以一边和其中任意两个角作为一个组合来确定三角形的大小和形状，则有三种组合，由于观测值不可避免地含有偶然误差，三种组合所计算的结果将出现微小差别，这说明在具有多余观测的情况下，将无法唯一的确定模型的解。
从函数模型来考虑，由于存在一个多余观测，三个内角真值之间就存在一个条件方程，即：
0180~~~321
=-++L L L 考虑到?+=L L ~，代入上式得
0321=-?+?+?W （2-4-1） 式中
)180(321-++-=L L L W （2-4-2） 称为条件方程的闭合差或常数项，它是可以根据观测值计算出来的。由于观测值的真值不知道，所以真误差i ?是未知量。
2．存在的问题及解决办法---引入最小二乘原理
要根据（2-4-1）式确定真误差的值，显然其解是不唯一的。要确定满足函数模型的唯一的一组解，如果不另外附加一定的约束条件，那是不可能的。到底应该采用什么样的约束条件，才能使模型得到一组具有最佳性质的解呢？
在测量工作及其它科学工程领域，应用最早也最广泛的就是所谓的“最小二乘准则”：
min =??=ΦP T
(2-4-3)
二、最小二乘原理含义及应用方法说明 在满足最小二乘准则下求得的真误差称为?估值，用?
?表示，测量工作中习惯上用符号V 代替?
?，因此最小二乘准则常表达为： min ==ΦPV V T （2-4-4）
由于根据最小二乘准则可以求得真误差估值V ，也就可以求得观测值的估值，其计算公式为
V L L +=? （2-4-5）
式中V 称为观测值的改正数，L
?称为观测值L 的估值，或平差值、最或然值。 应用最小二乘准则，并不需要知道观测向量属于什么概率分布，只需要知道它的先验权阵P 就可以了。
当P 为非对角阵，表示观测值相关，按min =PV V T 进行的平差称为相关观测平差。
当P 为对角阵，表示观测值不相关，此时最小二乘准则可表示为纯量形式，即：
min 2222211=+++==Φn n T v p v p v p PV V （2-4-6） 特别地，当观测值不相关且等精度时，权阵P 为单位阵，此时最小二乘准则可表示为
min 22221=+++==Φn T v v v PV V （2-4-7） 其实，估计的准则有许多种，最小二乘准则是其中的一种，还有一种常用的估计叫做最大似然估计，这种估计要求事先知道观测量的概率分布函数。一般认为测量观测值向量是服从正态分布的随机变量，其概率分布密度函数为 ????????-=
?=Φ-121221exp )2(1)(D D f T n π （2-4-8）
所谓极大似然估计，就是要在概率分布密度函数达到极大的条件下来对真误差?进行估计。
显然，当
)(1??-D T 达到极小时，概率分布密度函数可取得极大值，仍用V 表示对?的估计结果，即要求：
min 1==Φ-V D V T
相当于
min ==ΦPV V T
显然，当观测向量服从正态分布时，极大似然估计与最小二乘估计的结果是一致的。
三、最小二乘原理应用举例
例[2-2] 设对某物理量X ~进行了n 次同精度独立观测，得观测值1?n L ，试按最小二乘准
则求该量的估计值。
解：设该量的估计值为x
?，则有
i i L x v -=? )21(n i ，=
写成矩阵形式 11211??111???-=??????? ??-??????? ??=n n n n L x B L L L x V
按最小二乘准则，要求
min ==V V PV V T T
将上式对x
?取一阶导数，并令其为零，得 0211122?1==??????? ??==∑n i T T T v V B V x d V dV
将i i L x v -=?代入上式得
0?)?(111=-=-=∑∑∑n i n i
n i L x n L x v
有此解得
n L L n x n i ][1?1==∑
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
整体最小二乘估计的深入研究
摘要:整体最小二乘法是一种较为先进的最小二乘法结构，整体最小二乘法认为回归矩阵存在干扰，在计算最小二乘解时考虑了这个因素，而在一般最小二乘法时没有考虑该因素的影响。整体最小二乘法应用广泛，得到效果也比较好。本文主要讨论了整体最小二乘法的基本原理，给出了整体最小二乘的单位权中误差计算公式以及待估参数的近似精度评定公式。 一、整体最小二乘的基本原理 最小二乘法经历了百余年的发展考验，已经成为许多领域数据处理广泛应用的方法。测量数据的处理方法，通常是指按最小二乘法进行测量平差，它是测量数据处理中最基本、最广泛的应用方法，尤其是近几十年来得到了充分的发展和应用。最小二乘平差的基本思想是在最小二乘准则下进行测量数据的调整。测量平差模型均可归结线性方程组的求解问题。最小二乘准则要求残差的范数平方和极小，它主要是针对观测值中的偶然误差的。然而，实际问题中参数估计中的观测值和系数阵都可能存在误差，针对这种更复杂的情况，20 世纪 80提出了整体最小二乘法。 先介绍整体最小二乘的基本思想：对于线性方程组，普通最小二乘的基本思想是在残差平方和极小的准则约束下求解最佳参数。这里有一个前提，系数矩阵A 是没有误差的精确值，但是多数情况系数阵A和观测向量L 同时存在误差，若同时考虑二者的误差，此时，线性方程组可表示为 其中 A∈R ，L∈，，, ；；m 为观测值个数，n 为待估参数个数，为系数阵的噪声，为观测噪声，误差矩阵[]属于相互独立的白噪声误差。这一模型称为EIV （Errors-in-Variables）模型。解决这类问题的适宜方法是整体最小二乘法（Total Least Squares, TLS）。对于线性方程组Ax = L，整体最小二乘问题就是在以下准则约束下 寻求、，任何满足
第三章 多元线性回归与最小二乘估计 3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理 1、多元线性回归模型： y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。 对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。u t 代表众多影响y t 变化的微小因素。使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。 当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1, y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ……….. y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T 经济意义：x t j 是y t 的重要解释变量。 代数意义：y t 与x t j 存在线性关系。 几何意义：y t 表示一个多维平面。 此时y t 与x t i 已知，βj 与 u t 未知。 ) 1(21)1(110)(11 1222111111)1(21111??-?---?? ????? ??????+??????????????????????? ???=? ? ?? ?? ??????T T k k k T k T Tj T k j k j T T u u u x x x x x x x x x y y y βββ (3.3) Y = X β + u (3.4) 2假定条件 为保证得到最优估计量，回归模型（3.4）应满足如下假定条件。 假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2相同且为有限值，即
最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 2 = 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线 )(x p y =（图6-1）。函数)(x p 称为拟合函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法 . 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) [ ] ∑ = = - m i i i y x p 0 2 min ) (
该方程的参数估计步骤如下： 取n 组观测值n i x x x y ki i i i ,,2,1),,,,(211 =代入上式中可得下列形式： ?????????++??+++=++??+++=++??+++=m mk k m m m k k k k u x x x y u x x x y u x x x y ββββββββββββ2211022222211021 112211101 （2） (2)的矩阵表达形式为： U B X y += （3） 对于模型（3），如果模型的参数估计值已经得到，则有： ^^B X y = （4） 那么，被解释变量的观测值与估计值之差的平方和为： ∑∑==--==-==n i i i n i i B X Y B X Y e e y y e Q 1 ^ '^'2^12)()()( （5） 根据最小二乘法原理，参数估计值应该是下列方程： 0)()(^' ^^=--??B X Y B X Y B （6） 的解。于是，参数的最小二乘估计值为： Y X X X B '1'^)(-= （ 7）
多变量预测模型是以多元线性回归方程为基础，其一般形式为： i ki k i i i u x x x y +++++=ββββ 22110 （8） 其中：k n i ;,,2,1 =为解释变量的数目；k x x x ,,,21 为解释变量，)1(+k 为解释变量的数目；k βββ ,,21为待估参数；u 为随机干扰项；i 为观测值下标。 统计检验是依据统计理论来检验模型参数估计值的可靠性。主要包括方程显著性检验（F 检验）和变量显著性检验（F 检验）。前者计算出F 统计量的数值；给定一个显著性水平α，查F 分布表，得到一个临界值),1,(--k n k F α当)1,(-->k n k F F α时，通过F 检验。后者计算出t 统计量的数值；给定一个显著性水平α，查t 分布表，得到一个临界值)1(2/--k n t α，当)1(||2/-->k n t t α时，通过t 检验。
普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值i i x y ,（i=1,2,…,n ）的情况下 （见图中的散点），假如模型（）的参数估计量已经求得到， 为^0β和^ 1β，并且是最合理的参数估计量，那么直线方程（见 图中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n 应该能够最 好地拟合样本数据。其中^i y 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(1022101ββββQ u x y Q i i n i i ==--=∑∑= ()()),(min ????1021 10212?,?1100ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== 为什么用平方和因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^1^012 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是^0β、^1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^0β、^ 1β的一阶偏导数为0时，Q 达到最小。即
0011001100?,?1 ?,?0 =??=??====ββββββββββQ Q 容易推得特征方程： ()0)??(0?)??(1011 10==--==-=--∑∑∑∑∑==i i i i n i i i i i i n i i e x x y x e y y x y ββββ 解得： ∑∑∑∑∑+=+=2^ 1^0^1^0i i i i i i x x x y x n y ββββ （） 所以有：???? ?????-=---=--=∑∑∑∑∑∑∑=======x y x x y y x x x x n y x y x n n i i n i i i n i i n i i n i i n i i n i i i 10121 21121111??)())(()()()(?βββ （） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 ∑=-i x n x 1 ∑=-i y n y 1 y y y x x x i i i i -=-= （）的参数估计量可以写成
最小二乘法原理 1. 概念 最小二乘法多项式曲线拟合，根据给定的m 个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。 2. 原理 给定数据点pi(xi,yi)，其中i=1,2,…,m 。求近似曲线y= φ(x)。并且使得近似曲线与y=f(x)的偏差最小。近似曲线在点pi 处的偏差δi= φ(xi)-yi ，i=1,2,...,m 。 常见的曲线拟合方法： 1. 是偏差绝对值最小 11min (x )y m m i i i i i φδφ===-∑∑ 2. 是最大的偏差绝对值最小 min max (x )y i i i i φδ?=- 3. 是偏差平方和最小 2211min ((x )y )m m i i i i i φδ?===-∑∑ 按偏差平方和最小的原则选取拟合曲线，并且采取二项式方程为拟合曲线的方法,称为最小二乘法。 推导过程： 1. 设拟合多项式为： 01...k k y a a x a x =+++ 2. 各点到这条曲线的距离之和，即偏差平方和如下： 2 2 011(...)m k i i k i i R y a a x a x =??=-+++??∑ 3. 为了求得符合条件的a 值，对等式右边求ak 偏导数，因而我们得到了： 011 2(...)0m k i k i i y a a x a x =??--+++=??∑ 011 2(...)0m k i k i i y a a x a x x =??--+++=??∑
…….. 0112( 0 k k i k i i y a a x a x x =??--+++=??∑ 4. 将等式简化一下，得到下面的式子 01111...n n n k i k i i i i i a n a x a x y ===+++=∑∑∑ 2 1011111...n n n n k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ …… 12011111...n n n n k k k k i i k i i i i i i i a x a x a x y x +====+++=∑∑∑∑ 5. 把这些等式表示成矩阵形式，就可以得到下面的矩阵： 11102111111121111.........n n n k i i i i i i n n n n k i i i i i i i i i n n n n k k k k k i i i i i i i i i n x x y a a x x x x y a x x x x y ===+====+====??????????????????????=?????????????????????? ∑∑∑∑∑∑∑∑∑∑∑ 6. 将这个范德蒙矩阵化简后得到： 0111122 21...1...1...k k k k n n n a y x x a y x x a y x x ??????????????????=????????????????????
最小二乘法的原理及其应用 一、研究背景 在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。 其中，最小二乘法是一种最基本、最重要的计算技巧与方法。它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。本文着重讨论最小二乘法在化学生产以及系统识别中的应用。 二、最小二乘法的原理 人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型 , q个相关变量或p个附加的相关变量去拟和。 通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。参数x是为了使所选择的函数模型同观测值y相匹配。（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。其目标是合适地选择参数，使函数模型最好的拟合观测值。一般情况下，观测值远多于所选择的参数。 其次的问题是怎样判断不同拟合的质量。高斯和勒让德的方法是，假设测量误差的平均值为0。令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。 确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。用函数表示为：
毕业论文开题报告 数学与应用数学 最小二乘法的原理和应用 一、选题的意义 最小二乘法在很多领域都的到了广泛的应用。在研究两个变量之间的关系时，可以用回归分析的方法进行分析。当确定了描述两个变量之间的回归模型后，就可以使用最小二乘法估计模型中的参数，进而建立经验方程。简单的说，最小二乘法思想就是要使得观测点和估计点的距离的平方和达到最小。这里的“二乘”指的是用平方来度量观测点与估计点的远近，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从计算角度看，最小二乘法与插值法类似，都是处理数据的算法。但从创设的思想看，二者却有本质的不同，前者寻求一条曲线，使其与观测数据“最接近”，目的是代表观测数据的趋势；后者则是使曲线严格通过给定的观测数据，其目的是通过来自函数模型的数据来接近近似刻画函数。在观测数据带有测量误差的情况下，就会使得这些观测数据偏离函数曲线，结果使得观测数据保持一致的插值法不如最小二乘法得到的曲线更符合客观实际。 最小二乘法能在统计学中得到应用，也是因为测量误差的存在。事实上，在高斯等人创立了测量误差理论，对最小二乘法进行了分析后，这种方法才在统计界获得了合法地位，正式成为了一张统计方法。最小二乘法逐步渗入到统计数据分析领域，对统计学的发展产生了重大影响。 二、研究的主要内容，拟解决的主要问题（阐述的主要观点） 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。
最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。曲线拟合中最基本和最常用的是直线拟合。用最小二乘法估计参数时，要求观测值的偏差的加权平方和为最小。由于直线参数的估计值是根据由误差的观测数据点计算出来的，他们不可避免地存在着偏差。 三、研究（工作）步骤、方法及措施（思路） 研究（工作）步骤： 1．2010.12.15－2010.12.31 根据选题，广泛查阅资料，填写任务书有关事项，明确任务要求，初步形成研究方向。 2．2011.1.1－2011.3.6利用课余时间、假期仔细研读参考文献，初步拟定论文提纲，收集所要翻译的外文资料，完成两篇外文翻译，以及撰写开题报告和文献综述。 3．2011.3.6－2011.3.12修改开题报告、文献综述和外文翻译，进一步整理论文大纲。 4．2011.3.13－2011.3.16根据论文大纲翻阅相关详细资料。 5．2011.3.17－2011.3.26整理收集的相关材料，开始写论文工作。 6．2011.3.27－2011.4.10撰写论文初稿，上交论文、译文、开题报告、指导记录、中期检查表。 7．2011.4.11－2011.4.25修改论文，上交所有相关材料。 8．2011.4.26－2011.5.18补充必要的内容，论文打印、定稿。 9. 2011.5.19－2011.5.28准备毕业论文答辩。 方法及措施：主要采用举例分析、探讨的方法。 四、毕业论文（设计）提纲 1. 最小二乘法的引入 1.1最小二乘法及其证明 1.2最小二乘法的简单运用
第三节 最小二乘估计量的性质 三大性质：线性特性、无偏性和最小偏差性 一、 线性特性的含义 线性特性是指参数估计值1?β和2?β分别是观测值t Y 或者是扰动项t μ的线性组合，或者叫线性函数，也可以称之为可以用t Y 或者是t μ来表示。 1、2?β的线性特征证明 （1）由2?β的计算公式可得： 2 22 2 2 2()?t t t t t t t t t t t t t t t t x y x Y x Y x x x x x x x x β--== =??= = ? ?? ? ∑∑∑∑∑∑∑∑∑ ∑∑Y Y Y Y 需要指出的是，这里用到了 因为t x 不全为零，可设 2t t t x b x = ∑，从而，t b 不全为零，故2?t t b β=∑Y 。这说明2?β是t Y 的线性组 合。 （2）因为12t t t Y X ββμ=++，所以有 () 21 2 12 2 ?t t t t t t t t t t t t b b X b b X b b βββμββμ βμ ==++=++=+∑∑∑∑∑∑Y 这说明2?β是t μ的线性组合。 需要指出的是，这里用到了
2 2 t t t t t x x b x x == =∑∑∑ ∑∑以及 ( )2 2 2 2222201 t t t t t t t t t t t t t t t t x x X x b X X x x x x X x X x x x x x ??+ ? = = ??? + += = +=∑∑ ∑ ∑ ∑∑∑∑∑∑∑∑∑ 2、1?β的线性特征证明 （1）因为12 ??Y X ββ=-，所以有 () 121??1 t t t t t Y X Y X b n X b n ββ=-=-??= - ??? ∑∑∑ Y Y 这里，令1a X b n = -，则有1?t a β=∑Y 这说明1?β是t Y 的线性组合。 （2）因为回归模型为12t t t Y X ββμ=++，所以 ()11 2 1 2 ?t t t t t t t t t t a a X a a X a βββμββμ ==++=++∑∑∑∑∑Y 因为111t t t a X b X b n n ?? =-=-= ?? ? ∑∑∑∑。而 1 10 t t t t t t t a X X b X X X b X n n X X ??= -=- ??? -=∑ ∑ ∑ ∑ 所以，11?t t a ββμ=+∑ 这说明1?β是t μ的线性组合。 至此，参数的线性特性证明完毕。 问题参数估计值线性特性的深层次含义是什么？要根据被解释变量、
第一节 最小二乘法的基本原理和多项式拟合 一 最小二乘法的基本原理 从整体上考虑近似函数)(x p 同所给数据点),(i i y x (i=0,1,…,m)误差 i i i y x p r -=)((i=0,1,…,m) 的大小，常用的方法有以下三种：一是误差 i i i y x p r -=)((i=0,1,…,m)绝对值的最大值i m i r ≤≤0max ，即误差 向量 T m r r r r ),,(10 =的∞—范数；二是误差绝对值的和∑=m i i r 0 ，即误差向量r 的1— 范数；三是误差平方和∑=m i i r 02 的算术平方根，即误差向量r 的2—范数；前两种方法简单、自然，但不便于微分运算 ，后一种方法相当于考虑 2—范数的平方，因此在曲线拟合中常采用误差平方和∑=m i i r 02 来 度量误差i r (i=0，1，…，m)的整 体大小。 数据拟合的具体作法是：对给定数据 ),(i i y x (i=0,1,…，m)，在取定的函数类Φ中,求Φ∈)(x p ,使误差i i i y x p r -=)((i=0,1,…,m)的平方和最小，即 ∑=m i i r 0 2 =[]∑==-m i i i y x p 0 2 min )( 从几何意义上讲，就是寻求与给定点),(i i y x (i=0,1,…,m)的距离平方和为最 小的曲线)(x p y =（图6-1）。函数)(x p 称为拟合 函数或最小二乘解，求拟合函数)(x p 的方法称为曲线拟合的最小二乘法。 在曲线拟合中，函数类Φ可有不同的选取方法. 6—1 二 多项式拟合 假设给定数据点),(i i y x (i=0,1,…,m)，Φ为所有次数不超过)(m n n ≤的多项式构成的函数类，现求一 Φ ∈=∑=n k k k n x a x p 0 )(,使得 [] min )(0 02 02 =??? ??-=-=∑∑∑===m i m i n k i k i k i i n y x a y x p I (1) 当拟合函数为多项式时，称为多项式拟合，满足式（1）的)(x p n 称为最小二乘 拟合多项式。特别地，当n=1时，称为线性拟合或直线拟合。
开题报告 信息与计算科学 浅谈最小二乘法的原理及其应用 一、综述本课题国内外研究动态, 说明选题的依据和意义 最小二乘法（Least Square Method ）是提供“观测组合”主要工具之一, 它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式. 如已知两变量为线性关系y a bx =+, 对其进行(2)n n >次观测而获得n 对数据. 若将这n 对数据代入方程求解,a b 的值则无确定解, 而最小二乘法提供了一个求解方法, 其基本思想是寻找“最接近”这n 个观测点的直线. 最小二乘法创立与十九世纪初, 是当时最重要的统计方法, 在长期的发展中, 人们一直处于不断的研究中, 在传统最小二乘法的基础上, 出现了许多更为科学先进的方法, 如移动最小二乘法、加权最小二乘法、偏最小二乘法、模糊最小二乘法和全最小二乘法等, 使得最小二乘法在参数估计、系统辨识以及预测、预报等纵多领域都有着广泛的应用. 相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础, 所以最小二乘法被称之为数理统计学的灵魂. 正如美国统计学家斯蒂格勒（S. M. Stigler ）所说, “最小二乘法之于数理统计学犹如微积分之于数学”. 因此对最小二乘法的研究就显得意义重大. 国内外的学者们一直在对传统最小二乘法做进一步的研究. 勒让德（A. M. Legender ）于1805年发表了论著《计算彗星轨道的新方法》, 在书中勒让德描述了最小二乘法的思想、具体做法及其优点, 他认为: 赋予误差的平方和为极小, 则意味着在这些误差间建立了一种均衡性, 它阻止了极端情形所施加的过分影响. 1809年高斯（C. F. Gauss ）在著作《天体沿圆锥截面围绕太阳运动的理论》中发表有关最小二乘法的理论, 随后在1826年的著作中阐述了最小二乘法的全部内容. 统计学者对最小二乘法做了进一步的研究探讨, 1970年, 由霍尔（A. E. Horel ）和肯纳德（R. W. Kennard ）提出 的岭估计（Ridge Estimate ）, 用()()11?n i i i k S kI x y β -==+∑取代?β, 有效的降低了原方法的病态性.
【2-1】 设某物理量Y 与X1、X2、X3的关系如下：Y=θ1X 1+θ2X 2+θ3X 3 由试验获得的数据如下表。试用最小二乘法确定模型参数θ1、θ2和θ3 X1: 0.62 0.4 0.42 0.82 0.66 0.72 0.38 0.52 0.45 0.69 0.55 0.36 X2: 12.0 14.2 14.6 12.1 10.8 8.20 13.0 10.5 8.80 17.0 14.2 12.8 X3: 5.20 6.10 0.32 8.30 5.10 7.90 4.20 8.00 3.90 5.50 3.80 6.20 Y: 51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3 解：MATLAB 程序为： Clear all; A= [0.6200 12.000 5.2000 0.4000 14.2000 6.1000 0.4200 14.6000 0.3200 0.8200 12.1000 8.3000 0.6600 10.8000 5.1000 0.7200 8.2000 7.9000 0.3800 13.0000 4.2000 0.5200 10.5000 8.0000 0.4500 8.8000 3.9000 0.6900 17.0000 5.5000 0.5500 14.2000 3.8000 0.3600 12.8000 6.2000 ]; B=[51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3]'; C=inv(A'*A)*A'*B =[0.62 12 5.2;0.4 14.2 6.1;0.42 14.6 0.32;0.82 12.1 8.3; 0.66 10.8 5.1;0.72 8.2 7.9;0.38 13 4.2;0.52 10.5 8; 0.45 8.8 3.9;0.69 17 5.5;0.55 14.2 3.8;0.36 12.8 6.2] 公式中的A 是ΦN, B 是YN ，运行M 文件可得结果： 在matlab 中的运行结果： C= 29.5903 2.4466 0.4597 【2-3】 考虑如下模型 )()(3.03.115.0)(2 12 1t w t u z z z z t y ++-+=---- 其中w(t)为零均值、方差为1的白噪声。根据模型生成的输入/输出数据u(k)和y(k),分别采用批处理最小二乘法、具有遗忘因子的最小二乘法（λ=0.95）和递推最小二乘法估计模型参数（限定数据长度N 为某一数值，如N=150或其它数
毕业论文文献综述 信息与计算科学 最小二乘法的原理及应用 一、国内外状况 国际统计学会第56届大会于2007年8月22-29日在美丽的大西洋海滨城市、葡萄牙首都里斯本如期召开。应大会组委会的邀请，以会长李德水为团长的中国统计学会代表团一行29人注册参加了这次大会。北京市统计学会、山东省统计学会，分别组团参加了这次大会。中国统计界（不含港澳台地区）共有58名代表参加了这次盛会。本届大会的特邀论文会议共涉及94个主题，每个主题一般至少有3-5位代表做学术演讲和讨论。通过对大会论文按研究内容进行归纳，特邀论文大致可以分为四类：即数理统计，经济、社会统计和官方统计，统计教育和统计应用。 数理统计方面。数理统计作为统计科学的一个重要部分，特别是随机过程和回归分析依然展现着古老理论的活力，一直受到统计界的重视并吸引着众多的研究者。本届大会也不例外。 二、进展情况 数理统计学19世纪的数理统计学史, 就是最小二乘法向各个应用领域拓展的历史席卷了统计大部分应用的几个分支——相关回归分析, 方差分析和线性模型理论等, 其灵魂都在于最小二乘法; 不少近代的统计学研究是在此法的基础上衍生出来, 作为其进一步发展或纠正其不足之处而采取的对策, 这包括回归分析中一系列修正最小二乘法而导致的估计方法。 数理统计学的发展大致可分 3 个时期。① 20 世纪以前。这个时期又可分成两段，大致上可以把高斯和勒让德关于最小二乘法用于观测数据的误差分析的工作作为分界线，前段属萌芽时期，基本上没有超出描述性统计量的范围。后一阶段可算作是数理统计学的幼年阶段。首先，强调了推断的地位，而摆脱了单纯描述的性质。由于高斯等的工作揭示了最小二乘法的重要性，学者们普遍认为，在实际问题中遇见的几乎所有的连续变量，都可以满意地用最小二乘法来刻画。这种观点使关于最小二乘法得到了深入的发展，②20世纪初到第二次世界大战结束。这是数理统计学蓬勃发展达到成熟的时期。许多重要的基本观点和方法，以及数理统计学的主要分支学科，都是在这个时期建立和发展起来的。这个时期的成就，包含了至今仍在广泛使用的大多数统计方法。在其发展中，以英国统计学家、生物学家费希尔为代表的英国学派起了主导作用。③战后时期。这一时期中，数理统计学在应用和理论两方面继续获得很大的进展。
最小二乘法 最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。最小二乘法公式： 设拟合直线的公式为 , 其中：拟合直线的斜率为： ；计算出斜率后，根据 和已经确定的斜率k，利用待定系数法求出截距b。
在我们研究两个变量(x, y)之间的相互关系时，通常可以得到一系列成对的数据(x1, y1),(x2, y2).. (xm , ym)；将这些数据描绘在x -y 直角坐标系中(如图1), 若发现这些点在一条直线附近，可以令这条直线方程如(式1-1)。 Y计= a0 + a1 X (式1-1) 其中：a0、a1 是任意实数 为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi - Y计)²〕最小为“优化判据”。 令: φ= ∑(Yi - Y计)² (式1-2) 把(式1-1)代入(式1-2)中得: φ= ∑(Yi - a0 - a1 Xi)2 (式1-3) 当∑(Yi-Y计)²最小时，可用函数φ对a0、a1求偏导数，令这两个偏导数等于零。 (式1-4) (式1-5) 亦即 m a0 + (∑Xi ) a1 = ∑Yi (式1-6)
(∑Xi ) a0 + (∑Xi2 ) a1 = ∑(Xi, Yi) (式1-7) 得到的两个关于a0、a1为未知数的两个方程组，解这两个方程组得出： a0 = (∑Yi) / m - a1(∑Xi) / m (式1-8) a1 = [∑Xi Yi - (∑Xi ∑Yi)/ m] / [∑Xi2 - (∑Xi)2 / m)] (式1-9) 这时把a0、a1代入(式1-1)中, 此时的(式1-1)就是我们回归的元线性方程即：数学模型。 在回归过程中，回归的关联式是不可能全部通过每个回归数据点(x1, y1、x2, y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于1 越好；“F”的绝对值越大越好；“S”越趋近于0 越好。 R = [∑XiYi - m (∑Xi / m)(∑Yi / m)]/ SQR{[∑Xi2 - m (∑Xi / m)2][∑Yi2 - m (∑Yi / m)2]} (式1-10) * 在(式1-1)中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。微积分应用课题一最小二乘法 从前面的学习中, 我们知道最小二乘法可以用来处理一组数据, 可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称为经验公式. 本课题将介绍最小二乘法的精确定义及如何寻求与之间近似成线性关系时的经验公式. 假定实验测得变量之间的个数
§2 回归系数的最小二乘估计 设分别为的最小二乘估计值, 于是的观测值 , , (2.1) 其中为误差的估计值, 称为残差或剩余。令为的估计值, 则有 , (2.2) , , (2.3) (2.3)式表示实际值与估计值的偏离程度。欲使估计值与实际值拟合的最好, 则应使残差平方和 达到最小, 为此, 我们可以应用微分求极值原理确定, 即解下列方程组 , (2.4) 即 , (2.5) 整理并化简则得以下正规方程组: , (2.6)
如果记(2.6)式的系数矩阵为, 右端常数项矩阵记为, 则有 , (2.7) , (2.8) 因此正规方程(2.6)的矩阵形式为 , (2.9) 或 , (2.10) 其中为正规方程中待定的未知实数向量, 如果系数矩阵满秩, 则存在, 此时有 , (2.11) (2.11)式即为多元线性回归模型(1.2)式中参数的最小二乘估计。 正规方程组(2.6)亦可表达为下述另一种形式, 如果记 , , ,
则由(2.6)式中第一等式可解出 , (2.12) 再将(2.12)代入到(2.6)其它各式中并经化简整理可得 , (2.13) 又由 , , , , 如果记 , , (2.14) , , (2.15) 则(2.13)式可以表示为 , (2.16) (2.16)式称为正规方程组, 解此方程组可得, 再代入到(2.12)式中则得, 于是得回归方程 , (2.17) (2.17)式称为回归超平面方程。
如果记(2.16)式的系数矩阵为, 右端常数项向量为, 则 , , 且记, 则正规方程组(2.16)的矩阵形式为 , (2.18) 解(2.18)得 , (2.19) 再代回到(2.12), 则得到。 以下是一对多线性回归分析的两个例子。 例2.1某养猪场估算猪的毛重, 测得14头猪的体长(cm)、胸围(cm)与体重(kg)数据如表１, 试建立与及的预测方程。 表2.1 经计算: , , , ,
1.3 多元线性回归与最小二乘估计 1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型： y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t , (1.1) 其中y t 是被解释变量（因变量），x t j 是解释变量（自变量），u t 是随机误差项，βi , i = 0, 1, … , k - 1是回归参数（通常未知）。 对经济问题的实际意义：y t 与x t j 存在线性关系，x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。u t 代表众多影响y t 变化的微小因素。使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。 当给定一个样本（y t , x t 1, x t 2 ,…, x t k -1）, t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1, 经济意义：x t j 是y t 的重要解释变量。 y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, 代数意义：y t 与x t j 存在线性关系。 ……….. 几何意义：y t 表示一个多维平面。 y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T , (1.2) 此时y t 与x t i 已知，βj 与 u t 未知。 )1(21) 1(110)(111222111111)1(211 11??-?---?? ?? ??? ??????+??????????????????????? ???=? ? ?? ?? ??????T T k k k T k T Tj T k j k j T T u u u x x x x x x x x x y y y βββ (1.3) Y = X β + u , (1.4) 为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。 假定 ⑴ 随机误差项u t 是非自相关的，每一误差项都满足均值为零，方差 σ2 相同且为有限值，即 E(u ) = 0 = ???? ??????00 , Var (u ) = E(u ?u ?' ) = σ 2I = σ 2??????????10000001 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u ) = 0 假定 ⑶ 解释变量之间线性无关。 rk(X 'X ) = rk(X ) = k 其中rk (?)表示矩阵的秩。 假定⑷ 解释变量是非随机的，且当T → ∞ 时 T – 1X 'X → Q 其中Q 是一个有限值的非退化矩阵。 最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。
高斯—马尔可夫定理: 若一元线性模型满足计量经济基本假设，则参数的最小二乘估计(OLS)是最小方差的线性无偏估计。（BLUE ) 最小二乘法估计量OLS 的性质（高斯—马尔可夫定理的初步证明） 1．线性性：0 ?β和1?β都是i y 的线性函数 证明： i n i n j j i n j j n i i i y x x x x x x y x x ∑ ∑∑∑====--=--=1 12 1 2 1 1 )() ()()(?βΘ ； 令 ∑=--= n j j i i x x x x k 1 2) () ( 则有 i n i i y k ∑==1 1 ?β ，且有 =∑i k ， 1 =∑i i x k ， ∑∑=-= n i i i x x k 1 2 2) (1 从而1? β是i y 的线性函数； 同理， 0?β＝=-x y 1?βi i i i n i i y k x n y k x y n ∑∑∑?? ? ??-=-=111
令i i k x n w ?-=1 ，则有：i i y w ∑=0 ?β，即0 ?β也是i y 的线性函数。 另有：1=∑i w ， 0=∑i i x w 2. 无偏性：0 ?β和1?β都是0β、1β的无偏估计量； 即有：(),?0 ββ=E ()1 1 ?ββ=E 证明：先证()1 1 ?ββ=E Θ ()i i i i n i i u x k y k ++==∑∑=101 1 ?βββ， 又Θ 0=∑i k ，1=∑i i x k ()∑∑∑=++===i i i i i n i i k u x k y k 0101 1 ?ββββ+∑∑+i i i i u k x k 1β =∑+i i u k 1β () ()1101?ββββ=++?=∑∑∑i i i i i u E k x k k E (因为: 0=∑i k ，1=∑i i x k ) 同理，利用1=∑i w 和0=∑i i x w 可证得() ,?0 0ββ=E 3. 最优性或最小方差性：在所有的线性无偏估计中，0 ?β和1?β分别是0β、1β的方差最小的有效估计量 证明： 若1~β是原值1β的一个线性无偏估计（方差条件不限），且记∑=i i y c 1~β（∵