对比分析最小二乘法与回归分析
摘要 最小二乘法是在模型确定的情况下对未知参数由观测数据来进行估计，而回归分析则是研究变量间相关关系的统计分析方法。 关键词：最小二乘法回归分析数据估计
目录 摘要 (2) 目录 (3) 一：最小二乘法 (4) 主要内容 (4) 基本原理 (4) 二：回归分析法 (6) 回归分析的主要内容 (6) 回归分析原理 (7) 三：分析与总结 (10)
一：最小二乘法 主要内容 最小二乘法又称最小平方法是一种数学优化技术。它通过定义残差平方和的方式，最小化残差的平方和以求寻找数据的最佳函数匹配，可以从一组测定的数据中寻求变量之间的依赖关系, 这种函数关系称 为经验公式.利用最小二乘法可以十分简便地求得未知的数据，并使 得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化 熵用最小二乘法来表达。 基本原理 考虑超定方程组（超定指未知数大于方程个数）： 其中m 代表有m 个等式，n 代表有n 个未知数（m>n）；将其进行向量化后为： ，
， 显然该方程组一般而言没有解，所以为了选取最合适的 让该等式"尽量成立"，引入残差平方和函数S （在统计学中，残差平方和函数可以看成n 倍的均方误差当时， 取最小值，记作： 通过对进行微分求最值，可以得到： 如果矩阵非奇异则 有唯一解：
二：回归分析法 回归分析是确定两种或两种以上变量间相互依赖的相关关系的一种 统计分析方法。回归分析是应用极其广泛的数据分析方法之一。它基于观测数据建立变量间适当的依赖关系，建立不同的回归模型，确立不同的未知参数，之后使用最小二乘法等方法来估计模型中的未知参数，以分析数据间的内在联系。当自变量的个数等于一时称为一元回归，大于1时称为多元回归，当因变量个数大于1时称为多重回归，其次按自变量与因变量之间是否呈线性关系分为线性回归与非线性 回归。最简单的情形是一个自变量和一个因变量，且它们大体上有线性关系，叫一元线性回归。 回归分析的主要内容 ①从一组数据出发，确定某些变量之间的定量关系式，即建立数 学模型并估计其中的未知参数。估计参数的常用方法是最小二乘法。 ②对这些关系式的可信程度进行检验。 ③在许多自变量共同影响着一个因变量的关系中，判断哪个（或 哪些）自变量的影响是显著的，哪些自变量的影响是不显著的，将影 响显著的自变量加入模型中，而剔除影响不显著的变量，通常用逐步回归、向前回归和向后回归等方法。 ④利用所求的关系式对某一生产过程进行预测或控制。
数学必修3测试题 说明：全卷满分100分，考试时间120分钟，交卷时只需交答题卷，考试时不能使用计算器. 参考:用最小二乘法求线性回归方程系数公式x b y a x n x y x n y x b n i i n i i i -=-?-= ∑∑==, 1 2 21 一、选择题：本大题共10小题，每小题3分，共30分．在每小题给出的四处备选项中，只有一项是符合 题目要求的． 1 ”可用于（ ） A 、输出a=10 a=10 C 、判断a=10 D 、输入a=10 2、已知甲、乙两名同学在五次数学测验中的得分如下：甲：85，91，90，89，95； 乙：95，80，98，82，95。则甲、乙两名同学数学学习成绩（ ） A 、甲比乙稳定 B 、甲、乙稳定程度相同 C 、乙比甲稳定 D 、无法确定 3、下列程序语句不正确．．． 的是（ ） A 、INPUT “MA TH=”；a+b+c B 、PRINT “MA TH=”；a+b+c C 、c b a += D 、1a =c b - 4、 在调查分析某班级数学成绩与 物理成绩的相关关系时，对数据进行 统计分析得到散点图（如右图所示）， 用回归直线?y bx a =+近似刻画 其关系，根据图形，b 的数值最有 可能是（ ） A 、 0 B 、 1.55 C 、 0.85 D 、 —0.24 5、用秦九韶算法求n 次多项式011 1)(a x a x a x a x f n n n n ++++=-- ，当0x x =时，求)(0x f 需要算 乘方、乘法、加法的次数分别为（ ） A 、 n n n n ,,2 ) 1(+ B 、n,2n,n C 、 0,2n,n D 、 0,n,n 6、为了在运行下面的程序之后得到输出16，键盘输入x 应该是（ ） INPUT x IF x<0 THEN y=(x+1)*(x+1) ELSE y=(x-1)*(x-1) END IF 第4题
最小二乘法及其应用 1． 引言 最小二乘法在19世纪初发明后,很快得到欧洲一些国家的天文学家和测地学家的广泛关注。据不完全统计,自1805年至1864年的60年间,有关最小二乘法的研究论文达256篇,一些百科全书包括1837年出版的大不列颠百科全书第7版,亦收入有关方法的介绍。同时,误差的分布是“正态”的,也立刻得到天文学家的关注及大量经验的支持。如贝塞尔( F. W. Bessel, 1784—1846)对几百颗星球作了三组观测,并比较了按照正态规律在给定范围内的理论误差值和实际值,对比表明它们非常接近一致。拉普拉斯在1810年也给出了正态规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型,在19世纪极为流行,一些学者甚至把19世纪的数理统计学称为正态分布的统治时代。在其影响下,最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大,应用及其广泛的统计模型。到20世纪正态小样本理论充分发展后,高斯研究成果的影响更加显著。最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。正如美国统计学家斯蒂格勒( S. M. Stigler)所说,“最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意义。 2. 最小二乘法 所谓最小二乘法就是：选择参数10,b b ,使得全部观测的残差平方和最小. 用数学公式表示为： 21022)()(m in i i i i i x b b Y Y Y e --=-=∑∑∑∧ 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例. i i i x B B Y μ++=10 （一元线性回归方程）
第七章 带有线性约束的多元线性回归模型及其假设检验 在本章中，继续讨论第五章的模型，但新的模型中，参数β满足J 个线性约束集，R β=q ，矩阵R 有和β相一致的K 列和总共J 个约束的J 行，且R 是行满秩的，我们考虑不是过度约束的情况，因此，J ＜K 。 带有线性约束的参数的假设检验，我们可以用两种方法来处理。第一个方法，我们按照无约束条件求出一组参数估计后，然后我们对求出的这组参数是否满足假设所暗示的约束，进行检验，我们在本章的第一节中讨论。 第二个方法是我们把参数所满足的线性约束和模型一起考虑，求出参数的最小二乘解，尔后再作检验，后者就是参数带有约束的最小二乘估计方法，我们在本章的第二节中讨论。 第一节 线性约束的检验 从线性回归模型开始， εβ+=X y （1） 我们考虑具有如下形式的一组线性约束， J K JK J J K K K K q r r r q r r r q r r r =+++=+++=+++βββββββββ 22112 22221211 1212111 这些可以用矩阵改写成一个方程 q R =β （2） 作为我们的假设条件0H 。 R 中每一行都是一个约束中的系数。矩阵R 有和β相一致的K 列和总共J 个约束的J 行，且R 是行满秩的。因此，J 一定要小于或等于K 。R 的各行必须是线性无关的，虽然J =K 的情况并不违反条件，但其唯一决定了β，这样的约束没有意义，我们不考虑这种情况。 给定最小二乘估计量b ，我们的兴趣集中于“差异”向量d=Rb －q 。d 精确等于0是不可能的事件（因为其概率是0），统计问题是d 对0的离差是否可归因于抽样误差或它是否是显著的。
普通最小二乘法（OLS ） 普通最小二乘法（Ordinary Least Square ，简称OLS ），是应用最多的参数估计方法，也是从最小二乘原理出发的其他估计方法的基础，是必须熟练掌握的一种方法。 在已经获得样本观测值i i x y ,（i=1,2,…,n ）的情况下 （见图中的散点），假如模型（）的参数估计量已经求得到， 为^0β和^ 1β，并且是最合理的参数估计量，那么直线方程（见 图中的直线） i i x y ^ 1^0^ββ+= i=1,2,…,n 应该能够最 好地拟合样本数据。其中^i y 为被解释变量的估计值，它是由参数估计量和解释变量的观测值计算得到的。那么，被解释变量的估计值与观测值应该在总体上最为接近，判断的标准是二者之差的平方和最小。 ),()(1022101ββββQ u x y Q i i n i i ==--=∑∑= ()()),(min ????1021 10212?,?1100ββββββββQ x y y y u Q n i i n i i i =--=-==∑∑∑== 为什么用平方和因为二者之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。这就是最小二乘原则。那么，就可以从最小二乘原则和样本观测值出发，求得参数估计量。 由于 2 1 ^1^012 ^ ))(()(∑∑+--=n i i n i i x y y y Q ββ＝ 是^0β、^1β的二次函数并且非负，所以其极小值总是存在的。根据罗彼塔法则，当Q 对^0β、^ 1β的一阶偏导数为0时，Q 达到最小。即
0011001100?,?1 ?,?0 =??=??====ββββββββββQ Q 容易推得特征方程： ()0)??(0?)??(1011 10==--==-=--∑∑∑∑∑==i i i i n i i i i i i n i i e x x y x e y y x y ββββ 解得： ∑∑∑∑∑+=+=2^ 1^0^1^0i i i i i i x x x y x n y ββββ （） 所以有：???? ?????-=---=--=∑∑∑∑∑∑∑=======x y x x y y x x x x n y x y x n n i i n i i i n i i n i i n i i n i i n i i i 10121 21121111??)())(()()()(?βββ （） 于是得到了符合最小二乘原则的参数估计量。 为减少计算工作量，许多教科书介绍了采用样本值的离差形式的参数估计量的计算公式。由于现在计量经济学计算机软件被普遍采用，计算工作量已经不是什么问题。但离差形式的计算公式在其他方面也有应用，故在此写出有关公式，不作详细说明。记 ∑=-i x n x 1 ∑=-i y n y 1 y y y x x x i i i i -=-= （）的参数估计量可以写成
第36卷第5期电子与信息学报 Vol.36 No.5 2014年5月Journal of Electronics & Information Technology May 2014 基于约束总体最小二乘方法的到达时差到达频差无源定位算法 曲付勇孟祥伟* (海军航空工程学院电子信息工程系烟台 264001) 摘要：两步加权最小二乘方法(two-stage WLS)是求解TDOA/FDOA无源定位问题的经典线性方法，但也存在着定位偏差和均方误差对测量噪声的适应能力较差的缺点。该文根据TDOA/FDOA的伪线性定位方程组特点，将其建立为一种带约束条件的约束总体最小二乘(CTLS)模型，并采用拉格朗日乘子法求解带约束条件的CTLS问题，建立了几种最小二乘类定位方法的统一解，从而将约束加权最小二乘(CWLS)定位解和约束最小二乘(CLS)定位解变为该文CTLS定位解的特例。仿真表明，该文方法比两步加权最小二乘方法具有更低的均方误差，并能够有效减小定位偏差，因而具有更好的测量噪声适应能力。 关键词：无源定位；到达时差；到达频差；最小二乘；偏差；均方误差 中图分类号：TN971 文献标识码：A 文章编号：1009-5896(2014)05-1075-07 DOI: 10.3724/SP.J.1146.2013.01019 Source Localization Using TDOA and FDOA Measurements Based on Constrained Total Least Squares Algorithm Qu Fu-yong Meng Xiang-wei (Department of Electronic and Information Engineering, Naval Aeronautical and Astronautical University, Yantai 264001, China) Abstract: The two-stage Weighted Least Squares (WLS) method is a well-known linear approach in Time- Difference-Of-Arrival (TDOA) and Frequency-Difference-Of-Arrival (FDOA) passive localization. But this method can only attain the CRLB in a modest noise environment and the bias of the localization result is significant for strong noise. This paper discusses a Constrained Total Least Square (CTLS) solution to the pseudo linear equations with two constrains for TDOA/FDOA localization. A unified expression for several LS solutions is derived based on Lagrange multiplier. The Constrained Weighted Least Square (CWLS) method and Constrained Least Square (CLS) localization method reduce to the special cases of the localization solution. The simulation results show that the proposed method has lower Mean Square Error (MSE) and lower bias compared with the two-stage WLS method, and it is more robust to noise. Key words: Passive localization; Time-Difference-Of-Arrival (TDOA); Frequency-Difference-Of-Arrival (FDOA); Least Square (LS); Bias; Mean Square Error (MSE) 1 引言 无源定位广泛应用于雷达、卫星、无线通信和无线传感网络中[19]-。当接收机和辐射源间存在相对运动时，利用多个不同位置的接收机接收辐射源信号的到达时间差(TDOA)和到达频率差(FDOA)来确定运动辐射源的位置，可获得比测角交叉和仅TDOA无源定位系统更好的定位精度[13,10] -。Ho等人[1]研究了利用TDOA/FDOA对运动辐射源的定位问题，给出了求解TDOA/FDOA无源定位问题的经典方法两步加权最小二乘算法(two-stage 2013-07-11收到，2013-11-26改回 国家自然科学基金(61179016)资助课题 *通信作者：孟祥伟 mengxw163@https://www.doczj.com/doc/3d5856099.html, WLS)。在低噪声水平条件下，该方法能够达到克拉美罗限(CRLB)。文献[2]进一步研究了存在接收机位置误差条件下的two-stage WLS算法。作为文献[2]的扩展，文献[3]将单辐射源定位问题扩展到了多个辐射源定位上。由于接收机位置误差和时频差测量误差的存在，TDOA/FDOA方程组中的观测矩阵和数据向量中都存在噪声，从而导致two-stage WLS 中第1个WLS解的偏差随噪声增大而不断增大，并导致最终定位解的偏差和均方误差对测量噪声的适应能力较差。Sun等人[4]将定位方程建模为总体最小二乘(TLS)问题，但由于不考虑噪声间的相关性，不能达到最优解。 文献[7]研究了基于约束总体最小二乘(CTLS)
第二章 参数估计的最小二乘方法Least Squares §2—１静态线性模型参数的最小二乘估计（多元线性回归） 一、 什么是最小二乘估计 系统辨识三要素：模型，数据，准则。 例： y = ax + ε 其中：y 、x 可测；ε — 不可测的干扰项； a —未知参数。通过 N 次实验，得到测量数据 y k 和 x k k = 1、2、3 …，确定未知参数 a 称“参数估计”。 使准则 J 为 最小 ： 令：? J / ? a = 0 , 导出 a = ? 称为“最小二乘估计”，即残差平方总和为最小的估计，Gauss 于 1792 年提出。 min )(2 1 =-=∑=k N k k ax y J 0)(21 =--=??∑=k k N k k ax y x a J
二、多元线性回归 线性模型 y = a 0+ a 1x 1+ + a n x n + ε 式(2 - 1- 1) 引入参数向量: θ = [ a 0,a 1, a n ]T (n+1)*1 进行 N 次试验，得出N 个方程： y k = ?k T θ + εk ; k=1、2…、N 式(2 -1- 2) 其中：?k = [ 1,x 1,x 2, ,x N ] T (n+1) *1 方程组可用矩阵表示为 y = Φ θ + ε 式（2 -1- 3） 其中：y = [ y 1,y 2, 。。。,y N ] T (N *1) ε = [ ε1, ε2, 。。。,ε N ] T (N *1) N *(n+1) 估计准则有： = （y — Φ θ）T ( y — Φ θ) (1*N) ( N *1) ?????? ? ???????=??????? ?? ???=T N T T nN N n n x x x x x x ???φ.... 1...........1 (1211212) 111 21)(θ?T k N k k y J -=∑=[] ? ? ?? ? ?????----=)(..)(*)(...)(1 111θ?θ?θ?θ?T N N T T N N T y y y y J
精心整理 第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据 其后在 x x, , 2 1 n 2 1 显然，最可信赖值应使出现的概率P为最大，即使上式中页指数中的因子达最小，即 权因子： 2 2 o i i w 即权因子 i w∝ 2 1 i ，则 再用微分法，得最可信赖值x
11 n i i i n i i w x x w 即加权算术平均值 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法 1x +3x =0.5 2x +3x =-0.3 这是一个超定方程组，即方程个数多于待求量个数，不存在唯一的确定解，事实上，考虑到测量有误差，记它们的测量误差分别为4321,,,v v v v ，按最小二乘法原理 Min v i 2 分别对321,,x x x 求偏导数，令它们等于零，得如下的确定性方程组。
(1x -0.3)+(1x +3x -0.5)=0 (2x +0.4)+(2x +3x +0.3)=0 (1x +3x -0.5)+(2x +3x +0.3)=0 可求出唯一解1x =0.325,2x =-0.425,3x =0.150这组解称之为原超定方程组的最小二乘解。 以下，一般地讨论线性参数测量方程组的最小二乘解及其精度估计。 即 x j ][][][][2211y a x a a x a a x a a t t t t t t 式中，j a ，y 分别为如下列向量 ][k l a a 和][y a j 分别为如下两列向量的内积： ][k l a a =nk nl k l k l a a a a a a 2211 ][y a j =n nj j j y a y a y a 2211
第四章最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即
权因子：2 2o i i w σσ=即权因子i w ∝21i σ，则 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-m in m ax 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，至今仍用得最广泛。 §3.线性参数最小二乘法 先举一个实际遇到的测量问题，为精密测定三个电容值:321,,x x x 采用的测量方案是，分别等权、独立测得323121,,,x x x x x x ++,列出待解的数学模型。 1x =0.3 2x =-0.4 1x +3x =0.5
【2-1】 设某物理量Y 与X1、X2、X3的关系如下：Y=θ1X 1+θ2X 2+θ3X 3 由试验获得的数据如下表。试用最小二乘法确定模型参数θ1、θ2和θ3 X1: 0.62 0.4 0.42 0.82 0.66 0.72 0.38 0.52 0.45 0.69 0.55 0.36 X2: 12.0 14.2 14.6 12.1 10.8 8.20 13.0 10.5 8.80 17.0 14.2 12.8 X3: 5.20 6.10 0.32 8.30 5.10 7.90 4.20 8.00 3.90 5.50 3.80 6.20 Y: 51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3 解：MATLAB 程序为： Clear all; A= [0.6200 12.000 5.2000 0.4000 14.2000 6.1000 0.4200 14.6000 0.3200 0.8200 12.1000 8.3000 0.6600 10.8000 5.1000 0.7200 8.2000 7.9000 0.3800 13.0000 4.2000 0.5200 10.5000 8.0000 0.4500 8.8000 3.9000 0.6900 17.0000 5.5000 0.5500 14.2000 3.8000 0.3600 12.8000 6.2000 ]; B=[51.6 49.9 48.5 50.6 49.7 48.8 42.6 45.9 37.8 64.8 53.4 45.3]'; C=inv(A'*A)*A'*B =[0.62 12 5.2;0.4 14.2 6.1;0.42 14.6 0.32;0.82 12.1 8.3; 0.66 10.8 5.1;0.72 8.2 7.9;0.38 13 4.2;0.52 10.5 8; 0.45 8.8 3.9;0.69 17 5.5;0.55 14.2 3.8;0.36 12.8 6.2] 公式中的A 是ΦN, B 是YN ，运行M 文件可得结果： 在matlab 中的运行结果： C= 29.5903 2.4466 0.4597 【2-3】 考虑如下模型 )()(3.03.115.0)(2 12 1t w t u z z z z t y ++-+=---- 其中w(t)为零均值、方差为1的白噪声。根据模型生成的输入/输出数据u(k)和y(k),分别采用批处理最小二乘法、具有遗忘因子的最小二乘法（λ=0.95）和递推最小二乘法估计模型参数（限定数据长度N 为某一数值，如N=150或其它数
%最小二乘法线性拟合y=ax+b x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); title(‘V-X曲线’) grid on xlabel(‘X/mm’) ylabel(‘V/v’) hold on x=[0:0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); z=polyval(p,x); plot(x,y,'+'); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; p=polyfit(x,y,1); x=[0:-0.2:-4.0]; y=[0.01 -0.385 -0.8 -1.22 -1.64 -2.055 -2.455 -2.825 -3.165 -3.64 -3.74 -3.915 -4.06 -4.155 -4.235 -4.295 -4.345 -4.385 -4.415 -4.445 -4.47]; p=polyfit(x,y,1); x=[0:0.2:4.0]; y=[0.02 0.375 0.73 1.06 1.335 1.595 1.84 2.045 2.23 2.38 2.485 2.565 2.625 2.67 2.705 2.73 2.76 2.78 2.79 2.81 2.82]; xmean=mean(x);ymean=mean(y); sumx2=(x-xmean)*(x-xmean)'; sumxy=(y-ymean)*(x-xmean)'; a=sumxy/sumx2;%解出直线斜率a(即传感器灵敏度) b=ymean-a*xmean;%解出直线截距b z=((a*(x(1,11))+b-(y(1,11)))/(y(1,11))); a b z figure plot(x,y,'+'); hold on
---------------------------------------------------------------最新资料推荐------------------------------------------------------ 第四章参数的最小二乘法估计 第四章参数的最小二乘法估计第四章最小二乘法与组合测量 1 概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。 对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。 例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。 另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了 200 多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 2 最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。 对某量 x 测量一组数据 x1, x2, , xn，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏 1 / 22
差依次为： 1, 2, n 记最可信赖值为，相应的残差 vi xi 。 测值落入(xi, xi dx) 的概率。 vi21Pi exp( 2) dx 2 i i2 根据概率乘法定理，测量 x1, x2, , xn 同时出现的概率为 P Pi vi211n exp[ () ](dx) n2ii i() 显然，最可信赖值应使出现的概率 P 为最大，即 使上式中页指数中的因子达最小，即ivi22 i Min 2 o1 权因子： wi 2 即权因子 wi2，则i i 2[wvv] wvii Min 再 用微分法，得最可信赖值wxi 1 nii 即加权算术平均值 w i 1i 这里为了与概率符号区别，以i 表示权因子。 特别是等权测量条件下，有： [vv] vi2 Min 以上最可信赖值是在残差平方和或 加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。 它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如（1）最小绝对残差和法： vi Min （2）最小最大残差法： maxvi Min （3）最小广义权差法： maxvi minvi Min 以上方法随着电子计算机的应用才逐渐 引起注意，但最小二乘法便于解析，至今仍用得最广泛。 3. 线性参数最小二乘法先举一个实际遇到的测量问题，
最小二乘法主要用来求解两个具有线性相关关系的变量的回归方程，该方法适用于求解与线性回归方程相关的问题，如求解回归直线方程，并应用其分析预报变量的取值等．破解此类问题的关键点如下： ①析数据，分析相关数据，求得相关系数r，或利用散点图判断两变量之间是否存在线性相关关系，若呈非线性相关关系，则需要通过变量的变换转化构造线性相关关系． ②建模型．根据题意确定两个变量，结合数据分析的结果建立回归模型． ③求参数．利用回归直线y=bx+a的斜率和截距的最小二乘估计公式，求出b，a，的值．从而确定线性回归方程． ④求估值．将已知的解释变量的值代入线性回归方程y=bx+a中，即可求得y的预测值． 注意:回归直线方程的求解与应用中要注意两个方面：一是求解回归直线方程时，利用样本点的中心（x，y）必在回归直线上求解相关参数的值；二是回归直线方程的应用，利用回归直线方程求出的数值应是一个估计值，不是真实值． 经典例题： 下图是某地区2000年至2016年环境基础设施投资额（单位：亿元）的折线图．
为了预测该地区2018年的环境基础设施投资额，建立了与时间变量的两个线性回归模型．根据2000年至2016年的数据（时间变量的值依次为1,2.，……，17）建立模型①：y=+；根据2010年至2016年的数据（时间变量的值依次为）建立模型②：y=99+． （1）分别利用这两个模型，求该地区2018年的环境基础设施投资额的预测值； （2）你认为用哪个模型得到的预测值更可靠并说明理由． 思路分析：（1）两个回归直线方程中无参数，所以分别求自变量为2018时所对应的函数值，就得结果，（2）根据折线图知2000到2009，与2010到2016是两个有明显区别的直线，且2010到2016的增幅明显高于2000到2009，也高于模型1的增幅，因此所以用模型2更能较好得到2018的预测. 解析：（1）利用模型①，该地区2018年的环境基础设施投资额的预测值为 =–+×19=（亿元）． 利用模型②，该地区2018年的环境基础设施投资额的预测值为 =99+×9=（亿元）． （2）利用模型②得到的预测值更可靠．理由如下： （i）从折线图可以看出，2000年至2016年的数据对应的点没有随机散布在直线y=–+上下，这说明利用2000年至2016年的数据建立的线性模型①不能很好地描述环境基础设施投资额的变化趋势．2010年相对2009年的环境基础设施投资额有明显增加，2010年至2016年的数据对应的点位于一条直线的附近，这说明从2010年开始环境基础设施投资额的变化规律呈线性增长趋势，利
第四章习题参考答案P 135 7. 1）用OLS法建立居民人均消费支出与可支配收入的线性模型。create u 20； data consump income； ls consump c income Dependent Variable: CONSUMP Method: Least Squares Sample: 1 20 Included observations: 20 Variable Coeffic ient Std. Error t-Stati stic Prob. C INCOME R-squared Mean dependent var Adjusted R-squared . dependent var . of regression Akaike info criterion Sum squared resid Schwarz criterion
Log likelihood F-statistic Durbin-Watson stat Prob(F-statistic) 线性模型如下： CONSUMP = 5389 + *INCOME 2）检验模型是否存在异方差性 图：是否有明显的散点扩大/缩小/复杂型趋势 i) X Y scat income consump ii)解释变量—残差图：是否形成一条斜率为0的直线 scat income resid^2 或者 genr ei2=resid^2； scat income ei2 由两个图形，均可判定存在递增型异方差。 还可以用帕克检验，戈里瑟检验，戈德菲尔德-匡特检验，怀特检验等方法。
iii) 戈德菲尔德-匡特检验：共有20个样本，去掉中间1/4个样本（4个），剩余大样本、小样本各8个。 Sort income ； smpl 1 8； ls consump C income Smpl 13 20； ls consump C income 2 1 0.050.05615472.0126528.3 4.86 (,)(81,81) 4.28 11 811811 1111RSS RSS F F F n k n k n k n k = ==--=>= --------------，存在异方差。 iV)怀特检验：因为只有一个变量，故是否含有交叉项是一样的。 2220112231425122 2 01234522011212 2 012:0,(),:0,(),i i i i i i i i i i i i e a a X a X a X a X a X X v H a a a a a nR q q e a a X a X v H a a nR q q χχ=++++++======+++==变量个数 变量个数 View ＼residual test ＼white heteroskedastcity (cross terms / no cross terms ) White Heteroskedasticity Test: F-statisti c Probability Obs*R-squa red Probability
4.最小二乘法线性拟合 我们知道，用作图法求出直线的斜率a 和截据b ，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a 和b 误差较大。用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a 和截据b 是唯一的。 最小二乘法就是将一组符合Y=a+bX 关系的测量数据，用计算的方法求出最佳的a 和b 。显然，关键是如何求出最佳的a 和b 。 (1) 求回归直线 设直线方程的表达式为： bx a y += (2-6-1) 要根据测量数据求出最佳的a 和b 。对满足线性关系的一组等精度测量数据（x i ，y i ），假定自变量x i 的误差可以忽略，则在同一x i 下，测量点y i 和直线上的点a+bx i 的偏差d i 如下： 111bx a y d --= 222bx a y d --= n n n bx a y d --= 显然最好测量点都在直线上（即d 1=d 2=……=d n =0），求出的a 和b 是最理想的，但测量点不可能都在直线上，这样只有考虑d 1、d 2、……、d n 为最小，也就是考虑d 1+d 2+……+d n 为最小，但因d 1、d 2、……、d n 有正有负，加起来可能相互抵消，因此不可取；而|d 1|+ |d 2|+……+ |d n |又不好解方程，因而不可行。现在采取一种等效方法：当d 12+d 22+……+d n 2 对a 和b 为最小时，d 1、d 2、……、d n 也为最小。取（d 12+d 22+……+d n 2 ）为最小值，求a 和b 的方法叫最小二乘法。 令 ∑== n i i d D 1 2＝21 1 2][i i n i n i i b a y d D --== ∑∑== (2-6-2) D 对a 和b 分别求一阶偏导数为： ][211∑∑==---=??n i i n i i x b na y a D ][21 2 11∑∑∑===---=??n i i n i i n i i i x b x a y x b D
第四章 最小二乘法与组合测量 §1概述 最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。对于从事精密科学实验的人们来说，应用最小乘法来解决一些实际问题，仍是目前必不可少的手段。例如，取重复测量数据的算术平均值作为测量的结果，就是依据了使残差的平方和为最小的原则，又如，在本章将要用最小二乘法来解决一类组合测量的问题。另外，常遇到用实验方法来拟合经验公式，这是后面一章回归分析方法的内容，它也是以最小二乘法原理为基础。 最小二乘法的发展已经经历了200多年的历史，它最先起源于天文和大地测量的需要，其后在许多科学领域里获得了广泛应用，特别是近代矩阵理论与电子计算机相结合，使最小二乘法不断地发展而久盛不衰。 本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用，一些深入的内容可参阅专门的书籍和文献。 §2最小二乘法原理 最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。对某量x 测量一组数据n x x x ,,,21 ，假设数据中不存在系统误差和粗大误差，相互独立，服从正态分布，它们的标准偏差依次为：n σσσ ,,21记最可信赖值为x ，相应的残差x x v i i -=。测值落入),(dx x x i i +的概率。 dx v P i i i i )2exp(21 22 σπ σ-= 根据概率乘法定理，测量n x x x ,,,21 同时出现的概率为
n i i i n i i dx v P P )]()(21exp[)2(12∑- ∏= ∏=σπσ 显然，最可信赖值应使出现的概率P 为最大，即使上式中页指数中的因子达最小，即 ∑=i i i Min v 2 2 σ 权因子：22o i i w σσ=即权因子i w ∝21 i σ，则 2 []i i wvv wv Min ==∑ 再用微分法，得最可信赖值x 1 1 n i i i n i i w x x w === ∑∑ 即加权算术平均值 这里为了与概率符号区别，以i ω表示权因子。 特别是等权测量条件下，有： ∑===Min v vv i 2][ 以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的，称之为最小二乘法原理。它是以最小二乘方而得名。 为从一组测量数据中求得最佳结果，还可使用其它原理。 例如 （1）最小绝对残差和法：Min v i =∑ （2）最小最大残差法：Min v i =max （3）最小广义权差法：Min v v i i =-min max 以上方法随着电子计算机的应用才逐渐引起注意，但最小二乘法便于解析，
1 曲线拟合的线性最小二乘法及其MATLAB 程序 例7.2.1 给出一组数据点),(i i y x 列入表7–2中，试用线性最小二乘法求拟合曲线，并用（7.2），（7.3）和（7.4）式估计其误差，作出拟合曲线. 表7–2 例7.2.1的一组数据),(y x 解 （1）在MATLAB 工作窗口输入程序 >> x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; plot(x,y,'r*'), legend('实验数据(xi,yi)') xlabel('x'), ylabel('y'), title('例7.2.1的数据点(xi,yi)的散点图') 运行后屏幕显示数据的散点图（略）. （3）编写下列MA TLAB 程序计算)(x f 在),(i i y x 处的函数值，即输入程序 >> syms a1 a2 a3 a4 x=[-2.5 -1.7 -1.1 -0.8 0 0.1 1.5 2.7 3.6]; fi=a1.*x.^3+ a2.*x.^2+ a3.*x+ a4 运行后屏幕显示关于a 1,a 2, a 3和a 4的线性方程组 fi =[ -125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4] 编写构造误差平方和的MATLAB 程序 >> y=[-192.9 -85.50 -36.15 -26.52 -9.10 -8.43 -13.12 6.50 68.04]; fi=[-125/8*a1+25/4*a2-5/2*a3+a4, -4913/1000*a1+289/100*a2-17/10*a3+a4, -1331/1000*a1+121/100*a2-11/10*a3+a4, -64/125*a1+16/25*a2-4/5*a3+a4, a4, 1/1000*a1+1/100*a2+1/10*a3+a4, 27/8*a1+9/4*a2+3/2*a3+a4, 19683/1000*a1+729/100*a2+27/10*a3+a4, 5832/125*a1+324/25*a2+18/5*a3+a4]; fy=fi-y; fy2=fy.^2; J=sum(fy.^2) 运行后屏幕显示误差平方和如下 J= (-125/8*a1+25/4*a2-5/2*a3+a4+1929/10)^2+(-4913/1000*a1+2 89/100*a2-17/10*a3+a4+171/2)^2+(-1331/1000*a1+121/100*a2-11/10*a3+a4+723/20)^2+(-64/125*a1+16/25*a2-4/5*a3+a4+663/25)^2+(a4+91/10)^2+(1/1000*a1+1/100*a2+1/10*a3+a4+843/100)^2+(27/8*a1+9/4*a 2+3/2*a3+a4+328/25)^2+(19683/1000*a1+729/100*a2+27/10*a3+a4-13/ 2)^2+(5832/125*a1+324/25*a2+18/5*a3+a4-1701/25)^2 为求4321,,,a a a a 使J 达到最小，只需利用极值的必要条件0=??k a J )4,3,2,1(=k ，