最小二乘法原理及其简单应用_邹乐强

【文献综述】最小二乘法的原理和应用文献综述数学与应用数学最小二乘法的原理和应用一、国内外状况天文学自古代至18世纪是应用数学中最发达的领域。

观测和数学天文学给出了建立数学模型及数据拟合的最初例子，在此种意义下，天文学家就是最初的数理统计学家。

天文学的问题逐渐引导到算术平均，以及参数模型中的种种估计方法，以最小二乘法为顶峰。

1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。

经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。

随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。

时年24岁的高斯也计算了谷神星的轨道。

奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。

勒让德是法国军事学校的教授，曾任多界政府委员，后来成了多科工艺学校的总监，直至1833年逝世。

有记载最小二乘法最早出现在勒让德1805年发表的论著《计算彗星轨道的新方法》附录中。

他在该书中描述了最小二乘法的思想、具体做法及其优点。

勒让德的成功在于它从一个新的角度来看待这个问题，不像其前辈那样致力于找出几个方程（个数等于未知数的个数）再去求解，而是考虑误差在整体上的平衡。

从某种意义讲，最小二乘法是一个处理观测值的纯粹代数方法。

要将其应用于统计推断问题就需要考虑观测值的误差，确定误差分布的函数形式。

勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。

最小二乘法是提供“观测组合”的主要工具之一，它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式。

如已知两变量为线性关系y=a+dx,对其进行n（n>2）次观测而获得n对数据，若将这n对数据代入方程求解a 、b 之值则无确定解。

最小二乘法的原理及其应用一、研究背景在科学研究中，为了揭示某些相关量之间的关系，找出其规律，往往需要做数据拟合，其常用方法一般有传统的插值法、最佳一致逼近多项式、最佳平方逼近、最小二乘拟合、三角函数逼近、帕德（Pade）逼近等，以及现代的神经网络逼近、模糊逼近、支持向量机函数逼近、小波理论等。

其中，最小二乘法是一种最基本、最重要的计算技巧与方法。

它在建模中有着广泛的应用，用这一理论解决讨论问题简明、清晰，特别在大量数据分析的研究中具有十分重要的作用和地位。

随着最小二乘理论不断的完善，其基本理论与应用已经成为一个不容忽视的研究课题。

本文着重讨论最小二乘法在化学生产以及系统识别中的应用。

二、最小二乘法的原理人们对由某一变量t或多个变量t1…..tn 构成的相关变量y感兴趣。

如弹簧的形变与所用的力相关，一个企业的盈利与其营业额，投资收益和原始资本有关。

为了得到这些变量同y之间的关系，便用不相关变量去构建y，使用如下函数模型,q个相关变量或p个附加的相关变量去拟和。

通常人们将一个可能的、对不相关变量t的构成都无困难的函数类型充作函数模型（如抛物线函数或指数函数）。

参数x是为了使所选择的函数模型同观测值y相匹配。

（如在测量弹簧形变时，必须将所用的力与弹簧的膨胀系数联系起来）。

其目标是合适地选择参数，使函数模型最好的拟合观测值。

一般情况下，观测值远多于所选择的参数。

其次的问题是怎样判断不同拟合的质量。

高斯和勒让德的方法是，假设测量误差的平均值为0。

令每一个测量误差对应一个变量并与其它测量误差不相关（随机无关）。

人们假设，在测量误差中绝对不含系统误差，它们应该是纯偶然误差，围绕真值波动。

除此之外，测量误差符合正态分布，这保证了偏差值在最后的结果y上忽略不计。

确定拟合的标准应该被重视，并小心选择，较大误差的测量值应被赋予较小的权。

并建立如下规则：被选择的参数，应该使算出的函数曲线与观测值之差的平方和最小。

用函数表示为：用欧几里得度量表达为：最小化问题的精度，依赖于所选择的函数模型。

最小二乘法原理与应用
最小二乘法原理是一种统计学的数据分析方法，用于拟合一条直线或曲线以逼近一组数据的实际分布情况。

它的基本思路是通过不断调整参数，使得拟合曲线与实际数据之间的误差最小化。

应用最小二乘法的场景非常广泛，比如：
1. 线性回归分析：在线性回归中，最小二乘法用于确定回归系数，从而使得预测值与实际值的误差最小化。

2. 时间序列分析：在时间序列分析中，最小二乘法用于拟合时间序列数据，以预测未来的趋势或周期性变化。

3. 拟合曲线和函数：在物理学、经济学和工程学领域中，最小二乘法被用于拟合实验数据与理论模型之间的关系，以便更好地理解物理现象、经济趋势和工程设计。

4. 数据处理和滤波：最小二乘法还可以用于处理噪声数据和滤波，滤波的过程与拟合曲线类似，通过降低噪声水平来提高数据的准确性。

总之，最小二乘法在各个领域都有广泛的应用，是一种非常重要的数据分析方法。

开题报告信息与计算科学浅谈最小二乘法的原理及其应用一、综述本课题国内外研究动态, 说明选题的依据和意义最小二乘法（Least Square Method ）是提供“观测组合”主要工具之一, 它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式. 如已知两变量为线性关系y a bx =+, 对其进行(2)n n >次观测而获得n 对数据. 若将这n 对数据代入方程求解,a b 的值则无确定解, 而最小二乘法提供了一个求解方法, 其基本思想是寻找“最接近”这n 个观测点的直线.最小二乘法创立与十九世纪初, 是当时最重要的统计方法, 在长期的发展中, 人们一直处于不断的研究中, 在传统最小二乘法的基础上, 出现了许多更为科学先进的方法, 如移动最小二乘法、加权最小二乘法、偏最小二乘法、模糊最小二乘法和全最小二乘法等, 使得最小二乘法在参数估计、系统辨识以及预测、预报等纵多领域都有着广泛的应用. 相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础, 所以最小二乘法被称之为数理统计学的灵魂. 正如美国统计学家斯蒂格勒（S. M. Stigler ）所说, “最小二乘法之于数理统计学犹如微积分之于数学”. 因此对最小二乘法的研究就显得意义重大.国内外的学者们一直在对传统最小二乘法做进一步的研究. 勒让德（A. M. Legender ）于1805年发表了论著《计算彗星轨道的新方法》, 在书中勒让德描述了最小二乘法的思想、具体做法及其优点, 他认为: 赋予误差的平方和为极小, 则意味着在这些误差间建立了一种均衡性, 它阻止了极端情形所施加的过分影响. 1809年高斯（C. F. Gauss ）在著作《天体沿圆锥截面围绕太阳运动的理论》中发表有关最小二乘法的理论, 随后在1826年的著作中阐述了最小二乘法的全部内容. 统计学者对最小二乘法做了进一步的研究探讨, 1970年, 由霍尔（A. E. Horel ）和肯纳德（R. W. Kennard ）提出的岭估计（Ridge Estimate ）, 用()()11ˆni i i k S kI x y β-==+∑取代ˆβ, 有效的降低了原方法的病态性.在国内, 学者们也对传统最小二乘法做了非常多的改进: 孙彦清在《最小二乘法线性拟合应注意的两个问题》一文中对最小二乘法线性拟合应注意的两个问题中从理论上分析了最小二乘法原理及其在实际曲线拟合问题中的应用, 指出了最小乘法处理线性拟合应注意的两个问题: 拟合应用条件和误差比较. 在文《最小二乘法处理自变量误差实验数据的方法》中, 学者代锦辉对最小二乘法在实验数据处理和在数学研究上面的应用做了相应的介绍和研究, 使人们认识到: 在科学实验中处理数据时, 在自变量有误差的情况下, 用最小二乘法的几种方法处理实验数据, 这样可以降低在实际测量中由于测量数据无法避免的误差, 从而提高科学实验的准确性, 更加突出实验的科学性. 这也使得最小二乘法在数学研究及科学实验中有着更为广泛的运用. 程玉民等人在《移动最小二乘法研究进展与评述》一文中对移动最小二乘法做了进一步的研究探讨, 对移动最小二乘法做了改进, 同时还评述了各种移动最小二乘法的优缺点, 并概述各种移动最小二乘法形成的无网格方法的研究进展. 运用各种移动最小二乘法求解静态和动态断裂力学, 求解弹塑性等问题. 在《改进的最小二乘法在水文分析计算中的应用》一文中, 王淑英、高永胜为了达到所有实测点与拟合曲线间的相对误差尽量不超过某一百分比的原则要求, 提出了非线性的加权最小二乘法及线性相关方程的最小距离平方和法, 探讨改进了传统的最小二乘法达到优化的效果.虽然最小二乘法简单易行, 应用广泛, 但仍然存在一些问题: 计算量较大, 当观测数据较多时, 计算会显得复杂, 尤其是要进行矩阵求逆, 矩阵阶数高时更为复杂; 容易受系统误差的影响, 系统误差的存在导致了最小二乘估计不再是无偏估计, 使得估计无效; 受测量误差相关性的影响, 从理论上讲, 当观测误差相关时, 取权矩阵为协方差矩阵的逆, 便可得到线性无偏最小方差估计. 但在实际情况中, 协方差矩阵是未知的; 当观测数据含较大异常值时, 将严重影响最小二乘估计结果.本文拟在理解传统最小二乘法的原理及思想基础上，对几种改进算法进行研究分析，并深入探讨该方法在实际问题中的应用，希望进一步拓宽其应用领域.二、研究的基本内容, 拟解决的主要问题研究的基本内容: 对最小二乘法原理及其应用的研究拟解决的主要问题:1.对几种改进的最小二乘法进行分析研究；2.研究最小二乘法在实际问题中的应用.三、研究步骤、方法及措施研究步骤:1.理解并掌握最小二乘法的基本原理及其思想方法；2.分析研究对最小二乘法改进的算法；3.研究最小二乘法在实际问题中的应用.方法、措施:通过到图书馆、上网等查阅收集资料,上万方数据库查找文章, 参考相关内容. 在老师指导下, 与同组同学研究讨论, 用数据调查结合文献论证的方法来解决问题.四、参考文献[1]GU Xiangqian, KANG Hongwen, CAO Hongxing. The least-square method in complexnumber domain[J]. Progress in Natural Science.2006,1:59-63.[2]LI Guo-qing, MENG Zhao-ping, MA Feng-shan, ZHAO Hai-jun, DING De-min, LIU Qin,WANG Cheng. Calculation of stratum surface principal curvature based on moving least square method[J]. Journal of China University of Mining&Technology.2008,3:307-312.[3]陈希孺.最小二乘法的历史回顾与现状[J].中国科学院研究生院学报.1998,1:4-11.[4]程玉民.移动最小二乘法研究进展与评述[J].计算机辅助工程.2009,2:5-11.[5]王淑英,高永胜.改进的最小二乘法在水文分析计算中的应用[J].水文.2003. 5: 5-9.[6]宋殿瑞,宋文臣,刘朋振.最小二乘法应用探讨[J].青岛化工学院学报.1998,3:296-301.[7]孙彦清.最小二乘法线性拟合应注意的两个问题[J].汉中师范学院学报.2002,1: 59-61.[8]张庆海,潘华锦,齐建英.用最小二乘法测弹簧的有效质量[J].大学物理.2002,11:33-34.[9]代锦辉.最小二乘法处理自变量误差实验数据的方法[J].实验科学与技术学报,2006,4(4):21-46.[10]张红贵,宋志尧,章卫胜.潮位相关分析中的最小二乘法研究[J].水道港口.2007,3:153-155.。

最小二乘法探究最小二乘法探究0.前言最小二乘法发源于天体物理学，并广泛应用于其他各个学科。

最小二乘法（Least squares）又称最小平方法，一元线性回归法，是一种数学优化技术，用于建立经验公式，利用它可以把生产或实验中所积累的某些经验提高到理论上加以分析。

它通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合,是我们在建模竞赛中常用的一种手段。

一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

最小二乘法发源于天体物理学，并广泛应用于其他各个学科。

最小二乘法对于统计学具有十分重要的意义。

相关回归分析，方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础，正如美国统计学家斯蒂格勒（S.M,Stigler）所说，“最小二乘法之于数理统计学犹如微积分之于数学”。

故对最小二乘法做一番探究进而理解并掌握这一思想是十分有必要的。

1.原理在古汉语中“平方”称为“二乘”，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。

根据教材中的描述（两个变量间的函数关系），其基本原理为：根据已知的自变量与因变量数据做出散点图，进而观察判定出两者间的函数关系，本次探讨以一次函数关系为例，其他类型的函数关系也可通过两边取对数等方法转化为一次函数形式进行求解。

认定是线性函数：a,b即为待求的常数。

对于求的函数，我们希望它可以尽可能多的拟合到已知的数据点，或者说尽可能的靠近。

转化为量化形式即为使偏差都很小，对此经过综合分析我们用最小来保证每个偏差的绝对值都很小，即根据偏差的平方和为最小的条件来确定常数a,b。

然后运用多远函数的极值求法知识来求解求的极小值，具体步骤为：>>>>>>>>>>>>>>>>>>>>>>>>(1)然后再列表计算，代入方程组（1），即可求出a,b。

不同方法测弹簧劲度系数在不同数据处理方法中的结果比较分析作者：苑晓杰来源：《新教育时代·教师版》2018年第21期摘要：本文以测量弹簧的劲度系数实验为例，在胡克定律原理与测量振动周期两种不同的实验方法下，用逐差法、线性拟合法、最小二乘法三种不同的数据处理方法做横向与纵向的比较分析，研究在不同的实验方法下用不同的数据处理方法所得值的准确性。

关键词：弹簧劲度系数逐差法线性拟合法最小二乘法引言测量弹簧的劲度系数有不同的实验方法，例如用集成霍尔传感器、新型焦利称、气轨上的简谐振动等测定弹簧的劲度系数，但是把这些整合在一起作比较的内容很少，笔者力图通过以测量弹簧的劲度系数为例，在胡克定律原理与测量振动周期两种不同的实验方法下用逐差法、线性拟合法、最小二乘法三种不同的数据处理方法，做横向与纵向的比较分析，研究在不同的实验方法下用不同的数据处理方法所得到的误差何时可以最小。

[1]一、实验测量方法及实验数据处理方法原理1. 实验测量方法（1）胡克定律法原理胡克定律原理：弹簧在发生形变时，弹簧的弹力F和弹簧的形变量（伸长量或压缩量）△x成正比，即F= -k·△x。

其中k是劲度（倔强）系数。

在此实验中，通过测量施加给弹簧的负载重量，以及相应的形变量，在多次实验下测量弹簧的劲度系数。

[2]方法：在铁架台上挂一空弹簧，利用“三线对齐”（即反光镜A上的水平刻线、玻璃管B 的水平刻线和玻璃管水平刻线在反光镜C中的像重合）的方式记录此时的刻度x，然后每次增加一个砝码，记录一次它的刻度值。

每次增加的砝码的质量是一样的，测量六次。

实验中使用的砝码和弹簧情况如下：砝码：共5只，空托盘的编号记为1，其余五次编号为2、3、4、5、6。

质量分别为0、40g、60g、80g、100g、120g。

（2）约利称法原理设弹簧的劲度系数为k，悬挂的负载的质量为m，为弹簧自身的质量，弹簧的振动周期的公式为，2. 实验数据处理方法（1）逐差法原理由于随机误差具有抵偿性，多次测量求平值可以减少这种误差，但是，当自变量与因变量成线性关系时，对于自变量等间距变化的多次测量，会使中间测量的数据由于两两抵消，而失去求平均值的意义。

文献综述信息与计算科学浅谈最小二乘法的原理及其应用最小二乘法最早是由高斯提出来的, 主要用于天文学和地测学, 在早期数理统计方法的发展中, 这两门科学起了很大的作用, 故丹麦统计学家霍尔把它们称为“数理统计学的母亲”.随着现代电子计算机的发展, 也使得最小二乘法的运用变得更为普及, 在参数估计、系统辨识以及预测、预报等众多领域都有着广泛的作用.最小二乘法（又称最小平方法）是一种数学优化技术.它通过最小化误差的平方和寻找数据的最佳函数匹配. 传统的曲线最小二乘法的原理是成对等精度地测得一组数据, 试找出一条最佳的拟合曲线, 使得这条拟合曲线上的各点的值与测(,)(1,2,...,)i i x y i n 量值的差的平方和在所有拟合曲线中最小.虽然最小二乘法简单易行, 应用广泛, 但仍然存在一些问题: 计算量较大, 当观测数据 较多时, 计算会显得复杂, 尤其是要进行矩阵求逆, 矩阵阶数高时更为复杂; 容易受系统误差的影响, 系统误差的存在导致了最小二乘估计不再是无偏估计, 使得估计无效; 受测量误差相关性的影响, 从理论上讲, 当观测误差相关时, 取权矩阵为协方差矩阵的逆, 便可得到线性无偏最小方差估计. 但在实际情况中, 协方差矩阵是未知的; 当观测数据含较大异常值时, 将严重影响最小二乘估计结果.经过长期的发展研究, 针对传统最小二乘法存在的问题, 人们对其做了进一步的探究并提出了一些改进方法:1. 移动最小二乘法移动最小二乘法是形成无网格方法逼近函数的方法之一, 已在无网格方法中得到广泛 应用. 其优点是有很好的数学理论支持, 因为基于最小二乘法, 所以数值精确度较高. 对于每个固定点, 移动最小二乘法即为通常的最小二乘法. 移动最小二乘法和最小二乘法具有同样的缺点, 即易形成病态或奇异的方程组.程玉民等人在文[6]中对移动最小二乘法做了进一步的研究探讨, 对移动最小二乘法做了改进, 同时还评述了各种移动最小二乘法的优缺点, 并概述各种移动最小二乘法形成的无网格方法的研究进展. 运用各种移动最小二乘法求解静态和动态断裂力学, 求解弹塑性等问题.2. 加权最小二乘法如果模型被检验证明存在异方差性, 则需要发展新的方法估计模型, 最常用的方法是加权最小二乘法. 加权最小二乘法是对原模型加权, 使之变成一个新的不存在异方差性的模型, 然后采用普通最小二乘法估计其参数.在文[7]中, 王淑英、高永胜为了达到所有实测点与拟合曲线间的相对误差尽量不超过某一百分比的原则要求, 提出了非线性的加权最小二乘法及线性相关方程的最小距离平方和法, 探讨改进了传统的最小二乘法达到优化的效果.3. 偏最小二乘法偏最小二乘法是通过最小化误差的平方和找到一组数据的最佳函数匹配. 其特点为: 能够在自变量存在严重多重相关性的条件下进行回归建模; 允许在样本点个数少于变量个数的条件下进行回归建模; 偏最小二乘回归在最终模型中将包含原有的所有自变量; 偏最小二乘回归模型更易于辨识系统信息与噪声（甚至一些非随机性的噪声）; 在偏最小二乘回归模型中, 每一个自变量的回归系数将更容易解释.另外, 在文[8]中, 宋殿瑞等人结合一元线性拟合、多元线性拟合、非线性拟合等多个问题提出了最小二乘法在应用时应该注意的几个问题: 一个是慎重选择拟合关系式; 另一个则是注意自变量的选择. 孙彦清在文[9]中对最小二乘法线性拟合应注意的两个问题中从理论上分析了最小二乘法原理及其在实际曲线拟合问题中的应用, 指出了最小乘法处理线性拟合应注意的两个问题: 拟合应用条件和误差比较. 在文[10]中, 张庆海等人通过实验观测, 用一种新型的实验方法表明了弹簧振子系统中弹簧的惯性质量对小振动系统的减震周期（或减震频率）有影响, 其振动有效质量系数在误差范围内和理论推导一致. 在文[11]中, 学者代锦辉对最小二乘法在实验数据处理和在数学研究上面的应用做了相应的介绍和研究, 使人们认识到: 在科学实验中处理数据时, 在自变量有误差的情况下, 用最小二乘法的几种方法处理实验数据, 这样可以降低在实际测量中由于测量数据无法避免的误差, 从而提高科学实验的准确性, 更加突出实验的科学性. 这也使得最小二乘法在数学研究及科学实验中有着更为广泛的运用. 在文[12]中, 张红贵等人有效地解决了传统最小二乘法在线性相关分析中出现的不合理问题, 使分析结果与实际符合良好, 回归方程具有良好的可逆性.为解决各种实际问题, 人们还提出了很多其他改进, 如主成份估计（用较少的变量去估算原来模型中大部分的数据, 将我们手中相关性很高的变量转化成彼此相互独立或不相关的变量）、全最小二乘估计、模糊最小二乘估计等. 所有这些方法, 各有特色和针对性, 但每种方法或多或少都存在一些问题, 所以还需要对其继续研究, 并进行相应的改进, 使其能更好地应用于实际问题的解决中.参考文献[1] GU Xiangqian,KANG Hongwen,CAO Hongxing.The least-square method in complexnumber domain[J].Progress in Natural Science.2006,1:59-63.[2] LI Guo-qing,MENG Zhao-ping,MA Feng-shan,ZHAO Hai-jun,DING De-min,LIUQin,WANG Cheng.Calculation of stratum surface principal curvature based on moving least square method. Journal of China University of Mining&Technology.2008,3:307-312.[3] 陈希孺.最小二乘法的历史回顾与现状[J].中国科学院研究生院学报.1998,1:4-11.[4] 张玉祥.最小二乘法述评[J].飞行器控制技术.1993,1:19-25.[5] 贾小勇,徐传胜,白欣.最小二乘法的创立及其思想方法[J].西北大学学报.2006,3:507-511.[6] 程玉民.移动最小二乘法研究进展与评述[J].计算机辅助工程.2009,2:5-11.[7] 王淑英,高永胜.改进的最小二乘法在水文分析计算中的应用[J].水文.2003.5:5-9.[8] 宋殿瑞,宋文臣,刘朋振.最小二乘法应用探讨[J].青岛化工学院学报.1998,3:296-301.[9] 孙彦清.最小二乘法线性拟合应注意的两个问题[J].汉中师范学院学报.2002,1:59-61.[10] 张庆海,潘华锦,齐建英.用最小二乘法测弹簧的有效质量[J].大学物理.2002,11:33-34.[11] 代锦辉. 最小二乘法处理自变量误差实验数据的方法 [J]. 实验科学与技术学报, 2006,4(4): 21-46.[12] 张红贵,宋志尧,章卫胜.潮位相关分析中的最小二乘法研究[J].水道港口.2007,3:153-155.。

数值分析作业最小二乘法最小二乘法是提供“观测组合”的主要工具之一,它依据对某事件的大量观测而获得最佳”结果或最可能”表现形式。

如已知两变量为线性关系y= a+ bx,对其进行n(n> 2)次观测而获得n对数据。

若将这n对数据代入方程求解a，b之值则无确定解。

最小二乘法提供了一个求解方法，其基本思想就是寻找最接近”这n 个观测点的直线。

最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。

相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。

作为其进一步发展或纠正其不足而采取的对策,不少近现代的数理统计学分支也是在最小二乘法基础上衍生出来的。

正如美国统计学家斯蒂格勒(S.M. Stigler)所说,最小二乘法之于数理统计学犹如微积分之于数学”最小二乘法创立的历史过程充满着丰富的科学思想,这些对今日的数学创造仍有着重要的启示意义。

本文旨在全面认识最小二乘法的历史系统发育过程以及创立者的思路。

一先驱者的相关研究天文学和测地学的发展促进了数理统计学及其他相关科学的发展。

丹麦统计史家哈尔德曾指出天文学在数理统计学发展中所起的作用。

“天文学自古代至18 世纪是应用数学中最发达的领域。

观测和数学天文学给出了建立数学模型及数据拟合的最初例子,在此种意义下,天文学家就是最初的数理统计学家。

天文学的问题逐渐引导到算术平均,以及参数模型中的种种估计方法,以最小二乘法为顶峰。

” 这也说明了最小二乘法的显著地位。

有关统计计算思想记载的著作要首推天文学家罗杰柯茨的遗作,即1715年其所发论文中所蕴含的统计方法,亦即对各种观测值赋予加权后求其加权平均。

尽管当时得到认可,然而事实证明如此计算的结果不太精确。

1749年,欧拉(L. Euler,1707—1783)在研究木星和土星之间相互吸引力作用对各自轨道影响时,最后得到一个含8个未知量75个方程的线性方程组。

欧拉的求解方法繁杂而奇特,只能看作是一次尝试。

一、最小二乘法最小二乘法（又称最小平方法）是一种数学优化技术。

它通过最小化误差的平方些求得的数据与实际数据之间误差的平方和为最小。

已知两变量为线性关系y=kx+b，实验获得其n 组含有误差的数据（xi，yi）。

若将这n 组数据代入方程求解，则k、b 之值无确定解。

最小二乘法提供了一个求解的方法，其基本思想是拟合出一条“最接近”这n 个点的直线。

在这条拟合的直线上，各点相应的y 值与测量值对应纵坐标值之偏差的平方和最小。

根据统计理论，参数k 和b计算公式是：2.3 相关系数γ相关系数γ表示数据（xi，yi）相互联系的密切程度，以及拟合所得的线性方的计算公式如下：程的可靠程度。

γ1其中，γ的值在- 1～+ 1 之间。

γ的绝对值越接近1，表明（xi，yi）相互联系越密切, 线性方程的可靠程度越高，线性越好。

二、运用Origin8.0 软件，采用最小二乘法计算金属铝的电阻率基于DISLab测量与采集实验数据，运用Origin8.0 软件建立其数学线性模型，得到其散点图，从而可以直观地观察到散点图呈直线型或曲线型。

根据最小二乘法原理，对实验数据进行线性处理并进行相关性检验，拟合计算出金属铝的电阻率。

实验计算结果表明，利用最小二乘法求解金属铝的电阻率准确可靠，相对误差较小。

该实验的依据是部分电路的欧姆定律和电阻定律：R=UI 与ρ= RSL。

其中，U为金属两端电压，I 为通过其电流，S 和L 分别为其横截面积与长度。

将一定长度的金属铝丝Rx接入如图1 所示的电路图中，采用伏安法测出其电阻R=UI。

同时，测量出金属的长度L 及直径D，从而计算出金属丝的电阻率ρ= πD 2U4IL。

图1 测定金属电阻率ρ电路图闭合开关，调节变阻器，使电表有明显示数变化，数据采集器即可获得n 组电压表和电流表相应的数据（Ui，Ii）。

23当电压表的数值U 从20 mV 以ΔU=10 mV 为步长增加到100 mV 时，分别测量出对应电流表的数值I ，实验数据如表1 所示。

最小二乘法探究0. 前言最小二乘法发源于天体物理学，并广泛应用于其他各个学科。

最小二乘法（Least squares ）又称最小平方法，一元线性回归法，是一种数学优化技术，用于建立经验公式，利用它可以把生产或实验中所积累的某些经验提高到理论上加以分析。

它通过最小化误差的平方和寻找数据的最佳函数匹配。

利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。

最小二乘法还可用于曲线拟合,是我们在建模竞赛中常用的一种手段。

一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。

最小二乘法发源于天体物理学，并广泛应用于其他各个学科。

最小二乘法对于统计学具有十分重要的意义。

相关回归分析，方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础，正如美国统计学家斯蒂格勒（S.M,Stigler ）所说，“最小二乘法之于数理统计学犹如微积分之于数学”。

故对最小二乘法做一番探究进而理解并掌握这一思想是十分有必要的。

1. 原理在古汉语中“平方”称为“二乘”，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。

根据教材中的描述（两个变量间的函数关系），其基本原理为： 根据已知的自变量与因变量数据做出散点图，进而观察判定出两者间的函数关系，本次探讨以一次函数关系为例，其他类型的函数关系也可通过两边取对数等方法转化为一次函数形式进行求解。

认定y =f (x )是线性函数：f (x )=ax +b a,b 即为待求的常数。

对于求的函数，我们希望它可以尽可能多的拟合到已知的数据点，或者说尽可能的靠近。

转化为量化形式即为使偏差y i −f (x i ) 都很小，对此经过综合分析我们用M =∑[y i −(ax i +b )]2imax i=0最小来保证每个偏差的绝对值都很小，即根据偏差的平方和为最小的条件来确定常数a,b 。

然后运用多远函数的极值求法知识来求解求M =(a,b ）的极小值，具体步骤为：{M a (a,b )=0M b (a,b )=0>>>>>>>>>>>>>>{ðM ða =−2∑[y i −(ax i +b )]x i =0imax i=0ðM ðb =−2∑[y i −(ax i +b )]=0imax i=0 >>>>{∑[y i −(ax i +b )]x i =0imax i=0∑[y i −(ax i +b )]=0imax i=0>>>>>>{a ∑x i 2+b ∑x i imax i=0=∑y i x i imax i=0imax i=0a ∑x i + 8b =∑y i imax i=0imax i=0 (1) 然后再列表计算∑x i 2,∑x i imax i=0,∑y i x i imax i=0imaxi=0,及 ∑y i imax i=0，代入方程组（1），即可求出a,b 。

最⼩⼆乘法的原理与计算最⼩⼆乘法的应⽤例⼦如果某个资产在买⼊后，第 2-100 天内的收益变化如下图所⽰：这时，我想要获得第 2-100 天内的任意收益，都是可以⽅便清晰获得的，但是如果我在第100天的时间，想要预估第107天时的收益呢？从上图中，原始数据是没有第107天的收益的，这时间就必须根据2-100天的数据对第 107 天的收益进⾏预测。

进⾏预测有多种⽅法，但是对于上⾯的例⼦，最常见的是线性回归⽅式，⽽线性回归中最受欢迎的算法是最⼩⼆乘法。

进⾏线性回归后如下图所⽰：红⾊曲线就是2-100 天的原始数据，⽽绿⾊的斜线就是线性回归线。

可以看出，绿⾊的线是斜率固定的，是符合函数：f(y) = b + kx，这时间就能轻松的获得第107天的预测数据。

最⼩⼆乘法的原理我们是如何求的线性回归线呢，是⼜如何最⼩⼆乘法是最优的选择呢。

先看下图：线性回归线就是蓝⾊的点到回归线的垂直距离和最⼩的直线。

上图中红⾊的线，即真实数据到回归线的垂直距离，就是真实数据与回归线（预测数据）的误差，我们只需要使所有误差的和最⼩，也就是最优的。

利⽤Python代码计算最⼩⼆乘法来线性回归x = [2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46,47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89,90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100]y = [-0.19, -0.51, -0.81, -0.29, -0.9, -0.46, -0.88, -0.71, -0.14, -0.11, -0.46, -0.45, -0.13, -0.06, 0.27, 0.05, 0.23, 0.98, 0.97, 1.3, 1.04, 0.4, 0.01, 0.45, 0.38, 0.84,0.47, 0.8, 0.17, 0.03, 0.37, 0.91, 0.71, 0.87, 1.15, 2.02, 2.22, 2.59, 3.16, 2.72, 2.78, 2.15, 3.05, 3.34, 3.39, 3.73, 3.35, 2.61, 2.59, 3.12, 3.32, 3.67, 3.23, 3.42, 3.8,4.32, 4.98, 4.23, 4.88, 4.87, 4.59, 3.82, 3.89, 4.7, 4.89,5.28, 4.75, 5.26,6.55, 6.49,7.11, 6.96, 6.74, 6.97, 6.43, 6.38, 6.36, 5.56, 5.0, 4.31, 4.23, 4.83, 5.9, 5.95,7.21, 7.92, 7.95, 7.55, 7.32, 7.69, 8.0, 8.49, 8.75, 8.76, 8.55, 8.77, 8.76, 9.43, 9.91]mean_x = sum(x) / len(x)mean_y = sum(y) / len(y)sum_x = 0.0sum_y = 0.0for i in range(0, len(x)):sum_x += (x[i] - mean_x) * (y[i] - mean_y)sum_y += (x[i] - mean_x) ** 2k = sum_x / sum_yb = mean_y - k * mean_xy2 = []# y2 对真实数据的回归for i in range(0, len(x)):y2.append(round(b + k*x[i], 2))# y2 对 101 - 110 天内的预测last_x = x[-1]for i in range(1, 11):x.append(last_x + i)y2.append(round(b + k*(last_x + i), 2))结果如图所⽰，预测第107天的收益是9.23：本⽂禁⽌任何⽹站转载，严厉谴责那些蛀⾍们。