下载文档原格式
4.最小二乘法线性拟合（非常好）我们知道，用作图法求出直线的斜率a 和截据b ，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a 和b 误差较大。
用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a 和截据b 是唯一的。
最小二乘法就是将一组符合Y=a+bX 关系的测量数据，用计算的方法求出最佳的a 和b 。
显然，关键是如何求出最佳的a 和b 。
(1) 求回归直线设直线方程的表达式为：bx a y += (2-6-1)要根据测量数据求出最佳的a 和b 。
对满足线性关系的一组等精度测量数据（x i ，y i ），假定自变量x i 的误差可以忽略，则在同一x i 下，测量点y i 和直线上的点a+bx i 的偏差d i 如下：111bx a y d --=222bx a y d --=n n n bx a y d --=显然最好测量点都在直线上（即d 1=d 2=……=d n =0），求出的a 和b 是最理想的，但测量点不可能都在直线上，这样只有考虑d 1、d 2、……、d n 为最小，也就是考虑d 1+d 2+……+d n 为最小，但因d 1、d 2、……、d n 有正有负，加起来可能相互抵消，因此不可取；而|d 1|+|d 2|+……+ |d n |又不好解方程，因而不可行。
现在采取一种等效方法：当d 12+d 22+……+d n2对a 和b 为最小时，d 1、d 2、……、d n 也为最小。
取（d 12+d 22+……+d n 2）为最小值，求a 和b 的方法叫最小二乘法。
令 ∑==ni idD 12＝2112][i i ni ni ib a y dD --==∑∑== (2-6-2)D 对a 和b 分别求一阶偏导数为：][211∑∑==---=∂∂ni i n i i x b na y a D][21211∑∑∑===---=∂∂n i i n i i n i i i x b x a y x b D再求二阶偏导数为：n a D 222=∂∂； ∑==∂∂ni i x b D 12222 显然： 0222≥=∂∂n a D ； 021222≥=∂∂∑=n i i x b D 满足最小值条件，令一阶偏导数为零：011=--∑∑==ni i ni ix b na y(2-6-3)01211=--∑∑∑===ni i ni i ni ii x b x a yx (2-6-4)引入平均值： ∑==ni i x n x 11； ∑==n i i y n y 11；∑==n i i x n x 1221； ∑==ni i i y x n xy 11则： 0=--x b a y02=--x b x a xy （2-6-5） 解得： x b y a -= （2-6-6）22xx y x xy b --=（2-6-7）将a 、b 值带入线性方程bx a y +=，即得到回归直线方程。
第五章线性函数的最小二乘处理最小二乘原理应用时的条件是：函数关系确定已知、等精度、误差独立、无偏估计得到满足，在众多的N个测量方程中利用最小二乘原理求得t个（t＜／N）参数的最佳估计值。
如前所叙，在随机因素作用下，测量次数较多时，计算的结果就会更精密，测量次数往往大于待求未知量的个数，因而出现N＞t的现象就成为自然而然的事情了。
众所周知，当N＝t时可由线性代数知识求得一组唯一正确解。
当N＞t时，代数解法则无能为力了。
也许读者会提出另外一个问题：既然N＞t，可由N中取出t个方程来求解，而把（N-t）个方程弃掉，问题不就解决了吗？答案是不行的。
这样求解后的结果不是最佳值，有时会与最佳值离歧很大。
最小二乘法是一种数学原理，高斯于1809年在他的名著《天体沿圆锥截面绕太阳运动的理论》一书中，发表了他发现的最小二乘原理并应用于测量之后，在许多科学领域及技术领域中得到越来越多地应用。
5.1 函数为直接测量值得线性组合5.1.1 测量方程式函数中可能存在着多个待定参数，根据该函数关系可列出多个测量后的方程式，该方程式称作测量方程式。
设含有t个待求参数Xj(j=1,2,…,t)的函数关系已知，表现为线性组合，即Xj是待定系数的真值，aj是在某具体测量条件下获得的直接测量值，经N次测量（N>t）后，理应得到N个函数真关系式。
为了表达更简洁，可将各方程中系数用aij(i=1,2, …,N;j=1,2, …,t)表示，上述方程可简写成量值Y经N次测量后的测量值用Mi表示，则上述方程变为测量方程式，又称测量条件方程，式中，aij及Mi是在某具体测量条件下的直接测量值，Mi含有误差，即Mi≠Yi。
5.1.2 剩余误差方程式若用同直接测量时一样，可将称作剩余误差。
由此便可得到N个剩余误差方程式可以看出，剩余误差是各最可信赖值的函数，即5.1.3 正规方程组现在以三个待求量x1,x2,x3为例，说明建立正规方程组的过程，该计算方法和过程及结论，可推广到t个待求量中去。
线性回归与最小二乘法线性回归是一种常用的统计分析方法，也是机器学习领域的基础之一。
在线性回归中，我们通过寻找最佳拟合直线来对数据进行建模和预测。
最小二乘法是线性回归的主要方法之一，用于确定最佳拟合直线的参数。
1. 线性回归的基本原理线性回归的目标是找到一条最佳拟合直线，使得预测值与实际值之间的误差最小。
我们假设线性回归模型的形式为：Y = β₀ + β₁X₁ +β₂X₂ + … + βₙXₙ + ε，其中Y是因变量，X₁、X₂等是自变量，β₀、β₁、β₂等是回归系数，ε是误差项。
2. 最小二乘法最小二乘法是一种求解线性回归参数的常用方法。
它的基本思想是使所有样本点到拟合直线的距离之和最小化。
具体来说，我们需要最小化残差平方和，即将每个样本点的预测值与实际值之间的差的平方求和。
3. 最小二乘法的求解步骤（1）建立线性回归模型：确定自变量和因变量，并假设它们之间存在线性关系。
（2）计算回归系数：使用最小二乘法求解回归系数的估计值。
（3）计算预测值：利用求得的回归系数，对新的自变量进行预测，得到相应的因变量的预测值。
4. 最小二乘法的优缺点（1）优点：最小二乘法易于理解和实现，计算速度快。
（2）缺点：最小二乘法对异常点敏感，容易受到离群值的影响。
同时，最小二乘法要求自变量与因变量之间存在线性关系。
5. 线性回归与其他方法的比较线性回归是一种简单而强大的方法，但并不适用于所有问题。
在处理非线性关系或复杂问题时，其他方法如多项式回归、岭回归、lasso回归等更适用。
6. 实际应用线性回归及最小二乘法广泛应用于各个领域。
在经济学中，线性回归用于预测GDP增长、消费者支出等经济指标。
在医学领域，线性回归被用于预测疾病风险、药物剂量等。
此外，线性回归还可以应用于电力负荷预测、房价预测等实际问题。
总结：线性回归和最小二乘法是统计学和机器学习中常用的方法。
线性回归通过拟合一条最佳直线，将自变量与因变量之间的线性关系建模。
第四章 最小二乘法与组合测量§1 概述最小二乘法是用于数据处理和误差估计中的一个很得力的数学工具。
对于从 事精密科学实验的人们来说， 应用最小乘法来解决一些实际问题， 仍是目前必不 可少的手段。
例如，取重复测量数据的算术平均值作为测量的结果， 就是依据了 使残差的平方和为最小的原则， 又如，在本章将要用最小二乘法来解决一类组合 测量的问题。
另外，常遇到用实验方法来拟合经验公式， 这是后面一章回归分析 方法的内容，它也是以最小二乘法原理为基础。
最小二乘法的发展已经经历了 200 多年的历史，它最先起源于天文和大地测 量的需要， 其后在许多科学领域里获得了广泛应用， 特别是近代矩阵理论与电子 计算机相结合，使最小二乘法不断地发展而久盛不衰。
本章只介绍经典的最小二乘法及其在组合测量中的一些简单的应用， 一些深 入的内容可参阅专门的书籍和文献。
§2 最小二乘法原理最小二乘法的产生是为了解决从一组测量值中寻求最可信赖值的问题。
对某 量 x 测量一组数据 x 1,x 2, ,x n ，假设数据中不存在系统误差和粗大误差，相互独 立，服从正态分布，它们的标准偏差依次为： 1, 2, n 记最可信赖值为 x ，相 应的残差 v i x i x 。
测值落入 (x i ,x i dx)的概率。
根据概率乘法定理，测量 x 1,x 2, ,x n 同时出现的概率为P i2i 2 exp( 2v ii 2)dx1 1 v PP i1n exp[ 1( i )2 ](dx)n ii ( 2 )n 2 i i显然，最可信赖值应使出现的概率 P 为最大，即使上式中页指数中的因子达 最小，即2 v ii2 Min i i 22[ wvv]w i v i Min再用微分法，得最可信赖值 xnw i x ii1 x nw ii1这里为了与概率符号区别，以 i 表示权因子。
特别是等权测量条件下，有：[vv] v i 2 Min以上最可信赖值是在残差平方和或加权残差平方和为最小的意义下求得的， 称之为最小二乘法原理。
