下载文档原格式
最小二乘法一、简介最小二乘法，又称最小平方法，是一种数学技术。
它通过最小误差的平方和寻找数据函数的最佳匹配。
最小二乘法是提供“观测组合”的主要工具之一，它依据对某事件的大量观测而获得“最佳”结果或“最可能”表现形式。
如已知两变量为线性关系bx a y +=，对其进行)2(>n n 次观测而获得n 对数据。
若将这n 对数据代入方程求解a ,b 之值则无确定解。
最小二乘法提供了一个求解方法,其基本思想就是寻找“最接近”这n 个观测点的直线。
最小二乘法不仅是19世纪最重要的统计方法,而且还可以称为数理统计学之灵魂。
相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都以最小二乘法为理论基础。
作为其进一步发展或纠正其不足而采取的对策，不少近现代的数理统计学分支也是在最小二乘法基础上衍生出来的。
最小二乘法之于数理统计学，有如微积分之于数学，这并非夸张之辞。
统计学应用的几个分支如相关分析、回归分析、方差分析和线性模型理论等，其关键都在于最小二乘法的应用不少现代的统计学研究是在此法的基础上衍生出来，作为其进一步发展或纠正其不足之处而采取的对策，如回归分析中一系列修正最小二乘法而产生的估计方法等就是最好的例子。
二、创立思想勒让德在先驱者解线性方程组的基础上，以整体的思想方法创立了最小二乘法；高斯由寻找随机误差函数为突破，以独特的概率思想导出了正态分布，详尽地阐述了最小二乘法的理论依据。
最小二乘法(OLSE)的思想就是要使得观测点和估计点的距离平方和达到最小，在各方程的误差之间建立一种平衡，从而防止某一极端误差，对决定参数的估计值取得支配地位，有助于揭示系统的更接近真实的状态。
这里的“二乘”指的是用平方来度量观测点与估计点的远近，“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。
三、原理设一组数据(,)i i x y (1,2,,)i n = ,现用近似曲线)(x y ϕ=拟合这组数据,“拟合得最好”的标准是所选择的()x ϕ在i x 处的函数值()i x ϕ(1,2,,)i n = 与i y (1,2,,)i n = 相差很小,即偏差（也称残差）()i i x y ϕ-(1,2,,)i n = 都很小.一种方法是使偏差之和()1ni i i x y ϕ=⎡⎤⎣⎦∑－很小来保证每个偏差都很小.但偏差有正有负,在求和的时候可能相互抵消.为了避免这种情况,还可使偏差的绝对值之和()1||ni i i x y ϕ=-∑为最小.但这个式子中有绝对值符号,不便于分析讨论.由于任何实数的平方都是正数或零,因而我们可选择使“偏差平方和21ni i i x y ϕ=-∑［（）］最小”的原则来保证每个偏差的绝对值都很小,从而得到最佳拟合曲线y =()x ϕ.这种“偏差平方和最小”的原则称为最小二乘原则,而按最小二乘法原则拟合曲线的方法称为最小二乘法或称最小二乘曲线拟合法.一般而言,所求得的拟合函数可以使不同的函数类,拟合曲线()x ϕ都是由m 个线性无关函数()1x ϕ,()2x ϕ ,…, ()m x ϕ的线性组合而成,即()()()()1122m m x a x a x a x ϕϕϕϕ=+++…)1(-<n m ,其中1a ，2a ，…，m a 为待定系数.线性无关函数()1x ϕ,()2x ϕ ,…()m x ϕ,称为基函数,常用的基函数有: 多项式：1,x , 2x ,…,m x ;三角函数： sin x ,sin 2x ,…,sin mx ;指数函数：x x x m e e e λλλ,,,21 ,x λ２ｅ,…,x λｍｅ.最小二乘法又称曲线拟合,所谓“ 拟合” ,即不要求所作的曲线完全通过所有的数据点,只要求所得的近似曲线能反映数据的基本趋势,它的实质是离散情况下的最小平方逼近.四、运用曲线拟合做最小二乘法 1 一元线性拟合已知实测到的一组数据(,)i i x y (1,2,,)i n = ,求作这组数据所成的一元线性关系式.设线性关系式为y a bx =+,求出a 和b 即可.法一：即要满足则）（令,0,0,,12=∂∂=∂∂--=∑=bsa sb a bx a y s ni i i ,则,a b 要满足s a ∂∂＝0,sb∂∂＝0.即 11()()ni i i n i i ii sy a bx a s y a bx x b==∂⎧--⎪⎪∂⎨∂⎪--⎪∂⎩∑∑＝－2＝0＝－2＝0化简得112111n n i i i i nn ni i i i i i i b a x y n n a x b x x y =====⎧⎪⎪⎨⎪⎪⎩∑∑∑∑∑１＋＝＋＝ 从中解出1112211111n n n i i i ii i i n n i i i i n n i ii i n x y x yb n x x b a y x n n =======⎧⎪⎪⎪⎛⎫ ⎪⎨⎝⎭⎪⎪⎪⎩∑∑∑∑∑∑∑－＝－＝－ （1） 法二：将i x ,i y 代入y a bx =+得矛盾方程组1122n y a bx y a bx y a bx n=+⎧⎪=+⎪⎨⎪⎪=+⎩ (2) 令A =12111n x x x ⎛⎫ ⎪⎪ ⎪ ⎪⎝⎭ ,B =12n y y y ⎛⎫⎪ ⎪ ⎪ ⎪⎝⎭,则（2）式可写成b B A a ⎛=⎫⎪⎝⎭,则对应的正规方程组为TTa b A B A A ⎛=⎫ ⎪⎝⎭,所以a b ⎛⎫ ⎪⎝⎭=1()T TA A AB -,其中A 称为结构矩阵,B 称为数据矩阵,T A A 称为信息矩阵,TA B 称为常数矩阵.2 多元线性拟合设变量y 与n 个变量1x ,2x ,…,n x （1n ≥）内在联系是线性的,即有如下关系式∑=+=nj j j x a a y 10,设j x 的第i 次测量值为ij x ,对应的函数值为i y (1,2,,)i m = ,则偏差平方和为s ='220111()()mm ni i i i ij i i j y y y a a x ===-=--∑∑∑,为了使s 取最小值得正规方程组011001111011202020m n i j ij i j m n i j ij i i j m n i j ij in i j ns y a a x a s y a a x x a s y a a x x a ======⎧∂⎛⎫=---=⎪ ⎪∂⎝⎭⎪⎪∂⎛⎫=---=⎪⎪∂⎨⎝⎭⎪⎪⎪∂⎛⎫=---=⎪ ⎪∂⎝⎭⎩∑∑∑∑∑∑ （3） 即011101111n m mij j i j i i mn m mik ij ik jik i i j i i ma x a y x a x x a x y =======⎧⎛⎫+= ⎪⎪⎝⎭⎪⎨⎛⎫⎪+= ⎪⎪⎝⎭⎩∑∑∑∑∑∑∑1,2,,k n = . （4） 将实验数据(,)i i x y 代入（4）式,即得m a a a ,,,10 .3 指数函数拟合科学实验得到一组数据(,)i i x y (1,2,,)i n = 时,还可以考虑用指数函数为基函数来拟合,此时设拟合函数具有形式bxy ae =（,a b 为待定系数）.对上式两端取自然对数可得：ln ln y a bx =+ （9）令Y =ln y ,0ln b a =,则（9）式可转化为一元线性函数形式0Y b bx =+,此时将指数函数拟合转化成了一元线性拟合,利用一元线性拟合中的两种方法均可求出0b 和b ,继而根据0b a e =可求出a ,从而得出因变量y 与自变量x 之间的函数关系式0b bx bx y ae e +==4 对数函数拟合科学实验得到一组数据(,)i i x y (1,2,,)i n = 时,还可以考虑用对数函数为基函数来拟合,此时设拟合函数具有形式ln y a b x =+(0)x >（,a b 为待定系数）.0b >时,y 随x 增大而增大,先快后慢;0b <时,y 随x 增大而减小,先快后慢.当以y 和ln x 绘制的散点图呈直线趋势时,可考虑采用对数函数描述y 与x 之间的非线性关系,式中的b 和a 分别为斜率和截距.这时令X =ln x ,就可以利用一元线性拟合的方法来求解.更一般的对数函数还可设为y =()ln a b x k ++,式中k 为一常量.五 举例例1 使电流通过2Ω的电阻,用伏特表测量电阻两端的电压V .测得数据如下表：t I /A1 2 4 6 8 10 t V /V1.83.78.212.015.820.2试用最小二乘法建立I 与V 之间的一元经验公式（有效数字保留到小数点后第3位）. 解：可取一次线性关系式V a bI =+作为I 与V 之间的一元经验公式. 将数据代入得矛盾方程组1.82 3.748.2612.0815.81020.2a b a b a b a b a b a b +=⎧⎪+=⎪⎪+=⎨+=⎪⎪+=⎪+=⎩ 令1112141618110A ⎛⎫ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭, 1.83.78.212.015.820.2B ⎛⎫ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭,则上述矛盾方程组可写成矩阵形式0a A B b ⎛⎫-= ⎪⎝⎭由此得出其正规方程组0T T a A A A B b ⎛⎫-= ⎪⎝⎭,将数据代入即得63161.7031221442.4a b ⎛⎫⎛⎫⎛⎫-= ⎪⎪ ⎪⎝⎭⎝⎭⎝⎭,解之得0.212.032a b =-⎧⎨=⎩,故所求经验公式为0.2152.V I =-+. 例 2 在在开发一种抗过敏性的新药时,要对不同剂量的药效进行实验.10名患者各服用了该新药的一个特定的剂量.药物消失时立即纪录.观测值列于下表中.x 是剂量,y 是症状消除持续的日数.用7个不同的剂量, 其中3个剂量重复给两名患者.试给出y 与x 之间的一元经验公式(保留3位有效数字).1 2 3 4 5 6 7 8 9 10 ∑ /i x mg334566788959/i y d9 5 12 9 14 16 22 18 24 22 1512i x 9 9 16 25 36 36 49 64 64 81 389i i x y271548458496154144192198 1003解：可设y 与x 之间的经验公式为y a bx =+. 由上表可知,101i i x =∑59=,101i i y =∑151=,101i i i x y =∑1003=,1021i i x =∑389=,2101i i x =⎛⎫ ⎪⎝⎭∑3481= 再由（1）式可求得,1010101112101021110101003591512.7410389348110i i i ii i i i i i i x y x y b x x =====-⨯-⨯===⨯-⎛⎫- ⎪⎝⎭∑∑∑∑∑10101111 2.7415159 1.0710101010i i i i b a y x ===-=⨯-⨯=-∑∑所以y 与x 之间的经验公式为 1.07 2.74y x =-+.最小二乘法能将从实验中得出的一大堆看上去杂乱无章的数据中找出一定的规律，拟合成一条曲线来反映所给数据特点。
最小二乘法原理及极值点判定(2013-06-27 05:50:07)转载▼标签：最小二乘法极值分类：Tim赤子心最小二乘法的本质原理本文主要以最简单的二元线性函数为基础，阐述最小二乘法的原理，事实上，最小二乘法可以更广泛地应用于非线性方程中，但本文以介绍为主，希望能以最简单的形式，使读者能够掌握最小二乘法的意义。
在物理实验数据统计时，我们会记录一些数据，记做数据x和数据y。
但是，在记录数据后，我们依然不知道x和y 的具体关系。
例如，测算男人手掌面积和身高的关系，我们会得到两组数据，如图，图1数据点分布这并不是一条严格意义上的直线，但这些数据对于实验研究员来说，可以作为某种依据，从而判断出两种数据之间的关系。
根据两个量的许多组观测数据来确定它们的函数曲线，这就是实验数据处理中的曲线拟合问题。
事实上，我们更关注的是如何才能找到这么一条漂亮的曲线。
那么，找到这条曲线的方法称作“最小二乘法”。
曲线拟合中最基本和最常用的是直线拟合。
设x和y之间的函数关系由直线方程y=ax+b给出。
式中有两个待定参数，b代表截距，a代表斜率。
下面的问题在于，如何找到“最合适”的a和b使得尽可能多的数据落在或者更加靠近这条拟合出来的直线上。
即数据对这条直线的逼近程度最佳。
当然，当我们将直线拟合出来之后，就可以反过来进行预测了。
所以说最小二乘法是很有用的一种测算方法。
实际上，我们并不关心x和y到底是多少，因为x和y是给定的，当然x和y与其本质的内在关系之间肯定存在误差。
我们关心的是方程中的a和b，也就是说，在这个待定的方程中，a和b才是所求的变量，它们可以描述出x和y的关系。
所以我们接下来的任务就是找到一组最好的a和b。
我们对a和b的要求就是，使得所有x和y相对拟合直线的误差总和最小。
也就是说，我们要考虑的是，要使这些数据点距离拟合直线的和最小，距离最短，这样就可以使得尽可能多的数据成为有效点。
接下来我们的工作就是，最小化误差了。
算法#03--具体解释最⼩⼆乘法原理和代码最⼩⼆乘法原理最⼩⼆乘法的⽬标：求误差的最⼩平⽅和，相应有两种：线性和⾮线性。
线性最⼩⼆乘的解是closed-form（例如以下⽂），⽽⾮线性最⼩⼆乘没有closed-form，通经常使⽤迭代法求解（如⾼斯⽜顿迭代法，本⽂不作介绍）。
【⾸先得到线性⽅程组】1.概念最⼩⼆乘法（⼜称最⼩平⽅法）是⼀种数学优化技术。
它通过最⼩化误差的平⽅和寻找数据的最佳函数匹配。
利⽤最⼩⼆乘法能够简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平⽅和为最⼩。
最⼩⼆乘法还可⽤于曲线拟合。
2.原理函数原型：已知：（x0，y0）。
（x1。
y1）…（xi，yi）…（xn，yn）个点，n>=k。
偏差平⽅和：偏差平⽅和最⼩值能够通过使偏导数等于零得到：简化左边等式有：写成矩阵形式：公式①将这个范德蒙得矩阵化简后可得到：公式②也就是说X*A=Y，那么A = (X’*X)-1*X’*Y，便得到了系数矩阵A，同⼀时候，我们也就得到了拟合曲线。
⾼斯消元法【然后解线性⽅程组，即公式①】1.概念数学上，⾼斯消元法（或译：⾼斯消去法）（英语：Gaussian Elimination），是线性代数中的⼀个算法，可⽤来为线性⽅程组求解，求出矩阵的秩，以及求出可逆⽅阵的逆矩阵。
当⽤于⼀个矩阵时。
⾼斯消元法会产⽣出⼀个“⾏梯阵式”。
2.原理3.伪代码这个算法和上⾯谈到的有点不同。
它由绝对值最⼤的部分開始做起。
这样能够改善算法的稳定性。
本算法由左⾄右地计算。
每作出下⾯三个步骤，才跳到下⼀列和下⼀⾏：定出i列的绝对值最⼤的⼀个⾮0的数，将第i⾏的值与该⾏交换，使得该⾏拥有该列的最⼤值；将i列的数字除以该数，使得i列i⾏的数成为1。
第(i+1)⾏下⾯（包含第(j+1)⾏）全部元素都转化为0。
全部步骤完毕后，这个矩阵会变成⼀个⾏梯矩阵，再⽤代⼊法就能够求解该⽅程组。
i = 1j = 1while (i ≤ m and j ≤ n) doFind pivot in column j, starting in row i // 从第i⾏開始。
---------------------------------------------------------------最新资料推荐------------------------------------------------------数学模型讲座艾世猛最小二乘法最小二乘法是由数学王子高斯数学模型讲座艾世猛第四讲最小二乘法最小二乘法是由数学王子高斯（图 1）在 18 岁的时候（1796 年）首先提出来的，之后很多数学家对这种方法不断的进行了完善和发展。
最小二乘法可以看成是一种概率统计的方法，也是常用的一种方法。
概率统计是处理随机现象的数学方法。
自然界和人类社会中的现象可以分为两类，一类是确定性现象，比如太阳总是从东边升起，水总是往低处流，宏观物体的运动服从牛顿运动定律等等。
除了这些现象以外，还存在很多随机现象，比如丢一枚硬币可能出现正面也可能出现反面；明天有可能下雨也有可能不下雨；明天股市有可能上涨也有可能下跌；甚至我们每个人来到这个世界上也是很偶然的！所以随机现象充斥着我们的世界。
在统计学中，两个变量 x 和 y 的关系可以表示为：( ) y f x = + 这就是统计模型，它与其它数学分支（比如高等数学）的区别是多了一个尾巴（希腊字母，读作 epsilon），称为误差。
很多时候，我们不可能精确的知道两个变量的关系，存在一定的误差，统计模型是更加合理的一种方法。
1 / 12我们往往也不知道两个变量 x 和 y 之间的内在规律 ( ) y f x = ，这时我们可以把它们之间的关系 ( ) y f x = 看成一个黑箱，或看成一个车间，输入 x ，通过黑箱 f ，得到输出 y 。
我们可以通过输入多个不同的 x ，观察输出 y 的变化规律，从而找出 x 和 y 之间的关系，这种方法称为测试分析。
相对而言，分析两个变量之间的内在规律（比如万有引力定律）的方法称为机理分析。
这两种方法是我们认识客观事物的常用方法。
最小二乘法求解超定方程组最小二乘法是一种常用的数学方法，用于求解超定方程组。
在实际问题中，我们经常会遇到方程个数大于未知数个数的情况，这时候就需要使用最小二乘法来找到一个最优解。
最小二乘法的基本思想是，通过最小化误差的平方和来确定未知数的值。
假设我们有一个超定方程组Ax=b，其中A是一个m×n的矩阵，m>n，x是一个n维向量，b是一个m维向量。
我们的目标是找到一个x，使得Ax尽可能接近b。
首先，我们可以将方程组写成矩阵形式：A^T Ax = A^T b，其中A^T表示A的转置。
这个方程被称为正规方程。
我们可以通过求解正规方程来得到最小二乘解。
为了求解正规方程，我们需要计算A^T A和A^T b的乘积。
首先计算A^T A，它是一个n×n的对称矩阵。
然后计算A^T b，它是一个n维向量。
最后，我们可以通过求解线性方程组(A^T A)x = A^T b来得到最小二乘解x。
然而，直接求解正规方程可能会遇到一些问题。
当A^T A的条件数很大时，求解过程可能会变得不稳定。
此外，当A的列向量之间存在线性相关性时，A^T A可能不可逆，导致无法求解。
为了解决这些问题，我们可以使用奇异值分解（SVD）来求解最小二乘问题。
SVD将矩阵A分解为UΣV^T的形式，其中U和V是正交矩阵，Σ是一个对角矩阵。
通过SVD，我们可以得到A的伪逆A^+，它是VΣ^+U^T的形式，其中Σ^+是Σ的逆矩阵。
利用A^+，我们可以得到最小二乘解x = A^+ b。
这个解是使得Ax尽可能接近b的解。
通过SVD，我们可以避免求解不可逆的正规方程，同时也可以提高求解的稳定性。
最小二乘法在实际问题中有广泛的应用。
例如，在数据拟合问题中，我们可以使用最小二乘法来拟合一个函数曲线，使得拟合曲线与实际数据之间的误差最小。
在信号处理中，最小二乘法可以用于滤波和降噪。
在机器学习中，最小二乘法可以用于线性回归和参数估计。
总之，最小二乘法是一种重要的数学方法，用于求解超定方程组。
最小二乘法
编辑本段最小二乘法（least square）历史简介
1801年，意大利天文学家朱赛普•皮亚齐发现了第一颗小行星谷神星。
经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。
随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。
时年24岁的高斯也计算了谷神星的轨道。
奥地利天文学家海因里希•奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。
法国科学家勒让德于1806年独立发现“最小二乘法”，但因不为世人所知而默默无闻。
勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。
（来自于wikipedia）
编辑本段最小二乘法原理
在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2... xm,ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1-1）。
Y计= a0 + a1 X （式1-1)
其中：a0、a1 是任意实数
为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用（式1-1）计算值（Y计=a0+a1X）的离差（Yi-Y计）的平方和〔∑（Yi - Y计）2〕最小为“优化判据”。
令：φ = ∑（Yi - Y计）2 （式1-2)
把（式1-1）代入（式1-2）中得：
φ = ∑（Yi - a0 - a1 Xi)2 （式1-3)
当∑（Yi-Y计）平方最小时，可用函数φ对a0、a1求偏导数，令这两个偏导数等于零。
（式1-4)
（式1-5)
亦即：
m a0 + （∑Xi ) a1 = ∑Yi （式1-6)
（∑Xi ) a0 + （∑Xi2 ) a1 = ∑（Xi,Yi) （式1-7)
得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出：a0 = （∑Yi) / m - a1（∑Xi) / m （式1-8)
a1 = [m∑Xi Yi - （∑Xi ∑Yi)] / [m∑Xi2 - （∑Xi)2 )] （式1-9) 这时把a0、a1代入（式1-1）中，此时的(式1-1）就是我们回归的元线性方程即：数学模型。
在回归过程中，回归的关联式是不可能全部通过每个回归数据点（x1,y1. x2,y2...xm,ym），为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。
R = [∑XiYi - m （∑Xi / m）（∑Yi / m)]/ SQR{[∑Xi2 - m （∑Xi / m)2][∑Yi2 - m （∑Yi / m)2]} （式1-10) *
在（式1-1）中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。
编辑本段最小二乘法公式
最小二乘法公式
注：以下“平”是指某参数的算数平均值。
如：X平——x的算术平均值。
1、∑（X--X平）（Y--Y平）=
∑（XY--X平Y--XY平+X平Y平）=
∑XY--X平∑Y--Y平∑X+nX平Y平=
∑XY--nX平Y平--nX平Y平+nX平Y平=∑XY--nX平Y平；
2、∑（X --X平）^2=
∑（X^2--2XX平+X平^2)=
∑X^2--2nX平^2+nX平^2=∑X^2--nX平^2；
3、Y=kX+b
k=（（XY）平--X平*Y平）/（（X^2）平--(X平）^2），
b=Y平--kX平；
X平=1/n∑Xi，
(XY）平=1/n∑XiYi；
编辑本段最小二乘法拟合
对给定数据点{(Xi，Yi)}(i=0,1，…，m），在取定的函数类Φ中，求p(x）∈Φ，使误差的平方和E^2最小，E^2=∑[p(Xi)-Yi]^2。
从几何意义上讲，就是寻求与给定点 {(Xi，Yi)}(i=0,1，…，m）的距离平方和为最小的曲线y=p(x）。
函数p(x）称为拟合函数或最小二乘解，求拟合函数p(x）的方法称为曲线拟合的最小二乘法。
最小二乘法的矩阵形式
Ax=b，其中A为nxk的矩阵，x为kx1的列向量，b为nx1的列向量，n>k。
这个方程系统称为Over Determined System，如果n<k，这个系统就是Under Determined System。
正常来看，这个方程是没有解的，但在数值计算领域，我们通常是计算 min ||Ax-b||，解出其中的x。
比较直观的做法是求解A'Ax=A'b，但通常比较低效。
其中一种常见的解法是对A进行QR分解（A=QR），其中Q是nxk正交矩阵（Orthonormal Matrix），R是kxk上三角矩阵（Upper Triangular Matrix），然后min ||Ax-b|| = min ||QRx-b|| = min ||Rx-Q'b||，用MATLAB命令x=R\(Q'*b）可解得x。
最小二乘法的Matlab实现
①一次函数使用polyfit（x,y,1）
②多项式函数使用 polyfit（x,y,n），n为次数
拟合曲线
x=[0.5,1.0,1.5,2.0,2.5,3.0]，
y=[1.75,2.45,3.81,4.80,7.00,8.60]。
解：MATLAB程序如下：
x=[0.5,1.0,1.5,2.0,2.5,3.0];
y=[1.75,2.45,3.81,4.80,7.00,8.60];
p=polyfit(x,y,2)
x1=0.5:0.05:3.0;
y1=polyval(p,x1);
plot(x,y,'*r',x1,y1,'-b')
计算结果为：
p =0.5614 0.8287 1.1560
即所得多项式为y=0.5614x^2+0.08287x+1.15560
③非线性函数使用 lsqcurvefit(fun,x0,x,y)
编辑本段最小二乘法在交通运输学中的运用
交通发生预测的目的是建立分区产生的交通量与分区土地利用、社会经济特征等变量之间的定量关系，推算规划年各分区所产生的交通量。
因为一次出行有两个端点，所以我们要分别分析一个区生成的交通和吸引的交通。
交通发生预测通常有两种方法：回归分析法和聚类分析法。
回归分析法是根据对因变量与一个或多个自变量的统计分析，建立因变量和自变量的关系，最简单的情况就是一元回归分析，一般式为：Y=α+βX式中Y 是因变量，X是自变量，α和β是回归系数。
若用上述公式预测小区的交通生成，则以下标 i 标记所有变量；如果用它研究分区交通吸引，则以下标 j 标记所有变量。
而运用公式的过程中需要利用最小二乘法来求解，上述公式中的回归系数根据最小二乘法可得：。
