最小二乘法解法

一个最小二乘问题的三种解法发布时间：2022-08-30T01:58:08.890Z 来源：《教学与研究》2022年第4月第8期作者：肖燏[导读] 线性非齐次方程组无解时，寻找，使得达到极小，此处，实矩阵、向量均已给定. 这是一个高等数学和线肖燏湖南中医药大学信息科学与工程学院湖南长沙 410208）摘要线性非齐次方程组无解时，寻找，使得达到极小，此处，实矩阵、向量均已给定. 这是一个高等数学和线性代数的综合性问题.本文分别从多元函数、向量函数、和向量射影出发，得出这个最小二乘问题的三种解法。

关键词最小二乘多元函数极值向量函数极值向量射影Abstract When there is no solution to the linear non-homogeneous equation system , find , so that reaches the minimum. Here, the real matrix and vector have been given. This is a comprehensive problem of advanced mathematics and linear algebra. Starting from multivariate function, vector function and vector projection, this paper obtains three solutions to the least square problem.Key words least square; extremum of multivariate function; extremum of vector function; projection of vector参考文献[1] 蔡大用，白峰杉. 高等数值分析[M]. 北京：清华大学出版社，1996.[2] 方保镕，周继东，李医民. 矩阵论[M]. 北京：清华大学出版社，2013.[3] 吴赣昌. 高等数学[M]. 北京：中国人民大学出版社，2017.[4] 同济大学数学系. 工程数学.线性代数[M]. 北京：高等教育出版社，2014.作者简介：肖燏（1974—），女，硕士，讲师，研究方向为计算数学.。

最小二乘解唯一的充要条件
最小二乘解是线性最小二乘问题中的一种解法，用于求解形如Ax=b 的线性方程组，其中A是一个m×n的矩阵，x是一个n维列向量，b是一个m维列向量。

最小二乘解的特点是使得||Ax-b||^2达到最小，即最小化残差的平方和。

在线性最小二乘问题中，充要条件是使得矩阵A的秩等于n，即rank(A)=n。

这个条件确保了最小二乘解的存在性和唯一性。

假设存在两个不同的最小二乘解x1和x2，那么有Ax1=b和Ax2=b。

我们将这两个方程相减，得到A(x1-x2)=0。

由于矩阵A的列向量线性无关，所以只有当x1-x2=0时，方程才有解。

因此，最小二乘解是唯一的。

另一方面，如果矩阵A的秩小于n，即rank(A)<n，那么矩阵A的列向量线性相关。

这意味着方程组中存在冗余的信息，可以通过线性组合来表示出某些变量。

在这种情况下，方程组可能有无穷多个解，因此最小二乘解就不存在唯一性。

最小二乘解的唯一性对于实际问题的应用非常重要。

例如，在数据拟合问题中，我们常常使用最小二乘法来拟合一个数学模型到一组观测数据上。

如果最小二乘解不唯一，那么我们就无法确定一个唯一的拟合结果，这会给数据分析和模型建立带来困难。

总结起来，最小二乘解的唯一性的充要条件是矩阵A的秩等于n，即rank(A)=n。

这个条件保证了方程组中的变量能够被唯一地确定，从而确保了最小二乘解的存在性和唯一性。

在实际应用中，我们需要注意检查矩阵A的秩，以确保最小二乘解的唯一性。

第五章线性函数的最小二乘处理最小二乘原理应用时的条件是：函数关系确定已知、等精度、误差独立、无偏估计得到满足，在众多的N个测量方程中利用最小二乘原理求得t个（t＜／N）参数的最佳估计值。

如前所叙，在随机因素作用下，测量次数较多时，计算的结果就会更精密，测量次数往往大于待求未知量的个数，因而出现N＞t的现象就成为自然而然的事情了。

众所周知，当N＝t时可由线性代数知识求得一组唯一正确解。

当N＞t时，代数解法则无能为力了。

也许读者会提出另外一个问题：既然N＞t，可由N中取出t个方程来求解，而把（N-t）个方程弃掉，问题不就解决了吗？答案是不行的。

这样求解后的结果不是最佳值，有时会与最佳值离歧很大。

最小二乘法是一种数学原理，高斯于1809年在他的名著《天体沿圆锥截面绕太阳运动的理论》一书中，发表了他发现的最小二乘原理并应用于测量之后，在许多科学领域及技术领域中得到越来越多地应用。

5.1 函数为直接测量值得线性组合5.1.1 测量方程式函数中可能存在着多个待定参数，根据该函数关系可列出多个测量后的方程式，该方程式称作测量方程式。

设含有t个待求参数Xj(j=1,2,…,t)的函数关系已知，表现为线性组合，即Xj是待定系数的真值，aj是在某具体测量条件下获得的直接测量值，经N次测量（N>t）后，理应得到N个函数真关系式。

为了表达更简洁，可将各方程中系数用aij(i=1,2, …,N;j=1,2, …,t)表示，上述方程可简写成量值Y经N次测量后的测量值用Mi表示，则上述方程变为测量方程式，又称测量条件方程，式中，aij及Mi是在某具体测量条件下的直接测量值，Mi含有误差，即Mi≠Yi。

5.1.2 剩余误差方程式若用同直接测量时一样，可将称作剩余误差。

由此便可得到N个剩余误差方程式可以看出，剩余误差是各最可信赖值的函数，即5.1.3 正规方程组现在以三个待求量x1,x2,x3为例，说明建立正规方程组的过程，该计算方法和过程及结论，可推广到t个待求量中去。

最小二乘法的正交化解法
最小二乘法是一种用于拟合数据的方法，其目的是找到一条曲线或者超平面，使得该曲线或者超平面与数据点的误差最小。

在最小二乘法中，我们通常使用矩阵运算来求解，但是当数据的维度很高时，矩阵可能会出现奇异现象，导致无法求解。

这时候，我们可以使用正交化解法来解决这个问题。

正交化解法是一种将高维数据转换为低维数据的方法，其基本思想是将原始数据投影到一个新的坐标系中，使得每个坐标轴之间互相垂直，从而消除数据之间的相关性。

在正交化解法中，我们通常采用Gram-Schmidt正交化方法，该方法通过一系列基变换，使得原始数据集变成一个正交基。

在求解最小二乘法时，我们可以先将数据进行正交化，并且只保留前k个正交基，也就是说，我们可以把高维数据转换为低维数据，从而避免了矩阵奇异现象的问题。

在这个低维空间中，我们可以使用普通的矩阵运算求解最小二乘法问题。

总之，正交化解法是解决高维数据最小二乘法问题的一种有效方法，它可以将高维数据转换为低维数据，从而避免了矩阵奇异现象的问题，同时也可以提高求解效率。

- 1 -。

最佳平方逼近与最小二乘拟合——两者的区别与联系 函数逼近是用一个多项式无限接近原函数，而拟合是将函数中的元素联系起来。

也就是说，最佳平方逼近是针对函数，最小二乘法是针对离散的点，二者在形式上基本一致。

另外，最小二乘拟合也称为离散型最佳平方逼近，两者的解法有很多相似之处。

一、 函数的最佳平方逼近 （一）最佳平方逼近函数的概念对[]b a C x f ,)(∈及[]b a C ,中的一个子集{}n span ϕϕϕφ,,,10⋯=，若存在φ∈)(*x S，使[]dx x S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ，则称)(*x S 是)(x f 在子集[]b a C ,⊆φ中的最佳平方逼近函数。

（二）最佳平方逼近函数的解法为了求)(*x S ，由[]dxx S x f x S f Sf baS S ⎰-=-=-∈∈22222*)()()(infinf ρϕϕ可知，一般的最佳平方逼近问题等价于求多元函数dxx f x a x a a a I banj j j n 2010)()()(),,,(⎰∑⎥⎦⎤⎢⎣⎡-=⋯=ϕρ的最小值问题。

由于),,,(10n a a a I ⋯是关于n a a a ,,,10⋯的二次函数，利用多元函数极值的必要条件),,1,0(0n k a Ik⋯==∂∂，即n),,1,0(0)()()()(20⋯==⎥⎦⎤⎢⎣⎡-=∂∂⎰∑=k dx x x f x a x a Ik b a n j j j kϕϕρ，于是有()()),,1,0(,,0n k f a k j nj j k ⋯==∑=ϕϕϕ。

),,,,1(2n n x x x G G Λ=()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ是关于n 10,,,a a a ⋯的线性方程组，称其为法方程。

由于n ϕϕϕ,,,10⋯线性无关，故系数行列式()0,,,10≠⋯n G ϕϕϕ，于是方程组()()),,1,0(,,0n k f a k j nj j k⋯==∑=ϕϕϕ有唯一解),,1,0(*n k a a k k ⋯==，从而得到)()()(*0*0*x a x a x S n n ϕϕ+⋯+=。