4.最小二乘法线性拟合
我们知道，用作图法求出直线的斜率a和截据b，可以确定这条直线所对应的经验公式，但用作图法拟合直线时，由于作图连线有较大的随意性，尤其在测量数据比较分散时，对同一组测量数据，不同的人去处理，所得结果有差异，因此是一种粗略的数据处理方法，求出的a和b误差较大。用最小二乘法拟合直线处理数据时,任何人去处理同一组数据，只要处理过程没有错误，得到的斜率a和截据b是唯一的。
最小二乘法就是将一组符合Y=a+bX关系的测量数据，用计算的方法求出最佳的a和b。显然，关键是如何求出最佳的a和b。
(1) 求回归直线
设直线方程的表达式为：
bxay (2-6-1)
要根据测量数据求出最佳的a和b。对满足线性关系的一组等精度测量数据（xi，yi），假定自变量xi的误差可以忽略，则在同一xi下，测量点yi和直线上的点a+bxi的偏差di如下：
111bxayd
222bxayd
nnnbxayd
显然最好测量点都在直线上（即d1=d2=„„=dn=0），求出的a和b是最理想的，但测量点不可能都在直线上，这样只有考虑d1、d2、„„、dn为最小，也就是考虑d1+d2+„„+dn为最小，但因d1、d2、„„、dn有正有负，加起来可能相互抵消，因此不可取；而|d1|+
|d2|+„„+ |dn|又不好解方程，因而不可行。现在采取一种等效方法：当d12+d22+„„+dn2对a和b为最小时，d1、d2、„„、dn也为最小。取（d12+d22+„„+dn2）为最小值，求a和b的方法叫最小二乘法。
令 niidD12＝2112][iininiibaydD (2-6-2)
D对a和b分别求一阶偏导数为：
][211niiniixbnayaD
最小二乘法知识
最小二乘法是一种最优化方法，经常用于拟合数据和解决回归问题。它的目标是通过调整模型参数，使得模型的预测值与观测值之间的差异最小。
最小二乘法的核心思想是最小化误差的平方和。对于给定的数据集，假设有一个线性模型 y = β₀ + β₁x₁ + β₂x₂ + ... +
βₙxₙ，其中 β₀, β₁, β₂, ... , βₙ 是需要求解的未知参数，x₁,
x₂, ... , xₙ 是自变量，y 是因变量。那么对于每个样本点 (xᵢ,
yᵢ)，可以计算其预测值 ŷᵢ = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ，然后计算预测值与实际值之间的差异 eᵢ = yᵢ - ŷᵢ。最小二乘法的目标是使得误差的平方和最小化，即最小化目标函数 E =
∑(yᵢ - ŷᵢ)²。
对于简单的线性回归问题，即只有一个自变量的情况下，最小二乘法可以通过解析方法求解参数的闭合解。我们可以通过求偏导数，令目标函数对参数的偏导数等于零，求解出参数的最优解。然而，对于复杂的非线性回归问题，解析方法通常不可行。
在实际应用中，最小二乘法通常使用迭代方法进行求解。一种常用的迭代方法是梯度下降法。梯度下降法通过反复进行参数更新的方式逐步降低目标函数的值，直到收敛到最优解。具体而言，梯度下降法首先随机初始化参数的值，然后计算目标函数对于每个参数的偏导数，根据偏导数的方向更新参数的值。迭代更新的过程可以通过下式表示：
βₙ = βₙ - α(∂E/∂βₙ)
其中，α 是学习率参数，控制每次更新参数的步长。学习率需要适当选择，过小会导致收敛过慢，过大会导致震荡甚至不收敛。
最小二乘法除了可以用于线性回归问题，还可以用于其他类型的回归问题，比如多项式回归。在多项式回归中，我们可以通过增加高次项来拟合非线性关系。同样地，最小二乘法可以通过调整多项式的系数来使得拟合曲线与实际数据更加接近。
除了回归问题，最小二乘法还可以应用于其他领域，比如数据压缩、信号处理和统计建模等。在这些应用中，最小二乘法可以帮助我们找到最佳的模型参数，从而更好地描述和预测数据。
《系统辨识》第5讲要点
第5章 线性动态模型参数辨识－最小二乘法
5.1 辨识方法分类根据不同的辨识原理，参数模型辨识方法可归纳成三类：
① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函
数来估计模型参数：
其中代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广
最小二乘法、辅助变量法、广义最小二乘法等。
② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向
逐步修正模型参数，使准则函数达到最小，如随机逼近法。
③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率
密度最大限度地逼近条件下的概率密度，即。典型的方法是极大似然
法。
5.2 最小二乘法的基本概念
● 两种算法形式
① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获
得模型参数的估计值。
② 递推算法：在上次模型参数估计值的基础上，根据当前获得的数
据提出修正，进而获得本次模型参数估计值，广泛采用的递推算法形式
为
其中表示k 时刻的模型参数估计值，K(k)为算法的增益，h(k-d) 是由
观测数据组成的输入数据向量，d 为整数，表示新息。
● 最小二乘原理
定义：设一个随机序列的均值是参数 的线性函数
其中h(k)是可测的数据向量，那么利用随机序列的一个实现，使准则函
数
达到极小的参数估计值称作的最小二乘估计。
● 最小二乘原理表明，未知参数估计问题，就是求参数估计值，使
序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序
列估计值之差的平方和来度量。
● 如果系统的输入输出关系可以描述成如下的最小二乘格式式中z(k)为模型输出变量，h(k)为输入数据向量，为模型参数向量，n(k)
为零均值随机噪声。为了求此模型的参数估计值，可以利用上述最小二
乘原理。根据观测到的已知数据序列和，极小化下列准则函数
即可求得模型参数的最小二乘估计值。
● 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最
小值处，所得到的模型输出能最好地逼近实际系统的输出。
1、最小二乘法原理
测量结果的最可信赖值应在使残余误差平方和为最小的
条件下求出
2、最小二乘法估计的正规方程
最小二乘法则可以将误差方程转化为有确定解的代数方
程组，从而求解出这些未知参数。
计算题
由测量方程3x+y=2.9，x-2y=0.9，2x-3y=1.9 试求x、y
的最小二乘法处理及其相应精度。
解：列出误差方程：
V1=2.9-（3x+y）
V2=0.9-（x-2y）
V3=1.9-（2x-3y）
转换为
|V1| |2.9| |3 1| |x|
|V2| = |0.9| - |1 -2| | |
|V3| |1.9| |2 -3| |y|
即
|V1| |2.9| |3 1| |x|
V= |V2| L=|0.9| A=|1 -2| 非X| |
|V3| |1.9| |2 -3| |y|
非X=C^-1 A^T L
C^-1=（A^T A）^-1
解出：x、y
得到V1 V2 V3
测得数据标准差的估计量为
o=根号下Vi平方和/（n-t）
求解不定乘数C^-1
解出d11 d22
x、y精度分别为o非x=o根号下d11，o非y=o根号下d22
