广义最小二乘法和递推最小二乘法

递推最小二乘法推导

递推最小二乘法是一种经典的数学方法，用于解决数据拟合问题。它通过最小化误差平方和的方法，寻找最佳的拟合曲线或平面，从而对数据进行预测和分析。本文将详细介绍递推最小二乘法的原理和推导过程。

一、引言

在现实生活和科学研究中，我们经常需要通过已知的数据来拟合一个函数，以便对未知的数据进行预测或分析。而最小二乘法就是一种常用的数据拟合方法，它的基本思想是通过最小化误差的平方和，找到最佳的拟合函数。

二、最小二乘法的基本原理

最小二乘法的基本原理是通过最小化残差平方和来确定拟合函数的参数。残差指的是每个数据点的观测值与拟合函数预测值之间的差异。最小二乘法的目标是找到使得残差平方和最小的参数值，从而得到最佳的拟合曲线或平面。

三、递推最小二乘法的推导过程

递推最小二乘法是最小二乘法的一种改进方法，它能够更加高效地进行参数估计。下面将结合一个简单的一元线性回归问题，来详细介绍递推最小二乘法的推导过程。

假设我们有一组样本数据(x₁, y₁), (x₂, y₂), …, (xₙ, yₙ)，需要找到一条直线 y = ax + b 来拟合这些数据。我们可以定义残差 eᵢ = yᵢ -

(axᵢ + b)，其中 eᵢ 表示第 i 个数据点的残差。

我们的目标是通过最小化残差平方和来确定直线的参数 a 和 b。即最小化损失函数 S = Σ(eᵢ²)。

我们需要计算一些中间变量，包括样本数据的均值 xₙ 和 yₙ，以及样本数据的协方差 sₓy 和方差 sₓ²。其中，xₙ = (x₁ + x₂ + … + xₙ)

/ n，yₙ = (y₁ + y₂ + … + yₙ) / n，sₓy = (Σ(xᵢ - xₙ)(yᵢ - yₙ)) / (n

- 1)，sₓ² = (Σ(xᵢ - xₙ)²) / (n - 1)。

接下来，我们可以通过递推公式来更新参数 a 和 b 的估计值。首先，我们初始化 a₀ 和 b₀ 的估计值为 0。然后，我们依次遍历样本数据，对于每个数据点 (xᵢ, yᵢ)，更新 a 和 b 的估计值：

4.5 广义最小二乘法（GLS）

GLS----Generalized Least Squares

1. 基本原理

广义最小二乘法的基本思想在于引入一个所谓成形滤波器（白化滤波器），把相关噪声)(k转化成白噪声)(k。

由方程（4-4）、（4-5），系统的差分方程可以表示为

)()()()()(11kkuzbkyza （4-114）

式中

nnzazazaza221111)(

nnzbzbzbbzb221101)(

如果知道有色噪声序列)(k的相关性，则可以把)(k看成白噪声通过线性系统后所得的结果。这种线性系统通常称为成形滤波器，其差分方程为

)()()()(11_kzdkzc （4-115）

式中)(k是均值为零的白噪声序列，)()(11_zd、zc是1z的多项式。

令 _111212_1()()1()mmczfzfzfzfzdzLL （4-116）

有 )()(1)()()()(11kzfkkkzf或 （4-117）

即

1212(1)()()mmfzfzfzkkLL （4-118）

或

)()()2()1()(21kmkfkfkfkm 1,,nknNLL

（4-119）

这一噪声模型（自回归模型）的阶m，一般事先是不知道的，实际经验表明，若指定m为2或3，就可以获得令人满意的描述)(k的模型。

把方程（4-119）看作输入为零的差分方程，并由此式来写出N个方程。

)()()2()1()()2()2()()1()2()1()1()1()()1(212121NnmNnfNnfNnfNnnmnfnfnfnnmnfnfnfnmmm

《系统辨识》第5讲要点

第5章 线性动态模型参数辨识－最小二乘法

5.1 辨识方法分类根据不同的辨识原理，参数模型辨识方法可归纳成三类：

① 最小二乘类参数辨识方法，其基本思想是通过极小化如下准则函

数来估计模型参数：

其中代表模型输出与系统输出的偏差。典型的方法有最小二乘法、增广

最小二乘法、辅助变量法、广义最小二乘法等。

② 梯度校正参数辨识方法，其基本思想是沿着准则函数负梯度方向

逐步修正模型参数，使准则函数达到最小，如随机逼近法。

③ 概率密度逼近参数辨识方法，其基本思想是使输出z 的条件概率

密度最大限度地逼近条件下的概率密度，即。典型的方法是极大似然

法。

5.2 最小二乘法的基本概念

● 两种算法形式

① 批处理算法：利用一批观测数据，一次计算或经反复迭代，以获

得模型参数的估计值。

② 递推算法：在上次模型参数估计值的基础上，根据当前获得的数

据提出修正，进而获得本次模型参数估计值，广泛采用的递推算法形式

为

其中表示k 时刻的模型参数估计值，K(k)为算法的增益，h(k-d) 是由

观测数据组成的输入数据向量，d 为整数，表示新息。

● 最小二乘原理

定义：设一个随机序列的均值是参数 的线性函数

其中h(k)是可测的数据向量，那么利用随机序列的一个实现，使准则函

数

达到极小的参数估计值称作的最小二乘估计。

● 最小二乘原理表明，未知参数估计问题，就是求参数估计值，使

序列的估计值尽可能地接近实际序列，两者的接近程度用实际序列与序

列估计值之差的平方和来度量。

● 如果系统的输入输出关系可以描述成如下的最小二乘格式式中z(k)为模型输出变量，h(k)为输入数据向量，为模型参数向量，n(k)

为零均值随机噪声。为了求此模型的参数估计值，可以利用上述最小二

乘原理。根据观测到的已知数据序列和，极小化下列准则函数

即可求得模型参数的最小二乘估计值。

● 最小二乘估计值应在观测值与估计值之累次误差的平方和达到最

小值处，所得到的模型输出能最好地逼近实际系统的输出。

第３９卷第３期　２０１５年５月　冶金自动化　Ｍｅｔａｌｌｕｒｇｉｃａｌ　Ｉｎｄｕｓｔｒｙ　Ａｕｔｏｍａｔｉｏｎ　Ｖｏ１．３９　Ｎｏ．３．ｐ３４—３８　Ｍａｙ　２０１５　

０　控制理论应用　

基于递推最　小二　ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１０００￣０５９．２０１５．０３．００６　

乘法的无模型自适应厚度控制　

王彬彬　，张　飞　，王　京　’　

（１．北京科技大学高效轧制国家工程研究中心，北京１０００８３；２．北京科技大学设计研究院有限公司，北京１０００８３）　

摘要：针对钛合金板轧制时间短而导致的厚度控制精度较低的问题，引入无模型自适应厚度控制方法，其不　依赖于被控对象的数学模型，仅利用被控对象的输入输出数据便可对被控对象进行控制。泛模型在无模型　自适应控制算法中起着十分重要的作用，其中的伪偏导数　（ｋ）对算法的收敛速度和跟踪能力有很大影响。　利用递推最小二乘法实时辨识　（ｋ），确保了对时变参数的快速跟踪和小的参数估计误差。仿真结果表明：　无模型自适应控制的控制效果明显优于传统的ＰＩ控制。　关键词：递推最小二乘法；无模型自适应控制；厚度控制；钛合金板　文献标志码：Ａ文章编号：１０００－７０５９（２０１５）０３－００３４－０５　

Ｍｏｄｅｌ－ｆｒｅｅ　ａｄａｐｔｉｖｅ　ｔｈｉｃｋｎｅｓｓ　ｃｏｎｔｒｏｌ　ｂａｓｅｄ　ｏｎ　ｒｅｃｕｒｓｉｖｅ　ｌｅａｓｔ　ｓｑｕａｒｅｓ　

ＷＡＮＧ　Ｂｉｎ．ｂｉｎ　，ＺＨＡＮＧ　Ｆｅｉ　，ＷＡＮＧ　Ｊｉｎｇ　，　

（１．Ｎａｔｉｏｎａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｒｅｓｅａｒｃｈ　Ｃｅｎｔｅｒ　ｆｏｒ　Ａｄｖａｎｃｅｄ　Ｒｏｌｌｉｎｇ　Ｔｅｃｈｎｏｌｏｇｙ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　Ｂｅｉｊｉｎｇ，Ｂｅｉｊｉｎｇ　１０００８３，Ｃｈｉｎａ；２．Ｄｅｓｉｇｎ　ａｎｄ　Ｒｅｓｅａｒｃｈ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　ＵＳＴＢ　Ｃｏ．，Ｌｔｄ．，Ｂｅｉｊｉｎｇ　１０００８３，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｍｏｄｅｌ－－ｆｒｅｅ　ａｄａｐｔｉｖｅ　ｃｏｎｔｒｏｌ　ａｌｇｏｒｉｔｈｍ　ｉｓ　ｉｎｔｒｏｄｕｃｅｄ　ｔｏ　ｓｏｌｖｅ　ｔｈｅ　ｐｒｏｂｌｅｍ　ｏｆ　ｌｏｗ　ｔｈｉｃｋ・－