下载文档原格式
1最小二乘法的理论基础1.1最小二乘法设单输入单输出线性定长系统的差分方程表示为：其中δ(k)为服从N(0,1)的随机噪声,现分别测出n+N 个输出输入值y(1),y(2),…,y(n+N),u(1),u(2),…,u(n+N),则可写出N 个方程，写成向量－矩阵形式(4.1.1)()()()()()()()()1201121n n y k a y k a y k a y k n b u k b u k b u k n k ξ=-------++-++-+()()()()()()101122,,n n a y n n y n a n y b y n N n N b ξξθξξ⎡⎤⎢⎥++⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥++⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥++⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦()()()()()()()()()()()()()()()()()()10111121222112n n y n y n y u n u y n y n y u n u y n N y n N y N u n N u N a n a n b n N b ξξξ+--+⎡⎤⎡⎤⎢⎥⎢⎥+-+-+⎢⎥⎢⎥=⨯⎢⎥⎢⎥⎢⎥⎢⎥+-+--+⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎢⎥+⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥+⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦则式(1.1.1)可写为 （4.1.2） 式中：y 为N 维输出向量；ξ为N 为维噪声向量；θ为（2n+1）维参数向量；Φ为N ×（2n+1）测量矩阵。
因此，式（4.1.1）是一个含有（2n+1）个未知参数，由N 个方程组成的联立方程组。
11y θφφξ--=-在给定输出向量y 和测量矩阵Φ的条件下求参数θ的估计，这就是系统辨识问题。
设 表示 θ 的估计值，ŷ表示y 的最优估计，则有 （4.1.3） 式中：()()()10ˆˆ1ˆˆ2ˆˆ,ˆˆˆn n ay n a y n y b y n N b θ⎡⎤⎢⎥+⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥+⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦设e(k)=y(k)- ŷ(k), e(k)称为残差，则有e=y- ŷ=y-Φθ 最小二乘估计要求残差的平方和最小，即按照指数函数（4.1.4）求Ｊ对 的偏导数并令其等于0可得：（4.1.5）由式（4.1.5）可得的 θ 最小二乘估计：（4.1.6）J 为极小值的充分条件是：即矩阵ΦT Φ为正定矩阵，或者说是非奇异的。
递推最小二乘法协方差矩阵概述说明以及解释1. 引言1.1 概述在统计学和计量经济学中，递推最小二乘法（Recursive Least Squares，简称RLS）是一种常用的参数估计方法。
它通过不断更新样本数据进行参数的估计，并且可以适用于非静态数据场景。
协方差矩阵是统计分析中重要的概念，它描述了变量之间的线性关系强度和方向，并且在许多领域具有广泛应用。
1.2 文章结构本文首先介绍递推最小二乘法的定义和原理，在此基础上详细解释算法的步骤以及其应用领域。
接着，我们将引入协方差矩阵的概念并介绍其计算方法，同时探讨了它在实际问题中所起到的作用和应用场景。
最后，我们将对递推最小二乘法与协方差矩阵之间的关系进行解释，并通过实例分析来说明它们如何相互影响。
1.3 目的本文旨在全面介绍递推最小二乘法和协方差矩阵，并深入探讨它们之间的联系。
通过对这两个概念及其应用的理解，我们可以更好地理解参数估计方法和变量间关系的描述与分析。
此外，我们还将展望相关领域未来可能的研究方向，以促进学术和实践的进一步发展。
2. 递推最小二乘法2.1 定义和原理:递推最小二乘法是一种用于估计线性模型参数的方法。
它可以通过历史数据的不断更新来逐步拟合模型，以使得估计值与观测值之间的误差达到最小化。
该方法可以被形式化地描述为以下步骤：1. 初始化模型参数的初始值。
2. 从历史数据中选择一个样本，并使用当前参数估计出该样本对应的输出值。
3. 计算该样本的预测误差。
4. 根据预测误差对参数进行调整，使得预测误差尽量减小。
5. 重复步骤2至4，直到所有样本都被处理过一遍，或者满足终止条件。
递推最小二乘法是基于最小二乘原理，即将真实观测值与模型预测值之间的差异平方求和并最小化这个目标函数。
通过迭代地更新参数，递推最小二乘法可以逐渐优化模型，并获得更准确的参数估计。
2.2 算法步骤:具体而言，在每次迭代中，递推最小二乘法按照以下步骤进行操作：1. 根据历史数据选择一个样本，并根据当前的参数估计出预测值。
递推最小二乘法推导递推最小二乘法是一种经典的数学方法，用于解决数据拟合问题。
它通过最小化误差平方和的方法，寻找最佳的拟合曲线或平面，从而对数据进行预测和分析。
本文将详细介绍递推最小二乘法的原理和推导过程。
一、引言在现实生活和科学研究中，我们经常需要通过已知的数据来拟合一个函数，以便对未知的数据进行预测或分析。
而最小二乘法就是一种常用的数据拟合方法，它的基本思想是通过最小化误差的平方和，找到最佳的拟合函数。
二、最小二乘法的基本原理最小二乘法的基本原理是通过最小化残差平方和来确定拟合函数的参数。
残差指的是每个数据点的观测值与拟合函数预测值之间的差异。
最小二乘法的目标是找到使得残差平方和最小的参数值，从而得到最佳的拟合曲线或平面。
三、递推最小二乘法的推导过程递推最小二乘法是最小二乘法的一种改进方法，它能够更加高效地进行参数估计。
下面将结合一个简单的一元线性回归问题，来详细介绍递推最小二乘法的推导过程。
假设我们有一组样本数据(x₁, y₁), (x₂, y₂), …, (xₙ, yₙ)，需要找到一条直线y = ax + b 来拟合这些数据。
我们可以定义残差eᵢ= yᵢ- (axᵢ + b)，其中 eᵢ表示第 i 个数据点的残差。
我们的目标是通过最小化残差平方和来确定直线的参数a 和b。
即最小化损失函数 S = Σ(eᵢ²)。
我们需要计算一些中间变量，包括样本数据的均值xₙ和yₙ，以及样本数据的协方差 sₓy 和方差 sₓ²。
其中，xₙ = (x₁ + x₂ + … + xₙ) / n，yₙ = (y₁ + y₂ + … + yₙ) / n，sₓy = (Σ(xᵢ - xₙ)(yᵢ - yₙ)) / (n - 1)，sₓ² = (Σ(xᵢ - xₙ)²) / (n - 1)。
接下来，我们可以通过递推公式来更新参数 a 和 b 的估计值。
首先，我们初始化a₀和 b₀的估计值为0。
——第三章辨识方法
2 最小二乘法
1
清华大学电机系
辨识技术
辨识技术
()
*
lim k k α
α
→∞
=辨识技术
远离最小值点
接近最小值点
最速下降法
高斯牛顿法
清华大学电机系
辨识技术
42
2
三种算法的比较
y
香蕉函数最小化问题：
f (x ) = 100 ( X 2–X 12)2+ ( 1 –X 1)2
高斯-牛顿法：11次迭代
最速下降法：60次迭代
阻尼最小二乘法：18次迭代
清华大学电机系
辨识技术
43
例：非线性函数的参数辨识
x
C e
C x f ⋅⋅=21)(高斯-牛顿法：80次迭代
最速下降法：401次依然未收敛
阻尼最小二乘法：10次迭代
真值C * = [5.420136187 -0.25436189]
当x m = [ 1 2 3 4 5 ]时
测量值：f m (x ) = [ 4.20 3.25 2.52 1.95 1.51 ]f *(x ) = [ 4.202834 3.258924 2.527006 1.959469 1.519394 ]
真值
清华大学电机系
辨识技术
清华大学电机系辨识技术
清华大学电机系辨识技术
辨识技术
稳态电路。
广义最小二乘法和递推最小二乘法
广义最小二乘法和递推最小二乘法是最小二乘法算法的改进版本。
最小二乘法
是一种常见的统计学技术，它有效地估计未知参数集，也可以用于回归分析。
本文旨在详细介绍广义最小二乘法和递推最小二乘法。
首先让我们了解最小二乘法。
最小二乘法（Least Squares）是一种最常用的
方法，其中未知参数的估计量是穷举法的最优估计，这是一种很有效的技术。
最小二乘法的求解过程中，以平方的残差来最小化两个估计量的差异，以求得最优参数。
然而，最小二乘法有时也会出现缺陷，其中一个原因是可能会把噪声干扰包含
在结果中，另一个原因是它依赖被观测值的方差，而方差受因素影响。
因此，有了广义最小二乘法。
广义最小二乘法是在最小二乘法的基础上改进的算法。
在广义最小二乘法中，
我们通过加入惩罚参数来最小化残差，以对噪声进行抑制。
惩罚参数的加入，使得预测变更的安全降低，同时噪声的影响也可以得以抑制。
因此，广义最小二乘法在回归分析中也有广泛的应用。
此外，基于最小二乘法的另一种增强方法是“递推最小二乘法”。
递推最小二
乘法是将最小二乘法算法进行改良，从而改善对噪声的抑制能力。
和广义最小二乘法一样，递推最小二乘法也需要惩罚参数的加入。
递推最小二乘法也通过持续更新未知参数，来达到最小化残差的目的，从而能有效地抑制噪声。
以上就是本文要陈述的关于广义最小二乘法和递推最小二乘法的改进方法以及
它们的比较。
从技术上讲，广义最小二乘法和递推最小二乘法都比最小二乘法更能抑制噪声和拟合回归曲线，因此，它们在回归分析中都有广泛的应用。
递推最小二乘法原理递推最小二乘法（Recursive Least Squares, 简称RLS）是一种经典的自适应滤波算法，它在信号处理、通信系统、控制系统等领域得到了广泛的应用。
本文将介绍递推最小二乘法的原理及其在实际应用中的一些特点。
首先，让我们来了解一下最小二乘法。
最小二乘法是一种数学优化方法，用于寻找一组参数，使得给定的模型与观测数据之间的误差平方和最小。
在线性回归问题中，最小二乘法可以用来拟合一个线性模型，以最小化观测数据与模型预测值之间的差异。
最小二乘法的基本思想是通过最小化误差的平方和来寻找最优的参数。
递推最小二乘法是最小二乘法的一种变种，它的特点在于可以实时地更新参数估计，适用于需要动态调整的系统。
在实际应用中，由于系统参数可能随时间变化，传统的最小二乘法在每次参数更新时都需要重新计算整个数据集，计算复杂度较高，不适合实时性要求高的场景。
而递推最小二乘法则可以通过递推的方式，实时地更新参数估计，适用于动态环境下的参数估计问题。
递推最小二乘法的原理可以用数学公式来描述。
假设我们有一个线性模型，\[y_k = \theta^T x_k + e_k\]其中\(y_k\)是观测数据，\(x_k\)是输入向量，\(\theta\)是待估计的参数，\(e_k\)是噪声。
我们的目标是通过观测数据\(y_k\)和输入向量\(x_k\)来估计参数\(\theta\)。
递推最小二乘法的核心思想是通过递推的方式，实时地更新参数\(\theta\)的估计值。
具体来说，我们可以通过以下递推公式来更新参数\(\theta\)的估计值，\[\theta_k =\theta_{k-1} + \frac{P_{k-1}x_k}{1 + x_k^T P_{k-1} x_k}(y_k x_k^T \theta_{k-1})\]其中\(\theta_k\)是第\(k\)次的参数估计值，\(\theta_{k-1}\)是第\(k-1\)次的参数估计值，\(P_{k-1}\)是第\(k-1\)次的参数估计误差的协方差矩阵。
递归最小二乘法辨识参数递归最小二乘法（Recursive Least Squares, RLS）是一种参数辨识方法，它使用递归算法来求解最小二乘法中的参数。
在许多领域中，例如系统辨识、自适应控制、信号处理等，递归最小二乘法都是一个广泛使用的方法。
递归最小二乘法的基本思想是：通过递归迭代来更新参数估计值，使其逼近最优解。
在递归过程中，每一次迭代时，都会通过当前的测量值来更新参数的估计值，同时保留历史测量值的影响，从而获得更精确的估计值。
具体地说，在递归过程中，首先需要定义一个初始参数向量，然后通过观测数据序列来递归更新参数向量。
假设有一个如下所示的线性关系：y(k) = Φ(k) * θ + v(k)其中，y(k)是被观测到的输出值，Φ(k)是与该输出值相关的输入向量，θ是待辨识的参数向量，v(k)是误差项。
递归最小二乘法的目标就是通过观测数据来估计θ的值。
在递归最小二乘法中，首先需要定义一个初始的参数向量θ0，然后通过数据序列递归地更新θ的值。
每一次迭代时，都会用最新的观测数据来更新参数向量，使得估计值更接近真实值。
具体来说，每次观测到新的数据之后，都会根据当前参数估计值和新的观测值来计算估计误差，并更新参数向量。
具体的迭代步骤如下：1.从数据序列中读取观测值y(k)和输入向量Φ(k)；2.计算估计值y(k)hat和估计误差e(k)：y(k)hat = Φ(k) * θ(k-1)e(k) = y(k) - y(k)hat3.计算卡尔曼增益K(k)和参数估计值θ(k)：K(k) = P(k-1) * Φ(k) / (λ + Φ(k)' * P(k-1) * Φ(k))θ(k) = θ(k-1) + K(k) * e(k)其中，P(k-1)是先前迭代步骤中的误差协方差矩阵，λ是一个小的正数，用于确保逆矩阵的存在性。
需要注意的是，递归最小二乘法的计算量相对较大，因此通常需要对算法进行优化，以提高计算效率和精度。
递推最小二乘法原理递推最小二乘法（Recursive Least Squares, RLS）是一种经典的自适应滤波算法，广泛应用于信号处理、通信系统、控制系统等领域。
它通过不断地更新参数估计，实现对信号的实时跟踪和预测。
本文将介绍递推最小二乘法的原理及其应用。
首先，我们来了解一下最小二乘法（Least Squares, LS）的基本原理。
最小二乘法是一种常见的参数估计方法，它通过最小化观测数据的残差平方和来确定参数的估计值。
对于线性模型，最小二乘法的估计值可以通过求解正规方程或者利用矩阵运算来得到。
然而，在实际应用中，数据通常是逐步到达的，因此需要一种能够实时更新参数估计的方法，这就是递推最小二乘法。
递推最小二乘法的核心思想是利用递推的方式不断更新参数估计，以适应数据的动态变化。
在每次新的数据到达时，根据当前的参数估计和新的数据，通过一定的计算方法得到更新后的参数估计。
这样，参数估计可以随着时间的推移而不断优化，从而更好地适应信号的变化。
在递推最小二乘法中，通常会引入一个遗忘因子（ForgettingFactor），用于衰减历史数据的影响，使算法更加关注最近的数据。
遗忘因子的选择对于算法的性能有着重要的影响，合理的遗忘因子可以平衡对历史数据和最新数据的重视程度，从而提高参数估计的准确性和稳定性。
除了参数估计，递推最小二乘法还可以用于信号预测和滤波。
通过不断更新参数估计，可以实现对信号的实时跟踪和预测，从而在控制系统和通信系统中发挥重要作用。
在实际应用中，递推最小二乘法通常与自适应滤波器相结合，构成自适应滤波系统，用于抑制噪声、提取信号等。
总之，递推最小二乘法是一种重要的自适应参数估计方法，具有实时性强、适应性好的特点，适用于动态环境下的信号处理和控制。
通过不断更新参数估计，可以实现对信号的准确跟踪和预测，为实际应用提供了有力的支持。
在未来的研究和工程实践中，递推最小二乘法仍将发挥重要作用，为各种领域的应用提供有效的解决方案。
递推最小二乘法公式推导1. 引言嘿，大家好！今天我们来聊聊一个在数据分析和统计学中非常重要的话题：递推最小二乘法。
听起来有点高大上，但别担心，我会用简单易懂的语言来带你们走进这个领域，仿佛在和老朋友聊天。
准备好了吗？让我们一起揭开这个神秘面纱，看看它是怎么运作的。
2. 什么是最小二乘法？2.1 基本概念首先，最小二乘法其实就是一种用来拟合数据的方法。
想象一下，你在一个阳光明媚的日子里和朋友打乒乓球，记录下每一局的得分。
你想知道你和朋友的水平差不多还是天差地别，这时候就需要用到最小二乘法来找出最佳拟合线。
简单说，就是通过一条线，把所有的点“尽量”挤在一起，这样就能直观地看出你们的实力差距啦。
2.2 工作原理这个方法的核心思想就是把所有点到拟合线的距离（也就是误差）平方后求和，然后最小化这个总和。
听起来是不是有点复杂？没关系，换个方式想。
就像你在吃一盘水果沙拉，里面有苹果、香蕉、葡萄，总得找个方法把它们混合得更均匀，不然每次吃到的口感就不一样，简直是“心有不甘”啊！3. 递推最小二乘法的魅力3.1 动态更新说到递推最小二乘法，它就像是一个智能的助手，能够动态更新你的拟合线。
就拿你那打乒乓球的例子来说，随着你打的局数越来越多，你的水平也会有所变化，这时候，递推最小二乘法就能根据新的数据不断调整那条拟合线。
是不是听起来特别聪明？就像你的朋友在旁边不断给你建议：“嘿，这一局你发球不太准，下次可以试试这样……”这样下去，你的水平肯定会越来越高！3.2 应用场景那么，这种方法到底能用在什么地方呢？其实，想想我们的日常生活，处处都有它的身影。
从股票市场的分析到气象预测，从医疗健康的监测到运动员的训练数据，递推最小二乘法的应用可谓是无处不在。
这就像是一个万能的小工具，能帮你解决各种各样的问题，真是“百搭”啊！4. 推导过程4.1 数学基础好了，咱们回到正题，推导递推最小二乘法的公式。
首先，你得有一个基础的数学知识，尤其是线性代数。
控制理论与控制工程学位课程《系统辨识》考试报告递推阻尼最小二乘法公式详细推导专业：控制理论与控制工程班级：2011双控（研）学生姓名：江南学号：20110201016任课教师：蔡启仲老师2012年06月29 日摘要在参数辨识中，递推最小二乘法是用得最多的一种算法。
但是，最小二乘法存在一些缺点，如随着协方差矩阵的减小，易产生参数爆发现象；参数向量和协方差矩阵的处置选择不当会使得辨识过程在参数收敛之前结束；在存在随机噪声的情况下，参数易产生漂移，出现不稳定等。
为了防止参数爆发现象，Levenberg 提出在参数优化算法中增加一个阻尼项，以增加算法的稳定性。
本文在一般的最小二乘法中增加了阻尼因子，构成了阻尼最小二乘法。
又根据实时控制的要求，详细推到了递推阻尼最小二乘公式，实现在线辨识。
关键字：系统辨识，最小二乘法，递推算法正文1.题目的基本要求已知单入单出系统的差分方程以及噪声，在应用最小二乘法进行辨识的时候，在性能指标中加入阻尼因子，详细推导阻尼最小二乘法的递推公式。
2.输入辨识信号和系统噪声的产生方法和理论依据 2.1系统辩识信号输入选择准则（1）输入信号的功率或副度不宜过大，以免使系统工作在非线性区，但也不应过小，以致信噪比太小，直接影响辩识精度；（2）输入信号对系统的“净扰动”要小，即应使正负向扰动机会几乎均等； （3）工程上要便于实现，成本低。
2.2白噪声及其产生方法 （1） 白噪声过程（2）白噪声是一种均值为0、谱密度为非0常数的平稳随机过程。
（3）白噪声过程定义：如果随机过程()t ω的均值为0，自相关函数为()()2R t t ωσδ= （2.2.1）式中()t δ 为狄拉克（Dirac) 分布函数，即(){(),00,01t t t dt δδ∞∞=≠∞==⎰-且t （2.2.2）则称该随机过程为白燥声过程。
2.3白噪声序列 (1) 定义 如果随机序列{()}w t 均值为0，并且是两两不相关的，对应的自相关函数为()2,0,1,2w l R l l σδ==±± 式中{1,00,0l l l δ=≠=则称这种随机序列{()}w t 为白噪声序列。
2.4白噪声序列的产生方法(1) （0，1）均匀分布随机数的产生在计算机上产生（0，1）均匀分布随机数的方法很多，其中最简单、最方便的是数学方法。
产生伪随机数的数学方法很多，其中最常用的是乘同余法和混合同余法。
①乘同余法。
这种方法先用递推同余式产生正整数序列{Xi=Axi-1(modM),i=1,2,3…式中：M 为2的方幂，k 为大于2的整数；A ≡3(mod8)或A ≡5(mod8),且A 不能太小；初值x0取正奇数，例如取x0=1.再令 ,1,2, (i)i x i Mξ== 则{}i ξ 是伪随机序列，循环周期可达22k - 。
②混合同余法。
混合同余法产生伪随机数的递推同余式为1(m od )i i x Ax c M -=+式中：2,kM =K 为大于2的整数；A ≡1(mod4),即21nA =+其中n 为满足关系式2≦n ≦34的整数。
初值x0为非负整数。
令(),2ki i x Mξξ=i 则是循环周期为的伪随机数序列。
(2) 正态均匀分布随机数的产生①统计近似抽样法：正态分布白噪声 2(,)N μσ12(1)*121{()(6)}i k i k ημσξ+-==+-∑，其中ξ为服从（0，1）均匀分布的白噪声。
②变换抽样法：设1ξ和2ξ是2个互相独立的（0，1）均匀分布随机变量，则()()12112122122ln cos 22ln sin 2ηξπξηξπξ=-⎛ ⎝＝－ （2.4.1）是相互独立、服从N(0,1)分布的随机变量。
2.5伪随机噪声对白噪声的一个样本函数w(t)截取[0,T]时间内一段，对其它时间段[T,2T],[2T,3T],…,以 周期 T 延拖下去，这样获得的函数w(t)是周期T 的函数，在[0,T]时间内是白噪声，在此时间之外是重复的白噪声，它的自相关函数()()()w R E w t w t ττ=+⎡⎤⎣⎦的周期也是T.由于在[0,T]时间内自相关函数()w R τ就是白噪声的自相关函数，它具有周期性，称为w(t)为伪随机噪声。
2.6 M 序列的产生方法M 序列是一种离散二位式：随机序列，所谓“二位式”是指每个随机变量只有2种状态。
可用多级线性反馈移位寄存器产生M 序列。
2.6.1 M 序列的性质（1）由n 级移位寄存器产生的周期为N=2ⁿ-1的M 序列，在一个循环周期内，“0”出现的次数为N-1/2,”1”出现的次数为N+1/2.（2）M 序列中，状态“0”或“1”连续出现的段称为游程，一个游程中“0”或“1”的个数称为游程长度。
（3）所有M 序列均具有移位可加性，即2个彼此移位等价的相异M 序列，按位模2相加所得到的和序列仍为M 序列，并与原M 序列等价。
2.6.2二电平M 序列的自相关函数分为三种情况: 设每个基本电平的延迟时间为△(1)0(2)||(3)0||τττ=>∆<<∆综合上述3种情况，可得二电平M 序列的自相关函数 ()()2211,,1N a N x a N NE R ττττ+⎛⎫--∆<<∆ ⎪∆⎝⎭-∆≤≤+∆⎧⎪=⎨⎪⎩如图所示2.6.3二电平M 序列的功率谱密度2202sin22(){()(1)[][()]}2M k k taS N k t N ωπωδωδωωω∞=-∞≠∆=++-∆∑其中：02N t πω=∆ 设为一步M 序列信号的持续时间，N 是一个周期的持续时间。
M序列的频谱为：上式告诉我们：(1) M 序列的频谱不是光滑的曲线，而是线条谱。
(2 ) M 序列的直流分量 222(0)M a S Nπω==与N2成正比，因此，加大N ，可减少M 序列中的直流分量。
(3 ) M 序列的频带为13B H z t=∆因此，减少t ∆可增加带宽。
(4) 谱线密度与N t ∆成正比。
3.按照题目要求进行理论与公式推 3.1最小二乘法公式推导3.1.1最小二乘法的基本原理.设单输入－单输出线性定常系统的差分方程表示为)()()()(11k i k u b i k y ak y abn i n i i iξ∑∑==+-=-+可写成：（3.1.1） 其中()()()1nii k n k a n k i ξ==+-∑ n(k)为均值为0的白噪声现分别测出n+N 个输出输入值y(1),y(2),…,y(n+N),u(1),u(2),…,u(n+N), 则可写出N 个方程，写成向量－矩阵形式（3.1.2）设则上面的式子可写成 （3.1.3）式中：y 为N 维输出向量；ξ为N 为维噪声向量；θ为（2n+1）维参数向量；Φ为N ×（2n+1）测量矩阵。
因此，式（5.1.7）是一个含有（2n+1）个未知参数，由N 个方程组成的联立方程组。
ξφφθ1-1--y = （3.1.4）在给定输出向量y 和测量矩阵Φ的条件下求参数θ的估计，这就是系统辨识问题。
3.1.2最小二乘估计算法最小二乘法是系统参数辨识中最基本最常用的方法。
最小二乘法因其算法简单、理论成熟和通用性强而广泛应用于系统辨识中。
但它存在着一定的局限性和不足，当系统噪声为有色噪声时，最小二乘法不能给出无偏一致估计；在使用最小二乘法进行参数辨识时，要预先假设噪声模型结构。
设 θˆ 表示θ 的估计值，ŷ表示y 的最优估计，则有 （3.1.5） 式中()()()()()()()()()()()()()()()()()()10111121222112n n y n y n y u n u y n y n y u n u y n N y n N y Nu n Nu N a n a n b n N b ξξξ+--+⎡⎤⎡⎤⎢⎥⎢⎥+-+-+⎢⎥⎢⎥=⨯⎢⎥⎢⎥⎢⎥⎢⎥+-+--+⎢⎥⎢⎥⎣⎦⎣⎦⎡⎤⎢⎥+⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥+⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦()()()()()()101122,,n n a y n n y n a n y b y n N n N b ξξθξξ⎡⎤⎢⎥++⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥++⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥++⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦y φθξ=+ˆˆy θ=Φ()()()10ˆˆ1ˆˆ2ˆˆ,ˆˆˆn n a y n a y n y b y n N b θ⎡⎤⎢⎥+⎡⎤⎢⎥⎢⎥⎢⎥+⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥+⎢⎥⎣⎦⎢⎥⎢⎥⎣⎦()()()()()()()()1201121n n y k a y k a y k a y k n b u k b u k b u k n k ξ=-------++-++-+设e(k)=y(k)- ŷ(k), e(k)称为残差，则有 θφˆ-y yˆ-y e == （3.1.6） 最小二乘估计要求残差的平方和最小，即按照指数函数 （3.1.7）求Ｊ对∧θ的偏导数并令其等于0可得（3.1.8）由式 可得θ 的最小二乘估计()y Tφφφθ1Tˆ-=（3.1.9）J 为极小值的充分条件是即矩阵ΦT Φ为正定矩阵，或者说是非奇异的.3.2阻尼最小二乘法在一般最小二乘法的目标函数上增加了对参数变化的阻尼项,即：22)1(ˆ)(ˆ)](ˆ)()([∑-=---+-=kNk i T ik k k k i i y J θθμθφβ（3.2.1）其中，10≤<β为遗忘因子。
选择不同的β值就可得到不同的遗忘效果。
β越小遗忘速度越快，或者说记忆越短。
0>μ为阻尼因子，其大小标志着自变量增量与函数值之间，在J 取极小值时的相对重要性。
即，如果模型的线性程度较大，那么对于很小的μ，由（3.2.1）求得的)(ˆk θ可以对θ有较好的修正；如果模型的线性程度较差，那么必须μ较大，才能保证有（3.2.1）求得的)(ˆk θ对θ有较好的修正。
指标可以写成向量形式：)]1(ˆ)(ˆ[)]1(ˆ)(ˆ[)](ˆ)()()[()](ˆ)()([----+--=k k k k k k k Y k W k k k Y J TT θθθθμθφθφ （3.2.2）其中：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡--------+---+-------=)(...)2()1(............)1()(...)1(............)1()2(...)1()()1(...)()(N k u k u k u k u N k y k y N k u k y N k y N k u k y N k y k φ，Tk y N k y N k y k Y )](),...,2(),1([)(+-+-=，),...,,()(021βββ--=N N diag k W3.3阻尼最小二乘法的递推算法：为了实现实时控制，必须采用递推算法，实现在线控制。
