当前位置：文档之家 › 最小二乘法辨识

最小二乘法辨识

  • 格式：ppt
  • 大小：234.50 KB
  • 文档页数：23

下载文档原格式

  / 23

合集下载

现代控制理论_第14章_最小二乘法辨识

现代控制理论_第14章_最小二乘法辨识
i 1 n i 0 n n
y n 2 ai y n 2 i bi u n 2 i n 2
i 1 i 0
n
y n N ai y n N i bi u n N i n N
即
y k ai y k i bi u k i v k ai v k i
i 1 i 0 i 1
n
n
n
(14-3)
假设v k k 1,2,, n 是均值为零的独立分布的平稳随机序列，且与 序列u k k 1,2,, n 相互独立。设
ˆ 表示 y 的最优估值，则有 设ˆ 表示 的最优估值， y
ˆ ˆ y
(14-12)
式中
ˆ n 1 y a ˆ ˆ y n 2 ˆ ˆ y , b ˆ ˆ y n N
T 的展开式如下所示：
y n 1 y n y n y n 1 y 1 y 2 T u n 1 u n 2 u n 1 u n u 2 u 1 y n N 1 n 1 y n N 2 n 2 yN u n N u n N 1 n N uN
1
因为ˆ 有解与 T 正定等价，所以可以保证 T 正定来确定对输 入 u k 序列的要求。由式(14-9)可知
Y U
(14-20)
则
YT U YT U Y T Y U T T T U Y U U U

递推最小二乘辨识概要

递推最小二乘辨识概要
ˆ
N 1
输 出 信 息
PN
递推最小二乘 参数估计算法
PN 1
开始 产生输入数据u和 输出数据z
初始化P(0)、θ(0)、w和ε
计算P(k)，θ(k)和K(k)
(k 1) (k )
P(k 1) P(k )
否
max
i
ˆ (k ) ˆ ( k 1) i i ˆ ( k 1) i
D. 数据饱和
在辨识递推计算过程中,协方差矩阵P(k)随着递推的进程将衰减 很快,此时算法的增益矩阵K(k)也急剧衰减,使得新数据失去对参 数估计值的修正能力. 这种现象称为数据饱和. 因此需要考虑修正方案,以保持新数据对参数估计值的一定的 修正能力,使得能得到更准确的参数估计值,或能适应对慢时 变参数的辨识.
P(k ) [ P -1 (k -1) (k -1) (k -1)]-1
(3)
由式(3)和矩阵反演公式(4),可得P(k)的如下递推计算式
P (k ) P (k - 1) - P (k - 1) (k - 1)[1 (k - 1) P (k - 1) (k - 1)] 1 (k - 1) P (k - 1) P (k - 1) (k - 1) (k - 1) I P ( k - 1) 1 (k - 1) P (k - 1) (k - 1) (5)
选择如下的辨识模型进行递推最小二乘参数辨识。
z(k ) a1 z(k 1) a2 z(k 2) b1u(k 1) b2u(k 2) V (k )
Matlab 程序： %最小二乘的递推算法 %Z(k+2)=1.5*Z(k+1)-0.7*Z(k)+u(k+1)+0.5*u(k)+v(k) %======================================== clear clc %==========400 个产生M 序列作为输入=============== x=[0 1 0 1 1 0 1 1 1]; %initial value n=403; %n 为脉冲数目 M=[]; %存放M 序列 for i=1:n temp=xor(x(4),x(9)); M(i)=x(9); for j=9:-1:2 x(j)=x(j-1); end x(1)=temp; end %===========产生均值为0，方差为1 的高斯白噪声========= v=randn(1,400); %==============产生观测序列z=================

第五章 最小二乘法辨识

第五章 最小二乘法辨识

服从正态分
❖ 4）有效性
❖ 定理4：假设 (k) 是均值为零，方差为 2I 的正态
白噪声，则最小二乘参数估计量
^
是有效估计
量，即参数估计误差的协方差达到Cramer-Rao不
等式的下界
E (^
^
)(
)T
2E
(
T N
N
) 1
M 1
❖ 其中M为Fisher信息矩阵。
4、适应算法
❖ 随着更多观测数据的处理，递推最小二乘法对线性 定常系统的参数估计并非越来越精确，有时会发现
❖ 现举例说明最小二乘法的估计精度 ❖ 例5.1：设单输入－单输出系统的差分方程为
y(k) a1y(k 1) a2 y(k 2) b1u(k 1) b2u(k 2) (k)
❖ 设 u(k)是幅值为1的伪随机二位式序列，噪声 (k)是 一个方差 2可调的正态分布 N(0, 2 )随机序列。
❖ 为了克服数据饱和现象，可以用降低旧数据影响的 办法来修正算法。而对于时变系统，估计k时刻的 参数最好用k时刻附近的数据估计较准确。否则新 数据所带来的信息将被就数据所淹没。
❖ 几种算法：渐消记忆法，限定记忆法与振荡记忆法
❖ 矩阵求逆引理：设A为 n n 矩阵，B和C为 n m 矩阵，
并且A， A和 BCT I CT都A是1B 非奇异矩阵，则有矩
阵恒等式
A BCT 1 A1 A1B(I CT A1B)1CT A1
❖
令
A
PN1
，B
N 1
，C
T N 1
，根据引理有
PN1
T N 1 N 1
1
❖ 算法中，^ N 为2n+1个存贮单元（ai ,bi ,i 1,2, , n）， 而 PN 是 (2n 1) (2n 1)维矩阵，显然，将 N 换成 PN 后，存贮量大为减少（因为n为模型的阶数，一般 远远小于N）

系统辨识—最小二乘法

系统辨识—最小二乘法

最小二乘法参数辨识1 引言系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。

现代控制理论中的一个分支。

通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。

对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。

对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。

而系统辨识所研究的问题恰好是这些问题的逆问题。

通常，预先给定一个模型类μ={M}（即给定一类已知结构的模型），一类输入信号u和等价准则J=L(y，yM)(一般情况下，J是误差函数，是过程输出y和模型输出yM的一个泛函)；然后选择使误差函数J达到最小的模型，作为辨识所要求的结果。

系统辨识包括两个方面：结构辨识和参数估计。

在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。

2 系统辨识的目的在提出和解决一个辨识问题时，明确最终使用模型的目的是至关重要的。

它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。

通过辨识建立数学模型通常有四个目的。

①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。

这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。

②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。

用于系统分析的仿真模型要求能真实反映系统的特性。

用于系统设计的仿真，则强调设计参数能正确地符合它本身的物理意义。

③预测这是辨识的一个重要应用方面，其目的是用迄今为止系统的可测量的输入和输出去预测系统输出的未来的演变。

例如最常见的气象预报，洪水预报，其他如太阳黑子预报，市场价格的预测，河流污染物含量的预测等。

预测模型辨识的等价准则主要是使预测误差平方和最小。

最小二乘参数辨识方法及原理

最小二乘参数辨识方法及原理
v ( k ) 是均值为 0 的随机噪声。
2.2 一般最小二乘法原理及算法
z (k ) a i y (k i) bi u (k i) v (k )
i 1 i 1 n n
如果定义
h ( k ) [ y ( k 1), y ( k 2 ), , y ( k n ), u ( k 1), u ( k 2 ), , u ( k n )]
1 1 1
1 1 1
1
1
1
z1 1 1 ( z 1 z 2 ) 2 z2
r 1 0 0 1 1 4 r 1 1 1 1
2、最小二乘辨识方法的基本概念
通过试验确定热敏电阻阻值和温度间的关系
t (C ) R ( )
t1 R1
t2 R2

tN
1
tN RN
RN
1
R a bt
• 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。
y i R i v i 或 y i a bt v i
v i y i R i 或 v i＝ y i a bt i
常见做法：
太复杂 使
max | y i R i |
1 i N
N
最小 /* minimax problem */ 不可导，求解困难
使 |y
i 1
i
Ri |
最小
最小
使 |y
i 1
m
i
Ri |
H
2
1 1
r R 0
0 4r

递归最小二乘法辨识参数

递归最小二乘法辨识参数

递归最小二乘法辨识参数递归最小二乘法（Recursive Least Squares, RLS）是一种参数辨识方法，它使用递归算法来求解最小二乘法中的参数。

在许多领域中，例如系统辨识、自适应控制、信号处理等，递归最小二乘法都是一个广泛使用的方法。

递归最小二乘法的基本思想是：通过递归迭代来更新参数估计值，使其逼近最优解。

在递归过程中，每一次迭代时，都会通过当前的测量值来更新参数的估计值，同时保留历史测量值的影响，从而获得更精确的估计值。

具体地说，在递归过程中，首先需要定义一个初始参数向量，然后通过观测数据序列来递归更新参数向量。

假设有一个如下所示的线性关系：y(k) = Φ(k) * θ + v(k)其中，y(k)是被观测到的输出值，Φ(k)是与该输出值相关的输入向量，θ是待辨识的参数向量，v(k)是误差项。

递归最小二乘法的目标就是通过观测数据来估计θ的值。

在递归最小二乘法中，首先需要定义一个初始的参数向量θ0，然后通过数据序列递归地更新θ的值。

每一次迭代时，都会用最新的观测数据来更新参数向量，使得估计值更接近真实值。

具体来说，每次观测到新的数据之后，都会根据当前参数估计值和新的观测值来计算估计误差，并更新参数向量。

具体的迭代步骤如下：1.从数据序列中读取观测值y(k)和输入向量Φ(k)；2.计算估计值y(k)hat和估计误差e(k)：y(k)hat = Φ(k) * θ(k-1)e(k) = y(k) - y(k)hat3.计算卡尔曼增益K(k)和参数估计值θ(k)：K(k) = P(k-1) * Φ(k) / (λ + Φ(k)' * P(k-1) * Φ(k))θ(k) = θ(k-1) + K(k) * e(k)其中，P(k-1)是先前迭代步骤中的误差协方差矩阵，λ是一个小的正数，用于确保逆矩阵的存在性。

需要注意的是，递归最小二乘法的计算量相对较大，因此通常需要对算法进行优化，以提高计算效率和精度。

最小二乘参数辨识方法

《系统辨识基础》第17讲要点第5章 最小二乘参数辨识方法5.9 最小二乘递推算法的逆问题辨识是在状态可测的情况下讨论模型的参数估计问题，滤波是在模型参数已知的情况下讨论状态估计问题，两者互为逆问题。

5.10 最小二乘递推算法的几种变形最小二乘递推算法有多种不同的变形，常用的有七种情况：① 基于数据所含的信息内容不同，对数据进行有选择性的加权； ② 在认为新近的数据更有价值的假设下，逐步丢弃过去的数据； ③ 只用有限长度的数据；④ 加权方式既考虑平均特性又考虑跟综能力； ⑤ 在不同的时刻，重调协方差阵P (k )； ⑥ 设法防止协方差阵P (k )趋于零； 5.10.1 选择性加权最小二乘法 把加权最小二乘递推算法改写成[]⎪⎪⎩⎪⎪⎨⎧--=+--=--+-=-)1()]()([)(1)()1()()()()1()()()]1(ˆ)()()[()1(ˆ)(ˆ1k k k k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI ΛΛ算法中引进加权因子，其目的是便于考虑观测数据的可信度．选择不同的加权方式对算法的性质会有影响，下面是几种特殊的选择：① 一种有趣的情况是Λ()k 取得很大，在极限情况下，算法就退化成正交投影算法。

也就是说，当选择⎩⎨⎧=-≠-∞=0)()1()(,00)()1()(,)(k k k k k k k h P h h P h ττΛ 构成了正交投影算法⎪⎪⎩⎪⎪⎨⎧--=--=--+-=)1()]()([)()()1()()()1()()]1(ˆ)()()[()1(ˆ)(ˆk k k k k k k k k k k k k z k k k P h K P h P h h P K h K τττθθθI 算法初始值取P ()0=I 及 ()θε0=(任定值)，且当0)()1()(=-k k k h P h τ时，令K ()k =0。

系统辨识—最小二乘法_3

---------------------------------------------------------------最新资料推荐------------------------------------------------------系统辨识—最小二乘法最小二乘法参数辨识 1 引言系统辨识是根据系统的输入输出时间函数来确定描述系统行为的数学模型。

现代控制理论中的一个分支。

通过辨识建立数学模型的目的是估计表征系统行为的重要参数，建立一个能模仿真实系统行为的模型，用当前可测量的系统的输入和输出预测系统输出的未来演变，以及设计控制器。

对系统进行分析的主要问题是根据输入时间函数和系统的特性来确定输出信号。

对系统进行控制的主要问题是根据系统的特性设计控制输入，使输出满足预先规定的要求。

而系统辨识所研究的问题恰好是这些问题的逆问题。

通常，预先给定一个模型类={M}（即给定一类已知结构的模型），一类输入信号 u 和等价准则 J=L(y，yM)(一般情况下，J 是误差函数，是过程输出 y 和模型输出 yM 的一个泛函)；然后选择使误差函数J 达到最小的模型，作为辨识所要求的结果。

系统辨识包括两个方面：结构辨识和参数估计。

在实际的辨识过程中，随着使用的方法不同，结构辨识和参数估计这两个方面并不是截然分开的，而是可以交织在一起进行的。

2 系统辨识的目的在提出和解决一个辨识问题时，明确最终使1 / 17用模型的目的是至关重要的。

它对模型类（模型结构）、输入信号和等价准则的选择都有很大的影响。

通过辨识建立数学模型通常有四个目的。

①估计具有特定物理意义的参数有些表征系统行为的重要参数是难以直接测量的，例如在生理、生态、环境、经济等系统中就常有这种情况。

这就需要通过能观测到的输入输出数据，用辨识的方法去估计那些参数。

②仿真仿真的核心是要建立一个能模仿真实系统行为的模型。

用于系统分析的仿真模型要求能真实反映系统的特性。

最小二乘参数辨识方法及原理

KSI aS aI K II aI2 KOOaO2 KSS aS2
y KF K I aI KOaO K PaP K IOaI aO KOPaOaP
K PI aP aI K II aI2 KOOaO2 K PPaP2
零偏
标度因数
输出轴灵敏 度误差系数
二阶非线性 误差系数
x,
y) ,
f
' cy
(
x,
y)
x
,
f
' cy
(
x,
y)
y
]T
；
Y (x, y) ＝ fr (x, y) fc (x, y) ；
W ＝[ dh0 , da0 , da1, da2 , db0 , db1 , db2 ] T ；
v(x, y) 为量测噪声。
dh0 = h0 0 ， dh1 = h1 1 ， da0 = a0 0 ， da1 = a1 1， da2 = a2 0 ， db0 = b0 0 ， db1 = b1 0 ， db2 = b2 1
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是
未知量的最可能值是使各项实
际观测值和计算值之间差的平方乘
以其精确度的数值以后的和为最小。
z(k) y(k) v(k)
Gauss（1777-1855）
m
使 w(k) | z(k) y(k) |2 最小 k 1
2、最小二乘辨识方法的基本概念
•1795年，高斯提出了最小二乘方法。
1、问题的提出
1795年，高斯提出的最小二乘的基本原理是
未知量的最可能值是使各项实
际观测值和计算值之间差的平方乘
以其精确度的数值以后的和为最小。

多变量系统的最小二乘辨识问题的推导

文章标题：深入探讨多变量系统的最小二乘辨识问题在工程和科学研究中，我们经常面对多变量系统的最小二乘辨识问题。

这个问题涉及到了多个变量之间的关系、参数的估计以及模型的拟合，对于系统建模和预测具有重要意义。

在本文中，我们将从简单的基础概念开始，逐步深入探讨多变量系统的最小二乘辨识问题，帮助读者全面理解这一重要概念。

1. 多变量系统的基本概念在多变量系统中，我们通常研究多个相互关联的变量之间的数学模型。

这些变量可以是物理量、经济指标、生物参数等，它们之间存在着一定的关联和影响。

多变量系统的最小二乘辨识问题即是要通过已知的数据，利用最小二乘法来估计系统的参数，找到最优的模型拟合。

2. 最小二乘法的原理和应用最小二乘法是一种常用的参数估计方法，它通过最小化观测值与模型预测值之间的误差平方和来求解参数。

在多变量系统中，最小二乘法可以用来估计系统的多个参数，并得到最佳拟合的模型。

通过推导最小二乘法的数学公式，我们可以更好地理解其原理和应用。

3. 多变量系统的最小二乘辨识问题推导在进行多变量系统的最小二乘辨识时，我们首先需要建立适当的数学模型，并根据已知数据对模型进行估计。

推导多变量系统的最小二乘辨识问题涉及到矩阵运算、最优化理论等数学知识，需要深入分析和推演。

通过推导过程，我们可以清晰地理解多变量系统最小二乘辨识问题的数学基础和核心思想。

4. 我对多变量系统的最小二乘辨识问题的理解对于多变量系统的最小二乘辨识问题，我个人的观点是……（此处插入个人观点）总结回顾：通过本文的深入探讨，我们对多变量系统的最小二乘辨识问题有了更加全面、深刻和灵活的理解。

我们从基本概念出发，逐步介绍了最小二乘法的原理和应用，并对多变量系统的最小二乘辨识问题进行了详细推导。

我也共享了个人对这一主题的理解和观点。

希望本文能帮助读者更好地理解多变量系统的最小二乘辨识问题，并在实际应用中加以运用。

通过本文的撰写，我将多变量系统的最小二乘辨识问题进行了深入的探讨，并在知识的文章格式下进行了合理的编排与呈现。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

最小二乘的最早思想： 未知量的最大可能的值是这样 一个数值，它是实际观测值和计算 值的差值的平方和达到最小的数值。
基本的最小二乘估计 解决问题：在模型阶次n已知的情况下，根据系 统的输入输出数据，估计出系统差分方程的各 项系数。 1.基于输入/输出数据的系统模型描述
SISO系统的差分方程为
x ( k ) a 1 x ( k 1) a n x ( k n ) b 0 u ( k ) b n u ( k n ) y (k ) x(k ) n(k )
θ (Φ Φ )
T
1
Φ
T
T
(Φ θ ξ )
(Φ Φ )
T
1
Φ ξ
估计误差的方差为：
~ ~~T T Var θ E [ θ θ ] E [( Φ Φ)
1
Φ
T
(ξξ
T
)Φ (Φ Φ )
T
1
]
同样，假设{ξ(k)}为零均值不相关随机序列，且与{u(k)}
无关。则ΦT与ξ不相关,且有：
若N=(2n+1)且ξ=0，则上式中的φ阵为
(2n+1)×(2n+1)的方阵。由此，可解得θ的唯
一解为：
θ Φ
1
Y
而在实际工程中，ξ肯定不等于0，且 N>>(2n+1)，即方程个数远大于未知数，故而上 述θ的解不成立。
当前任务： 在存在噪声ξ和数据长 度N>>(2n+1)的情况下，如何进行参 数θ的估计。
若其逆阵存在，则：
上式即为最小二乘法的参数估计结果。
最小二乘估计的概率性质
最小二乘估计的概率性质：
(1)估计的无偏性； (2)估计的一致性；
(1)估计的无偏性
无偏性估计的定义：
ˆ E θ E θ θ
若

ˆ ，则称 θ是参数θ的无偏估计。
下面讨论无偏估计的条件。
T 1 T T 1 T ˆ E [ θ ] E [( Φ Φ ) Φ Y ] E [( Φ Φ ) Φ ( Φ θ ξ )]
y(k)只与ξ(k),ξ(k-1),ξ(k-2)·· ·相关，而与 ξ(k+1),ξ(k+2),ξ(k+3) · 不相关。 · ·
考查充要条件
y (n) y (1) T Φ ξ u ( n 1) u (1)
E [( Φ
T
Φ)
1
Φ
T
ξ] 0
系统辨识与自适应控制
最小二乘法辨识
2012年五月
系统辨识法(黑箱法) 根据“输入、输出数据”获取“系统”的数学模 型。 只考虑系统的输入、输出特性，不强调系统的内 部机理。
辨识方法可以分为两类： 非参数模型辨识方法 参数模型辨识方法
用来进行系统参数辨识的最小二乘法，是 一种经典的数据处理方法，最早的应用可追溯 到18世纪，高斯为了提高天体运动观测的准确 性，提出了最小二乘法。
x(k)为理论输出值，y(k)为实际观测值 n(k)为观测噪声。则有： ( k ) y ( k ) n ( k ) x
将x(k)代入上式，可得输入输出数据方程为：
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
若{ξ(k)}为零均值不相关随机序列，且与 {u(k)}无关。 则由上式可知，ΦT与ξ不相关。
则有：
T 1 ˆ E [ θ ] θ E [( Φ Φ ) Φ T
ξ]
θ E [( Φ Φ )
T
1
Φ ]E [ ξ ]
T
θ0 θ
可见，在上述条件下我们得到了参数θ的无偏估计。 LS无偏估计的充分条件为： {ξ(k)}为零均值不相关随机序列， 且与{u(k)}无关。
设观测数据有(n+N)个，令k分别等于 n+1,···,n+N,则有：
y ( n 1) a 1 y ( n ) a n y (1) b 0 u ( n 1) b n u (1) ( n 1) y ( n 2 ) a 1 y ( n 1) a n y ( 2 ) b 0 u ( n 2 ) b n u ( 2 ) ( n 2 ) y ( n N ) a y ( n N 1) a y ( N ) b u ( n N ) b u ( N ) ( n N ) 1 n 0 n
E ξξ
T

1 T T 1 1
2
IN
2
~ T Var θ E [( Φ Φ) E [
N
2 2
Φ
I
Φ (Φ Φ ) N
T 1
T
1
]
( Φ Φ)
T
Φ Φ (Φ Φ ) ]
1
T
]
E [( Φ Φ)
~ 2 T lim Var θ lim E [( Φ Φ)
T 1 T T 1 T ˆ E [ θ ] E [ θ ( Φ Φ ) Φ ξ ] θ E [( Φ Φ ) Φ ξ ]
LS无偏估计的充要条件为：
E [( Φ Φ )
T 1
Φ
T
ξ] 0
下面讨论无偏估计的充分条件。
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
N
] lim2来自NE [(1 N
Φ Φ)
T
1
] lim

2
N
N
R
1
0
N
一致性估计的充分条件为： {ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。
y ( n 1) y (2) u (n 2) u (2)



y ( n N 1) y(N ) u (n N ) u(N )

( n 1) (n 2) (n N )
(k ) n(k )
a n(k i)
i i 1
n
则当前输出为：
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
(2)一致性估计
一致性估计的定义： 若参数估计值以概率1收敛于真值θ，则称估计值 具有一致性。或采用下述定义： ~ ˆ lim Var θ 0 ，则称 θ是参数θ的一致性估计。 若 N
Var 式中， [ θ ] 为估计误差 θ 的方差。 ~
~
下面讨论一致性估计的充分条件。
~ T 1 T ˆ θ θ θ θ (Φ Φ ) Φ Y
ˆ min J

下面我们推导θ估计值的计算方法。
J取得最小值，也即J为极值，则有：
J ˆ θ

0
ˆ T ˆ [ (Y Φ θ ) (Y Φ θ ) ] ˆ θ
0
T ˆ 2 Φ (Y Φ θ ) 0
T ˆ Φ Φθ Φ
T
Y
其中, ( Φ
T
Φ)
为(2n+1)×(2n+1)的方阵。
基本的最小二乘法(LS)
辨识准则：残差平方和最小。
(1)残差e
ˆ ˆ 为模型的计算值，即 e YY , Y
ˆ ˆ Y θ
(2)指标函数J
n N
J
k n 1

e ( k ) ee
2
T
ˆ T ˆ (Y θ) (Y θ)
最小二乘法辨识就是使J最小的参数估计方法。