下载文档原格式
1请叙述系统辨识的基本原理（方框图），步骤以及基本方法定义：系统辨识就是从对系统进行观察和测量所获得的信息重提取系统数学模型的一种理论和方法。
辨识定义：辨识有三个要素——数据、模型类和准则。
辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型辨识的三大要素：输入输出数据、模型类、等价准则基本原理：步骤：对一种给定的辨识方法，从实验设计到获得最终模型，一般要经历如下一些步骤：根据辨识的目的，利用先验知识，初步确定模型结构；采集数据；然后进行模型参数和结构辨识；最后经过验证获得最终模型。
基本方法：根据数学模型的形式：非参数辨识——经典辨识，脉冲响应、阶跃响应、频率响应、相关分析、谱分析法。
参数辨识——现代辨识方法（最小二乘法等）2随机语言的描述白噪声是最简单的随机过程，均值为零，谱密度为非零常数的平稳随机过程。
白噪声过程（一系列不相关的随机变量组成的理想化随机过程）相关函数： 谱密度： 白噪声序列，白噪声序列是白噪声过程的离散形式。
如果序列 满足： 相关函数： 则称为白噪声序列。
谱密度：M 序列是最长线性移位寄存器序列，是伪随机二位式序列的一种形式。
M 序列的循环周期 M 序列的可加性：所有M 序列都具有移位可加性辨识输入信号要求具有白噪声的统计特性 M 序列具有近似的白噪声性质，即 M 序列“净扰动”小，幅度、周期、易控制，实现简单。
3两种噪声模型的形式是什么 第一种含噪声的被辨识系统数学模型0011()()()()n ni i i i y k ay k i b u k i v k ===-+-+∑∑，式中,噪声序列v(k)通常假定为均值为零独立同分布的平稳随机序列,且与输入的序列u(k)彼此统计独立. 上式写成：0()()()T y k k v k ψθ=+。
其中，()()()()()()()=1212T k y k y k y k n u k u k u k n ψ------⎡⎤⎣⎦，，，，，，，)()(2τδστ=W R +∞<<∞-=ωσω2)(W S )}({kW ,2,1,0,)(2±±==l l R l W δσ2)()(σωω==∑∞-∞=-l l j W W e l R S ⎩⎨⎧≠=≈+=⎰0,00,Const )()(1)(0ττττT M dt t M t M T R bit )12(-=P P N第二种含噪声的被辨识系统数学模型：它与第一种的区别仅在于噪声的状况不同，第二种被辨识系统如下图所示：ξ(k)为噪声序列，假设为零均值独立同分布的平稳随即序列，且 ()()()y k x k k ξ=+ 由由以上两式可推导出0011()()()()n ni i i i y k a y k i b u k i v k ===-+-+∑∑，式中01()()()n i i v k k a k i ξξ==--∑4阐述最小二乘辨识方法的原理、数学模型以及推导数学模型：推导过程：含噪声的数学模型为：0011()()()()n ni i i i y k ay k i b u k i v k ===-+-+∑∑ 式中,噪声序列v(k)通常假定为均值为零独立同分布的平稳随机序列,且与输入的序列u(k)彼此统计独立. 上式写成：0()()()T y k k v k ψθ=+ 0θ是被辨识系统的真实参数向量(2n 维,n 为系统的阶数)。
1.系统辨识的概念系统辨识是采用系统运行或试验过程中猎取的系统输入-输出数据求得系统数学模型(传递函数)的方法和技术。
2.过程的概念通常泛指具有时间或空间上的跨度的对象。
详细的如：工程系统、生物系统或社会经济系统都可以称为过程3.模型的概念指过程运动规律的本质描述。
4.模型依据描述形式分类(1)直觉模型指过程的特性以非解析的形式直接存储在人脑中靠人的直觉掌握过程地进行。
(2)物理模型实际过程的一种物理模拟。
(3)图表模型以图形式或表格的形式来表现过程的特性，也成为非参数模型。
(4)数学模型用数学结构的形式来反映实际过程的行为特点。
5.依据模型的特性，数学模型可以分为线性和非线性模型系统线性与关于参数空间线性本质线性与本质非线性动态和静态模型确定性和随机性模型宏观(积分方程)和微观(微分方程)模型等6.建立过程数学模型的两种主要方法(1)机理分析法通过分析过程的运动规律、应用一些己知的规律、定理和与原理建立过程的数学模型，这种方法也称为理论建模(2)测试法——辨识方法采用输入输出数据所供应的信息来建立过程的数学模型白箱一一理论建模黑箱一一辨识建模灰箱一一理论建模与辨识建模结合7.辨识的定义辨识有三个要素-数据、模型类和准则，辨识就是依据一个准则在一组模型类中选择一个与数据拟合得最好的模型8 .系统辨识的步骤(1)依据辨识目的，采用先验学问，初步确立模型结构(2)采集数据(3)进行模型参数和结构辨识(4)验证获得最终模型9 .随机过程无穷多个随机函数的总体称为随机过程。
两层含义：随机过程ξ⑴在任一时刻都是随机变量;随机过程ξ⑴是大量样本函数的集合。
10 .各种随机过程计算公式二维分布函数：F2(Xl y r2;t1,t2)=P{(tι)≤Λι,ξ(t2)≤X2}二维概率密度函数：C,..、 ∂2F 2(X v X 2U l J 2)f 2{X v X 2'y t v t 2)=--I ，2∂x i -OX 2一维和n 维类推数学期望：反映了随机过程取值的集中位置E{a)}=Z 马P(巧)=α(E)(离散)E{ξ(t)}=「xf(x)dx≈a(t)(连续) J-CO方差：反映了随机过程的集中程度σ2=D[ξ(t)]=E [[ξ(t)-a(t^)=£[ξ(t)-a(t)ff(x)dx自协方差：用来衡量任意两个时刻上获得的随机变量的统计相关特性即出)=£{/&)")]4(小一岫)]}=「L[％一ag )][x 2-a (h )]启为，WM 冉)四dx ι自相关函数：R(M 2*…2)]x 2∕2(x l ,x 2i∕1√2)dx ∣dX2二者关系：B(G J 2)=R(A √2)-F[⅞(η)]∙E[ξ(t 2)]互协方差函数：«1，G)=EHe«1)-%«1)][〃«2)一%«2)])相互关函数：%(22)=顼其幻帆幻］特殊的：RS(T)=O表示两个随机过程是不相关(正交的随机过程)11.平稳随机过程对于任意的正整数n和任意实数5t2,…，tn,T,随机过程g⑴的n维概率密度函数满意)∕f(X1,X2,∙∙∙,Xπ7l√2,∙∙∙√π)=Λ(X1,X2,∙∙∙^√r i+Γ^2+Γ‹∙∙^,J+R则称ξ⑴为平稳随机过程(严平稳随机过程或狭义平稳随机过程)若随机过程g⑴的数学期望和方差与时间无关，自相关函数仅是T的函数，则称它为宽平稳随机过程或广义平稳随机过程12.各态历经性随机过程中的任一实现都经受了随机过程的全部可能状态。
《系统辨识》第1讲要点《系统辨识》第1讲要点●引言课程名称：系统辨识（System identification）现代控制论：辨识、状态估计和控制理论什么是辨识(Identification)?System Identification系统辩识，又译为“系统识别”和“系统同定”，目前尚无公认的统一定义。
《中国大百科全书》中记述为：系统辩识是根据系统的输入/输出时间函数，确定系统行为的数学模型，是现代控制理论的一个分支（中国大百科自动控制卷486-488页）。
(1) 辨识是研究建立系统或生产过程数学模型的一种理论和方法。
(2) 辨识是种从含有噪声的测量数据（输入、输出数据）中提取被研究对象数学模型的一种统计方法。
(3) 辨识模型是对象输入输出特性在某种准则意义下的一种近似。
近似的程度取决于人们对系统先验知识的认识和对数据集性质的了解程度，以及所选用的辨识方法是否合理。
(4) 辨识技术帮助人们在表征被研究的对象、现象或系统、过程的复杂因果关系时，尽可能准确地确立它们之间的定量依存关系。
(5) 辨识是一种实验统计的建模方法。
通俗地说，系统辩识是研究怎样利用对未知系统的试验数据或在线运行数据（输入/输出数据）建立描述系统的数学模型的科学。
钱学森把系统广义概括为“依一定顺序相互联系着的一组事物”。
“系统辩识”是“系统分析”和“控制系统设计”的逆问题。
基于实际系统的复杂性，描述其特性的数学模型具有“近似性”和“非唯一性”；辩识方法亦有多样性。
没有绝对好的数学模型和绝对好的辩识方法。
什么是较好的模型？依据辩识的不同目的，有不同答案。
一般说，能够满足目的要求的，比较简单的模型，是较好的模型。
参考书：1.方崇智、萧德云编著，《过程辨识》，清华大学出版社，北京，19882.蔡季冰编著，《系统辨识》，北京理工大学出版社，北京，19893.Lennart Ljung，《系统辨识－使用者的理论》（第二版），清华大学出版社，北京，2002预修课程：线性系统理论、自动控制理论基础、概率统计与随机过程第1章系统辨识的一些基本概念1.1 过程和模型1.1.1 过程（Process）●过程的描述框图（“黑箱”模型）●过程的行为特性表现在过程的输入输出数据之中。
系统辨识复习提纲1．什么是系统？什么是系统辨识？系统泛指由一群有关联的个体组成，根据预先编排好的规则工作，能完成个别元 件不能单独完成的工作的群体。
即一群有相互关联的个体组成的集合称为系统。
系统辩识就是：利用对未知系统的试验数据或在线运行数据（输入/输出数据）以及原理和原则建立系统的（数学）模型的科学。
2．什么是宽平稳随机过程，其遍历定理容是什么？答：在数学中，平稳随机过程或者严平稳随机过程，又称狭义平稳过程，是在固定时间和位置的概率分布与所有时间和位置的概率分布相同的随机过程：即随机过程的统计特性不随时间的推移而变化。
这样，数学期望和方差这些参数也不随时间和位置变化。
如果平稳随机过程()t x de 各集和平均值等于相对应的时间平均值x =μx ，()()τ+t x t x =Rx ()τ,式中x 伪随机过程()t x 的时间平均值；x μ为与以为 概率密度有关的数字特征量集合均值；Rx ()τ为自相关函数。
则称()t x 是各态遍历的平稳随机过程。
3．简述噪声模型及其分类。
P130噪声模型：)()()(111---=z C z D z H分类：1) 自回归模型，简称AR 模型，其模型结构为 )()()(1k v k e z C =- 2) 平均滑动模型，简称MA 模型，其模型结构为)()()(1k v z D k e -=3)自回归平均滑动模型，简称ARMA 模型，其模型结构为))()()()(11k v z D k e z C --=4．白噪声与有色噪声的区别是什么？答：辨识所用的数据通常含有噪声。
如果这种噪声相关性较弱或者强度很小，则可近似将其视为白噪声。
白噪声过程是一种最简单的随机过程。
严格地说，它是一种均值为零、谱密度为非零常数的平稳随机过程，或者说它是由一系列不相关的随机变量组成的一种理想化随机过程。
白噪声过程没有“记忆性”，也就是说t 时刻的数值与t 时刻以前的过去值无关，也不影响t 时刻以后的将来值。
系统辨识基础复习资料（课程代码：08243）知识点汇总：1.所谓系统，按通常的意义去理解，就是按某种相互依赖关系联系在一起的客体的集合。
2.所谓系统辨识，利用对未知系统的试验数据或在线运行数据（输入/输出数据）以及原理和原则建立系统的（数学）模型的科学。
3.系统辨识的步骤：（1）先验知识和建模目的的依据；（2）实验设计；（3）结构辨识；（4）参数估计；（5）模型适用性检验。
4.系统的数学模型，描述系统输入与输出之间数量关系的数学表达式称为系统的数学模型。
5. 目前最流行的控制系统辅助工具是Matlab。
6.机理分析和系统辨识相结合建模方法也称为“灰箱问题”。
7.机理建模这种建模方法也称为“白箱问题”。
8.频谱覆盖宽、能量均匀分布是白噪声信号的特点。
9.最小二乘法辨识方法不属于系统辨识的经典方法。
10.关于多阶最小二乘法，描述错误的是计算简单，计算量小，只用五步基本的最小二乘法可获得较好的结果。
11.渐消记忆法是指对旧数据加上遗忘因子，按指数加权来使得旧数据的作用衰减。
12.脉冲响应数学模型属于非参数型。
13.检验模型的标准是模型的实际效果，检验应从不同的侧面检验其可靠性。
14.与周期测试信号相比，阶跃响应法不能够比较准确地反映对象的动态特性。
15.闭环系统前向通道的阶次不是可辨识的。
16.使辨识系统可被辨识的最低要求是辨识时间内系统的动态必须被输入信号持续激励。
17.观测数据内容不属于系统辨识的基本内容。
18.输入数据不属于系统辨识过程中的3大要素。
19.棕箱不属于按提供的实验信息分类的建模方法。
20.数学建模不属于现代控制论的三大支柱。
21.不属于传递函数辨识的时域方法的是时间图索法。
22.关于递推算法收敛性的结论错误的是递推辅助变量法收敛于非真值。
23.设A为n×n矩阵，B为n×m矩阵，C为m×n矩阵，并且A，A+BC和I+CA-1B都是非奇异矩阵，则下列等式横成立的是[A+BC] -1=A-1-A-1B[I+CA-1B]-1CA-1。
[][]()22ˆˆ(1)(1)()()J K z z z L z L =--系统辨识考点一、 什么是系统辨识？描述其三要素及基本原理辨识的定义1：辨识就是在输入和输出数据的基础上，从一组给定的模型类中，确定一个与所测系统等价的模型。
辨识的定义2：辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型。
辨识三要素： 1、输入输出数据2、模型类: 如系数待定的差分方程3、等价准则:辨识的原理：使真实输出数据和模型输出数据差的加权平方和最小辨识的步骤：设计辨识实验，获取实验数据；选择模型类，即模型结构；选择等价准则；求解优化问题，计算模型；模型校验。
重复上述步骤，直到通过模型校验。
系统框图：二、经典系统辨识方法总结1、非参数化方法（结果由表格、曲线、图像表示）（1）瞬态分析主要包括阶跃响应分析和脉冲响应分析，均属于时域分析。
实验测得阶跃响应作为辨识依据，从稳态特性提取前馈增益k ，从瞬态和初态特性推断时滞参数和惯性参数。
脉冲响应是利用线性、定常被辨识系统的输入、输出信息，通过脉冲响应来辨识系统的数学模型。
（2）相关分析，属于时域分析，针对噪声对系统辨识的影响提出该方法，利用输入输出的互相关函数去除噪声和高次谐波的影响，利用001()()()()yu u u k R g R g k R k τττ∞==*=-∑ 的关系，即可辨识g 。
（3）频率响应分析，属于频域分析，只适用于周期信号，计算11()()cos Nc t I N y t wtN ==∑11()()sin Ns t I N y t wtN==∑，则可以得到系统的幅值与相角G = ，1sc I tg I φ-=-（4）谱分析，属于频域分析，() ()()yujwuS w G eS w-=2、参数化方法（1）最小二乘法：（2）最大似然法（3）卡尔曼滤波，一种先进的最优化自回归数据处理算法，其能在测量方差已知的情况下从一系列存在测量噪声的数据中估计动态系统的状态.三、白噪声有什么特性？如何生成M序列？1、白噪声(定义及特性)2、如何生成M序列（画出框图）M序列的步骤：1.选择M序列的参数：阶次P(周期N P), 幅度a，时钟节拍∆t2.按表2.11选择合适的特征多项式3.给定序列的初值x0x1…x P-1 (C P C P-1…C1 )4.按照M序列的生成结构（寄存器）生成M序列，得到x k5.将“0”→a、“１”→-a，得到M(t)邓萌萌PPT379 243页开始好好看一下。
系统辨识复习提纲1． 什么是系统？什么是系统辨识？答：系统泛指由一群有关联的个体组成，根据预先编排好的规则工作，能完成个别元 件不能单独完成的工作的群体。
即一群有相互关联的个体组成的集合称为系统。
系统辩识就是：利用对未知系统的试验数据或在线运行数据（输入/输出数据）以及原理和原则建立系统的（数学）模型的科学。
2． 什么是宽平稳随机过程，其遍历定理内容是什么？答：在数学中，平稳随机过程或者严平稳随机过程，又称狭义平稳过程，是在固定时间和位置的概率分布与所有时间和位置的概率分布相同的随机过程：即随机过程的统计特性不随时间的推移而变化。
这样，数学期望和方差这些参数也不随时间和位置变化。
如果平稳随机过程()t x de 各集和平均值等于相对应的时间平均值 x =μx ，()()+t x t x =Rx ()τ,式中x 伪随机过程()t x 的时间平均值；x μ为与以为 概率密度有关的数字特征量集合均值；Rx ()τ为自相关函数。
则称()t x 是各态遍历的平稳随机过程。
3． 简述噪声模型及其分类。
P130噪声模型：)()()(111---=z C z D z H 分类：1) 自回归模型，简称AR 模型，其模型结构为 )()()(1k v k e z C =- 2) 平均滑动模型，简称MA 模型，其模型结构为)()()(1k v z D k e -=3)自回归平均滑动模型，简称ARMA 模型，其模型结构为))()()()(11k v z D k e z C --=4． 白噪声与有色噪声的区别是什么？答：辨识所用的数据通常含有噪声。
如果这种噪声相关性较弱或者强度很小，则可近似将其视为白噪声。
白噪声过程是一种最简单的随机过程。
严格地说，它是一种均值为零、谱密度为非零常数的平稳随机过程，或者说它是由一系列不相关的随机变量组成的一种理想化随机过程。
白噪声过程没有“记忆性”，也就是说t 时刻的数值与t 时刻以前的过去值无关，也不影响t 时刻以后的将来值。
一、概念题1. 请给系统辨识下个定义。
2. 如何获得适合辨识的观测数据？3. 系统辨识有哪些应用？4. 为何要将辨识数据标准化？如何标准化？5. 白噪声的定义是什么?6. 什么是M 序列?7. 线性系统的结构由哪些参量来描述? 8. 什么是预报误差模型? 二、计算与问答题9. 请用双线性变换将连续传递函数)2(1)(++=s s s s W 转换为离散传递函数(T=0.5s)。
10. 一被识系统的观测数据含有有色噪声E(k)。
拟选的参考模型为A(q -1)y(k)=B(q -1)u(k)+E(k)请问：1)用LS 能否得到A(q -1)和B(q -1)的无偏估计？为什么？2)如果将)()(ˆ)(ˆ)(ˆ11k u q Aq Bk y LSLS --=作为辅助变量，能否得到A(q -1)和B(q -1)的无偏估计？写出此时的计算公式。
11. 试述相关最小二乘二步法的适用条件和计算过程。
12. 已选择被识系统的参考模型为)()(1)()()()(111k w q C k u q A q B k y ---+=，其中w(k)为白色噪声。
为了进行递推辨识，请将模型改写为伪线性回归形式，并给出其中所有估计量的表达式。
13. 试述一种多步最小二乘法的适用条件和计算过程。
14. 已选择被识系统的参考模型为)()()()()()(111k w q D k u q A q B k y ---+=，其中w(k)为白色噪声。
为了进行递推辨识，请将模型改写为伪线性回归形式，并给出其中所有估计量的表达式。
15. 如果一个系统的部分参数已知（例如，A(q-1)y(k)=B(q-1)u(k)+w(k)中，A(q-1)已知，B(q-1)未知），你怎么去辨识其他未知参数？写出你的计算公式。
16. Matlab 中Rand 函数产生的随机数是不是白噪声?说出你的理由。
17. 逐步回归法辨识模型结构的原理是什么？18. 结构判断准则FPE 和AIC 的共同特点是什么？ 三、选择题1）要辨识一个实际系统，正确的获得辨识数据的过程是：A 在实验室做模拟仿真B 在被辨识系统处于正常工况时采集数据C 通过施加激励信号，使被辨识系统处于非正常工况时采集数据D 在实验室做数字仿真2）过滤观测数据中的噪声，正确的方法是：A 对系统输出数据做低通滤波B 对系统输入数据做低通滤波C 对系统输入、输出数据做不同的滤波D 对系统输入、输出数据做相同的滤波3) 最小二乘法的适用模型是：A 带白色噪声的线性回归模型；B 带白色噪声的连续传递函数模型；C 带白色噪声的离散传递函数模型；D 带白色噪声的伪线性回归模型；4)辨识结果是否好的标准是：A 模型阶次是小的；B 参数估计误差是小的；C 输出估计误差是小的；D 模型是稳定的；5)对于模型A(q -1)y(k)=B(q -1)u(k)+E(q -1)w(k)，A(q -1)、B(q -1)、E(q -1)均是多项式。
1请叙述系统辨识的基本原理（方框图），步骤以及基本方法定义：系统辨识就是从对系统进行观察和测量所获得的信息重提取系统数学模型的一种理论和方法。
辨识定义：辨识有三个要素——数据、模型类和准则。
辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型辨识的三大要素：输入输出数据、模型类、等价准则基本原理：步骤：对一种给定的辨识方法，从实验设计到获得最终模型，一般要经历如下一些步骤：根据辨识的目的，利用先验知识，初步确定模型结构；采集数据；然后进行模型参数和结构辨识；最后经过验证获得最终模型。
基本方法：根据数学模型的形式：非参数辨识——经典辨识，脉冲响应、阶跃响应、频率响应、相关分析、谱分析法。
参数辨识——现代辨识方法（最小二乘法等）2随机语言的描述白噪声是最简单的随机过程，均值为零，谱密度为非零常数的平稳随机过程。
白噪声过程（一系列不相关的随机变量组成的理想化随机过程）相关函数： 谱密度： 白噪声序列，白噪声序列是白噪声过程的离散形式。
如果序列 满足： 相关函数： 则称为白噪声序列。
谱密度：M 序列是最长线性移位寄存器序列，是伪随机二位式序列的一种形式。
M 序列的循环周期 M 序列的可加性：所有M 序列都具有移位可加性辨识输入信号要求具有白噪声的统计特性 M 序列具有近似的白噪声性质，即 M 序列“净扰动”小，幅度、周期、易控制，实现简单。
3两种噪声模型的形式是什么 第一种含噪声的被辨识系统数学模型0011()()()()n ni i i i y k ay k i b u k i v k ===-+-+∑∑，式中,噪声序列v(k)通常假定为均值为零独立同分布的平稳随机序列,且与输入的序列u(k)彼此统计独立. 上式写成：0()()()T y k k v k ψθ=+。
其中，()()()()()()()=1212T k y k y k y k n u k u k u k n ψ------⎡⎤⎣⎦L L ，，，，，，，)()(2τδστ=W R +∞<<∞-=ωσω2)(W S )}({kW Λ,2,1,0,)(2±±==l l R l W δσ2)()(σωω==∑∞-∞=-l l j W W e l R S ⎩⎨⎧≠=≈+=⎰0,00,Const )()(1)(0ττττT M dt t M t M T R bit )12(-=P P N第二种含噪声的被辨识系统数学模型：它与第一种的区别仅在于噪声的状况不同，第二种被辨识系统如下图所示：ξ(k)为噪声序列，假设为零均值独立同分布的平稳随即序列，且 ()()()y k x k k ξ=+ 由由以上两式可推导出0011()()()()n ni i i i y k a y k i b u k i v k ===-+-+∑∑，式中01()()()n i i v k k a k i ξξ==--∑4阐述最小二乘辨识方法的原理、数学模型以及推导数学模型：推导过程：含噪声的数学模型为：0011()()()()n ni i i i y k ay k i b u k i v k ===-+-+∑∑ 式中,噪声序列v(k)通常假定为均值为零独立同分布的平稳随机序列,且与输入的序列u(k)彼此统计独立. 上式写成：0()()()T y k k v k ψθ=+ 0θ是被辨识系统的真实参数向量(2n 维,n 为系统的阶数)。
为了采用最小二乘法进行参数估计,令上式中的k=n+i,n+i+1,…N+i,并写成矩阵形式,其中I,N 均为正整数.则有 0()()()Y N N V N θ=ψ+如果我们根据上述辨识系统的输入输出观测信息来构造一个模型,其中参数向量为1212[]Tn n a a a bb b θ=L L 。
则应有11()()()(,)n ni i i i y k a y k i b u k i e k θ===-+-+∑∑ 并定义其中e (k,θ）为方程误差.在这种情况下,方程的误差项除了噪声v(k)误差外,还应包括由于模型参数θ不等于真实参数θ0而引起的误差.显然有0(,)()e k v k θ=，导出()()(,)Y N N N θεθ=ψ+。
(,)N εθ为向量方程误差。
(,)()()N Y N N εθθ=-ψ()(,)(,)[()()][()()]T T J N N Y N N Y N N θεθεθθθ==-ψ-ψ最小二乘的基本思想是:找到一个 0θ的估计值θ∧，使性能指标2()(,)(,)(,)N def T Tk n J N N e k θεθεθεεθ=−−→==∑取极值。
根据一阶倒数为零，二阶偏导大于零，那么从上式中可解出122()()2T T LS T YJ θθθ∧-=ψψψ∂=ψψ∂。
优缺点：最小二乘法具有简单实用、递推算法的收敛可靠、几乎不需要验前统计知识等优点，而且当方程误差为白噪声的条件下，最小二乘参数估计是无偏的、一致和有效的估计。
所以它是一种最基本的参数估计方法，并且得到了广泛的应用。
但它具有以下两方面的缺点：当模型噪声是有色噪声时，最小二乘参数估计不是无偏的、一致的估计；递推最小二乘法随着数据的增长，将出现所谓的“数据饱和”现象。
5递推最小二乘的基本思想它的基本思想可以概括为：本次(新)的估计值 ()k θ∧ = 上次(老)的估计值 (1)k θ∧- + 修正项即利用本次观测的结果对老的观测数据进行修正。
递推公式的推导：1(11)(1)()(1)[(1)(1)()](12)(1)(1)(1)(1)()(1)(1)()(13)(1)()(1)(1)()(1)T WLS WLS WLS T T N N L N y N N N L N P N N w N P N N N P N P N P N w N N P N N θθψθψψψψψ∧∧∧--+=+++-+-+=+++++-+=-++++ 在公式1-1中，(1)WLS N θ∧+为本次新的估计值，()WLS N θ∧为上次老的估计值，(1)[(1)(1)()]TWLS L N y N N N ψθ∧++-+为修正项。
且L(N+1)为增益矩阵。
6最小二乘的统计特性无偏性：无偏性是用来衡量估计值是否围绕真值波动，它是估计值的一个重要统计特 性。
所谓无偏性，通俗一点讲，它是指：设 是 的一个估计值，满足 一致性：估计值的一致性，是人们最关系的一种统计特性。
如果估计值具有一致性，说明当样本无限增大时，它将以概率1收敛于真值。
谓估计的一致性是指：如果根据无穷多的输入、输出信息（即 N →∞ ），所得到的估计 无限趋近于真值 有效性：有效性是估计的另一个重要统计特性。
它意味着估计值偏差的均方差阵将达到最小值。
从无偏性的要求来看，无偏估计量不是唯一的。
这就需要在无偏估计量中选择好的。
估计值的均方误差是衡量估计值好坏的重要指标。
7广义最小二乘基本思想提出：广义最小二乘法（GLS ）是针对有色噪声不能给出无偏一致估计，而在最小二乘法基础上作了某些改进的一种参数估计方法。
基本思想：把一个含有噪声的模型0()()()Y N N V N θ=ψ+中的有色噪声 ()V N 经过形成滤波器(称白化滤波器)转化为零均值的白噪声 ()M N （噪声滤波）。
进而将模型化成一个等ˆθ0ˆE()θθ=效的含有白噪声的模型。
**0()()()Y N N M N θ=ψ+然后针对这一等效的模型，再用最小二乘法求出0θ的一致估计。
8限定记忆最小二乘如何提出？解决什么问题？基本思想？增长记忆估计： 递推最小二乘法中，利用不断增长的全部观测信息，包括历史观测数据和最新观测数据。
通过不断递推计算来获得模型参数。
限定记忆估计：进行参数估计时，所取得的观测数据始终是有限组的最新观测数据，每增加一组最新的观测数据，就随即丢弃一组最老的观测数据。
提出: 限定记忆最小二乘是最小二乘的改进，适用时变参数估计的一种递推算法。
它可以有效地克服数据饱和现象，防止估计发散。
基本思想：1ˆˆˆ()(1)(1)N N N LS LS LS N N N θθθ+−−−→+−−−−−→+递推去掉一组老数据 其中ˆ()N LSN θ⇒是N 时刻基于(),(1),,(1);(),(1),,()u n u N u N y n y n y N +-+L L 这2N+1个数据情况下的最小二乘估计；1ˆ(1)N LS N θ++⇒是N+1时刻获得一组数据u （N ）,y(N+1)后根据ˆ()N LSN θ递推得到的最小二乘估计；ˆ(1)N LSN θ+⇒是N+1时刻获得一组新数据u(N),y(N+1)后，去掉一组最早的数据， u(n), y(n)；根据u(n+1),u(n+2),…,u(N);y(n+1),y(n+2),…,y(N+1)这2N+1个数据得到的参数估计值。
显然，这种方法所获得的参数估计始终是2N+1个最新数据所提供的信息，每增加一组新数据，就要去掉一组最早的数据，数据长度始终保持不变，起到了隔断历史数据的最用。
所以，它能够更有效地克服数据饱和，防止估计发散。
9谈谈对系统辨识应用的理解？系统辨识是建模的一种方法，包括经典的系统辨识方法和现代的系统辨识，不同的学科领域，对应着不同的数学模型。
从某种意义上来说，不同学科的发展过程就是建立他的数学模型的过程。
辨识问题可以归结为用一个模型来表示客观系统(或将要构造的系统)本质特征的一种演算，并用这个模型把对客观系统的理解表示成有用的形式。
当然也可以有另外的描述，辨识有三个要素：数据，模型类和准则。
辨识就是按照一个准则在一组模型类中选择一个与数据拟合得最好的模型。
总而言之，辨识的实质就是从一组模型类中选择一个模型，按照某种准则，使之能最好地拟合所关心的实际过程的静态或动态特性。
