极大似然参数辨识方法
- 格式：doc
- 大小：699.00 KB
- 文档页数：9
下载文档原格式
合集下载
参数辨识算法
参数辨识算法
参数辨识算法是一种用于确定未知系统参数的算法，其主要应用于控制系统、信号处理、通讯系统等领域。
该算法通过输入输出数据的分析，推导出系统的参数，以便更好地理解和控制系统行为。
常见的参数辨识算法包括极大似然估计法、最小二乘法、系统辨识工具箱等。
极大似然估计法是一种基于统计学的参数辨识算法，其原理是通过观察到的数据，计算一组最有可能的参数值，使得该参数下的系统输出数据和观察到的数据尽可能接近。
最小二乘法是另一种常用的参数辨识算法，其原理是通过最小化模型输出与实际输出之间的误差，推导出最优参数值。
系统辨识工具箱是一种集成各种参数辨识方法的软件工具，可快速方便地进行系统辨识。
参数辨识算法在控制系统中的应用非常广泛，例如，用于飞机、汽车、机器人等机械系统的运动控制，以及用于噪声控制、降噪处理等领域。
在通讯系统中，参数辨识算法可用于信道估计、信号跟踪、调制识别等方面。
总之，参数辨识算法在现代科技中扮演着重要的角色，它对于提高系统控制和信号处理的精度和可靠性具有重要意义。
- 1 -。
极大似然法原理
极大似然法原理在统计学中，极大似然法是一种常用的参数估计方法。
它的原理是基于已知数据集的情况下，通过寻找最大概率使模型参数最接近真实值。
接下来，我们将围绕极大似然法原理进行分步骤的阐述。
第一步，定义似然函数。
似然函数是指在已知数据集的情况下，模型参数的取值所产生的概率。
假设我们要估计一个二项分布模型的参数p，数据集中有n个实例，其中有m个成功实例（成功实例概率为p）。
那么这个模型的似然函数可以表示为：L(p;m,n) = C(n,m) * p^m * (1-p)^(n-m)其中，C(n,m)表示从n个实例中选择m个成功的组合数。
这个式子中，p取值不同，所对应的似然函数值也不同。
第二步，求解极大化似然函数的参数值。
在求解参数值时，我们要找到一个能使似然函数取到最大值的p值。
这个过程可以通过求解似然函数的导数为零来实现。
即：dL/dp = C(n,m) * [m/(p)] * [(n-m)/(1-p)] = 0这个式子中，p的值是可以求出来的，即为p = m / n。
这个p值被称为最大似然估计值，意味着在该值下，似然函数取值最大。
这个值也是对真实参数值的一个良好估计。
第三步，检验极大似然估计值的可靠性。
为了检验极大似然估计值的可靠性，我们需要进行假设检验。
通常我们会计算一个置信区间，如果实际参数值在置信区间内，那么我们就认为估计值是可靠的。
置信区间可以通过计算似然函数的二阶导数来得到。
即：d^2L/dp^2 = -C(n,m) * [m/(p^2)] * [(n-m)/((1-p)^2)]计算得到极大似然估计值的二阶导数在该参数值下是负数。
根据二阶导数的符号，可以确定p = m / n是最大值，同时也可以计算出该置信区间的范围。
在这个过程中，我们还需要参考似然比值，以便更好地确定参数估计值。
综上所述，极大似然法是统计学中重要的一种参数估计方法。
它的原理在求解模型参数时非常实用，能够帮助我们更好地估计真实值，从而使得我们的模型更加准确。
各种参数的极大似然估计
各种参数的极大似然估计1.引言在统计学中，参数估计是一项关键任务。
其中，极大似然估计是一种常用且有效的方法。
通过极大化似然函数，我们可以估计出最有可能的参数值，从而进行推断、预测和优化等相关分析。
本文将介绍各种参数的极大似然估计方法及其应用。
2.独立同分布假设下的参数估计2.1参数估计的基本理论在独立同分布假设下，我们假设观测数据相互独立且具有相同的概率分布。
对于一个已知的概率分布，我们可以通过极大似然估计来估计其中的参数。
2.2二项分布参数的极大似然估计对于二项分布，其参数为概率$p$。
假设我们有$n$个独立的二项分布样本，其中成功的次数为$k$。
通过极大似然估计，我们可以得到参数$p$的估计值$\h at{p}$为：$$\h at{p}=\f ra c{k}{n}$$2.3正态分布参数的极大似然估计对于正态分布，其参数为均值$\mu$和标准差$\si gm a$。
假设我们有$n$个独立的正态分布样本，记为$x_1,x_2,...,x_n$。
通过极大似然估计，我们可以得到参数$\mu$和$\si gm a$的估计值$\h at{\m u}$和$\ha t{\s ig ma}$分别为：$$\h at{\mu}=\f rac{1}{n}\su m_{i=1}^nx_i$$$$\h at{\si gm a}=\s q rt{\fr ac{1}{n}\s um_{i=1}^n(x_i-\h at{\mu})^2}$$3.非独立同分布假设下的参数估计3.1参数估计的基本理论在非独立同分布假设下，我们允许观测数据的概率分布不完全相同。
此时，我们需要更加灵活的方法来估计参数。
3.2伯努利分布参数的极大似然估计伯努利分布是一种二点分布，其参数$p$表示某事件发生的概率。
假设我们有$n$组独立的伯努利分布样本，其中事件发生的次数为$k$。
通过极大似然估计，我们可以得到参数$p$的估计值$\h at{p}$为：$$\h at{p}=\f ra c{k}{n}$$3.3泊松分布参数的极大似然估计泊松分布是一种描述罕见事件发生次数的概率分布，其参数$\la mb da$表示单位时间（或单位面积）内平均发生的次数。
参数辨识方法
参数辨识方法指通过实验数据或观测结果，推断或估计系统或模型的参数值的一类方法。
这些方法通常用于建立数学模型、探索系统行为、优化控制策略等领域。
以下是几种常见的参数辨识方法：
1. 最小二乘法（Least Squares Method）：最小二乘法是一种常见的参数辨识方法，通过最小化实际观测值与模型预测值之间的差异来估计参数。
它适用于线性和非线性模型，并可考虑测量误差。
2. 极大似然估计（Maximum Likelihood Estimation）：极大似然估计是一种统计方法，用于通过最大化观测数据的似然函数来估计参数。
它适用于概率模型和随机过程的参数辨识。
3. 遗传算法（Genetic Algorithms）：遗传算法是一种优化算法，可以用于参数辨识问题。
它模拟生物进化过程中的选择、交叉和变异等操作，通过迭代搜索来找到最优参数组合。
4. 粒子群优化算法（Particle Swarm Optimization）：粒子群优化算法是一种启发式优化算法，模拟鸟群或鱼群的行为，通过协作和信息共享来寻找最优参数组合。
5. 系统辨识理论（System Identification Theory）：系统辨识理论提供了一系列数学和统计方法，用于从实验数据中推断系统的结构和参数。
它涵盖了许多方法，包括参数估计、频域分析、时域分析等。
这些方法的选择取决于具体的应用和问题领域。
不同方法有不同的假设和适用条件，需要根据实际情况选择合适的参数辨识方法来获得准确的参数估计。
参数辨识的过程
参数辨识的过程一、引言参数辨识是指根据已知的输入输出数据，通过建立数学模型，对系统的未知参数进行估计和辨识的过程。
在科学研究和工程实践中，参数辨识对于系统建模、控制与优化等问题具有重要意义。
本文将介绍参数辨识的基本概念、方法和应用。
二、参数辨识的基本概念1. 参数：在数学模型中，描述系统特性的未知量被称为参数。
参数可以是物理量、几何参数或统计参数等。
2. 辨识：辨识是指根据已知的输入输出数据，对系统的未知参数进行估计和推断的过程。
3. 数学模型：数学模型是对系统行为进行描述的数学表达式，可以是线性或非线性、时变或时不变的。
三、参数辨识的方法1. 参数估计法：参数估计是指通过最小二乘法或极大似然估计等方法，利用已知的输入输出数据，对系统的未知参数进行估计。
2. 信号处理法：信号处理方法通过对输入输出信号进行滤波、频谱分析等处理，提取系统的频率响应特性，进而推断系统的参数。
3. 优化方法：优化方法通过调整系统参数，使得系统输出与实际观测值之间的误差最小化，从而得到最优参数估计。
4. 神经网络方法：神经网络是一种模仿生物神经网络结构和功能的数学模型，可以通过训练神经网络，得到系统的参数估计。
四、参数辨识的应用1. 控制系统设计：参数辨识可以用于建立系统的数学模型，从而设计出有效的控制算法，实现系统的自动控制。
2. 机器学习：在机器学习领域，参数辨识可以用于训练模型，对大数据进行分析和预测。
3. 信号处理：参数辨识可以用于信号处理领域中的滤波、频谱分析等问题。
4. 物理实验：在物理实验中，参数辨识可以用于对物理系统的特性进行分析和实验验证。
五、参数辨识的挑战和发展方向1. 噪声干扰：在实际应用中，系统输入输出数据往往受到噪声的影响，这给参数辨识带来了挑战。
2. 非线性系统：大多数实际系统都是非线性的，参数辨识方法需要考虑非线性系统的特性。
3. 多参数辨识：往往一个系统存在多个参数需要辨识，参数辨识方法需要考虑多参数辨识的问题。
系统辨识课件5
T
cˆn
YN y(n 1) y(n N)T
eN e(n 1) e(n N)T
y(n) y(1) u(n 1) u(1) e(n) e(1)
ΦN
y(n 1)
y(2) u(n 2) u(2)
e(n 1)
e(2)
y(n N 1) y(N) u(N) u(N) e(n N 1) e(N)
N
(3)计算梯度矩阵及海赛矩阵
J nN e(k ) e(k )
θ k n1
θ
T
e(k ) θ
e(k )
a1
e(k ) an
e(k) b0
e(k ) bn
e(k) c1
e(k )
cn
2 J
θ 2
nN e(k) k n1 θ
e(k) θ
T
nN k n1
e(k
)
2e(k θ 2
lnL 0 θ
(4.2)
由(4.1)或(4.2)解出的θ即为极大似然估计 θˆ ML
4.2 差分方程的极大似然辨识
1.白噪声情况
系统差分方程：
a(z-1) y(k ) b(z-1)u(k ) ξ(k )
式中，ξ(k)为高斯白噪声序列且与u(k)无关。 上式写成向量形式为：
YN Φ N θ ξ
系统估计残差为：
eN YN ΦNθˆ
eN e(n 1) e(n 2) e(n N)T
由于ξ(k)为高斯白噪声，故而e(k)也为高斯白噪声。
设e(k) 方差为 2。
因为高斯分布概率密度函数：
p (e(k) θˆ)
1
e2 (k)
exp[
]
(2πσ 2 )1/ 2
机械系统的模型识别与参数辨识
机械系统的模型识别与参数辨识在工程领域中，机械系统的模型识别与参数辨识是非常重要的。
通过对机械系统模型的识别和参数的辨识，可以帮助工程师更好地理解系统的行为，并进行控制和优化。
一、机械系统模型的识别机械系统模型的识别是指通过实验或者仿真数据，确定系统的动力学方程。
机械系统一般可以用微分方程来描述，通过对系统输入输出信号的测量，可以建立起系统的数学模型。
机械系统模型的识别有多种方法，其中常用的包括频域方法和时域方法。
频域方法通过对系统的输入输出信号进行频谱分析，得到系统的频率响应函数。
时域方法则是基于系统的微分方程，通过对输入输出信号的时域响应进行分析来获得系统的模型。
机械系统模型的识别不仅能够帮助工程师理解系统的行为，还可以用于控制系统的设计和分析。
通过建立准确的模型，可以更好地设计系统控制器，提高系统的稳定性和性能。
二、机械系统参数的辨识机械系统参数的辨识是指通过实验或者仿真数据，确定系统的参数值。
在建立了机械系统的模型之后，为了能够准确控制系统，还需要得到系统的参数值。
机械系统参数的辨识可以通过多种方法实现，其中常用的方法包括最小二乘法和极大似然估计法。
最小二乘法通过最小化实际输出和模型预测输出之间的误差，来得到最优参数值。
极大似然估计法则是寻找最有可能使得观测到的数据出现的参数。
机械系统参数的辨识对于系统的控制和优化非常重要。
通过准确辨识系统的参数，可以更好地设计控制器，使得系统的性能更加优越。
此外，在故障诊断和系统维护中，准确的参数辨识也发挥着重要作用。
三、机械系统模型识别与参数辨识应用实例为了更好地理解机械系统的模型识别与参数辨识的应用，下面以一个摆锤系统为例进行说明。
摆锤系统是一个常见的机械系统，可以用一个简单的微分方程模型来描述。
通过对摆锤系统的输入输出信号进行测量和分析，可以获得系统的模型和参数。
在实际应用中，摆锤系统的模型识别和参数辨识可以用于控制系统的优化和故障诊断。
例如，在控制系统设计中，通过识别摆锤系统的模型，可以设计出更加稳定和精确的控制器。
参数估计极大似然法
将其取对数,然后对 1 , 2 ,, 2 , , k ) 0 1 ln L( 1 , 2 , , k ) 0 k
该方程组的解 ˆi ˆi (x1, x2 ,, xn ),i 1,2,, k , 即为 i 的极 大似然估计值.
求极大似然估计的一般步骤归纳如下：
（1）求似然函数 L( ) ；
（2）求出 ln L( ) 及方程
d ln L( ) 0 d
；
（3）解上述方程得到极大似然估计值
ˆ ˆ( x , x ,, x ) 1 2 n .
（4）解上述方程得到极大似然估计量
ˆ ˆ( X , X ,, X ) 1 2 n .
令
ˆ( x , x ,, x ) 解此方程得θ的极大似然估计值 1 2 n ,
从而得到θ的极大似然估计量ˆ( X1, X 2 ,, X n ) .
因为 解方程
L( )
与
ln L( )
具有相同的最大值点
d ln L( ) 0 d
也可得θ的极大似然估计值
ˆ( x , x ,, x ) 和θ的极大似然估计量 ˆ( X , X ,, X ) . 1 2 n 1 2 n
~ x d 2 ln L() 且 0 2 d ~ x
~ 从而得出λ的极大似然估计量为 X
例：设总体 X 服从参数为λ 的指数分布，其中λ 未
( x1 , x2 ,, xn ) ( X 1 , X 2 ,, X n ) 为从总体抽取一个样本， 知，
为其样本观测值， 试求参数λ 的极大似然估计值和 估计量.
例:设随机变量X服从泊松分布:
P{ X k}
k e
k!
,
极大似然估计方法
极大似然估计方法极大似然估计（Maximum Likelihood Estimation，MLE）方法是一种用于估计参数的统计方法，它基于观测到的样本数据，通过选择最大化观测数据出现的概率的参数值来估计未知参数。
极大似然估计是概率论和统计学中最重要的方法之一，广泛应用于各个领域的数据分析与建模中。
极大似然估计方法的核心思想是基于某一参数下观测数据出现的概率，选择使得这个概率最大的参数值。
具体而言，给定一个观测数据集合X，其来自于一个具有参数θ的概率分布，我们要估计未知参数θ的值。
极大似然估计的目标是找到一个参数值θ^，使得给定θ^条件下观测数据集合X出现的概率最大。
数学上，极大似然估计可以通过最大化似然函数来求解。
似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。
极大似然估计的目标是寻找一个参数θ^，使得似然函数最大化，即：θ^ = arg max L(θ|X)为了方便计算，通常将似然函数转化为其对数形式，即对数似然函数：l(θ|X) = log L(θ|X)本文将主要介绍如何利用极大似然估计来估计参数。
具体而言，将分为两个部分：首先是介绍极大似然估计的理论基础，包括似然函数和对数似然函数的定义，以及如何通过最大化似然函数来估计参数；其次是通过一个实际的例子，展示如何使用极大似然估计来求解参数。
理论基础似然函数是极大似然估计的核心概念之一。
似然函数是一个参数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的定义如下：L(θ|X) = P(X|θ)数的函数，表示给定某个参数θ下观测数据出现的概率。
似然函数的值越大，则表示给定参数θ的取值越可能产生观测数据X。
对数似然函数是似然函数的对数变换，通常在实际计算中会更加方便。
它的定义如下：l(θ|X) = log L(θ|X)对数似然函数和似然函数存在着一一对应关系，因此在求解参数时，两者等价。
极大似然估计法及其在统计中的应用
极大似然估计法及其在统计中的应用统计学是一门研究样本数据的收集、分析和解释的学科。
统计方法在各个学科中都有着广泛的应用，例如医学、经济学、社会学、心理学等。
而在统计中，极大似然估计法是一种常用的推断方法，本文将详细介绍极大似然估计法及其在统计学中的应用。
一、极大似然估计法的基本原理极大似然估计法的基本思想是：在已知样本的前提下，选择一个最合适的参数值，使得样本中出现该参数值的概率最大。
这里的“概率”指的是似然函数，即以参数值为自变量，样本出现的概率为因变量的函数。
以简单的二项分布为例，其概率函数为：P(X=k)=C(n,k)p^k(1-p)^(n-k)其中，X表示二项分布的随机变量，k表示X的取值，n表示试验次数，p表示成功的概率。
在已知样本的情况下，极大似然估计法的目标是确定p的最佳估计值。
首先，根据已知样本的情况，似然函数L(p)为：L(p)=f(x1)f(x2)...f(xn)其中，f(x)表示二项分布中取值为x的概率密度函数，n表示样本容量，x1,x2,...,xn为样本中的数据。
而根据似然函数的定义，选择最合适的p值即为最大化似然函数L(p)。
因此，极大似然估计法的估计值为：p^=argmax L(p)最后，通过求解该表达式的导数，可以求得p的最佳估计值为：p^=k/n其中，k表示样本中成功的次数，n表示样本容量。
二、极大似然估计的应用极大似然估计法在统计学中有着广泛的应用，本节将介绍其中的一些常见应用。
1. 线性回归在线性回归中，极大似然估计法通常被用来估计参数向量。
对于给定的样本数据，线性回归的目标是找到一组最优参数，使得样本数据的误差平方和最小。
而误差平方和的似然函数则可以表示为一个高斯分布的概率密度函数。
通过极大似然估计法，可以求解该高斯分布的均值和方差，从而得到最佳参数估计值。
2. 逻辑回归在逻辑回归中，极大似然估计法通常被用来估计模型中的系数。
逻辑回归是一种用来处理二元分布数据的分类算法，其目标是根据已知的样本数据，预测模型中某个事件发生的概率。
状态空间双线性系统的极大似然辨识
２Ｓ ｈ ｏ ｆＥ ｅｔｉａ ｎ ｌｃｒｎｃ Ｅ ｇｎ ｅｉｇ Ｅ ｓ ｉａ Ｊａ ｔｎ ｉｅｓ ， ｎ ｈ ｎ ３ ０ ３ Ｃ ｉａ ．ｃ ｏ ｌｏ ｌｃｒｃ ｌａ ｄ Ｅ ｅｔｏ ｉ ｎ ｉｅ ｒ ， ａｔＣｈｎ ｉｏｏ ｇ Ｕｎｖ ｒｉ Ｎａ ｃ ａ ｇ ３ ０ １ ， ｈｎ ｎ ｙ ｔ
２ ． 华东交通大学 电气与电子工程学院 ， 南昌 ３ ０ ３ １０ ３
１Ｃｏｌ ｇｅ ． ｌ ｏｆ Ｉ ｏｒ ａｉ ｎ ｅ ｎｆ ｍ ｔｏ Ｓｃｅ ｅ ｎ Ｅｎｇｉ ｅ ｉｇ， ｎ ｒ ｌ ｉｎｃ ａ ｄ ｎｅ ｒｎ Ｃｅ ｔａ Ｓｏ ｈ ｕｔ Ｕｎｉ ｒｉｙ， ｖｅ ｓｔ Ｃｈａ ｇｓ ４１ ０８ Ｃｈ ｎ ｎ ｈａ ０ ３， ｉ ａ
ＺＨ Ｏ ＮＧ Ｌｕｓ ｎｇ，ＦＡＮ Ｘｉ ｏ ｎｇ，ＹＡＮ Ｇ Ｈ ｕｉ ｔ ａ ． ａｘｍ ｕｍ ・ ｋｅ ｈｏ ｉ ｎｔｆｃ ｉｏｎ ｏ ｓ ａ ｅ ｓ ｃ ｂｉ ｎｅ ｒ ｓ ｔ ｓ ｈｅ ａ ｐｉ ，ｅ １Ｍ ｉ ｉ ｉ ｆ ｆ ｏｄ ｄｅ ｉｉ ａｔ ｆ ｔ ｔ —ｐａ ｅ ｌ ａ ｙｓｅｍ ． ｉ
摘
要 ： 出了状 态空间双线性 系统的极 大似 然辨识方法。得到 了以输入． 出序 列为条件概率 的似 然函数解析表达式 ， 导 了 提 输 推
极大化似然函数的参数矩阵计算公式 ， 出适用于双线性 系统状 态估计 的改进卡 尔曼滤波方法 ， 给 以及辨识 系统参数 的迭代估计 算法。
Ｃｏ ｕ ｅ ｇｎ ｅ ｉｇ ａ ｄ Ａｐ ｌ ａｉｎ 。０ １ ４ （ ０） １ ０ １ ２ ｍｐ ｔｒ Ｅｎ ｉｅ ｒｎ ｎ ｐｉ ｔｏ ｓ ２ １ ， ７ １ ：１ － １ ． ｃ
Ａｂ ｔ ａ ｔ Ｍ ａ ｉ ｍ ｌ ｅ ｉｏ ｄ ｉ ｅ ｔ ｃ ｔ ｎ Ｓ ｒ ｐ ｓ ｄ ｏ ａ ａ ｔｒ ｓｉ ｔ ｎ ｆ ｓａｅ ｓ ａ ｅ ｉ ｎ ａ ｓ ｓ ｍｓＴ ｅ ｉ ｅ ｉ ｓｒ ｃ ： ｘ ｍｕ ｉ ｌ ｏ ｄ ｎ ｉ ａｉ ｉ ｋ ｈ ｉ ｆ ｏ ｐ ｏ ｏ ｅ ｆ ｒ ｐ ｒ ｍｅｅ ｅ ｔ ｍａｉ ｏ ｔ ｔ．ｐ ｃ ｂ ｌ ｅ ｏ ｉ ｒ ｙｔ ｅ ． ｈ ｌ ｌ ｋ ．
模型参数辨识方法
模型参数辨识方法1.最小二乘法（Least Squares Method）最小二乘法是一种常用的参数辨识方法，它通过最小化观测数据与模型预测值之间的平方误差来确定模型的参数值。
最小二乘法可以用于线性和非线性模型。
对于线性模型，最小二乘法可以直接求解闭式解；对于非线性模型，可以使用数值优化算法进行迭代计算。
2.极大似然估计（Maximum Likelihood Estimation）极大似然估计是一种常用的统计推断方法，也可以用于模型参数辨识。
该方法假设观测数据满足一些统计分布，通过最大化观测数据出现的概率来估计参数值。
具体方法是构造似然函数，即给定观测数据下的参数条件下的概率密度函数，并最大化该函数。
3.贝叶斯推断（Bayesian Inference）贝叶斯推断是一种基于贝叶斯定理的统计推断方法，它通过先验分布和观测数据的条件概率来更新参数的后验分布。
贝叶斯推断可以通过采样方法如马尔科夫链蒙特卡洛（MCMC）来计算参数的后验分布，进而得到参数的估计值和置信区间。
4.参数辨识的频域方法频域方法在信号处理和系统辨识中应用广泛。
它基于信号的频谱特性和一些假设，通过谱估计方法如传递函数辨识和系统辨识，来推断模型的参数。
典型的频域方法有最小相位辨识、系统辨识的频域特性估计等。
5.信息矩阵（Information matrix）和似然比检验（Likelihoodratio test）信息矩阵和似然比检验是统计推断中的基本工具，也可以用于模型参数辨识。
信息矩阵衡量了参数估计的方差和协方差，可以通过信息矩阵来进行参数辨识的有效性检验。
似然比检验则是比较两个模型的似然函数值，用于判断哪个模型更好地解释观测数据。
总之，模型参数辨识是通过观测数据，推断出模型的参数值。
常用的方法包括最小二乘法、极大似然估计、贝叶斯推断、频域方法和信息矩阵等。
在实际应用中，选择合适的参数辨识方法需要考虑模型的特点、数据的性质以及求解的复杂度等因素。
第五章 极大似然法
1 N [ yi ]2 1 p(YN | ) exp 2 N N 2 ( 2 ) i 1
T 对于一组确定的观测序列 YN [ y(1), y(2), , y(N )]
L(YN | ) -------- 似然函数
L(YN | ) p(YN | )
18
YN ~ N ( N , v )
N维随机向量 YN 的联合概率分布
p(YN | ) (2 )
N 2
1 (det v ) exp [YN N ]T v 1[YN N ] 2
1 2
对应的对数似然函数
ln L(YN | )
2
求偏导
2 ln L Y | , N
2
ˆ ML 2 2 ˆ ML
ˆ ]T [Y ˆ N [YN N ML N N ML ] 0 2 4 ˆ ˆ 2 ML 2 ML
ˆ ]T [Y ˆ [YN N ML N N ML ] ˆ N 最小二乘估计的噪声方差： T ˆ ˆ ] [ Y ] [YN N 2 N N LS LS ˆ LS N dim
Ronald Aylmer Fisher (1890～1962) 英国实验遗传学家兼统计学家， 1890年生于伦敦，1912年毕业于剑桥大 学数学系，1943年任剑桥大学遗传 学教授。 他把渐进一致性、渐进有效性等作为参数估计量 应具备的基本性质，在1912年提出了极大似然法。
5.1
极大似然法基本原理（ Maximum Likelyhood） 从本质上讲，极大似然法（Maximum Likelyhood）应用
极大似然参数辨识方法
T 对于一组确定的观测序列 YN [ y(1), y(2), , y(N )]
L(YN | ) -------- 似然函数
L(YN | ) p(YN | )
18
YN ~ N ( N , v )
N维随机向量 YN 的联合概率分布
p(YN | ) (2 )
N 2
1 (det v ) exp [YN N ]T v 1[YN N ] 2
1 2
对应的对数似然函数
ln L(YN | )
2
求偏导
2 ln L Y | , N
2
ˆ ML 2 2 ˆ ML
ˆ ]T [Y ˆ N [YN N ML N N ML ] 0 2 4 ˆ ˆ 2 ML 2 ML
ˆ ]T [Y ˆ [YN N ML N N ML ] ˆ N 最小二乘估计的噪声方差： T ˆ ˆ ] [ Y ] [YN N 2 N N LS LS ˆ LS N dim
Ronald Aylmer Fisher (1890～1962) 英国实验遗传学家兼统计学家， 1890年生于伦敦，1912年毕业于剑桥大 学数学系，1943年任剑桥大学遗传 学教授。 他把渐进一致性、渐进有效性等作为参数估计量 应具备的基本性质，在1912年提出了极大似然法。
5.1
极大似然法基本原理（ Maximum Likelyhood） 从本质上讲，极大似然法（Maximum Likelyhood）应用
极大似然参数辨识方法
用极大似然法进行参数估计
用极大似然法进行参数估计极大似然估计（Maximum Likelihood Estimation, MLE）是一种统计推断方法，用于通过观测数据确定概率分布的参数值。
它的基本思想是选择使得已观测数据出现的概率最大化的参数值。
在本文中，我们将介绍极大似然法的基本原理、计算步骤以及一些常见的应用。
1.极大似然法的基本原理假设我们有一组独立同分布的随机样本观测值X1，X2，...，Xn，其概率密度函数（或概率质量函数）为f(x;θ)，其中θ是待估计的参数。
MLE的目标是通过最大化似然函数（Likelihood Function）L(θ)来估计参数θ的值，即找到能最大化样本观测值出现概率的参数值。
似然函数L(θ)的定义为：L(θ) = f(x1;θ) * f(x2;θ) * ... * f(xn;θ)为了简化计算，常常使用对数似然函数logL(θ)进行最大化：logL(θ) = log(f(x1;θ)) + log(f(x2;θ)) + ... +log(f(xn;θ))2.极大似然法的计算步骤-确定似然函数L(θ)的表达式，即样本观测值的联合概率密度函数（或概率质量函数）的乘积。
- 对似然函数取对数，得到logL(θ)。
- 对logL(θ)求导，并令导数等于0，解出参数θ的估计值。
-检查导数的二阶偏导数，以确保估计值是一个极大值点，并非极小值或驻点。
-检验估计值的结果，并进行统计推断。
值得注意的是，当样本观测值满足一定的正则条件时，估计值通常具有一些优良的统计性质，如渐近正态性、渐近有效性等。
3.极大似然法的常见应用-二项分布参数估计：假设我们有一组成功/失败的观测数据，用于估计成功的概率p。
我们可以建立二项分布模型，并通过MLE来估计参数p 的值。
-正态分布参数估计：假设我们有一组服从正态分布的观测数据，用于估计均值μ和方差σ^2、我们可以通过MLE来分别估计这两个参数的值。
-泊松分布参数估计：假设我们有一组服从泊松分布的观测数据，用于估计平均发生率λ。
《极大似然估计法》PPT课件
x;
)
1
e
x
,
0 ,
x0 other
( 0)
今取得一组样本Xk数据如下，问如何估计θ？
16 29 50 68 100 130 140 270 280
340 410 450 520 620 190 210 800 1100
9
L( )
n i 1
1
e
xi
5
(1) 写出似然函数
n
L( p) pxi (1 p)1xi i 1
(2) 对似然函数取对数，得到对数似然函数:
n
l( p) [xi ln p (1 xi ) ln(1 p)] i 1
n
n ln(1 p) xi[ln p ln(1 p)] i 1
y(n)
y(n 1)
y(n N 1)
y(1) u(n 1) y(2) u(n 2)
y(N) u(n N)
u(1)
u(2)
u(N )
e Y
17
由于e(k)是均值为零的高斯不相关序列，且与{u(k)}
不相关，于是得到似然函数：
e n
1
n i1
xi
ln
L
n
ln
1
n
i 1
xi
d ln L
d
n
1
2
n
i 1
xi
0
ˆ
1 n
n
系统辨识 第6章 极大似然估计
n N
k n 1
2 e (k )
可见在ξ(k)为高斯白噪声序列这一特殊情况下，极大似然辨 识与一般最小二乘法辨识有相同结果。
2、动态系统模型参数的极大似然估计
2.有色噪声情况
a( z 1 ) y (k ) b( z 1 ) u (k ) c( z 1 ) (k ) 1 1 n a ( z ) 1 a z a z 1 n 系统差分方程 1 1 n b ( z ) b b z b z 0 1 n c( z 1 ) 1 c z 1 c z n 1 n ˆ ˆ (k ) e(k ) y(k ) y eN YN Φ N θ
L( y1, y2 ,..., yN | ) P( y1, y2 ,..., yN | )
各观测量y1,y2,…,yN由随机变量y的独立样本所组成，观测量 是独立的
L( y1 , y2 ,..., y N | ) P( y1 | ) P( y2 | )...P( y N | ) P( yi | )
2、动态系统模型参数的极大似然估计
因为ε(k)为高斯白噪声， 故而e(k)可假设为零均值的高斯白噪声。
则似然函数L为： ˆ ) T (Y Φ θ ˆ) ( Y Φ θ 1 N N N N ˆ) L(e N θ exp( ) 2 N/2 2 (2πσ ) 2σ
ln L(e N
N N 1 2 ˆ θ) ln 2π ln σ 2 2 2 2σ
i 1 N
θ的极大似然估计
L 0
观察值概率分布密度函数的乘积
ln L 等价于 0 ˆmLE
但一般不容易得到解析解，需采用数值方法得到其近似解
状态缺失多变量系统的极大似然辨识方法
摘 要 ：提出一种极 大似然辨识方法 ，用于解决状 态缺失多变量系统 的参数估计 问题 。通过构造 以输 入一 出序列为条件 概率的似然函数 输 表达式 ，以及分析数据缺失程度对参数估计的影响 ， 设计适 用于状态缺失情况 的卡尔曼状态估计器 ， 此基础 上提 出极大化似然 函数 的参 在
数计算方法 。数值仿真结果证 明了该方法的有效Ｉ 陛。
Ｔｈ ｉｅｉｏ ｄ ｆｎ ｔ ｎ ｃ ｎ ｉｉｎ ｄｏ ｎ ｕ ， ｕｐ ｔａ ｄ ｍｉｓｎ ｅ ｅ ｓｃ ｎ ｔｕ ｔｄ Ｔｈ ｎｆ ｅ ｃ ｆｐ ａ ｔｒｅ ｔ ａｉｎｂ ｓｉｇ ｍｏ ｅｉ ｅ ｌ ｌ ｏ ｕ ｃｉ ｏ ｄｔ ｅ ｎ ｉｐ ｔ ｏ ｔｕ ｎ ｓｉｇ ｓ ｒ ｓｉ ｏ ｓｒ ｃｅ ． ｅｉ ｌ ｎ ｅ ｏ ａ ｍｅｅ ｓｉ ｔｏ ｙ ｍｉｓｎ ｄ ｓ ｋ ｈ ｏ ｏ ｉ ｕ ｒ ｍ ａ ａｙ ｅ ．Ａｎ ｈ ｄｆｅ ｌ ａ ｌ ｒｓ ｉａ ｌ ｒｓａｅ ｅｔｍａｉｎ ｗｉｈ ｍｉｓｎ ｔｔ ｓｐ ｅｅ ｔｄ ｎｌｚｄ ｄ ｔｅ ｍｏ ｉ ｄ Ｋａｍ ｎ ｆ ｔ ｕ ｔｂ ｅ ｆ ｔｔ ｓｉ ｔ ｔ ｓｉ ｇ ｓａｅ ｉ ｒ ｓｎｅ ．Ａｎ ａａ ｔｒｅ ｔ ａｉｎ ａｇ ｒｔ ｉ ｉ ｅ ｏ ｏ ｄ ｐ ｍｅｅ ｓｉ ｔｏ ｌｏ ｈｍ ０ ｒ ｍ ｉ ｆｒ
ｍ ａ ｉ ｉａ ｉ ｎ ｏｆ ｉ ｌ ｏ ｕ ｃ ｉ ｎ ｉ ｖ ｎ． ｍｅ ｃ ｌ ｉ ｌ ｔｏ ｅ ｕ ｔ ｈｏ ｔ ｆ ｅ ｔ ｅ ｅ ｓ ｏ ｅ ｐ ｏ ｓ ｄ ｍｅ ｈ ｄ ｘ ｍ ｚ ｔ ｋｅｉ ｄ ｆ ｎ ｔ ｇｉ ｅ Ｎｕ ｒ ａ ｍｕ ａｉ ｎ ｒ ｓ ｌｓｓ ｗ ｅ ｆ ｃ ｉ ｎ ｓ ｆｔ ｒ ｐｏ ｅ ｔ ｏ ． ｏ ｌ ｈｏ ｏ ｓ ｉ ｓ ｈｅ ｖ ｈ
［ ｂ ｔ ｃｌＭａ ｉ ｕ ｋ ｌ ｏ ｄ ｄ ｎ ｆ ａ ｏ ｒ ｏ ｄ ｏ ｒｍ ｔ ｔ ａ ｏ ｆ ｕ ｉ ｒ ｂ ａ — ａｅ ｏ ｅ ｂ ｃ ｔ ｍ ｓ ｎ ａ ｓ Ａ ｓ ａｔ ｘ ｍ ｌ ｅ ｈ ｏ ｅｔ ｃ ｔ ｎ ｓ ｏ ｓ ｒ ａ ｅ ｒ ｓｍ ｔ ｎｏ ｌ ａ ａ ｌ ｓ ｔ ｓ ｃ ｄｌ ｓ ｊ ｔｏ ｉ ｉ ｓ ｔ ． ｒ ｍ ｉ ｉ ｉ ｉ ｉ ｉｐ ｐ ｅ ｆ ｐ ａ ｅｅ ｉ ｉ ｉ ｍ ｔ ｉ ｅ ｔｅ ｐ ｍ ｖ ｓｕ ｅ ｓ ｇ ｔ ｅ
参数辨识方法
参数辨识方法一、概述参数辨识方法是指从一组观测数据中确定系统参数的过程。
在工程和科学领域中，参数辨识是非常重要的，因为它能够帮助我们理解系统的行为，并为系统的设计和控制提供基础。
本文将介绍参数辨识的基本概念、常用方法以及应用领域。
二、参数辨识的基本概念参数辨识的基本概念包括系统模型、参数向量、测量数据和误差模型。
2.1 系统模型系统模型是描述系统行为的数学表达式。
对于线性系统，常用的系统模型包括差分方程模型、状态空间模型和传递函数模型。
对于非线性系统，系统模型可以是微分方程模型或其他合适的非线性模型。
2.2 参数向量参数向量是描述系统参数的向量，它包含了需要辨识的参数。
系统的参数可以是物理参数、结构参数或其他与系统特性相关的参数。
参数向量的辨识是参数辨识方法的核心任务。
2.3 测量数据测量数据是指从实际系统中获得的观测数据。
这些数据可以是系统的输入输出数据，可以是连续时间的数据，也可以是离散时间的数据。
测量数据是进行参数辨识的基础。
2.4 误差模型误差模型是描述测量数据与系统模型之间误差的数学模型。
误差模型可以是高斯白噪声模型、马尔可夫过程模型或其他适合的模型。
误差模型的选取对于参数辨识的精度和鲁棒性具有重要影响。
三、常用参数辨识方法常用的参数辨识方法包括极大似然估计、最小二乘法、频域辨识方法和统计分析方法等。
3.1 极大似然估计极大似然估计是一种基于概率统计的参数辨识方法。
它通过最大化观测数据的似然函数，估计参数向量的值。
极大似然估计可以用于线性系统和非线性系统的参数辨识。
3.2 最小二乘法最小二乘法是一种通过最小化观测数据与系统模型之间的平方误差，估计参数向量的方法。
最小二乘法常用于线性系统的参数辨识。
当测量数据存在噪声时，最小二乘法可以利用误差模型对噪声进行建模。
3.3 频域辨识方法频域辨识方法是一种将系统辨识问题转化为频域特性分析问题的方法。
它通过对输入输出数据进行频谱分析，估计系统的频域特性，进而得到参数向量的估计值。
关于极大似然算法的辨识问题
ｘＵ Ｍｉ ｎ
（ Ｃ ｏ ｌ ｌ ｅ ｇ ｅ ｏ ｆ Ｍｅ ｃ ｈ ａ ｎ ｉ ｃ ａ ｌ ａ ｎ ｄ ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ，Ｅ ａ ｓ ｔ Ｃ ｈ ｉ ｎ ａ Ｉ ｓｔ ｎ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ， Ｎ ａ ｎ ｃ ｈ ａ ｎ ｇ ， Ｊ ｉ ａ ｎ ｇ ｘ ｉ
Ｐ ｒ ｏ ｖ ｉ ｎ ｃ ｅ ３ ３ ０ ０ １ ３ ，Ｃ ｈ ｉ ｎ ａ ）
Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｔ ｈ ｅ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｌ ｅ ｄ ｏ ｂ ｊ ｅ ｃ ｔ ｏ ｆ ｔ ｈ ｅ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｓ ｙ ｓ ｔ ｅ ｍｓ ｍ ｏ ｒ ｅ ｌ ｉ ｋ ｅ ｌ ｙ ｃ ｏ ｎ ｓ ｉ ｄ ｅ ｒ ｅ ｄ ｔ ｈ ｅ ｌ ｉ ｎ ｅ ａ ｒ ｔ ｉ ｍｅ － ｉ ｎ ｖ ａ ｒ ｉ ａ ｎ ｔ ｓ ｙ ｓ ｔ ｅ ｍｓ ．Ｄ ｕ ｅ ｔ ｏ ｔ ｈ ｅ ｒ ａ ｐ ｉ ｄ ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ ｏ ｆ ｉ ｎ ｄ ｕ ｓ ｔ ｙ ，ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｓ ｙ ｓ ｔ ｅ ｍｓ ｆ ａ ｃ ｉ ｎ ｇ ｇ ｒ ｅ ａ ｔ ｃ ｈ ａ ｎ ｇ ｅ ，ｔ ｈ ｅ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｌ ｅ ｄ ｏ ｂ ｊ ｅ ｃ ｔ ｓ ｈ ｏ ｗ ｅ ｄ ａ
Ｋｅ ｙ ｗｏ ｒ ｄ ｓ ：ｎ ｏ ｎ ｌ ｉ ｎ ｅ ａ ｒ ，ｔ ｉ ｍｅ － ｖ ａ ｒ ｙ ｉ ｎ ｇ ｓ ｙ ｓ ｔ ｅ ｍｓ ； ｍ￣ｉ ｍｕ ｍ ｌ ｉ ｋ ｅ ｌ ｉ ｈ ｏ ｏ ｄ ｉ ｄ ｅ ｎ ｔ ｉ ｉ ｆ ｃ ａ ｔ ｉ ｏ ｎ
（ Ｃ ｏ ｌ ｌ ｅ ｇ ｅ ｏ ｆ Ｍｅ ｃ ｈ ａ ｎ ｉ ｃ ａ ｌ ａ ｎ ｄ ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ，Ｅ ａ ｓ ｔ Ｃ ｈ ｉ ｎ ａ Ｉ ｓｔ ｎ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ， Ｎ ａ ｎ ｃ ｈ ａ ｎ ｇ ， Ｊ ｉ ａ ｎ ｇ ｘ ｉ
Ｐ ｒ ｏ ｖ ｉ ｎ ｃ ｅ ３ ３ ０ ０ １ ３ ，Ｃ ｈ ｉ ｎ ａ ）
Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ：Ｔ ｈ ｅ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｌ ｅ ｄ ｏ ｂ ｊ ｅ ｃ ｔ ｏ ｆ ｔ ｈ ｅ ｔ ｒ ａ ｄ ｉ ｔ ｉ ｏ ｎ ａ ｌ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｓ ｙ ｓ ｔ ｅ ｍｓ ｍ ｏ ｒ ｅ ｌ ｉ ｋ ｅ ｌ ｙ ｃ ｏ ｎ ｓ ｉ ｄ ｅ ｒ ｅ ｄ ｔ ｈ ｅ ｌ ｉ ｎ ｅ ａ ｒ ｔ ｉ ｍｅ － ｉ ｎ ｖ ａ ｒ ｉ ａ ｎ ｔ ｓ ｙ ｓ ｔ ｅ ｍｓ ．Ｄ ｕ ｅ ｔ ｏ ｔ ｈ ｅ ｒ ａ ｐ ｉ ｄ ｄ ｅ ｖ ｅ ｌ ｏ ｐ ｍ ｅ ｎ ｔ ｏ ｆ ｉ ｎ ｄ ｕ ｓ ｔ ｙ ，ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｓ ｙ ｓ ｔ ｅ ｍｓ ｆ ａ ｃ ｉ ｎ ｇ ｇ ｒ ｅ ａ ｔ ｃ ｈ ａ ｎ ｇ ｅ ，ｔ ｈ ｅ ｃ ｏ ｎ ｔ ｒ ｏ ｌ ｌ ｅ ｄ ｏ ｂ ｊ ｅ ｃ ｔ ｓ ｈ ｏ ｗ ｅ ｄ ａ
Ｋｅ ｙ ｗｏ ｒ ｄ ｓ ：ｎ ｏ ｎ ｌ ｉ ｎ ｅ ａ ｒ ，ｔ ｉ ｍｅ － ｖ ａ ｒ ｙ ｉ ｎ ｇ ｓ ｙ ｓ ｔ ｅ ｍｓ ； ｍ￣ｉ ｍｕ ｍ ｌ ｉ ｋ ｅ ｌ ｉ ｈ ｏ ｏ ｄ ｉ ｄ ｅ ｎ ｔ ｉ ｉ ｆ ｃ ａ ｔ ｉ ｏ ｎ
极大似然参数辨识方法
2 极大似然参数辨识方法极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。
2.1 极大似然原理设有离散随机过程}{k V 与未知参数θ有关，假定已知概率分布密度)(θk V f 。
如果我们得到n 个独立的观测值,21,V V …n V ,，则可得分布密度)(1θV f ，)(2θV f ，…,)(θn V f 。
要求根据这些观测值来估计未知参数θ，估计的准则是观测值{}{k V }的出现概率为最大。
为此，定义一个似然函数)()()(),,,(2121θθθθn n V f V f V f V V V L = （2.1.1）上式的右边是n 个概率密度函数的连乘，似然函数L 是θ的函数。
如果L 达到极大值，}{k V 的出现概率为最大。
因此，极大似然法的实质就是求出使L 达到极大值的θ的估值∧θ。
为了便于求∧θ，对式（2.1.1）等号两边取对数，则把连乘变成连加，即 ∑==ni iV f L 1)(ln ln θ （2.1.2）由于对数函数是单调递增函数，当L 取极大值时，lnL 也同时取极大值。
求式（2.1.2）对θ的偏导数，令偏导数为0，可得0ln =∂∂θL（2.1.3）解上式可得θ的极大似然估计ML ∧θ。
2.2 系统参数的极大似然估计设系统的差分方程为)()()()()(11k k u z b k y z a ξ+=-- （2.2.1） 式中111()1...nn a z a z a z ---=+++1101()...nn b z b b z b z ---=+++因为)(k ξ是相关随机向量，故（2.2.1）可写成)()()()()()(111k z c k u z b k y z a ε---+= （2.2.2） 式中)()()(1k k z c ξε=- （2.2.3）nn z c z c z c ---+++= 1111)( （2.2.4）)(k ε是均值为0的高斯分布白噪声序列。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
极大似然参数辨识方法-CAL-FENGHAI.-(YICAI)-Company One12 极大似然参数辨识方法极大似然参数估计方法是以观测值的出现概率为最大作为准则的，这是一种很普遍的参数估计方法，在系统辨识中有着广泛的应用。
极大似然原理设有离散随机过程}{k V 与未知参数θ有关，假定已知概率分布密度)(θk V f 。
如果我们得到n 个独立的观测值,21,V V …n V ,，则可得分布密度)(1θV f ，)(2θV f ，…,)(θn V f 。
要求根据这些观测值来估计未知参数θ，估计的准则是观测值{}{k V }的出现概率为最大。
为此，定义一个似然函数)()()(),,,(2121θθθθn n V f V f V f V V V L = （2.1.1）上式的右边是n 个概率密度函数的连乘，似然函数L 是θ的函数。
如果L 达到极大值，}{k V 的出现概率为最大。
因此，极大似然法的实质就是求出使L 达到极大值的θ的估值∧θ。
为了便于求∧θ，对式（2.1.1）等号两边取对数，则把连乘变成连加，即∑==ni i V f L 1)(ln ln θ （2.1.2）由于对数函数是单调递增函数，当L 取极大值时，lnL 也同时取极大值。
求式（2.1.2）对θ的偏导数，令偏导数为0，可得0ln =∂∂θL（2.1.3）解上式可得θ的极大似然估计ML ∧θ。
系统参数的极大似然估计设系统的差分方程为)()()()()(11k k u z b k y z a ξ+=-- （2.2.1）式中111()1...nn a z a z a z ---=+++1101()...nn b z b b z b z ---=+++因为)(k ξ是相关随机向量，故（2.2.1）可写成)()()()()()(111k z c k u z b k y z a ε---+= （2.2.2）式中)()()(1k k z c ξε=- （2.2.3） n n z c z c z c ---+++= 1111)( （2.2.4）)(k ε是均值为0的高斯分布白噪声序列。
多项式)(1-z a ，)(1-z b 和)(1-z c 中的系数n n c c b b a a ,,,,,10,1和序列)}({k ε的均方差σ都是未知参数。
设待估参数n a a 1[=θ n b b 0 ]Tn c c 1 （2.2.5）并设)(k y 的预测值为+-+++-----=∧∧∧∧∧)()()()1()(01n k u b k u b n k y a k y a k y n n)()1(1n k e c k e c n -++-∧∧ （2.2.6）式中)(i k e -为预测误差；i a ∧，i b ∧，i c ∧为i a ，i b ，i c 的估值。
预测误差可表示为+-+-⎢⎣⎡--=-=∑∑=∧=∧∧)()()()()()(01i k u b i k y a k y k y k y k e n i i n i i-+++-+++=⎥⎦⎤--∧-∧∧-∧-∧=∧∑)()()()1()(110111k u z b z b b k y z a z a i k e c n n n n ni i )()(2211k e z c z c z c n n -∧-∧-∧+++ （2.2.7）或者)()1(11k e z c z c nn -∧-∧+++ =-+++-∧-∧)()1(11k y z a z a n n)()(110k u z b z b b n n -∧-∧∧+++ （2.2.8）因此预测误差{})(k e 满足关系式)()()()()()(111k u z b k y z a k e z c -∧-∧-∧-= （2.2.9）式中n n z a z a z a -∧-∧-∧+++= 1111)( n n z b z b b z b -∧-∧∧-∧+++= 1101)( n n z c z c z c -∧-∧-∧+++= 1111)(假定预测误差)(k e 服从均值为0的高斯分布，并设序列{})(k e 具有相同的方差2σ。
因为{})(k e 与)(1-∧z c ，)(1-∧z a 和)(1-∧z b 有关，所以2σ是被估参数θ的函数。
为了书写方便，把式（2.2.9）写成)()()()()()(111k u z b k y z a k e z c ----= （2.2.10）-------++-+= )1()1()()1()()(101k u b k u b n k y a k y a k y k e n,2,1),()1()(1++=------n n k n k c k e c n k u b n n （2.2.11）或写成)()()()()(11i k e c i k u b i k y a k y k e ni i ni i ni i -----+=∑∑∑=== （2.2.12）令k=n+1,n+2,…,n+N,可得)(k e 的N 个方程式，把这N 个方程式写成向量-矩阵形式θN N N Y e Φ-= （2.2.13）式中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+++=)()2()1(N n y n y n y Y N ,⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+++=)()2()1(N n e n e n e e N ,⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=n n b b a a 01θ⎢⎢⎢⎢⎣⎡-+-+--=Φ)1()1()(N n y n y n y N)()2()1(N y y y --- )()2()1(N n u n u n u +++ )()2()1(N u u u)1()1()(-++N n e n e n e ⎥⎥⎥⎥⎦⎤)()2()1(N e e e因为已假定{})(k e 是均值为0的高斯噪声序列，高斯噪声序列的概率密度函数为])(21ex p[)2(122212m y f --=σπσ （2.2.14）式中y 为观测值，2σ和m 为y 的方差和均值，那么)](21ex p[)2(122212k e f σπσ-=（2.2.15） 对于)(k e 符合高斯噪声序列的极大似然函数为)21exp()2(1)]}()2()1([21exp{)2(1])([])2([])1([])(,),2(),1([),(222222222N T N NNN e e N n e n e n e N n e f n e f n e f N n e n e n e L Y L σπσσπσθθθθσθ-=++++++-=+++=+++=（2.2.16）或]2)()(exp[)2(1),(222σθθπσσθΦ-Φ--=N T N N N Y Y Y L （2.2.17） 对上式（2.2.17）等号两边取对数得N T N NT N N N e e N N e e Y L 2222221ln 22ln 2)21ex p(ln )2(1ln),(ln σσπσπσσθ---=-+= （2.2.18）或写为∑++=---=Nn n k N k e N N Y L 1222)(21ln 22ln 2),(ln σσπσθ （2.2.19）求),(ln σθN Y L 对2σ的偏导数，令其等于0，可得0)(212),(ln 12422=+-=∂∂∑++=Nn n k N k e N Y L σσσσθ （2.2.20）则J N k e N k e NN n n k Nn n k 2)(212)(112122===∑∑++=++=∧σ （2.2.21） 式中∑++==N n n k k e J 12)(21 （2.2.22）2σ越小越好，因为当方差2σ最小时，)(2k e 最小，即残差最小。
因此希望2σ的估值取最小J Nmin 22=∧σ （2.2.23） 因为式（2.2.10）可理解为预测模型，而e(k)可看做预测误差。
因此使式（）最小就是使误差的平方之和最小，即使对概率密度不作任何假设，这样的准则也是有意义的。
因此可按J 最小来求n n c c b b a a ,,,,,10,1的估计值。
由于e(k)式参数n n c c b b a a ,,,,,10,1的线性函数，因此J 是这些参数的二次型函数。
求使),(ln σθN Y L 最大的∧θ，等价于在式（2.2.10）的约束条件下求∧θ使J 为最小。
由于J 对i c 是非线性的，因而求J 的极小值问题并不好解，只能用迭代方法求解。
求J 极小值的常用迭代算法有拉格朗日乘子法和牛顿-拉卜森法。
下面介绍牛顿-拉卜森法。
整个迭代计算步骤如下：(1)确定初始的0∧θ值。
对于0∧θ中的n b b a a ,,,0,1可按模型)()()()()(11k u z b k y z a k e -∧-∧-= （2.2.24）用最小二乘法来求，而对于0∧θ中的nc c ,1可先假定一些值。
(2)计算预测误差)()()(k y k y k e ∧-= （2.2.25）给出∑++==N n n k k e J 12)(21并计算∑++=∧=Nn n k k eN 122)(1σ （2.2.26）(3)计算J 的梯度θ∂∂J和海赛矩阵 22θ∂∂J,有θθ∂∂=∂∂∑++=)()(1k e k e J N n n k （2.2.27） 式中⎢⎣⎡∂∂∂∂=∂∂n a k e a k e k e )()()(1 θ n b k e b k e ∂∂∂∂)()(0 Tn c k e c k e ⎥⎦⎤∂∂∂∂)()(1 --------++-+∂∂=∂∂)()1()()()1()([)(101n k u b k u b k u b n k y a k y a k y a a k e n n ii )]()1(1n k e c k e c n ---- in i i a n k e c a k e c a k e c i k y ∂-∂--∂-∂-∂-∂--=)()2()1()(21 （2.2.28） 即inj j i a j k e c i k y a k e ∂-∂--=∂∂∑=)()()(1 （2.2.29） 同理可得i nj j i b j k e c i k u b k e ∂-∂---=∂∂∑=)()()(1 （2.2.30） i n j j i c j k e c i k e c k e ∂-∂---=∂∂∑=)()()(1（2.2.31）将式（2.2.29）移项化简，有in j j i n j j i a j k e c a j k e c a k e i k y ∂-∂=∂-∂+∂∂=-∑∑==)()()()(01 （2.2.32）因为j z k e j k e -=-)()( （2.2.33）由)(j k e -求偏导，故iji a z k e a j k e ∂∂=∂-∂-)()( （2.2.34） 将（2.2.34）代入（），所以j nj j i i j n j j i nj j z c a k e a z k e c a j k e c i k y -=-==∑∑∑∂∂=∂∂=∂-∂=-000)()()()( （2.2.35） n n z c z c z c ---+++= 1111)(所以得)()()(1i k y a k e z c i-=∂∂- （2.2.36） 同理可得（2.2.30）和（）为)()()(1i k u b k e z c i--=∂∂- （2.2.37） )()()(1i k e c k e z c i--=∂∂- （2.2.38） 根据（2.2.36）构造公式)(])([)]([)(1i k y j j i k y a j i k e z c j-=---=∂--∂- （2.2.39）将其代入（2.2.36），可得ij a k e z c a j i k e z c ∂∂=∂--∂--)()()]([)(11 (2.2.40）消除)(1-z c 可得1)1()()(a i k e a j i k e a k e j i ∂+-∂=∂+-∂=∂∂ （2.2.41） 同理可得（2.2.37）和（）式)()()(b i k e b j i k e b k e j i ∂-∂=∂+-∂=∂∂ （2.2.42）1)1()()(c i k e c j i k e c k e j i ∂+-∂=∂+-∂=∂∂ （2.2.43） 式（2.2.29）、式（）和式（）均为差分方程，这些差分方程的初始条件为0，可通过求解这些差分方程，分别求出e(k)关于n n c c b b a a ,,,,,10,1的全部偏导数，而这些偏导数分别为)}({k y ，)}({k u 和)}({k e 的线性函数。