第4章统计分类器及其学习第五讲精品PPT课件

M个状态，K个可能的输出值。
HMM示例
如图HMM模型，初始概率： 1 1 2 0 3 0 状态转移概率矩阵：
a12
1
b11 b12 b13 b14
2
a23 b21 b22 b23 b24
a13
3
b31 b32 b33 b34
0 0.3 0.7
A
0
0.6
0
.4
0 0 1
状态输出概率矩阵：
HMM组成
Markov链 （, A）
状态序列 w1, w2, ..., wT
随机过程 观察值序列
（B）
v1, v2, ..., vT
HMM的组成示意图
一阶隐含Markov模型
• 隐含Markov模型中，状态是不可见的，在 每一个时刻t，模型当前的隐状态可以输出 一个观察值。
• 隐状态输出的观察值可以是离散值，连续 值，也可以是一个矢量。
观察序列
• 信号的特征需要用一个特征矢量的序列来 表示：
VT v1,v2, ,vT
• 其中的vi为一个特征矢量，称为一个观察值。
HMM的由来
1870年，俄国有机化学家Vladimir V. Markovnikov第一次提出马尔科夫模型
马尔可夫模型 马尔可夫链 隐马尔可夫模型
马尔可夫性
• 如果一个过程的“将来”仅依赖“现在” 而不依赖“过去”，则此过程具有马尔可 夫性,或称此过程为马尔可夫过程
HMM的工作原理
• HMM的内部状态转移过程同Markov模型相同，在每 次状态转移之后，由该状态输出一个观察值，只是状 态转移过程无法观察到，只能观察到输出的观察值序 列。
• 以离散的HMM为例，隐状态可能输出的观察值集合为 {v1, v2, …, vK}，第i个隐状态输出第k个观察值的概率 为bik。
– 在察时的间结集果T1 = {0,1,2,…}上对离散状态的过程相继观
• 链的状态空间记做I = {a1, a2,…}, ai∈R.
• 条马m+件 氏n概 链转率 在移P时到ij刻状( mm态处,amj的于+n转状)=移态P{概aXi条m率+件n。=下a，j|X在m时= 刻ai} 为
转移概率矩阵(续)
• 解码问题：已有一个HMM模型，其参数已知， 计算最有可能输出特定的观察序列VT的隐状态 转移序列WT；
• 学习问题：已知一个HMM模型的结构，其参数 未知，根据一组训练序列对参数进行训练；
假设2：不动性假设（状态与具体时间无关）
p ( w i|w i 1 ) p ( w j|w j 1 ) 对 任 意 i ,j 成 立
假设3：输出独立性假设（输出仅与当前状态有关）
T
p(v1, ,vT|w 1, ,w T) p(vt|w t) t1
HMM的参数表示
θπ,A,B
• 状态转移矩阵：A，M*M的方阵； • 状态输出概率：B，M*K的矩阵； • 初始概率：π，包括M个元素。
• 完整的一阶Markov模型可以用参数θπ,A表
示，其中：
π1, ,M
a11 a12
A
a21
a22
aM
1
aM 2
a1M
a2M
aMM
一阶Markov模型输出状态序列 的概率
• 模型输出状态序列的概率可以由初始状态概率 与各次状态转移概率相乘得到。
• 例如：W5=w1, w1, w3, w1, w2，则模型输出该 序列的概率为：
0.1 0.3 0.4 0.2 B 0.5 0.2 0.1 0.2
0.3 0.2 0.2 0.3
1，请列出所有可能输出序列 V v2v4v4v1 的状态转移序列。
2，分别计算由每一个状态转移序列输出观察序列V 的概率 3，计算最有可能输出观察序列V 的状态转移序列
HMM的三个核心问题
• 估值问题：已有一个HMM模型，其参数已知， 计算这个模型输出特定的观察序列VT的概率；
• X(t+1) = f( X(t) )
转移概率
晴天
阴天
下雨
晴天 晴天 0.50 阴天 0.375 下雨Байду номын сангаас0.25
阴天 0.25 0.25 0.125
下雨 0.25 0.375 0.625
马尔科夫链
• 时间和状态都离散的马尔科夫过程称为马尔科 夫链
• 记作{Xn = X(n), n = 0,1,2,…}
• 例如：T=5时，可能的观察序列V5=v3v2v3v4v1
HMM的工作过程
HMM假设
对于一个随机事件，有一个观察值序列：v1,...,vT 该事件隐含着一个状态序列：w1,...,wT 假设1：马尔可夫假设（状态构成一阶马尔可夫链）
p (w i|w i 1 w 1 ) p (w i|w i 1 )
• 由于链在时刻m从任何一个状态ai出发， 到另一时刻m+n，必然转移到a1，a2…， 诸状态中的某一个，所以有
Pij(m,mn)1,i1,2,
j1
• 当Pij(m,m+n)与m无关时，称马尔科夫 链为齐次马尔科夫链，通常说的马尔科 夫链都是指齐次马尔科夫链。
一阶Markov模型
• 一阶Markov模型由M个状态构成，在每个时刻t，模 型处于某个状态w(t)，经过T个时刻，产生出一个长 度为T的状态序列WT=w(1),…,w(T)。
一阶Markov模型的状态转移
• 模型在时刻t处于状态wj的概率完全由t-1时刻的 状态wi决定，而且与时刻t无关，即：
P w t W T P w t w t 1
P w t jw t 1 i a i j
Markov模型的初始状态概率
• 模型初始于状态wi的概率用 i 表示。
第四章统计分类器及其学习 第五讲
Hidden Markov Model, HMM
隐含Markov模型 (Hidden Markov Model, HMM)
• 有一些模式识别系统处理的是与时间相关 的问题，如语音识别，手势识别，唇读系 统等；
• 对这类问题采用一个特征矢量序列描述比 较方便，这类问题的识别HMM取得了很 好的效果。
P W 51 a 1 1 a 1 3 a 3 1 a 1 2
HMM概念
• HMM的状态是不确定或不可见的，只有通过 观测序列的随机过程才能表现出来
• 观察到的事件与状态并不是一一对应，而是通 过一组概率分布相联系
• HMM是一个双重随机过程，两个组成部分： – 马尔可夫链：描述状态的转移，用转移概 率描述。 – 一般随机过程：描述状态与观察序列间的 关系， 用观察值概率描述。