隐马尔可夫模型(课堂PPT)

239 第三节 后验解码问题

前面我们介绍了在给定一个符号序列时，在不同的可能状态序列中找出概率（可能性）最大的状态序列（或路径）。在实际情况中可能会碰到一个问题：不同的路径其概率相差不大，这为我们选择哪一条路径增加了一定的困难。但我们知道一条状态序列，它是由各个位置的状态组成的，比如图6-11中，从第1个位置到第45个位置均由状态F组成，紧接后面的21个是L状态，依此类推。因此克服上述困难我们可以每个位置各个不同状态的概率，这里面我们必须分清一点：某一条序列对应于某个状态序列的概率含义与状态序列中某个位置上具体某个状态的概率是不同的，我们将它们的区分总结于如图6-14：

图6-14 某个DNA序列对应的不同可能的CpG岛分布（状态序列）的概率,xP与各个位置上某个状态的概率之间的区别（“+”代表CpG岛区域；“-”代表非CpG岛区域）。

我们在上节的“Viterbi”算法中重点介绍的是如何计算图6-14中右边部分，并将其中最大的概率对应的路径*找出来。而我们这一节要介绍的是如何计算图6-14中最下面的概率，这就是通常我们所说的“后验解码问题”：计算概率xkPi|为多少？

为了计算这个概率，首先得介绍所给定序列对应的概率，由于不同的状态序列可以产生同一条序列，因此，我们有图6-15的描述：

图6-15 隐马尔克夫链中符号序列的概率与路径的关系（这里假设符号序列集只有两条序列1x与2x，对应的状态序列（路径）中也只有两个路径1与2。 240 图6-15中的1xP与2xP就是要求的某个符号序列的概率，由于此时路径1与2已知，因此它与符号序列的联合概率表达式可写为：

LiiLiiLiiLiiiiiiiiiiiiiiaxeaxPaxeaxPaxeaxPaxeaxP12022120121102111011212222111111212221111111,,,,（6-11）

隐马尔可夫模型维特比算法尝试

（一）隐马尔可夫模型基本概念

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。

隐藏的马尔可夫链随机生成的状态序列，称为状态序列（state

sequence）;

每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列（observation sequence）。

序列的每个位置又可以看作是一个时刻。

隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。

隐马尔可夫模型的形式定义如下：

设Q是所有可能的状态的集合，V是所有可能的观测的集合。

12{,,,}NQqqq12{,,,}MVvvv

I是长度为T的状态序列，O是对应的观测序列。

12{,,,}TIiii12{,,,}TOooo

A是状态转移概率矩阵：

[]NNAija

其中， 1()ijtjtiaPiqiq1,2,,iN；1,2,,jN

是在时刻t处于状态iq的条件下在时刻1t转移到状态jq的概率。

B是观测概率矩阵：

[()]NMBjbk

其中，

()()jtktjbkPoviq1,2,,kM；1,2,,jN

是在时刻t处于状态jq的条件下生成观测kv的概率。

是初始状态概率向量：

()i

其中，

1()iiPiq1,2,,iN

是时刻1t处于状态iq的概率。

隐马尔可夫模型的3个基本问题：

（1） 概率计算问题。给定模型和观测序列，计算在模型下观测序列出现的概率。

（2） 学习问题。已知观测序列，估计模型参数，使得在该模型下观测序列概率最大。即用极大似然估计的方法估计参数。

（3） 预测问题，也称为解码（decoding）问题。已知模型和观测序列，求对给定观测序列条件概率最大的状态序列。即给定观测序列，求最有可能的对应的状态序列。

1 / 29 隐马尔科夫模型(HMM)在时序数据中的应用

第一部分 HMM 基本原理与数学基础 .................................................................................... 2

第二部分 状态转移概率矩阵分析 ....................................................................................... 5

第三部分 观测概率分布函数探讨 ....................................................................................... 8

第四部分 时序数据的统计特性 ......................................................................................... 12

第五部分 参数估计方法研究 ............................................................................................. 16

第六部分 解码算法及其优化 ............................................................................................. 19

第七部分 HMM 在金融市场的应用 ...................................................................................... 22

第八部分 HMM 在其他领域的扩展 ...................................................................................... 25 2 / 29 第一部分 HMM 基本原理与数学基础

隐马尔可夫模型

维基百科，自由的百科全书

跳转到： 导航, 搜索

隐马尔可夫模型状态变迁图（例子）

x — 隐含状态

y — 可观察的输出

a — 转换概率（transition probabilities）

b — 输出概率（output probabilities）

隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析，例如模式识别。

在正常的马尔可夫模型中，状态对于观察者来说是直接可见的。这样状态的转换概率便是全部的参数。而在隐马尔可夫模型中,状态并不是直接可见的，但受状态影响的某些变量则是可见的。每一个状态在可能输出的符号上都有一概率分布。因此输出符号的序列能够透露出状态序列的一些信息。

目录

[隐藏]



1 马尔可夫模型的演化



2 使用隐马尔可夫模型

o

2.1 具体实例

o

2.2 隐马尔可夫模型的应用



3 历史



4 参见



5 注解



6 参考书目

 7 外部连接

[编辑] 马尔可夫模型的演化

上边的图示强调了HMM的状态变迁。有时，明确的表示出模型的演化也是有用的,我们用x（t1） 与x（t2）来表达不同时刻t1 和t2的状态。

在这个图中,每一个时间块（x(t), y(t)）都可以向前或向后延伸。通常，时间的起点被设置为t=0 或 t=1. [编辑] 使用隐马尔可夫模型

HMM有三个经典(canonical)问题:

 已知模型参数，计算某一特定输出序列的概率.通常使用forward算法解决.

 已知模型参数，寻找最可能的能产生某一特定输出序列的隐含状态的序列.通常使用Viterbi算法解决.

 已知输出序列，寻找最可能的状态转移以及输出概率.通常使用Baum-Welch算法以及Reversed Viterbi算法解决.