下载文档原格式
⼀⽂搞懂HMM（隐马尔可夫模型）什么是熵(Entropy)简单来说，熵是表⽰物质系统状态的⼀种度量，⽤它⽼表征系统的⽆序程度。
熵越⼤，系统越⽆序，意味着系统结构和运动的不确定和⽆规则；反之，，熵越⼩，系统越有序，意味着具有确定和有规则的运动状态。
熵的中⽂意思是热量被温度除的商。
负熵是物质系统有序化，组织化，复杂化状态的⼀种度量。
熵最早来原于物理学. 德国物理学家鲁道夫·克劳修斯⾸次提出熵的概念，⽤来表⽰任何⼀种能量在空间中分布的均匀程度，能量分布得越均匀，熵就越⼤。
1. ⼀滴墨⽔滴在清⽔中，部成了⼀杯淡蓝⾊溶液2. 热⽔晾在空⽓中，热量会传到空⽓中，最后使得温度⼀致更多的⼀些⽣活中的例⼦:1. 熵⼒的⼀个例⼦是⽿机线，我们将⽿机线整理好放进⼝袋，下次再拿出来已经乱了。
让⽿机线乱掉的看不见的“⼒”就是熵⼒，⽿机线喜欢变成更混乱。
2. 熵⼒另⼀个具体的例⼦是弹性⼒。
⼀根弹簧的⼒，就是熵⼒。
胡克定律其实也是⼀种熵⼒的表现。
3. 万有引⼒也是熵⼒的⼀种(热烈讨论的话题)。
4. 浑⽔澄清[1]于是从微观看，熵就表现了这个系统所处状态的不确定性程度。
⾹农，描述⼀个信息系统的时候就借⽤了熵的概念，这⾥熵表⽰的是这个信息系统的平均信息量(平均不确定程度)。
最⼤熵模型我们在投资时常常讲不要把所有的鸡蛋放在⼀个篮⼦⾥，这样可以降低风险。
在信息处理中，这个原理同样适⽤。
在数学上，这个原理称为最⼤熵原理(the maximum entropy principle)。
让我们看⼀个拼⾳转汉字的简单的例⼦。
假如输⼊的拼⾳是"wang-xiao-bo"，利⽤语⾔模型，根据有限的上下⽂(⽐如前两个词)，我们能给出两个最常见的名字“王⼩波”和“王晓波 ”。
⾄于要唯⼀确定是哪个名字就难了，即使利⽤较长的上下⽂也做不到。
当然，我们知道如果通篇⽂章是介绍⽂学的，作家王⼩波的可能性就较⼤；⽽在讨论两岸关系时，台湾学者王晓波的可能性会较⼤。
隐马尔可夫模型（一）——马尔可夫模型马尔可夫模型（Markov Model)描述了一类随机变量随时间而变化的随机函数。
考察一个状态序列（此时随机变量为状态值），这些状态并不是相互独立的，每个状态的值依赖于序列中此状态之前的状态。
数学描述：一个系统由N个状态S= {s1,s2,...s n},随着时间的推移，该系统从一个状态转换成另一个状态。
Q= {q1,q2,...q n}为一个状态序列，q i∈S,在t时刻的状态为q t,对该系统的描述要给出当前时刻t所处的状态s t，和之前的状态s1,s2,...s t, 则t时刻位于状态q t的概率为：P(q t=s t|q1=s1,q2=s2,...q t-1=s t-1)。
这样的模型叫马尔可夫模型。
特殊状态下，当前时刻的状态只决定于前一时刻的状态叫一阶马尔可夫模型，即P(q t=s i|q1=s1,q2=s2,...q t-1=s j) =P(q t=s i|q t-1=s j)。
状态之间的转化表示为a ij,a ij=P(q t=s j|q t-1=s i),其表示由状态i转移到状态j的概率。
其必须满足两个条件： 1.a ij≥ 0 2.=1对于有N个状态的一阶马尔科夫模型，每个状态可以转移到另一个状态（包括自己），则共有N2次状态转移，可以用状态转移矩阵表示。
例如：一段文字中名词、动词、形容词出现的情况可以用有3个状态的y一阶马尔科夫模型M 表示：状态s1:名词状态s2:动词状态s3:形容词状态转移矩阵： s1 s2 s3A=则状态序列O=“名动形名”（假定第一个词为名词）的概率为：P(O|M) = P(s1,s2,s3,s4} = P(s1)*p(s2|s1)p(s3|s2)p(s1|s3)=p(s1)*a12*a23*a31=1*0.5*0.2*0.4=0.04在马尔可夫模型中，每一个状态都是可观察的序列，是状态关于时间的随机过程，也成为可视马尔可夫模型（Visible Markov Model,VMM）。
机器学习之隐马尔科夫模型（HMM）机器学习之隐马尔科夫模型（HMM）1、隐马尔科夫模型介绍2、隐马尔科夫数学原理3、Python代码实现隐马尔科夫模型4、总结隐马尔可夫模型介绍马尔科夫模型（hidden Markov model，HMM）是关于时序的概率模型，描述由一个隐藏的马尔科夫随机生成不可观测的状态随机序列，再由各个状态生成一个观测从而产生观测随机序列的过程，属于一个生成模型。
下面我们来从概率学角度定义马尔科夫模型，从一个典型例子开始：假设有4个盒子，每个盒子里面有不同数量的红、白两种颜色的球，具体如下表：盒子编号1234红球数5368白球数5742现在从这些盒子中取出T个球，取样规则为每次选择一个盒子取出一个球，记录其颜色，放回。
在这个过程中，我们只能观测到球的颜色的序列，观测不到球是从哪个盒子中取出来的，即观测不到盒子的序列，这里有两个随机序列，一个是盒子的序列（状态序列），一个是球的颜色的观测序列（观测序列），前者是隐藏的，只有后者是可观测的。
这里就构成了一个马尔科夫的例子。
定义是所有的可能的状态集合，V是所有的可能的观测的集合：其中，Ｎ是可能的状态数，Ｍ是可能的观测数，例如上例中Ｎ＝４，Ｍ＝２。
是长度为T的状态序列，是对应的观测序列：A是状态转移概率矩阵：其中， 是指在时刻处于状态的条件下在时刻转移到状态的概率。
B是观测概率矩阵：其中， 是指在时刻处于状态的条件下生成观测的概率。
是初始状态概率向量：其中， 是指在时刻=1处于状态的概率。
由此可得到，隐马尔可夫模型的三元符号表示，即称为隐马尔可夫模型的三要素。
由定义可知隐马尔可夫模型做了两个基本假设：(1)齐次马尔科夫性假设，即假设隐藏的马尔科夫链在任意时刻的状态只和-1状态有关；(2)观测独立性假设，观测只和当前时刻状态有关；仍以上面的盒子取球为例，假设我们定义盒子和球模型：状态集合： = {盒子1，盒子2，盒子3，盒子4}， N=4观测集合： = {红球，白球} M=2初始化概率分布：状态转移矩阵：观测矩阵:（1）转移概率的估计：假设样本中时刻t处于状态i，时刻t+1转移到状态j 的频数为那么转台转移概率的估计是：（2）观测概率的估计：设样本中状态为j并观测为k的频数是那么状态j观测为k的概率， （3）初始状态概率的估计为S个样本中初始状态为的频率。
如何用简单易懂的例子解释隐马尔可夫模型？- 知乎隐马尔可夫（HMM）好讲，简单易懂不好讲。
我想说个更通俗易懂的例子。
我希望我的读者是对这个问题感兴趣的入门者，所以我会多阐述数学思想，少写公式。
霍金曾经说过，你多写一个公式，就会少一半的读者。
还是用最经典的例子，掷骰子。
假设我手里有三个不同的骰子。
第一个骰子是我们平常见的骰子（称这个骰子为D6），6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。
第二个骰子是个四面体（称这个骰子为D4），每个面（1，2，3，4）出现的概率是1/4。
第三个骰子有八个面（称这个骰子为D8），每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。
假设我们开始掷骰子，我们先从三个骰子里挑一个，挑到每一个骰子的概率都是1/3。
然后我们掷骰子，得到一个数字，1，2，3，4，5，6，7，8中的一个。
不停的重复上述过程，我们会得到一串数字，每个数字都是1，2，3，4，5，6，7，8中的一个。
例如我们可能得到这么一串数字（掷骰子10次）：1 6 3 5 2 7 3 5 2 4这串数字叫做可见状态链。
但是在隐马尔可夫模型中，我们不仅仅有这么一串可见状态链，还有一串隐含状态链。
在这个例子里，这串隐含状态链就是你用的骰子的序列。
比如，隐含状态链有可能是：D6 D8 D8 D6 D4 D8 D6 D6 D4 D8一般来说，HMM中说到的马尔可夫链其实是指隐含状态链，因为隐含状态（骰子）之间存在转换概率（transition probability）。
在我们这个例子里，D6的下一个状态是D4，D6，D8的概率都是1/3。
D4，D8的下一个状态是D4，D6，D8的转换概率也都一样是1/3。
这样设定是为了最开始容易说清楚，但是我们其实是可以随意设定转换概率的。
比如，我们可以这样定义，D6后面不能接D4，D6后面是D6的概率是0.9，是D8的概率是0.1。
这样就是一个新的HMM。
同样的，尽管可见状态之间没有转换概率，但是隐含状态和可见状态之间有一个概率叫做输出概率（emission probability）。
