第四章 马尔可夫链

1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 （1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。

称(){}:,==∈E x X t x t T 为状态空间。

参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。

若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。

第四章 马尔可夫链随机过程在不同时刻下的状态之间一般具有某种关系，马尔可夫（Markov ）过程就是描述一类状态之间具有某种特殊统计联系的随机过程.Markov 过程在近代物理学、生物学、管理科学、信息处理与数字计算方法等领域都有重要的应用.按其状态和时间参数是连续的或离散的，它可分为三类：（1）时间、状态都是离散的Markov 过程，称为Markov 链；（2）时间连续、状态离散的Markov 过程，称为连续时间的Markov 链；（3）时间、状态都连续的Markov 过程.本章主要讨论Markov 链，有关连续时间的Markov 链的相关理论将在下章讨论.4.1 马尔可夫链的概念和例子独立随机试验模型最直接的推广就是Markov 链模型，早在1906年俄国数学家Markov 对它进行研究而得名，以后Kolmogorov 、Feller 、Doob 等数学家发展了这一理论.4.1 .1 Markov 链的定义假设Markov 过程{,}n X n T ∈的参数集T 是离散时间集合，即{0,1,2,}T =，相应n X 可能取值的全体组成的状态空间是离散状态集012{,,,}I i i i =.定义 4.1 设有一随机过程{,}n X n T ∈，若对于任意整数n T ∈和任意011,,,n i i i I +∈，条件概率满足11001111{|,,,}{|}n n n n n n n n P X i X i X i X i P X i X i ++++=======则称{,}n X n T ∈为离散时间的Markov 链，简称Markov 链（Markov chains ）或马氏链.从定义可以看出：Markov 链具有Markov 性（即无后效性），如果把时刻n 看作现在，那么，1n +是将来的时刻，而0,1,2,,1n -是过去的时刻.Markov 性表示在确切知道系统现在状态的条件下，系统将来的状况与过去的状况无关，而且Markov 链的统计特征完全由条件概率11{|}n n n n P X i X i ++==所决定. 因此，如何确定这个条件概率，是研究Markov 链理论和应用中十分重要的问题之一. 4.1.2 转移概率定义 4.2 称条件概率1(){|}ij n n p n P X j X i +=== （4.1）为Markov 链{,}n X n T ∈在时刻n 的一步转移概率，其中,i j I ∈，简称转移概率（transition probability ）.一般地，转移概率()ij p n 不仅仅与状态,i j 有关，而且与时刻n 有关，如果()ij p n 不依赖时刻n 时，则称Markov 链具有平稳转移概率.定义 4.3 若对任意,i j I ∈，Markov 链{,}n X n T ∈的转移概率()ij p n 与n 无关，则称Markov 链是齐次的（或称时齐的）（time homogeneous -），并记()ij p n 为ij p . 下面只讨论齐次Markov 链，并且通常将“齐次”两字省去.定义 4.4 设P 表示一步转移概率ij p 所组成的矩阵，且状态空间{1,2,}I =，则1112121222...........................n n p p p P p p p ⎛⎫ ⎪= ⎪ ⎪⎝⎭称为系统状态的一步转移概率矩阵（transition probability matrix ），它具有性质： （1）0,,ij p i j I ≥∈； （2）1,ijj Ipi I ∈=∈∑.（2）式说明一步转移概率矩阵中任一行元素之和为1，通常称满足性质（1）（2）的矩阵为随机矩阵.定义 4.5 称条件概率(){|},n ij m n m p P X j X i +=== ,,0,1i j I m n ∈≥≥ （4.2）为Markov 链{,}n X n T ∈的n 步转移概率，并称()()()n n ij P p =为Markov 链{,}n X n T ∈的n 步转移矩阵.其中()()0,1n n ij ij j Ip p ∈≥=∑，即()n P 也是一个随机矩阵.特别地，当1n =时，(1)ij ij p p =，此时，一步转移矩阵(1)P P =.我们还规定(0)0,1,iji jpi j ≠⎧=⎨=⎩Markov 链n 步转移概率满足重要的Chapman Kolmogorov -方程（简称C K -方程）。

第四章习题解答4.1Y1,Y2,···是来自总体Y的随机变量，与X0独立，h(x,y)是实函数.对于n 1，取X n=h(X n−1,Y n).设{X n}的状态空间为I，验证{X n}是马氏链，给出转移概率p ij.解：由题知，Y k与X1,···,X k−1独立,k 1,∀n,i,j,i1,...,i n−1∈I有，P(X n+1=j|X n=i,X n−1=i n−1, (X0)i0)=P(h(i,Y n+1)=j|X n=i,X n−1=i n−1,···,X0=i0)=P(h(i,Y n+1)=j|X n=i)=P(h(i,Y)=j)=P(h(i,Y1)=j|X0=i)=P(X1=j|X0=i).∴X n是马氏链，P ij=P(h(i,Y)=j).4.2设{X i,i 0}是取非负整数值的独立同分布的随机变量序列，V ar(X0)>0.验证以下随机序列是马氏链：(a){X n,n 0};(b){S n,n 0}，其中S n=∑ni=0X i;(c){ξn,n 0}，其中ξn=∑ni=0(1+X i).解：∀n,i,j,i0,···,i n−1∈N+,(a).P(X n+1=j|X n=i,X n−1=i n−1,···,X0=i0)=P(X n+1=j)= P(X n+1=j|X n=i)=P(X1=j)=P(X1=j|X0=i).1第四章离散时间马尔可夫链第四章离散时间马尔可夫链(b).P(S n+1=j|S n=i,S n−1=i n−1,···,X0=i0)=P(X n+1=j−i|X n=i−i n−1,···,X0=i0)=P(X n+1=j−i)=P(X n+1=j−i,S n=i|S n=i)=P(S n+1=j|S n=i)=P(X1=j−i)=P(X1=j−i|X0=i)=P(S1=j|S0=i).(c).P(ξn+1=j|ξn=i,ξn−1=i n−1,···,ξ0=i0)=P(X n+1=ji −1)=P(X n+1=ji−1|ξn=i)=P(ξn+1=j|ξn=i)=P(X1=ji −1)=P(X1=ji−1|X0=i)=P(ξ1=j|ξ0=i).4.3马氏链的状态空间是I=(1,2,3,4,5)，转移概率矩阵P=0.20.80000.50.5000000.50.500.20.3000.500001界定马氏链的状态。

马尔可夫链及其性质马尔可夫链是一个具有马尔可夫性质的随机过程。

马尔可夫性质指的是在给定当前状态的情况下，未来的状态仅依赖于当前状态，而与过去的状态无关。

这个概念最早由俄国数学家马尔可夫在20世纪初提出，并且在各领域展示了广泛的应用。

一、马尔科夫链的定义马尔可夫链可以由以下元素定义：1. 状态空间：表示系统可能处于的所有状态的集合。

用S表示状态空间。

2. 转移概率：表示从一个状态到另一个状态的概率。

这些概率可以用转移矩阵P来表示，其中P[i, j]表示从状态i转移到状态j的概率。

3. 初始概率分布：表示系统在初始状态时各个状态的概率分布。

用初始概率向量π表示，其中π[i]表示系统初始时处于状态i的概率。

二、马尔可夫链的性质1. 马尔科夫性质：马尔可夫链的核心特性是满足马尔可夫性质，即未来状态只依赖于当前状态，与过去状态无关。

2. 细致平稳条件：若马尔可夫链的转移概率满足细致平稳条件，则存在唯一的平稳分布。

细致平稳条件是指对于任意两个状态i和j，从i 到j的概率乘以停留在状态i的时间和从j到i的概率乘以停留在状态j 的时间应相等。

3. 遍历性：若马尔可夫链的任意两个状态之间存在一条路径，并且这条路径上的概率都不为零，那么这个马尔可夫链是遍历的。

遍历性保证了无论初始状态如何，最终都可以到达所有的状态。

4. 不可约性：若马尔可夫链的任意两个状态之间都是互达的，那么这个马尔可夫链是不可约的。

不可约性保证了从任意一个状态出发，都可以到达所有的状态。

5. 周期性：若马尔可夫链中存在状态i，使得从状态i出发，无论经过多少次转移，都不能回到状态i，那么这个状态具有周期性。

马尔可夫链的周期定义为状态的所有周期的最大公约数，具有相同周期的状态构成一个封闭的循环。

三、马尔可夫链的应用1. 自然语言处理：马尔可夫链可以用于文本生成和语音识别等自然语言处理领域。

通过观察文本中的状态转移概率，可以生成类似语义的新文本。

2. 金融市场分析：马尔可夫链可以应用于股票价格预测和市场波动分析等金融领域。

马尔可夫链高中数学
马尔可夫链是一种随机过程，它的特点是下一个状态只与当前状态有关，与之前的状态无关。

在高中数学中，我们通常将马尔可夫链作为概率论和统计学的重要内容来学习。

具体来说，马尔可夫链由三个部分组成：状态空间、初始概率向量和状态转移矩阵。

其中，状态空间指所有可能的状态集合，初始概率向量是描述系统在初始状态下各个状态出现的概率，状态转移矩阵则是描述系统从一个状态转移到另一个状态的概率。

在高中数学中，通常会通过实例来具体说明马尔可夫链的应用。

例如，在一个赌场里，每个人进入时有50%的概率选择玩红色的轮盘，50%的概率选择玩黑色的轮盘，每次抽奖后，如果赢了就继续玩这个轮盘，如果输了就换到另外一个轮盘继续玩。

这个游戏可以被建模为一个马尔可夫链，并且可以通过状态转移矩阵来计算出最终状态的概率分布。

总之，马尔可夫链在高中数学中属于比较高级的内容，需要对概率论和线性代数有一定的基础。

马尔可夫链的基本原理和使用方法马尔可夫链是一种随机过程，它的基本原理是当前状态的转移概率只依赖于前一个状态，和之前的状态无关。

这种特性使得马尔可夫链在许多领域都有着广泛的应用，比如金融、生态学、自然语言处理等。

在本文中，我们将探讨马尔可夫链的基本原理和使用方法。

1. 马尔可夫链的基本原理马尔可夫链的基本原理可以用数学公式来表达。

设有一个有限的状态空间S={1,2,...,n}，则一个离散时间的马尔可夫链是一个序列X={X0, X1, X2, ...}，其中Xi表示在第i个时刻系统所处的状态，且满足以下马尔可夫性质：P(Xi+1 = j | Xi = i0, Xi-1 = i1, ..., X0 = i0) = P(Xi+1 = j | Xi = i0)其中P(Xi+1 = j | Xi = i0)表示在当前状态为i0的情况下，下一个状态为j的概率。

这个条件概率只依赖于当前状态，和之前的状态无关，这就是马尔可夫性质。

2. 马尔可夫链的使用方法马尔可夫链在实际应用中有着广泛的用途，其中最常见的就是用来建模随机过程。

在金融领域，马尔可夫链被用来建立股票价格的模型，帮助投资者预测未来的股价走势。

在生态学中，马尔可夫链被用来研究物种的迁移和数量变化，从而帮助保护生物多样性。

在自然语言处理领域，马尔可夫链被用来建立文本生成模型，从而帮助计算机理解和生成自然语言。

除了建模随机过程外，马尔可夫链还被广泛用于解决一些特定的问题，比如：a. 随机游走随机游走是一种通过随机转移来描述某个随机过程的方法。

在数学上，随机游走可以用马尔可夫链来建模。

通过分析随机游走的性质，可以帮助我们理解和预测一些具有不确定性的现象，比如股票价格的波动、气候变化等。

b. 马尔可夫决策过程马尔可夫决策过程是一种用来描述决策问题的数学模型。

在马尔可夫决策过程中，决策者需要根据当前状态和可选的行动来选择最优的策略。

通过分析马尔可夫决策过程，可以帮助我们理解和优化一些具有随机性和不确定性的决策问题，比如供应链管理、资源分配等。