第四章 连续时间马尔科夫链

连续时间马尔可夫链I 马尔可夫链543210 1 2 3 4 5 T25.1 连续时间马尔可夫链定义5.1 设随机过程{X(t)，t 0}，状态空间I={0,1,2,}，若对任意0t1<t2<<t n+1 及非负整数i1,i2, ,i n+1 I，有P{X(t n+1)=i n+1|X(t1)=i1, X(t2)=i2,, X(t n)=i n}=P{X(t n+1)=i n+1|X(t n)=i n}，则称{X(t)，t 0}为连续时间马尔可夫链。

转移概率：在s时刻处于状态i，经过时间t后转移到状态j的概率p ij(s,t)= P{X(s+t)=j|X(s)=i} 35.1 连续时间马尔可夫链定义5.2 齐次转移概率p ij(s,t)=p ij(t)(与起始时刻s无关，只与时间间隔t有关) •转移概率矩阵P(t)=(p ij(t)) ，i,j I，t 0，称为齐次马尔科夫过程性质：若i为过程在状态转移之前停留在状态i的时间，则对s, t0有P{ s t | s} P{ t}i(1)i i(2)i 服从指数分布45.1 连续时间马尔可夫链证(1) 事实上i i i its s+ti{ s} {X(u) i,0 u s | X(0) i} i{ s t} {X(u) i,0 u s,iX(v) i, s v s t | X(0) i}55.1 连续时间马尔可夫链P{ s t | s} P{X (u) i,0 u s,i iX (v) i,s v s t | X (u) i,0 u s} P{X (v) i,s v s t | X (u) i,0 u s}条件概率P{X (v) i,s v s t | X (s) i}马尔可夫性P{X (u) i,0 u t | X (0) i}齐次性P{ t}i65.1 连续时间马尔可夫链(2)设i的分布函数为F(x), (x0),则生存函数G(x)=1-F(x)P{ t} P{ s t | s }i i iP {isP { t,i s}Ps}iP { s t}t}P{ s}P {iiiG (s t) G(s)G (t)7 由此可推出G(x)为指数函数，G(x)=e -x,则F(x)=1-G(x)=1-e -x为指数分布函数。

第四章 马尔可夫链随机过程在不同时刻下的状态之间一般具有某种关系，马尔可夫（Markov ）过程就是描述一类状态之间具有某种特殊统计联系的随机过程.Markov 过程在近代物理学、生物学、管理科学、信息处理与数字计算方法等领域都有重要的应用.按其状态和时间参数是连续的或离散的，它可分为三类：（1）时间、状态都是离散的Markov 过程，称为Markov 链；（2）时间连续、状态离散的Markov 过程，称为连续时间的Markov 链；（3）时间、状态都连续的Markov 过程.本章主要讨论Markov 链，有关连续时间的Markov 链的相关理论将在下章讨论.4.1 马尔可夫链的概念和例子独立随机试验模型最直接的推广就是Markov 链模型，早在1906年俄国数学家Markov 对它进行研究而得名，以后Kolmogorov 、Feller 、Doob 等数学家发展了这一理论.4.1 .1 Markov 链的定义假设Markov 过程{,}n X n T ∈的参数集T 是离散时间集合，即{0,1,2,}T =，相应n X 可能取值的全体组成的状态空间是离散状态集012{,,,}I i i i =.定义 4.1 设有一随机过程{,}n X n T ∈，若对于任意整数n T ∈和任意011,,,n i i i I +∈，条件概率满足11001111{|,,,}{|}n n n n n n n n P X i X i X i X i P X i X i ++++=======则称{,}n X n T ∈为离散时间的Markov 链，简称Markov 链（Markov chains ）或马氏链.从定义可以看出：Markov 链具有Markov 性（即无后效性），如果把时刻n 看作现在，那么，1n +是将来的时刻，而0,1,2,,1n -是过去的时刻.Markov 性表示在确切知道系统现在状态的条件下，系统将来的状况与过去的状况无关，而且Markov 链的统计特征完全由条件概率11{|}n n n n P X i X i ++==所决定. 因此，如何确定这个条件概率，是研究Markov 链理论和应用中十分重要的问题之一. 4.1.2 转移概率定义 4.2 称条件概率1(){|}ij n n p n P X j X i +=== （4.1）为Markov 链{,}n X n T ∈在时刻n 的一步转移概率，其中,i j I ∈，简称转移概率（transition probability ）.一般地，转移概率()ij p n 不仅仅与状态,i j 有关，而且与时刻n 有关，如果()ij p n 不依赖时刻n 时，则称Markov 链具有平稳转移概率.定义 4.3 若对任意,i j I ∈，Markov 链{,}n X n T ∈的转移概率()ij p n 与n 无关，则称Markov 链是齐次的（或称时齐的）（time homogeneous -），并记()ij p n 为ij p . 下面只讨论齐次Markov 链，并且通常将“齐次”两字省去.定义 4.4 设P 表示一步转移概率ij p 所组成的矩阵，且状态空间{1,2,}I =，则1112121222...........................n n p p p P p p p ⎛⎫ ⎪= ⎪ ⎪⎝⎭称为系统状态的一步转移概率矩阵（transition probability matrix ），它具有性质： （1）0,,ij p i j I ≥∈； （2）1,ijj Ipi I ∈=∈∑.（2）式说明一步转移概率矩阵中任一行元素之和为1，通常称满足性质（1）（2）的矩阵为随机矩阵.定义 4.5 称条件概率(){|},n ij m n m p P X j X i +=== ,,0,1i j I m n ∈≥≥ （4.2）为Markov 链{,}n X n T ∈的n 步转移概率，并称()()()n n ij P p =为Markov 链{,}n X n T ∈的n 步转移矩阵.其中()()0,1n n ij ij j Ip p ∈≥=∑，即()n P 也是一个随机矩阵.特别地，当1n =时，(1)ij ij p p =，此时，一步转移矩阵(1)P P =.我们还规定(0)0,1,iji jpi j ≠⎧=⎨=⎩Markov 链n 步转移概率满足重要的Chapman Kolmogorov -方程（简称C K -方程）。

第五章 连续时间的马尔可夫链第四章我们讨论了时间和状态都是离散的Markov 链，本章我们研究的是时间连续、状态离散的Markov 过程，即连续时间的Markov 链. 连续时间的Markov 链可以理解为一个做如下运动的随机过程：它以一个离散时间Markov 链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立.连续时间马尔可夫链的基本概念定义 设随机过程{(),0}X t t ≥，状态空间{,1}n I i n =≥，若对任意的正整数1210n t t t +≤<<<L 及任意的非负整数121,,,n i i i I +∈L ，条件概率满足{}111122()|(),(),,()n n n n P X t i X t i X t i X t i ++====L{}11()|()n n n n P X t i X t i ++=== （）则称{(),0}X t t ≥为连续时间的Markov 链.由定义知，连续时间的Markov 链是具有Markov 性（或称无后效性）的随机过程，它的直观意义是：过程在已知现在时刻n t 及一切过去时刻所处状态的条件下，将来时刻1n t +的状态只依赖于现在的状态而与过去的状态无关.记式条件概率的一般形式为{()|()}(,)ij P X s t j X s i p s t +=== （）它表示系统在s 时刻处于状态i ，经过时间t 后在时刻s t +转移到状态j 的转移概率，通常称它为转移概率函数.一般地，它不仅与t 有关，还与s 有关.定义 若式的转移概率函数与s 无关，则称连续时间Markov 链具有平稳的转移概率函数，称该Markov 链为连续时间的齐次（或时齐）Markov 链. 此时转移概率函数简记为(,)()ij ij p s t p t =.相应地，转移概率矩阵简记为()(()),(,,0)ij P t p t i j I t =∈≥.若状态空间{0,1,2,}I =L ，则有()000102101112012()()()...()()()()()............()()()............ij n n n p t p t p t p t p t p t P t p t p t p t p t ⎛⎫ ⎪ ⎪⎪== ⎪ ⎪ ⎪⎝⎭L L （）假设在某时刻，比如说时刻0，Markov 链进入状态i ，在接下来的s 个单位时间内过程未离开状态i （即未发生转移），我们要讨论的问题是在随后的t 个单位时间中过程仍不离开状态i 的概率是多少？由Markov 性知，过程在时刻s 处于状态i 的条件下，在区间[,]s s t +中仍处于状态i 的概率正是它处在状态i 至少t 个单位时间的（无条件）概率，若记i τ为过程在转移到另一状态之前停留在状态i 的时间，则对一切,0s t ≥有{|}{}i i i P s t s P t τττ>+>=>可见，随机变量i τ具有无记忆性，因此，i τ服从指数分布.因此，一个连续时间的Markov 链，每当它进入状态i ，具有如下性质： （1） 在转移到另一个状态之前处在状态i 的时间服从参数为i v 的指数分布； （2） 当过程离开状态i 时，接着以概率ij p 进入状态j ,且1ijj ip≠=∑.当i v =∞时，称状态i 是瞬时状态，因为过程一旦进入状态就离开；若0i v =，称状态为吸收状态. 因为过程一旦进入永远不再离开.尽管瞬时状态在理论上是可能的，但我们以后还是假设一切i ，0i v ≤<∞.因此，考虑连续时间Markov 链，可以按照离散时间的Markov 链从一个状态转移到另个状态，但在转移到另一状态之前，它在各个状态停留的时间服从指数分布，而且在状态i 停留的时间与下一个状态必须是相互独立的随机变量.定理 齐次Markov 链的转移概率函数具有下列性质：（1）()0ij p t ≥； （2）()1ij j Ip t ∈=∑；（3）()()()ij ikkj k Ip t s pt p s ∈+=∑.（2）式表明转移概率矩阵中任一元素行和为1；（3）式称为连续时间齐次Markov 链的Chapman Kolmogorov -方程，简称C K -方程.证明 （1）和（2）由概率定义及()ij p t 的定义易知，下面只证明（3）式 由全概率公式和Markov 性可得(){()|(0)}ij p t s P X t s j X i +=+=={(),()|(0)}k IP X t s j X t k X i ∈=+===∑{()|(0)}{()|()}k IP X t k X i P X t s j X t k ∈===+==∑{()|(0)}{()|(0)}k IP X t k X i P X s j X k ∈=====∑()()ikkj k Ipt p s ∈=∑对于转移概率函数，我们约定1,,lim ()0ij ij t i j p t i jδ→=⎧==⎨≠⎩ （） 称上式为连续性条件或正则性条件.连续性条件保证转移概率函数()ij p t 在边界点0t =处右连续.它的直观意义在于：当系统经过很短时间，其状态几乎不变，也就是认为系统刚进入一个状态又立刻离开这个状态是不可能的.定义 连续时间Markov 链{(),0}X t t ≥在初始时刻（即零时刻）取各状态的概率(0){(0)},i i p p P X i i I ===∈ （）称为它的初始分布.{(),0}X t t ≥在t 时刻取各状态的概率(){()},j p t P X t j == ,0j I t ∈≥称为它在时刻t 的绝对（概率）分布.初始分布和绝对分布都是概率分布，对于任意0t ≥，()j p t 总满足： （1）0()1j p t ≤≤； （2）()1j jp t =∑.利用全概率公式容易得到()(0)(),j i ij i Ip t p p t j I ∈=∈∑ （）（）式表明：连续时间Markov 链的绝对概率分布完全由其初始分布和转移概率函数所确定.下面举一个简单的例子说明转移概率函数的计算方法.例 证明Poisson 过程{(),0}N t t ≥是连续时间的齐次Markov 链. 证明 先证明Poisson 过程具有Markov 性.由Poisson 过程的独立增量性和()0N t =，对任意1210n n t t t t +<<<<<L ，有1111{()|(),,()}n n n n P N t i N t i N t i ++===L=1111{()()|()(0),n n n n P N t N t i i N t N i ++-=--=212111()(),,()()}n n n n N t N t i i N t N t i i ---=--=-L11{()()}n n n n P N t N t i i ++=-=- 另一方面，因为11{()|()}n n n n P N t i N t i ++===11{()()|()(0)}n n n n n n P N t N t i i N t N i ++-=--==11{()()}n n n n P N t N t i i ++-=-因此 1111{()|(),,()}n n n n P N t i N t i N t i ++===L =11{()|()}n n n n P N t i N t i ++== 即Poisson 过程是连续时间的Markov 链.再证齐次性. 当j i ≥时，由Poisson 过程的定义，得到{()|()}{()()}P N s t j N s i P N s t N s j i +===+-=-()()!j itt ej i λλ--=-当j i <时，由于过程的增量只取非负整数值，因此，(,)0ij p s t =，故(),(,)()()!0,j it ij ij t ej i p s t p t j i j iλλ--⎧≥⎪==-⎨⎪<⎩即转移概率函数只与t 有关，因此，Poisson 过程具有齐次性.容易看出，固定,i j 时，()ij p t 是关于t 的连续可微函数。

连续时间马尔可夫链例题假设有一个连续时间马尔可夫链，描述一个人的健康状态。

该马尔可夫链包含三个状态：健康、生病和康复。

人的健康状态可以根据以下转移概率进行模拟：1. 在任何时间点，一个健康的人以0.1的速率生病。

2. 在任何时间点，一个生病的人以0.2的速率康复。

3. 在任何时间点，一个康复的人以0.05的速率重新生病。

现在假设一个人的初始状态是健康，我们可以使用连续时间马尔可夫链模型来模拟他的健康状态随时间的变化。

假设每个时间单位是一周，我们希望模拟他一年内的健康状态。

根据上面的转移概率，我们可以得到如下的转移矩阵：```| 健康 | 生病 | 康复 |----------------------------健康 | 0.9 | 0.1 | 0 |生病 | 0.05 | 0.75 | 0.2 |康复 | 0 | 0.05 | 0.95|```该矩阵中的每个元素表示从当前状态转移到下一个状态的概率。

例如，一个健康的人在一周后仍然健康的概率为0.9，在一周后生病的概率为0.1，在一周后康复的概率为0。

使用该转移矩阵，我们可以模拟一个人一年内的健康状态。

假设每个时间单位是一周，则一年共有52个时间单位。

我们可以使用随机数生成器来生成每个时间单位的状态。

假设生成的随机数在[0,1)之间，我们可以根据转移概率进行状态转移。

例如，如果生成的随机数小于0.9，则人在下一个时间单位仍然健康；如果生成的随机数介于0.9和0.95之间，则人在下一个时间单位康复；如果生成的随机数大于等于0.95，则人在下一个时间单位重新生病。

使用这种方法，我们可以模拟一个人一年的健康状态，并观察他在这段时间内的状态变化。

这可以帮助我们更好地了解和预测一个人的健康动向。