三节连续时间马尔可夫链

第五章

连续时间马尔可夫链I 马尔可夫链

5

4

3

2

1

0 1 2 3 4 5 T

25.1 连续时间马尔可夫链

定义5.1 设随机过程{X(t)，t 0 }，状态

空间I={0,1,2,}，若对任意0t1<

t2<

+1 I，有

P{X(tn+1)=in+1|X(t1)=i1, X(t2)=i2,, X(tn)=in}

=P{X(tn+1)=in+1|X(tn)=in}， 则称{X(t)，t 0 }为连续时间马尔可夫链。

转移概率：在s时刻处于状态i，经过时间

t后转移到状态j的概率 pij(s,t)= P{X(s+t)=j|X(s)=i} 3 5.1 连续时间马尔可夫链

定义5.2 齐次转移概率 pij(s,t)=pij(t)

(与起始时刻s无关，只与时间间隔t有关)

• 转移概率矩阵P(t)=(pij(t)) ，i,jI，t 0 ，称为

齐次马尔科夫过程

性质：若

i为过程在状态转移之前停留在状态

i的时间，则对s, t0有

P{ s t | s} P{ t}

i (1)

i i (2)

i 服从指数分布

45.1 连续时间马尔可夫链

证(1) 事实上

i i i i

t 0

s s+t

i

{ s} {X(u) i,0 u s | X(0) i} i

{ s t} {X(u) i,0 u s, i

X(v) i, s v s t | X(0) i}

55.1 连续时间马尔可夫链

P{ s t | s} P{X (u) i,0 u s,

i i

X (v) i,s v s t | X (u) i,0 u s}

P{X (v) i,s v s t | X (u) i,0 u s} 条件概率

P{X (v) i,s v s t | X (s) i}

马尔可夫性

时磊忖呎…

第五章连续时间的马尔可夫链

第四章我们讨论了时间和状态都是离散的 Markov链，本章我们研究的是时间连续、 状

态离散的Markov过程，即连续时间的 Markov链•连续时间的Markov链可以理解为一个 做如下运动的随机过程：它以一个离散时间 Markov链的方式从一个状态转移到另一状态，

在两次转移之间以指数分布在前一状态停留 •这个指数分布只与过程现在的状态有关， 与过

去的状态无关(具有无记忆性)，但与将来转移到的状态独立 •

5.1连续时间马尔可夫链的基本概念

定义5.1设随机过程｛X(t),t 0｝，状态空间I ｛in,n 1｝，若对任意的正整数

0 ti t2 L tn 1及任意的非负整数il,i2,L ,in1 I，条件概率满足

P X(tn i) in1 |X(t1) h,X(t2) i2, L , X(J) in

PX(tm) in 1 |X(tn) in ( 5.1)

则称｛X(t),t 0｝为连续时间的Markov链.

由定义知，连续时间的 Markov链是具有Markov性(或称无后效性)的随机过程，它

的直观意义是：过程在已知现在时刻 tn及一切过去时刻所处状态的条件下，将来时刻 tn 1的

状态只依赖于现在的状态而与过去的状态无关

记(5.1)式条件概率的一般形式为

P｛X(S t) j |X(S) i｝ Pj(S,t) ( 5.2)

它表示系统在s时刻处于状态i，经过时间t后在时刻s t转移到状态j的转移概率， 通常称它为转移概率函数.一般地，它不仅与t有关，还与s有关.

定义5.2若(5.2)式的转移概率函数与 s无关，则称连续时间 Markov链具有平稳的转移 概率函数，称该 Markov链为连续时间的齐次(或时齐) Markov链.此时转移概率函数简

记为pjs,t) pj(t).相应地，转移概率矩阵简记为 P(t) (Pj(t)),(i, j I ,t 0).

马尔可夫过程

编辑词条

一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 （现在）的条件下，它未来的演变 （将来）不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。

目录

马尔可夫过程

离散时间马尔可夫链

连续时间马尔可夫链

生灭过程

一般马尔可夫过程

强马尔可夫过程

扩散过程

编辑本段马尔可夫过程

Markov process

1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。

类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当现在所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2，„分别表示青蛙最初处的荷叶号码及第一次、第二次、„„跳跃后所处的荷叶号码，那么{Xn，n≥0}

就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。

欧阳术创编 2021.02.02 欧阳美创编 2021.02.02

欧阳术创编 2021.02.02 欧阳美创编 2021.02.02 第五章 连续时间的马尔可夫链

时间：2021.02.02 创作：欧阳术

第四章我们讨论了时间和状态都是离散的Markov链，本章我们研究的是时间连续、状态离散的Markov过程，即连续时间的Markov链. 连续时间的Markov链可以理解为一个做如下运动的随机过程：它以一个离散时间Markov链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立.

5.1 连续时间马尔可夫链的基本概念

定义 5.1 设随机过程{(),0}Xtt，状态空间{,1}nIin，若对任意的正整数1210nttt及任意的非负整数121,,,niiiI，条件概率满足

11()|()nnnnPXtiXti （5.1）

则称{(),0}Xtt为连续时间的Markov链.

由定义知，连续时间的Markov链是具有Markov性（或称无后效性）的随机过程，它的直观意义是：过程在已知现在时刻nt及一切过去时刻所处状态的条件下，将来时刻1nt的状态只依赖于现在的状态而与过去的状态无关.

记(5.1)式条件概率的一般形式为

{()|()}(,)ijPXstjXsipst （5.2） 欧阳术创编 2021.02.02 欧阳美创编 2021.02.02

欧阳术创编 2021.02.02 欧阳美创编 2021.02.02 它表示系统在s时刻处于状态i，经过时间t后在时刻st转移到状态j的转移概率，通常称它为转移概率函数.一般地，它不仅与t有关，还与s有关.