连续时间马尔可夫链

5 连续时间马尔可夫链

5.1引言

本章中我们考虑与离散时间马尔可夫链类似的连续时间马尔可夫链。如离散情形一样，它们由马尔可夫性刻画，即已知现在的状态时将来与过去独立。

在5.2节中。我们定义连续时间马尔可夫链且把它们与第四章的离散时间马尔可夫链相联系。在5.3节中，我们引入一类重要的连续时间马尔可夫链，即所谓生灭过程。这些过程可用作在任何时刻其总量的变化仅为一个单位的群体的模型。在5.4节中，我们导出两组描述系统的概率规律的微分方程——向前与向后方程。5.5节的内容是确定连续时间马尔可夫链的有关的极限（或长时间后的）概率。在5.6节中，我们考虑时间可逆的问题。其中，我们证明一切生灭过程是时间可逆的，而后阐明这事实对于排队系统的重要性。在这一节中也提供了时间可逆性对随机群体模型的应用。在5.7节中，我们阐明逆向链的重要性，即使过程不是时间可逆的。利用它我们研究排队网络模型。导出爱尔朗消失公式，分析共用加工系统。5.8节中我们表面如何“一致化”马尔可夫链——对于数值计算有用的一种技巧。

5.2连续时间马尔可夫链

考虑取非负整数值的连续时间随机过程t,0

X t，与第四章中给出的离散时间马尔可夫链的定义类似，过程t,0

X t称为连续时间马尔可夫链，如

果对一切,0

s t及非负整数,i j，x u，0u s，有

|X,X,0

P X t s j s i u x u u s

P X t s j X s i

|

换言之，连续时间马尔可夫链是具有马尔可夫性的随机过程，即已知现在s时是状态及一切过去的状态的套件下在将来时刻t s的状态的条件分布只依赖现在的状态而与过去独立。若又有|

P X t s j X s i与s无关则称连续时间马尔可夫链具有平稳的或其次的转移概率。将假定我们所考虑的马尔可夫链都有平稳转移概率。

假设在某时刻，比如说时刻0，马尔可夫链进入状态i，而且假设在接下来的s个单位时间中过程未离开状态i（即未发生转移）。在随后的t个单位时间中过程仍不离开状态i的概率是多少呢？为了回答这个问题。注意到因为在时间s 过程处于状态i，从马尔可夫性得在区间,s s t中它仍然处于状态i的概率正是

记过程在转移到他处于状态i至少t个单位时间的（无条件）概率。也即若以

i

另一状态之前停留在状态i的时间，则对一切,0

s t有

|

P s t s P t

i i i

因此，随机变量i 是无记忆的必有指数分布。

事实上，上面的讨论给了我们构造连续时间马尔可夫链的一个方法。也即它是一个具有如下性质的随机过程，每当它进入状态i ：

(i)在转移到另一状态之前处于状态i 的时间服从指数分布，参数为i v (ii)当过程离开状态i 时，接着以某个概率。譬如ij P ，进入状态就j ，

1ij

j i

P 。

i

v 的状态i 称为瞬时状态。因为一旦进入此状态立即就离开。尽管这种

状态在理论上是可能的，我们将始终假设对一切i ，0i

v 。（如果0i

v ，

则称状态i 为吸收的，因为一旦进入这一状态就永不再离开了。）因此，实际上一个连续时间马尔可夫链是一个这样的随机过程，它按照一个（离散时间）的马尔可夫链从一个状态转移到另一个状态，但在转移到下一状态之前，他在各个状态停留的时间服从指数分布。此外在状态i 过程停留的时间与下一个到达的状态必须是独立的随机变量。因为若下一个到达的状态依赖于

i

，那么过程处于状态

i 已有多久的信息与下一个状态的预报有关——这就与马尔可夫假定矛盾了。

一个连续时间马尔可夫链称为规则的，若以概率1在任意有限时间内的转移次数是有限的。一个非规则的马尔可夫链的例子是

,1

1i i P 2i v i

能够证明这个马尔可夫链总是从状态i 到1i ，停留在状态i 的时间服从均值为

21/i 的指数分布，它将以正的概率在任意长为t ，（0t ）的时间区间内作无限

多次转移。然而我们从现在起将假设所考虑的全部马尔可夫链是规则的（在习题中将给出规则性的某些充分条件）。

对一切i

j ，ij q 定义为

ij i ij q v P

因为i v 是过程离开状态i 的速率而ij P 是它转移到j 的概率，所以ij q 是过程从状态

i 转移到状态j 的速率；事实上我们就称ij q 是从i 到j 的转移速率。

以ij P t 记马尔可夫链现在处于状态i ，再经过一段时间t 后处于状态j 的概率，即

|ij P t P X t s j X s i

5.3生灭过程

具有状态0,1，的连续时间马尔可夫链称为生灭过程，若1i

j

时0ij

q 。

于是一个生灭过程是一个连续时间马尔可夫链，具有状态0,1,，它从状态i 只

能转移到状态1i 或1i 。过程的状态通常看作为某个群体的总量，当状态增长1时，我们就说生了一个；而当它减少1时，我们就说死了一个。设

i

与

i

为

,1i

i i q ,1i

i i q

值

,0i

i 与

,1i

i 分别称为生长率与死亡率。因为

ij i j i

q v ，可见

i i

i

v

,1

,11i i i i i i

i

P P

因此，我们可以这样设想生灭过程，每当系统中有i 个人时，直到下一次出生的时间服从参数为i 的指数分布，且独立于直到下一次死亡的时间，它服从参数为

i

的指数分布。

例5.3（a ） 两个生灭过程

（i ）M/M/s 排队系统。假设顾客按照参数为的泊松过程来到一个有s 个服

务员的服务站，即相继来到之间的时间是均值为1的独立指数随机变量，每个

顾客一来到，如果有服务员空闲，则直接进入服务，否则此顾客要加入排队行列（即他在队列中等待）。当一个服务员结束对一位顾客的服务时，顾客便离开服务系统，排队中的下一位顾客（若有顾客在等待）进入服务。假定相继的服务时间是独立的指数随机变量，均值为1。如果我们可以以X t 记时刻t 系统中的

人数，则,0X t t

是生灭过程，

,1,n

n n s

s n s

,0n

n

（ii ）有迁入的线性增长模型 ,1n

n n

,0n

n

n

的模型称为有迁入的线性增长模型。这种过程自然地产生于生物繁殖与群体增长的研究中。假定群体中的每个个体以指数率出生；此外，群体由于从外界迁入