1.定义：
时间连续、状态离散的马尔科夫过程。
设随机过程()()
,0X t t ≤，状态空间{}0,1,...I =,若对任意的110.....n t t +≤<<
121,,...,n i i i I +∈及有
()()()()()111111,...,n n n n n n n n p X t i X t i X t i p X t i X t i ++++======⎡⎤⎡⎤⎣⎦⎣⎦
则称其为连续时间马尔科夫链。
马尔可夫过程的任意有限维分布函数均可用它的初始分布和二维条件分布函数来确定。 转移概率：
在s 时刻处于状态i ，经过时间t 后转移到状态j 的概率: ()()()()
,ij p s t p X t s j X s i =+== 齐次转移概率：
()(),ij ij p s t p t =(转移概率与起始时刻s 无关，只与时间间隔t 有关) 转移概率矩阵： ()(){}
,,,0ij P t p t i j I t =∈≤. 2.齐次马尔科夫过程的性质： ()()()()()0;
1;ij ij
ij
ik
kj
j I
k I
p t p t p t s p t p s ∈∈>==+=∑∑；
()()()P s t P s P t += 3.转移概率的正则性条件: ()0
1,lim 0,ij t i j
p t i j
→=⎧=⎨
≠⎩
过程刚进入某状态不可能立即又跳跃到另一状态。 4.初始概率 ()()()
00,i i p p p X i i I ===∈ 5.绝对概率 ()()()
,,0j p t p X t j j I t ==∈≤
()()()()()()()()()()()()()11211112110;1;;
;
..........;
n n j j j i ij j I
i I
j i ij i I
n n i ii i i i i n n i I
p t p t p t p p t p t p t p p X t i X t i p p t p t t p t t ττ-∈∈∈-∈>===+====--∑∑∑∑
6.初始分布(),i p i I ∈
7.绝对分布()()
,,0j p t j I t ∈≤ 8.停留时间的概率：
i τ为过程在状态转移之前停留在状态i 的时间，则对,0s t >=有： 1>()()i i i p s t
s p t τττ>+>=>;
2>i τ服从参数为i ν指数分布，()1i i
x F x e ντ-=-；
当i ν无穷时：()()()1,10i
i
i F x p x F x τ
ττ=>=-=
状态i 的停留时间i ν 超过x 的概率为0，则称状态i 为瞬时状态; 当i ν=0时：()()()0,11i
i
i F x p x F x τ
ττ=>=-=
状态i 的停留时间i ν 超过x 的概率为0，则称状态i 为吸收状态; 3>当过程离开状态时，接着以概率ij p 进入j 状态.
在状态i 过程停留的时间与下一个到达的状态必须是相互独立的随机变量。 9.科尔莫戈罗夫微分方程
齐次马尔可夫过程满足正则性条件，则对于任意i ,j ∈I,()ij p t 是t 的一致连续函数 科尔莫戈罗夫向后方程：()()'P t QP t =；
科尔莫戈罗夫向前方程：()()'P t P t Q =：()'P t 为()P t 的导数。
()'P t =()()'ij p t =()ij dp t dt ⎛⎫
⎪⎝⎭
初始条件：()1;00;ij i j
p i j =⎧=⎨
≠⎩
若Q 为一个有限矩阵则有：()()
!
j
Qt
j Qt P t e j ∞
===∑
10转移速率：
()ij p t 是齐次马尔可夫过程的转移概率，在下列极限存在： 1）()
01lim
ii i ii t p t q t
ν∆→-∆==≤∞∆；
2）()0
lim
.ij ij t p t q i j t
∆→∆=<∞≠∆。
3）ij q 为齐次马尔可夫过程从状态i 到状态j 的转移速率；
4）对有限齐次马尔可夫过程ii ij
i j
q q
≠=
<∞∑；
5）对状态空间无限的齐次马尔可夫过程ii ij
i j
q q
≠>=∑。
11Q 矩阵
()()()'0;'0;'0ii ii ij ij Q P q p q p ==-=
12绝对概率
齐次马尔可夫过程在t 时刻处于状态j I ∈的绝对概率()j p t 满足方程:
()()()';j k kj j jj k j
p t p t q p t q ≠=-∑
()();j i ij i I
p t p p t ∈=∑
()()()';ij ik kj ij jj k j
p t p t q p t q ≠=-∑
13.互通
设()ij p t 是连续时间马尔可夫链的转移概率，若存在时刻12t t ，使得()10ij p t >， ()20ij p t >，则称状态i 与j 是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。
14.渐近性质
设时间连续的马尔可夫链为不可约的，具有如下性质： 1）若其为正常返的则()lim 0,ij j t p t j I π→∞
∃=>∈。j π为方程组
1j jj k kj k j
j i I
q q πππ≠∈⎧=⎪⎨
=⎪⎩∑∑的唯一非负解，此时称(),j j I π∈是该过程的平稳分布并且有 ()lim j j t p t π→∞
=
2）若其为零常返或非常返的，则()()lim lim 0,i,ij j t t p t p t j I →∞
→∞
==∈
15生灭过程
设其次马尔科夫过程()()
,0X t t ≤的状态空间为{}1,2,....I =，转移概率为()ij p t 如果：
()()()()()()
()()()()()
,1,10,,j ;0;0,01;,2i i i i i i i i i i i i i p h h h p h h h p h h h p h h i j λλμμμμλ+-⎧=+>⎪
=+>=⎪⎨
=-++⎪⎪=≤-⎩ 。则称其为生灭过程i λ为出生率i μ为死亡率。 ,,.i i i i λλμμμλ==为正常数，则称其为线性生灭过程。
