第十讲 几种常用的随机过程
10.1 马尔可夫过程 10.1.1马尔可夫序列
马尔可夫序列是指时间参数离散，状态连续的马尔可夫过程。
一个随机变量序列x n （n=1,2,…）,若对于任意的n 有
)|(),...,,|(112
1
x x F x x
x x F n n X n n n
X
---= （10.1）
或
)|(),...,,|(112
1
x
x f x x
x x f n n
X
n n n
X
---=
（10.2）
则称x n 为马尔可夫序列。x n 的联合概率密度为
)
()|( )|()|(),...,,(1
1
2
2
11
2
1
x f x x f x
x f x x f x x x f X
X
n n X
n n
X
n
X
⋅⋅---=
（10.3）
马尔可夫序列有如下性质：
（1） 一个马尔可夫序列的子序列仍为马尔
可夫序列。
（2） )
|(),...,,|(1
21x
x f x x x x f n n
X
k n n n n X -+++=
（10.4）
（3） )|(),...,|
(1
11x
X x x X n n n n E E --=
（10.5）
（4） 在一个马尔可夫序列中，若已知现在，
则未来与过去相互独立。即
)
|()
|()|,(1
x x f x
x f x x x f r s
X
n n
X
r
s
n
X
-=
，n>r>s （10.6）
（5） 若条件概率密度)|(1x x f n n X -与n 无关，
则称马尔可夫序列是齐次的。
（6） 若一个马尔可夫序列是齐次的，且所
有的随机变量X n 具有同样的概率密度，则称该马尔可夫序列为平稳的。
（7） 马尔可夫序列的转移概率满足切普曼
—柯尔莫哥洛夫方程，即
)|()|
()|(x x f
x x f
x x f
s
r X
r
n X
s
n X
⎰
∞
∞
-=
，
n>r>s (10.7)
10.1.2马尔可夫链
马尔可夫链是指时间参数，状态方程皆
为离散的马尔可夫过程。
1 马尔可夫链的定义 设
),2,1( =n X n 为离散时间随机过程，
其状态空间},,,{2
1
a a a N
I =。如果过程在k m t +时刻为
任一状态),,2,1(N i a i k m =+的概率，只与过程在m t 时刻的状态有关，而与过程在m t 时刻以前的状态无关，即
1
1m k {|,,}
P{|} (10.8)X m k m m k m m k m m P i i i i i a
a a X X X a a X ++++====== 则称该过程为马尔可夫链，或简称马氏链。
2 马氏链的转移概率及有限维分布
马氏链的转移概率定义为
(,){|}, i,j 1,2,
N;m,k
.9m k
m j i ij
m m k p p a a X
X ++====皆为正整数（10）
如果
)
,(k m m p ij
+与m 无关，则称该马氏
链为齐次的。下面我们仅研讨齐次马氏链，
并习惯上省去“齐次”二字。
马氏链的一步转移概率及其矩阵分别定义为
m 1
(1)(,1)P{|} (10.10)
X
m ij ij ij m m j i
p p p a
a X +=+====
⎥⎥
⎥⎥
⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡==p p p p p p p p p NN N N N N P P 21
2222111211
)1( （10.11） 一步转移概率矩阵P 有以下两个性质
1
0≤≤
p
ij
（10.12）
∑==N
i ij
p
1
1
（10.13）
马氏链的高阶转移概率及其矩阵分别定义为
m n
()(,)P{|} ( 10.14 )
X
m ij ij n m m n j i
p p a
a X +=+===11
12
121
22
21
2
()()()()
()()() (10.15)
()()
()N
N N N NN n n n n n n P n n n n p p
p p p p
p p
p ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎢
⎥
⎢⎥⎣⎦
n 步转移概率矩阵P(n)具有如下的性质：
0() 1 (10.16)
ij
n p ≤
≤
1
() 1 (10.17)
N
ij
i n p ==∑
此外，还规定
⎩⎨⎧≠====j
i j
i m m ij ij ij p p ,0,1),()0(δ
马氏链的n 步转移概率及其矩阵具有如下的切普慢—柯尔摩哥洛夫方程的离散形式，即
