第3章马氏过程(应用随机过程,陈萍)

tk
i ) A R j P X tk 1 ,..., X tk j A | Ftk P X tk 1 ,..., X tk j A | X tk





j
tk 1
tk j
i ut X t i ut X t k l k l k l k l l 1 l 1 E e Ftk E e Xtk
ii ) h : R j R 满 足E h X tk 1 ,..., X tk j
tk 1 tk j tk tk 1 tk j
E hX ,..., X | F E hX ,..., X | X iii ) u u ,...,u R
(3.1.1)
则称{Xn,nN},为是一个可数状态的Markov链，简 称马氏链。
注 式(3.1.1)所反映这种性质称为Markov性或无后效性，它与 第一章论述的Markov性是等价的.
8
定理3.1.1 设X={Xn,nN}为一个随机变量序列， E={1,2,…}，任意n1 , Xn都取值于E，则下面的陈述 等价： 1){Xn,nN}是一个可数状态的Markov链；
(3.1.2）
3)
h : R R s.t. E h X n , n 0, 令Fn = X 1, . . . , Xn E h X n | Fn1 E h X n | X n1
9
4)
P( X tn1 in 1 , , X tnm in m X t0 i0 , , X tn in )
z R, s t , E z X t Fs E z X t X s iv ) u R, s t ,
iuXt s

E e F E e X
iuXt s
4
Markov过程的判别--独立性定理:设X,Y为概率 空间(Ω,F,P)上的随机变量, G为F的子σ代数,且设X 与G独立,Y关于G可测. 则对二元函数f(x,y),
p
(n) ij
pij (0, n) pij (m, n)
(1) p p 特别地, n=1时,简记 ij ij
以下仅限于讨论齐次马氏链.
11
( n) 3) 记 Pn ( pij ) ,称Pn为{X k，k=0,1,2,… }的n步转移概 率矩阵. 若马氏链的状态空间E={1，2，··· ，N}，则称此马氏链 是有限马氏链。此时，其k步转移矩阵是一个N 阶方 阵 k k k
j j
6
根据参数集T及状态空间E的取值离散与否，通常将马 氏过程分成四类进行研究： 1、参数和状态都离散的马氏过程，简称马氏链； 3、参数连续、状态离散的马氏过程，又称连续马氏 链或纯不连续马氏过程； 3、参数离散、状态连续的马氏过程，简称马氏序列; 4、参数和状态都连续的马氏过程，又称连续马氏过 程。 随机游动, Poisson过程, 更新过程中的更新时间 序列, Brown运动, 分别是1-4的例子.
P ( X t n 1 in 1 , , X t n m i n m X t n i n ) (3.1.3）
5) n 1, m 1,任意严格单增数列 {t0 ,, tnm} N ,任意 i0,i1,· · ·,im+nE ，都有
P( X t0 i0 ,, X tn1 in1 , X tn1 in1 ,, X tnm inm X tn in )
P( X t0 i0 , , X tn1 in 1 X tn in ) P( X tn1 in 1 , , X tnm in m X tn in )
（3.1.4）
10
定义3.1.2 设X={Xn,nN}为状态空间E={1,2,…}上 的Markov链. 1)记 pij (m, n) P( X mn j X m i) ，称之为Markov链 的n步转移概率； 2)若Markov链的n步转移概率 pij (m, n) 总与起始时刻m 无关,则称该Markov链为齐次（或时齐）Markov链， 并简记n步转移概率为
r≥0(p+q+r=1)，且各次移动相互独立，以Xn表示质
点经n次移动后所处的位置，则{Xn, n≥0}是一
Markov链，且p i, i+1 = p, p i, i-1 = q, pii = r，其余pij = 0.
16
(2)带吸收壁的随机游动 设(1)中的随机游动限制在
E={0, 1, 2,…, b}内，当质点移动到状态0或b后就 永远停留在该位置，即p00 = 1，pbb = 1，其余pij (1≤i, j≤b-1)同(1).这时序列{Xn, n≥0}称为带 两个吸收壁0和b的随机游动，是一有限状态Markov
2) n 1 ,任意严格单增数列 {t0 ,, tn ,} N ,任意 i0,i1,· · ·,inE ，都有
P( X t n in X t n 1 in 1 , , X t1 i1 , X t 0 i0 )
P( X t n in X t n 1 in 1 )
(n) 表示n时刻Xn的概率分布向量. 称 i (n), i E
13
定理3.1.4
(n 1) (n) P; (n) (0) Pn
(3.1.8) (3.1.9)
EX 设系统有三种可能状态E = {1, 2, 3}. “1”表示系统运
行良好，“2”表示运行不正常，“3”表示系统失效. 以 Xn表示系统在时刻n的状态, 并设{Xn, n≥0}是一Markov 链. 没有维修及更换条件下，其自然转移概率矩阵为P, 初始分布为π, 试求系统在时刻1,2及n∞时出现各种状 态的概率.
7
3.1 Markov链
一、马氏链的概念及转移矩阵 定义3.1.1 若随机序列{Xn,nN},状态空间E={1,2,…}. 对任意n1,任意i0,i1,· · · ,inE,都有
P{X n in | X 0 i0 , X1 i1,, X n1 in1}
P{X n in | X n1 in1},
0.9 0.1 0
0 .3 0 .1 0 .6 P 0 0 .1 0 .9 0 0 1
14
二 若干实例
例3.1.1 独立随机变量和的序列
设{ξn, n≥0}为独立同分布随机变量序列，分布
律为P{ξn = k}= qk, k=0,1,…，
令 X n k ,则易证{Xn, n≥0}是一Markov链， k 0 且 q j i , j i , pij j i. 0, 显然，{ξn, n≥0}本身也是一Markov链.
n
15
例3.1.2 直线上的随机游动
(1)无限制的随机游动 设有一质点在数轴上随机游动， 每隔一单位时间Δt (设 Δt =1)移动一次，每次只能向 左或向右移动Δx 单位(设 Δx =1)，或原地不动. 设质 点在0时刻的位置为a，它向右移动的概率为p≥0，向
左移动的概率为q≥0，原地不动的概率为
E f ( X ,Y ) | G E f ( X ,Y ) | Y
例 设{Bt,t0}为一独立增量过程，X t e Bt ，
求证：{Xt,t0}为Markov过程。
5
Markov过程的基本结论: 设X t ; t 为马氏过程, tk tk 1 ..., tk j
例3.1.4 分枝过程 分枝过程是Markov过程的重要特例。常用来描述细 胞分裂，种群繁衍，粒子裂变等现象，在随机过程的 理论和应用中占有非常重要的地位。下面介绍的模型 是英国博物学家Galton,Watson在研究家族谱系关系 时引入的，因此也称为Galton-Watson分枝过程（简 称G-W过程）。 考虑一个能产生同类后代的个体组成的群体。每个个 体以概率 pm , m 0 产生m个新后代，与别的个体产生 的后代个数相互独立。初始的个体个数为X0 ，其后 代构成第一代，总数记为 X1 。以此类推，以 Xn表示 第 n代的总数，记 i( n)表示第n 代的第 i个个体的后代 个数，那么 {X n , n 0,1,2,} 就为一个Markov链，称 19 之为时间离散的分枝过程.
3
Markov过程的等价描述: i) s t PX t B | Fs PX t B | X s
Eh X t | Fs Eh X t | X s
ii ) h : R R 满 足E h X t , s t
iii) 若Xt 的矩母函数存在,
k p21 Pk p k N1
p11
p12

p22
k
k


pN 2
p2 N . k pNN
k
p1N
随机矩阵
显然
( n) ( n) (i) 0 pij 1, i, j E; (ii) pij 1, i E. jE
12
定理3.1.3 切普曼—柯尔莫哥洛夫(ChapmanKolmogorov) 方程, 简称C-K方程. 或
( m n ) ( m) ( n ) pij pik pkj kS
3.1.6
P m n P m n P m P n
3.1.7
记 i (n) P( X n i), (n) ( 1 (n), 2 (n), , i (n), ), 为Markov链的绝对分布; 称 i (0), i E 为Markov 链的初始分布. 可证, 一个Markov链的特性完全由它的一步转移概 率矩阵P及初始分布向量 (0)决定.
应用随机过程