- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
移概率 pi(具jn) 有性质
(1)
p(n) ij
p p (l ) (nl ) ik kj
kI
(2)
p(n) ij
p p p ik1 k1k2
kn1 j
(3) P(n)=PPk1(nI-1) kn1I
(4) P(n)=Pn
......
10
4.1 马尔可夫链与转移概率
证(1)
p(n) ij
P X mn
j|Leabharlann XmiP X m i, X mn PX m i
j
kI
P X m i, X ml k, X mn PX m i, X ml k
j PX m i, X ml PX m i
k
P X mn j | X ml kPX ml k | X m i kI
pk(nj l ) (m l ) pi(kl ) (m)
第四章 马尔可夫链
......
1
4.1 马尔可夫链与转移概率
定义 设 {X(t)，t T }为随机过程，若对 任意正整数n及t1< t2<< tn， P{X(t1)=x1,, X(tn-1)=xn-1}>0，且条件分 布P{X(tn)xn|X(t1)=x1,, X(tn-1)=xn-1}= P{TX}(为tn)马 尔xn|可X(夫tn-过1)=程xn。-1}，则称{X(t)，t
P{X0=i0,X1=i1,,Xn-2=in-2}
=P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
P{X0=i0,X1=i1,,Xn-2=in-2}
......
5
4.1 马尔可夫链与转移概率
= =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1 |Xn-2=in-2}
p1n p2n
P
pm1 pm2 pmn
• 转移概率性质
(1) pij 0, i, j I (2) pij 1, i I
P称为随机矩阵
jI
......
8
4.1 马尔可夫链与转移概率
• 定义 称条件概率 pi(jn=) P{Xm+n=j|Xm=i}
为马尔可夫链{Xn，nT }的n步转移概 率(i,jI, m0, n1)。
☆若t1,t2,,tn-2表示过去，tn-1表示现在，tn 表示将来，马尔可夫过程表明：在已知
现在状态的条件下，将来所处的状态与
过去状态无关。
......
2
4.1 马尔可夫链与转移概率
• 马尔可夫过程通常分为三类：
(1)时间、状态都是离散的，称为马尔可 夫链
(2)时间连续、状态离散的，称为连续时间 马尔可夫链
......
13
4.1 马尔可夫链与转移概率
定理4.2
•设{Xn，nT }为马尔可夫链，则对任意 整数jI和n1 ，绝对概率pj(n)具有性质
(1) p j (n)
pi
p(n) ij
iI
(2) p j (n) pi (n 1) pij iI
(3) PT(n)=PT(0)P(n)
(4) PT(n)= PT(n-1)P
n步转移概率矩阵由一步转移概率矩阵确
定(n次幂)
......
12
4.1 马尔可夫链与转移概率
定义
• 初始概率 p j P{X 0 j}
• 绝对概率 p j (n) P{X n j}
• 初始分布 p j , j I • 绝对分布 p j (n) , j I
• 初始概率向量 pT (0) ( p1, p2 ,) • 绝对概率向量 pT (n) ( p1(n), p2 (n),)
•
n步转移矩阵 Pn
p(n) ij
其中
p(n) ij
0
,
p(n) ij
1, i,
jI
jI
P(n)也为随机矩阵
当n
1时,
p(1) ij
pij
,
P (1)
P
当n
0时
，
规
定p(0) i.j.....
0 , i 1 , i
j j
9
4.1 马尔可夫链与转移概率
• 定理4.1 设{Xn，nT }为马尔可夫链， 则对任意整数n0,0l<n和i,jI，n步转
P{X1=i1|X0=i0}P{X0=i0} 马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in}确定。
......
6
4.1 马尔可夫链与转移概率
• 定义 称条件概率pij(n)= P{Xn+1=j|Xn=i} 为 马尔可夫链{Xn，nT }在时刻n的一步转移 概率，简称转移概率，其中i,jI。
• 定义 若对任意的i,jI，马尔可夫链 {Xn,nT }的转移概率pij(n)与n无关，则称马 尔可夫链是齐次的，并记pij(n)为pij。
• 齐次马尔可夫链具有平稳转移概率， 状态空间I={1, 2, 3, }，一步转移概率为
......
7
4.1 马尔可夫链与转移概率
p11 p21
p12 p22
......
4
4.1 马尔可夫链与转移概率
• 马尔可夫链的性质
P{X0=i0, X1=i1, , Xn=in}
=P{Xn=in|X0=i0, X1=i1, , Xn-1=in-1}
P{X0=i0, X1=i1, , Xn-1=in-1}
= P{Xn=in|Xn-1=in-1}
P{Xn-1=in-1 |X0=i0,X1=i1,,Xn-2=in-2}
(3)时间、状态都是连续的，称为马尔可夫 过程
......
3
4.1 马尔可夫链与转移概率
随机过程{Xn，nT }， 参数T={0, 1, 2, },状态空间I={i0, i1, i2, }
定义 若随机过程{Xn，nT }，对任意nT和 i0,i1,,in+1 I，条件概率 P{Xn+1=in+1|X0=i0,X1=i1,,Xn=in} = P{Xn+1=in+1|Xn=in}， 则称{Xn，nT }为马尔可夫链，简称马氏链。
p p (l ) (nl ) ik kj
kI
kI
......
11
4.1 马尔可夫链与转移概率
(2)在(1)中令l=1,k=k1,得
p(n) ij
p p (1) (n1) ik1 k1 j
由此可递推出公式
k 1I
(3)矩阵乘法
(4)由(3)推出
说明：
(1)此为C-K方程(切普曼-柯尔莫哥洛夫)
(2) n步转移概率由一步转移概率确定，
......
14
4.1 马尔可夫链与转移概率
证(1)
pj (n) P{X n j} P{X0 i, X n j} iI
P{X n j | X0 i}P{X0 i} iI
