第四版 概率论与数理统计答案

  • 格式:pdf
  • 大小:365.41 KB
  • 文档页数:21

遍历性含义:齐次马氏 链经过长时间的转移后 , 总会达到平稳分布 ,而与起始状态无关。
定理:齐次马氏链 { X 1 , a 2 , , a N }, 一步转移矩阵为 P , (1)若存在正整数 m 使得 p ij 0 P ( m )无零元 则此链具有遍历性。 P )极限分布求法: (2 1 2 N 1
第十三章
马尔可夫链
§1 马尔可夫过程
马尔可夫性(无后效性 ):已知过程“现在” 的条件下, “将来”不依赖于“过 去”。
当X ( t 0 ) x 0已知时, X ( t ), t t 0 状态的条件分布 与过程在 t 0前所处状态无关。
马尔可夫性(无后效性 )定义( 严格): P { X ( t n ) x n | X ( t 1 ) x 1 , X ( t 2 ) x 2 , , X ( t n 1 ) x n 1 } P{ X ( t n ) x n | X ( t n 1 ) x n 1 }
a a b b
§3 遍 历 性
b 0 p00 ( n) lim p10 ( n) lim n n ab a lim p01 ( n) lim p11 ( n) 1 n ab n
遍历性:对于状态 j(0, 1 ),不管链从什么 状态出发( i 0 ,1 ),经过长时间转移, 到达 j的概率都为 j (与 i 无关 )。
马尔可夫过程:具有马 尔可夫性的随机过程, 称为马尔可夫过程。
具备以下两个特性的 { X ( t ), t 0} 就是马尔可夫过程: ( 1 ) { X ( t ), t 0}是独立增量过程; (2 ) X (0) 0 见P 355 证明 P319
泊松过程 时间连续、状态离散的 马尔可夫过程; 维纳过程 时间连续、状态连续的 马尔可夫过程; 马尔可夫链: 时间、状态都离散的马 尔可夫过程称为马氏链 。
样本 1 X 0 a 1 样本 2 X 0 a 2 样本 3 X 0 a 3 X 1 a2 X 1 a4 X 1 a2
马氏性:条件分布律表 示: P { X m n a j | X t1 a i 1 , X t 2 a i 2 , , X m a i }
p 12 p 22 pi2
357 例2、 PP 321
解:每一级传真率为 p; 误码率为 q; { X n , n 0 ,1, 2, } 一步转移概率: p ij (1) P { X n 1 p i j ( 传真率 ) j | X n i} q i j ( 误码率 ) 0 1 q p X n的状态空间 I { 0 ,1}
0p 一步转移概率矩阵: P P (1) 1 q
齐次马氏链的分布
1、马氏链的初始分布: p j ( 0 ) P { X 0 a j } 2、马氏链 n 时刻的分布: ( 全概率 )

p j (n) P{ X n a j }
p (0) P
i i 1
ij
(n)
马氏链表示为: { X n X ( n ), n 0 ,1 , 2 , 3 , } 链的状态空间为 I {a 1 , a 2 , a 3 ,}
X 2 a3 X 2 a3 X 2 a6 X n an X n a1 X n a4
时间集: T { 0 ,1 , 2 , 3 , }
Pij { (m , m P{ X m n a j | X m a i } P n n)}
0
t1
t2

m
X m ai
mn
X mn a j
t
转移概率: Pij ( m , m n) P{ X m n a j | X m a i }
转移概率: Pij ( m , m n) P{ X m n a j | X m a i }
§2 多步转移概率
转移概率决定了马氏链 运动的统计规律, n 步转移概率的确定是马 氏链理论中的 重要问题。
齐次马氏链 n步转移概率矩阵 :
P ( n) P P (1)
n
n
例1、 { X n , n 0 }是具有三个状态 0, 1, 2的齐次马氏链, 3 1 4 4 1 1 P 4 2 0 3 4 求: (1 ) P { X 0 0 1 1 初始分布 p i ( 0 ) i 0 ,1, 2 3 4 1 4 0 , X 2 1}
习题10、 11
无零元——遍历
本 章 重 点内容
齐次马氏链的一步转移 概率: Pij (1) P { X m 1 a j | X m a i }
齐次马氏链的一步转移 概率矩阵: P (1) ( P( ) ) ij 1
P ( n) P (1) 初始分布p j ( 0) p j ( n), 联合分布
链的极限分布 (平稳分布 ): ( 0 , 1 )
一般,if
lim pij ( n) j (不依赖于i ) 称链具有遍历性。
n
1 2 j 2 j 1 n P (n) 1 2 j ( 1 , 2 , j )为链的极限分布
含义:时刻 m 处于状态 a i的条件下, 在时刻( m n)转移到状态 a j的条件概率。
例如:P12 {1,3} P { X 3 a 2 | X 1 a1 }
转移概率矩阵:阶数 状态数 状态数 P ( m , m n) ( Pij {m , m n})
齐次马氏链: 当转移概率 Pij ( m , m n) Pij ( n)时, 称为齐次马氏链。
齐次马氏链的一步转移 概率: Pij (1) P { X m 1 a j | X m a i }
齐次马氏链的一步转移 概率矩阵: P (1) ( P( ) ) ij 1
X Xm 的 状 态 p 11 p 21 p i1
m 1
的状态 p1 j p2 j p ij P (1 ) P
n
P ( m )无零元 链具有遍历性。 P 遍历性 1 2 1
N
本章作业: P333 5,9
含义:转移概率只与状 态a i , a j 及时间间距有关。
齐次马氏链的 n 步转移概率: Pij ( n ) P { X m n a j | X m a i }
齐次马氏链的 n 步转移概率矩阵: P ( n ) ( Pij { n})
P
j
ij
( n ) 1(每行之和为 1)
( 2 ) P { X 2 1}
两个状态的齐次马氏链 :
a 1 a 一步转移概率矩阵: P P (1) 1 b b b a b a n a b ( 1 ) n步转移概率矩阵: P ( n) ab ab b n P ( n) a b b a b a a b a a b
3、马氏链多维联合分布 :(乘法) P { X 0 a 0, X 2 a 2 } P{ X 2 a 2 | X 0 a 0 }P{ X 0 a 0 } p 0 ( 0 ) p 02 ( 2 )
p 357 例2:状态空间 I {0,1}, 1 3 初始分布为: p 0 ( 0 ) p1 ( 0 ) 4 4 1 3 表示: P { X 0 0} P { X 0 1} 4 4 2维分布: P { X 0 1, X 1 0} P { X 1 0 | X 0 1} P { X 0 1} 3 p10 (1) p1 ( 0 ) q 4