为马氏链在时刻 m处于状态ai条件下, 在时刻 m n
转移到状态a j的转移概率.
说明: 转移概率具有特点
此矩阵的每一行元 素之和等于1.
Pij ( m , m n) 1, i 1,2,. j 1
由转移概率组成的矩阵
P(m, m n)( Pij (m, m n))
状态空间: I={0, 1}.
30
96 次状态转移的情况: 0 0, 8次;
0 1, 18次; 1 0, 18次; 1 1, 52次.
因此, 一步转移概率可用频率近似地表示为: 8 8 p00 P{ X n1 0 | X n 0} , 8 18 26 18 18 p01 P{ X n1 1 | X n 0} , 8 18 26 18 18 p10 P{ X n 1 0 | X n 1} , 18 52 70 52 52 p11 P{ X n 1 1 | X n 1} . 18 52 70
4
2. 马尔可夫过程的定义
具有马尔可夫性的随机过程称为马尔可夫过程. 用分布函数表述马尔可夫过程
设 I : 随机过程 { X (t ), t T } 的状态空间,
如果对时间t的任意n个数值,
tX t2 t n , X n ( T, 恰有 1 (tn )在条件 ti 3 ) ,tix 下的条件分布函数 i P{ X ( tn ) xn | X ( t1 ) x1 , X ( t2 ) x2 ,, X ( tn1 ) xn1 } X (tn )在条件X (tn1 ) xn1下的条件分布函数 5 P{ X ( tn ) xn | X ( tn1 ) xn1 }, xn R