第八章 马尔可夫预测与决策法
3. 状态转移矩阵
类似地,可以推出
P(k) Pk
(8.1.8)
即 k 步状态转移概率矩阵等于一步状态转移概率矩阵的 k 次方。
12
第八章 马尔可夫预测与决策法
例 8.1.2
例 8.1.2 某经济系统有三种状态 E1, E2 , E3 (比如畅销,一般,滞销)。系统状
则称 X n , n 0为马尔柯夫链。
X n 所可能取到的每一个值 E1, E2 ,, Em ; E j 称为状态。
3
第八章 马尔可夫预测与决策法
第8.1 马尔柯夫链简介
2. 状态转移概率
由定义 8.1.1 可知,马尔柯夫链的概率特性取决于条件概率
P X mk E j X m Ei
(8.1.2)
N
p1k pk1 k 1
N
= p2k pk1
k 1 N
pNk pk1
k 1
N
p1k pk 2
k 1 N
p2k pk2
k 1
N
pNk pk 2
N
k 1
N
k 1
N
p1k
p2k
p Nk
pkN pkN pkN
==
p11 p21
pN1
k 1
k 1
p12 p22
在概率论中,条件概率 P( A | B) 表达了由状态B向状态A转移的概率,简称为状态转移概
率。式(8.1.2)中条件概率的含义是,某系统在时刻m 处于状态 Ei 的条件下,到时刻m k
处于状态 E j 的概率。
定义 8.1.2 称
p(k) ij
(m)
P
X mk E j