马尔可夫预测方法及应用
一、马尔可夫链
马尔可夫过程指满足无后效性的随机过程
一、马尔可夫链
马尔可夫过程指满足无后效性的随机过程
定义1 若非负随机序列{X(t n),n∈N}满足条件
则称随机序列{X(t n)}为马尔科夫链，简称马氏链。
一、马尔可夫链
马尔可夫过程指满足无后效性的随机过程
定义1 若非负随机序列{X(t n),n∈N}满足条件
则称随机序列{X(t n)}为马尔科夫链，简称马氏链。
无后效性指“将来”取什么值只与“现在”的取值有关，
而与“过去”取什么值无关。
二、状态转移概率矩阵
二、状态转移概率矩阵
当系统由一种状态变为另一种状态时，称为状态转移。
N
二、状态转移概率矩阵
当系统由一种状态变为另一种状态时，称为状态转移。
定义2 一步状态转移概率
p (1)
= p = P {X = j X = i } ij
ij
n +1
p ij n
≥ 0,
∑ p ij
= 1
j =1
若由X n = i 转移到X n +1 = j 的概率p ij 与n 无关,则称该马尔 可夫链是齐次的。
几个概念：
几个概念：
概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。
几个概念：
概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。
u (0.4, 0.25, 0.25, 0.1)
几个概念：
概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，则称该向量为概率向量。
u (0.4, 0.25, 0.25, 0.1) 概率向量
几个概念：
概率向量：对于任意的行向量（或列向量），如果其每个元素均非负且总和等于1，
则称该向量为概率向量。
u = (0.4, 0.25, 0.25, 0.1) 概率向量
概率矩阵由概率向量作为行向量所构
成的方阵称为概率矩阵。
⎛0.7 0.3⎫
A
=
0.5 0.5⎪
⎝⎭
概率矩阵的性质：如果A、B 皆是概率矩阵，则A B也是
A m(m ≥ 1)也
概率矩阵；如果A是概率矩阵，则A的任意次幂
是概率矩阵。
概率矩阵的性质：如果A、B 皆是概率矩阵，则A B也是
概率矩阵；如果A是概率矩阵，则A的任意次幂
是概率矩阵。
A m(m ≥ 1)也一步状态转移概率矩阵
⎛p11 p
12 L p1N ⎫ 假设：
p p L p ⎪ p
与n无关
P =
21 22 2N ⎪
L L L L ⎪
ij
（齐次性）
⎝p N 1p N 2 L
⎪ p NN ⎭
ij ij n +k ⎝ p k 步状态转移概率
p (k )
= P {X = j X = i },
P
(k )
= ( p (k )
)
,
N ⨯N
k ≥ 1
称 p ij
(k )
为k 步状态转移概率， P (k ) 为k 步状态转移概率矩阵，
⎛ p ( k ) p
( k ) L p ( k ) ⎫ 11
12 1N ⎪ p ( k )
p ( k )
L p
( k )
P ( k ) = 21 22 2N ⎪
L
L
L L ⎪
( k ) N 1
( k )
N 2
( k )
⎪ NN ⎭
n p L p
1步状态转移概率求出。
1步状态转移概率求出。
全概率公式
1步状态转移概率求出。
全概率公式P (k ) =P (k -1) P
P (k )=P k ,k ≥ 1
P ——一步状态转移概率矩阵
P( k) ——k 步状态转移概率矩阵
三、平稳分布与稳态分布
三、平稳分布与稳态分布
1.平稳分布
三、平稳分布与稳态分布
1. 平稳分布
如X = (x1 , x2 ,L , x N)为一状态概率向量，P为状态转移概率矩阵。若 XP =X
则称X 为马尔可夫链的一个平稳分布。
三、平稳分布与稳态分布
1.平稳分布
如X = (x1 , x2 ,L , x N)为一状态概率向量，P为状态转移概率矩阵。若 XP =X
则称X 为马尔可夫链的一个平稳分布。
若随机过程某时刻的状态概率向量为平稳分布，则称
过程处于平衡状态。
一旦过程处于平衡状态，则过程经过一步或多步状态
转移之后，其状态概率分布保持不变，即，过程一旦处于
平衡状态后将永远处于平衡状态。
2.稳态分布
问题：对于系统的状态P(m)，当m 趋于无穷时，是否存在极限？
→∞
2. 稳态分布
问题：对于系统的状态P (m )，当 m 趋于无穷时， 是否存在极限？
若存在，设其极限为 π，
lim m →∞
P (m ) = lim （p 1 (m )，p 2 (m )，...,p N (m )）
m = π
= (π1,π2 ,...,πN )
