马尔柯夫预测法 PPT课件

第八章 马尔可夫预测与决策法
3. 状态转移矩阵
类似地，可以推出
P(k) Pk
（8.1.8）
即 k 步状态转移概率矩阵等于一步状态转移概率矩阵的 k 次方。
12
第八章 马尔可夫预测与决策法
例 8.1.2
例 8.1.2 某经济系统有三种状态 E1, E2 , E3 （比如畅销，一般，滞销）。系统状
则称 X n , n 0为马尔柯夫链。
X n 所可能取到的每一个值 E1, E2 ,, Em ; E j 称为状态。
3
第八章 马尔可夫预测与决策法
第8.1 马尔柯夫链简介
2. 状态转移概率
由定义 8.1.1 可知，马尔柯夫链的概率特性取决于条件概率
P X mk E j X m Ei
（8.1.2）
N
p1k pk1 k 1
N
= p2k pk1
k 1 N
pNk pk1
k 1
N
p1k pk 2
k 1 N
p2k pk2
k 1
N
pNk pk 2
N
k 1
N
k 1
N
p1k
p2k
p Nk
pkN pkN pkN
==
p11 p21
pN1
k 1
k 1
p12 p22
在概率论中，条件概率 P( A | B) 表达了由状态Ｂ向状态Ａ转移的概率，简称为状态转移概
率。式（8.1.2）中条件概率的含义是，某系统在时刻m 处于状态 Ei 的条件下，到时刻m k
处于状态 E j 的概率。
定义 8.1.2 称
p(k) ij
(m)
P
X mk E j

马尔科夫预测法
第一节 基本原理
一、基本概念 1.随机变量 、 随机函数与随机过程 一变量x，能随机地取数据（但不能准确地预言它 取何值），而对于每一个数值或某一个范围内的值有 一定的概率，那么称x为随机变量。
假定随机变量的可能值xi发生概率为Pi
即P(x = xi) = Pi
对于xi的所有n个可能值，有离散型随机变量分布
= xS1(0)P1i(k) +xS2(0)P2i(k) + ……+ xSN(0)PNi(k)
P1i(k)
= x[S1(0) S2(0) ……SN(0)] P2i(k)
:
有：Si(k) = xi(k)/x
PNi(k)
P1i(k)
= [S1(0) S2(0) ……SN(0)] P2i(k)
:
PNi(k)
3),3 步状态转移矩阵(假定要预测3个月后)
0.5
P = 0.78
0.22
此式说明了：若本季度畅销，则下季度畅销和滞销的可能性 各占一半
若本季度滞销，则下季度滞销有78%的把握，滞销风 险22%
二步状态转移矩阵为：
[2] 2
P=P=
0.5 0.5
0.5 0.5
0.78 0.22 0.78 0.22
0.64
0.36
= 0.5616 0.4384
简例：设x(t)为大米在粮仓中t月末的库存量， 则
x(t) = x(t―1)—y(t) +G(t) t月的转出量
第t―1月末库存量 ,G(t)为当月转入 量
x(t)可看作一个马尔科夫过程。
3、马尔科夫链
时间和状态都是离散的马尔科夫过程称为 马尔科夫链。例：蛙跳问题
假定池中有N张荷叶，编号为1，2， 3,……,N，即蛙跳可能有N个状态（状态确知 且离散）。青蛙所属荷叶，为它目前所处的状 态；因此它未来的状态，只与现在所处状态有 关，而与以前的状态无关（无后效性成立）

别统计出:连续畅销、由畅转滞、由滞转畅和连续滞销的次数。
以 p11 表示连续畅销的可能性，以频率代替概率，得：
p11
7 15 1
50%
??
分子 7 是表中连续出现畅销的次数，分母 15 是表中出现畅销的 次数，因为第24季度是畅销，无后续记录，故减1。
季度
销售 状态
1 2 3 4 5 6 7 8 9 10 11 12 畅畅滞畅滞滞畅畅畅滞畅滞 112122111212
7 p21 9 78% 分子 7 是表中由滞销转入畅销的次数，分母数 9 是表中出
现滞销的次数。
季度
销售 状态
1 2 3 4 5 6 7 8 9 10 11 12 畅畅滞畅滞滞畅畅畅滞畅滞 112122111212
季度
销售 状态
13 14 15 16 17 18 19 20 21 22 23 24 畅畅滞滞畅畅滞畅滞畅畅畅 112211212111
一、基本概念
它可能跳到第一张或者第三张荷叶，也可能在原地不动。 我们把青蛙在某个时刻所在的荷叶称为青蛙所处的状态， 这样，青蛙在未来处于什么状态，只与它现在所处的状 态有关，与它以前所处的状态无关，这种性质就是所谓 的“无后效性”。 上例中，青蛙所处的那张荷叶，称为青蛙所处的状态， 在经济系统的研究中，一种经济现象，在某一时刻 t 所 出现的某种结果，就是该系统在该时间t 所处的状态。
第三节 马尔可夫决策
一、基本概念
经济学中把这种现象称为“无后效性”，即 “系统在每一时刻的状态仅仅取决于前一时刻 的状态”。 例如，池塘里有三张荷叶，编号为1，2，3，假 设有个青蛙在荷叶上随机地跳来跳去，在初始 时刻 t0，它在第二张荷叶上。在时刻t1，
2
3 1

P 11 P ( L xnt) ) 21 L Pn1
P L Pn 12 1 P22 L P2n L L L Pn2 L Pnn
例2:已知市场上有A、B、C三种品牌的洗
衣粉，上月的市场占有率分布为（0.3 0.4 0.3），并且转移概率矩阵为：
0.6 0.2 P = 0.1 0.7 0.1 0.1 0.2 0.2 0.8
用 Ri (k) 表示从状态Si开始,经K步转移后的期望利润。那么,当k=1 时,期望利润为
Ri = Pi1ri1 + Pi2ri2 +L+ Pinrin = ∑Pij rij , i =1,2L, n
(1)
n
于是K步转移后的期望利润为两次转移(一步转移和K-1步转移) 期望利润之和,即
j=1
Ri
记
(k )
= ∑ Pij rij + ∑ Pij R j
j =1 j =1
n
n
( k −1)
R(k) = (R1 , R2 ,LRn )T
(k ) (k ) (k )
则可表为矩阵形式:
R(k ) = R(1) + PR(k−1)
例4:设某商品连续两个月畅销时,可获利8万元;连续滞销时,亏
损2万元;由畅销转滞销时可获利3万元;滞销转畅销时可获利4万 元,试预测4个月后总期望利润。
预测第21月的销售额
• 因为第20月的销售属状态3，而状态3经 过一步转移达到状态1、2、3的概率分别 为2/7、0、5/7，P33>P31>P32，所以第21月 仍处于状态3的概率最大，即销售额超过 100万元的可能性最大。
§2 马尔可夫预测应用
• 一、市场占有率预测