- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
转移概率的性质 : (1) pij (n, k ) 0,
p (n, k ) 1
jI ij
定义：若 pij (n, k ) 与 n 无关，则称该马尔可夫链是齐次的。
我们只讨论齐次马尔可夫链
此时：记 pij (n, k ) pij (k ), k步转移概率矩阵: P(k ) pij (k )
PX
rI
m
i, X m k r , X m n j i , X m k r P X m n j X m i , X m k r P X m i P X m i
PX
rI
m
P X m k r X m i P X m n j X m k r pir k prj n k
记 X n ：表示某顾客第n个两月末所购买的啤酒品牌，比如 “X 3 =2”表示半年后某顾客购买的是B品牌的啤酒.
可近似地认为顾客购买啤酒具有马尔可夫性，且满足齐次性
《数理统计》授课教案——李正耀
则 X n ，n 0是一齐次马尔科夫链，一步转移概率矩阵：
A A(95%) B(2%) C(2%) D(1%) B A(30%) B(60%) C(6%) D(4%) C A(20%) B(10%) C(70%) D(0) D A(20%) B(20%) C(10%) D(50%)
iI iI ai I
（3）马氏链的有限维分布
定理：设 X n , n 0 为齐次马氏链,则对任意的 i1 , i2 ,, in I 和n 1有： P X 1 i1 , X 2 i2 ,, X n in pi 0 pii1 pin1in
《数理统计》授课教案——李正耀
(2) 绝对概率与初始概率的关系
定理：设 X n , n 0 为马尔可夫链，则对任意的j I 和n 1，绝对概率p j (n)具有性质： (1) p j (n) pi (0) pij (n) 或 p(n) p(0) P(n)
(2) p j (n) pi (n 1) pij 或 p(n) p(n 1) P
3 n 2
一般当n为任意整数时有： P(n) P
表明一步转移概率是最基本的，它确定了马氏链的状态 转移的统计规律。
第二节 初始概率与绝对概率
(1) 定义：设 X n , n 0 为马尔可夫链, 分别称 p j (0) P X 0 j 和p j (n) P X n j， ( jI) 为马氏链的初始概率和绝对概率，并分别称
表明n时刻的绝对概率分布完全由初始分布和n步转 移概率所确定。
(2) p j n P X n j P X n 1 i, X n j P X n 1 i P X n j X n 1 i Pi (n 1) pij
i I , 0 p 1
j i 1, i 1, j I
例2：赌博问题：甲有a元，乙b有元，两人博弈，每一局赢 者得一元，无和局，输光为止，设每一局甲赢的概率为p.
记 X n：表示第n局后甲拥有的钱数，则 X n , n 0 是一 有限齐次马尔可夫链(带有吸收壁的随机游动),状态空间：
p (0), j I 和 p (n), j I 为马氏链的初始 分布和绝对分布，简记为和 p (0) 和 p (n)。
j j j j
写成向量形式: p (0) p1 (0), p2 (0),, p j (0), p (n) p1 (n), p2 (n),, p j (n),
齐次链的一步转移概率为： pij pij (n,1) pij (1),
一步转移概率矩阵记为: p11 p12 p1n P pij mm p p p 22 2n 21 这里m为状态集I中所含的状态数。
《数理统计》授课教案——李正耀
对任意n 3, t1 t2 tn , x1 ,..., xn， 若满足：
P{ X (tn ) xn X (t1 ) x1 ,, X (tn 1 ) xn 1} P{ X (tn ) xn X (tn 1 ) xn 1}
马尔可夫性, 或无后效性
则称过程 X (t ), t T 为马尔可夫过程。
ai I
推论 (1) P X 0 i0 , X 1 i1 , , X n in pi0 (0) pi0i1 pin1in (2) P X 1 i1 , X 2 i2 , , X n in X 0 i0 pi0i1 pin1in
已知到现在为止的所有信息来预测将来, 则只与现在 状态有关,与过去状态无关.
链：状态空间为离散集的过程称为链. 参数集 T 离散的马尔可夫链称为离散时间的马尔可夫 链，简称马尔可夫链(或马氏链). 参数集 T 是连续区间的马尔可夫链称为连续时间的马 尔可夫链.
马尔可夫链的参数集一般取 T 0,1, 2, 习惯上记马尔可夫链为:
马尔可夫链
马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程, 最初是由俄国数学家马尔可夫1896年提出和研 究的，应用十分广泛,其应用领域涉及计算机,通信, 自动控制,随机服务,可靠性,生物学,经济,管理,教育, 气象,物理,化学等等.
《数理统计》授课教案——李正耀
马尔可夫过程:
rI rI
pij n pir (k ) prj n k
rI
用矩阵形式表示为：
Pn Pk Pn k
在上式取k 1，P (n) P P(n 1) 则n 2时有：P(2) P(1) P(1) P n 3时：P(3) P(1) P(2) P
1-p
-2 -1 0
p
1 2
Yn , n 0 是一独立随机变量序列，也是马氏链, X n Yi
n
X n , n 0的增量为：X m X n Yi，故 X n , n 0
i n 1
m
i 1
是独立增量过程,因而也是齐次马尔可夫链。
其一步转移概率矩阵为：
X n , n 0
马尔可夫链的状态空间一般取整数，记为 I , 设 i I , X n i 表示在时刻 n，马氏链处于状态 i.
马尔可夫链此时的定义
定义：设有离散随机过程 X n , n 0 ,若对任意的整数n, k 和i0 , i1 ,..., in 1 , i, j I (状态空间), 满足： 则称 X n , n 0 为马尔可夫链或马氏链. P{ X n +k j | X 0 i0 ,..., X n 1 in 1 , X n i} P{ X n k j | X n i}
1 1 0.95 2 0.30 P 3 0.20 4 0.20
2 0.02 0.60 0.10 0.20
3
4
0.02 0.01 0.06 0.04 0.70 0 0.10 0.50
马尔科夫链的应用极其广泛!
用以预测土地利用结构：——《马尔科夫链在预测土地利
第一节 转移概率
定义：条件概率P{ X n k j | X n i}＝＝ pij (n, k ) 称为马尔可夫链在 n时刻的k步转移概率. 即为：
记为
“系统时刻 n 从状态 i 出发， 于时刻n k到达状态 j 的概率”
定义：称 pij (n,1) P{ X n 1 j | X n i}为马氏链在 n 时 刻的一步转移概率.
iI
iI
2 1
0
j
n 1 n
证： (1) p j (n) P X n j P X 0 i, X n j P X 0 i P X n j X 0 i pi (0) pij (n)
iI iI iI
Markov性的 记 A {X (tn ) xn }............将来状态 直观含义
B {X (t1 ) x1 ,..., X (tn2 ) xn2}........过去
C { X (tn1 ) xn1}........现在的状态
Markov性 :
P( A | BC) P( A | C)
I 0,1, 2, , a b
一步转移概率矩阵：
0
1
2 ab
0 1 0 0 0 1 1 p 0 p 0 P 2 0 1 p 0 0 a b 0 0 0 1
例2：啤酒的市场占有率问题： 某市场上有(且只有) A、 B、C、D四种啤酒在销售，A种 啤酒的广告改变广告方式后，经市场调查发现，买A种啤酒 及另外三种啤酒的顾客每两个月的平均转移概率如下： 数 A A(95%) B(2%) C(2%) D(1%) 据 如 B A(30%) B(60%) C(6%) D(4%) 何 C A(20%) B(10%) C(70%) D(0) 得 到 D A(20%) B(20%) C(10%) D(50%) ？
马尔可夫链举例
例1：随机游动问题
1-p
-2 -1 0
ห้องสมุดไป่ตู้
物理学中的扩散过程，统计中 的序贯分析等
p
1 2
一质点只能停留在数轴上的整数点处，每隔单位时间 随机地向左或向右移动一格，向右移动的概率为p，向左 移动的概率为1-p.
记X n：表示第n时刻，质点所处的位置，设P X 0 0 1
事实上，每一步都相当于做一次伯努利试验，记 1 质点右移 Yn = 1 质点左移 则 P Yn 1 =p，P Yn -1 =1-p
