下载文档原格式
随机过程第四章：马尔可夫链第四章：马尔可夫链4.1 马尔可夫链定义4.2 一步转移概率及多步转移概率4.3 初始概率及绝对概率4.4 遍历的马尔可夫链及平稳分布4.5 马尔可夫链状态分类4.6 状态空间的分解时间、状态都是离散的马尔可夫过程，称为马尔可夫链。
时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。
时间、状态都是连续的马尔可夫过程，就是马尔可夫过程。
例如：天气预报…质点的随机游动…赌博输光问题…生死链…4.1 马尔可夫链定义例如：在某数字通信系统中传递0，1两种信号，且传递需要经过若干级。
因为系统中有噪声，各级将造成错误，若某级输入0，1信号后，其输出不产生错误的概率为p，产生错误的概率为1-p，则该级的输入输出状态构成了一个两个状态的马氏链。
例题4-1:设马尔可夫链{X n ,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为求和两步转移概率矩阵P (2) 。
⎟⎟⎠⎞⎜⎜⎝⎛=11100100p p p p P }0|0{2==+m m X X P设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为q=1-p，这种运动称为无限制随机游动。
以X n 表示时刻n质点所处的位置，则{X n ,n∈T}是一个齐次马尔可夫链，求一步和k步转移概率。
,1,1, 1 0 (j i-1,i+1) i i i i i j P p P q p P +−⎧=⎪==−⎨⎪=≠⎩解：一步转移概率为：...........................q 0 p 0 0......0 q 0 p 0......0 0 q 0 p...........................P ⎛⎞⎜⎟⎜⎟⎜⎟=⎜⎟⎜⎟⎜⎟⎝⎠例题4-2：无限制随机游动质点在数轴上移动，规律同上例。
当质点一旦达到X n =0时，X n+1就停留该0状态，这种状态称为吸收态。
{X n ,n∈T}是一个齐次马尔可夫链，求一步转移概率。
21021210分布马尔可夫过程及其概率1§马尔可夫过程的定义、1211111121.简称马氏链可夫链，马尔可夫过程称为马尔时间和状态都是离散的课稿南京邮电大学孔告化讲22110}|{),(i m j n m i j a X a X P n m m P ===++记马氏链的转移概率、221021210.),(的转移概率转移到状态在时刻条件下，处于状态为马氏链在时刻称j i i j a n m a m n m m P ++课稿南京邮电大学孔告化讲.))(()(步转移概率矩阵为称n n P n P i j =⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎝⎛==M ML M M L L L M L M M L L L L )()()()()()()()()())(()(212222111211n P n P n P n P n P n P n P n P n P n P n P N N N N N N i j LLN a a a 21MM N a a a 21矩阵齐次马氏链的转移概率、3Ia a n P j i i j ∈≥,0)()1(Ia n P i j i j ∈=∑∞=1)()2(1课稿南京邮电大学孔告化讲111⎟⎟⎟⎟⎟⎟⎠⎞⎜⎜⎜⎜⎜⎜⎝⎛==M M L M M L L L M L M M L L L L N N N N N N p p p p p p p p p P P 212222111211)1(L L N a a a 21M M N a a a 211课稿南京邮电大学孔告化讲这一点上。
或移动到就以概率，则下一时刻或现在位于点的概率停在原处；如果一格，或以的概率向左或向右移动则下一时刻各以现在位于点是：如果发生游动。
游动的规则等时刻秒秒、仅在上作随机游动，并且仅在如图所示直线的点集设一醉汉一维随机游动例题)4(21)5(13/13/1),51(21}5,4,3,2,1{)(:Q i i Q I Q <<=L 12345过程，是一随机则的位置，时表示时刻若以},2,1,0,{L =n X Q n X n n 而且当时，等以后的行为只与有关，而与质点以前是如何到是完全无关的，所以，它是一个马氏链，且为齐次马氏链。
马尔可夫链马尔可夫过程按其状态和时间参数是连续的或离散的,可分为三类: (1) 时间,状态都是离散的马尔可夫过程,称为马尔可夫链.(2) 时间连续,状态离散的马尔可夫过程,称为连续时间的马尔可夫 (3) 时间,状态都连续的马尔可夫过程. 4.1马尔可夫链的概念及转移概率 一,定义假设马尔可夫过程},{T n X n ∈的参数集T 是离散的时间集合,即 T={0,1,2,…},其相应n X 可能取值的全体组成的状态空间是离散的状态集,...}.,{21i i I =定义4.1 设有随机过程},{T n X n ∈,若对于任意的整数T n ∈和任意的I i i i i n ∈+.,...,,,1210,条件概率满足n n n n i X i X i X i X P ====++,...,,{110011}=},{11n n n n i X i X P ==++ (4.1) 则称},{T n X n ∈为马尔可夫链,简称.马氏链.(4.1)式是马尔可夫链的马氏性(或无后效性)的数学表达式.由定义知 ],...,,{1100n n i X i X i X P =====}.,...,,{111100--====n n n n i X i X i X i X P },...,,{111100--===n n i X i X i X P =}{11--==n n n n i X i X P .},...,,{111100--===n n i X i X i X P =… =}{11--==n n n n i X i X P }{2211----==n n n n i X i X P …}{0011i X i X P ==}.{00i X P =可见,马尔可夫链的统计特性完全由条件概率}{11n n n n i X i X P ==++所决定. 二,转移概率条件概率}{1i X j X P n n ==+的直观含义为系统在时刻n 处于状态i 的条件下,在时刻n+1系统处于状态j 的概率.它相当于随机游动的质点在时刻n 处于状态i 的条件下,下一步转移到状态j 的概率.记此条件概率为).(n p ij 定义4.2 称条件概率).(n p ij = }{11n n n n i X i X P ==++为马尔可夫链},{T n X n ∈在时刻n 的一步转移概率,其中i,j I ∈,简称为转移概率. 定义4.3 若对任意i,j I ∈,马尔可夫链},{T n X n ∈的转移概率).(n p ij 与n 无关,则称马尔可夫链是齐次的,并记).(n p ij 为.ij p下面我们只讨论齐次马尔可夫链,通常将齐次两字省略.设p 表示一步转移概率.ij p 所组成的矩阵,且状态空间I={1,2,…},则⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=...........................2222111211nnp p p p p p p 称为系统的一步转移概率矩阵,它有性质: (1) .,1)2(;,,0∑∈∈=∈≥Ij ij ijI i p I j i p通常称满足上述(1),(2)性质的矩阵为随机矩阵. 定义4.4称条件概率ij n p )(= )1,0,,(},{≥≥∈==+n m I j i i X j X P m n m 为马尔可夫链},{T n X n ∈的n 步转移概率,.并称)()()(n ij n p p =为马尔可夫链的n 步转移矩阵,其中(1) .,1)2(;,,0)(∑∈∈=∈≥Ij ij n ij n I i p I j i p 即也是随机矩阵.当n=1 时, .)1(ij p =.ij p ,此时一步转移矩阵.)1(p p =此外我们规定 ⎩⎨⎧=≠=.,1,,0)0(j i j i pij定理4.1设},{T n X n ∈为马尔可夫链,则对任意整数n l n <≤≥0,0和,,I j i ∈n 步转移概率.)(ij n p 具有下列性质:(1)))()()(l n kj Ik l ik n ij p p p -∈∑=; (4.2)(2) ;......112111)(j k Ik k k ik Ik n ij n n p p p p --∑∑∈∈= (4.3)(3);)1()(-=n n PP P (4.4) (4).)(n n P P =(4.5)证明(1) 利用全概率公式及马尔可夫性,有}{)(i X j X P p m n m n ij ===+=}{},{i X P j X i X P m n m m ===+}{},{.},{},,{i X P k X i X P k X i X P j X k X i X P m l m m Ik l m m n m l m m =========+∈+++∑}{}{i X k X P k X j X P m l m l m Ik n m =====++∈+∑=)()()()(m p l m p l ik Ik l n ij +∑∈-=)()(.l n kjIk l ik p p -∈∑. (2)在(1)中令1,1k k l ==得))1()(111-∈∑=n jkIk ik n ij p p p 这是一个递推公式,可递推下下去即得(4.3). (3)在(1).令l=1利用矩阵乘法可得. (4) 由(3),利用归纳法可证.定理4.1中的(1)式称为切普曼---柯尔哥洛夫方程,简称C-K 方程 .定义4.5设},{T n X n ∈为马尔可夫链,称 },{0j X P p j ==)(},{)(I j j X P n p n j ∈==为},{T n X n ∈的初始概率和绝对概率,并分别称}),({},,{I j n p I j p j j ∈∈为},{T n X n ∈的初始分布和绝对分布.简记为}.),({},,{n p p j j 称概率向量 )0(),...),(),(()(21>=n n p n p n P T 为n 时刻的绝对概率向量,而称)0(,...),,(21>=n p p P T为初始向量.定理4.2设},{T n X n ∈为马尔可夫链,则对任意整数I j n ∈≥,1,绝对概率).(n p j 具有下列性质:(1)))()(n ij Ii i j p p n p ∑∈=; (4.6)(2) ij Ii i j p n p p )1(-=∑∈ (4.7)(3);)0()()(n T T P P n P = (4.8) (4)P n P n P T T )1()(-= (4.9)证明(1) ===}{)(j X P n p n j},{0j X i XP n Ii ==∑∈= }{}{00i X P i X j XP nIi ===∑∈ =)(n ijIi i p p ∑∈ (2)===}{)(j X P n p n j },{1j X i X P n Ii n ==∑∈-=}{}{11i X P i X j X P n n n Ii ===--∈∑==ij Ii i p n p ∑∈-)1((3)与(4)是(1)与(2)的矩阵形式.定理4.3 设},{T n X n ∈为马尔可夫链,则对任意,1,,...,1≥∈n I i i n 有 },...{11n n i X i X P ===....11n n i i ii i p p p -∑ (4.10) 证明 由全概率公式及马氏性有},...{11n n i X i X P ===},...,,{110n n Ii i X i X i X P ===∈=},...,,{110n n Ii i X i X i X P ===∑∈=}.,{}{0110i X i X P i X P Ii ===∑∈...},...,{110--===n n n n i X i X i X P=}.,{}{0110i X i X P i X P Ii ===∑∈..}{11--==n n n n i X i X P=n n i i ii Ii i p p p 11...-∑∈.三,马尔可夫链的例子例4.1 无限制随机游动设质点在数轴上移动,每次移动一格,向右移动的概率为p,向左移动的概率为 q=1-p,这种运动称为无限制随机游动.以n X 表示时刻n 质点所处的位置,则},{T n X n ∈是一个齐次马尔可夫链,试写出它的一步和k 步转移概率. 解 },{T n X n ∈的状态空间,...},2,1,0{±±=I 其一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=.....................00.........0.....................p q p q P 设在第k 步转移中向右移了x 步向左移动了y 步,且经过k 步转移状态从j 进入j,则⎩⎨⎧-=-=+i j y x k y x ,.2)(,2)(i j k y i j k x --=-+=由于x,y 都只取整数,所以)(i j k -±必须是偶数.又在k 步中哪x 步向右,哪y 步向左是任意的,选取的方法有x k C 种.于是⎩⎨⎧-+-+=是奇数是偶数)(,0)(,i j k i j k q p C p y x x k k ij.例4.2赌徒输光问题.两赌徒甲,乙进行一系列赌博.赌徒甲有a 元,赌注乙有b 元,每赌一局输者给赢者1元,没有和局,直到两人中有一个输光为止.设在每一局中,甲赢的概率为p,输的概率为q=1-p,求甲输光的概率.这个问题实质上是带有两个吸收壁的随机游动,其状态空间为I={0,1,2,…,c} c=a+b.故现在的问题是求质点从a 出发到达0状态先于到达c=a+b 状态的概率.解 设i u 表示甲从状态i 出发转移到状态0的概率,要计算的是a u ..由于0和c 是吸收状态,故,10=u .0=c u i u 由全概公式).1,...,2,1(,11-=+=-+c i qu pu u i i i (4.11) 上式的含义是,甲从状态i 出发开始赌到输光的概率等于’他接下去赢了一局(概率为p)处于状态i+1后再输光”;和他接下去输一局(概率为q),处于状态i-1后再输光”这两个事件的概率.由于p+q=1,(4.11)实质上是一个差分方程.1,...,2,1),(11-=-=--+c i u u r u u i i i i (4.12)其中pqr =,其边界条件为.0,10==c u u (4.13) 先讨论r=1,即p=q=1/2的情况,(4.12)成为 .1,...,2,1),(11-=-=--+c i u u r u u i i i i 令,01α+=u u 得,2012αα+=+=u u u …,01ααi u u u i i +=+=- …,01ααc u u u c c +=+=-将,1,00==u u c 代于最后一式,得参数,1c-=α所以.1,...,2,1,1-=-=ci ciu i 令i=a, 求得甲输光的概率为.1ba bc a u a +=-= 由于甲,乙的地位是对称的,故乙输光的概率为.ba a u a +=再讨论1≠r ,即q p ≠的情况.由(4.12)式得到)(11--=-=-∑i c k i i k c u u r u u =)(011u u r c ki i-=∑-=.1)1(1r r r u ck ---= (4.14) 令k=0,由于,0=c u 有rr u c---=11)1(11即,11)1(1crru --=- 代入(4.14)式,得.1,...,2,1,1-=--=c k rr r u cck k 令k=a,得到输光的概率,1cca a rr r u --= 由对称性,乙输光的概率为.,11111q p r r r r u c cb b =--= 由于,1=+b a u u 因此在1≠r 时,即q p ≠时两个人中也总有一个人要输光的. 例4.3 天气预报问题设昨日,今日都下雨,明日有雨的概率为0.7;昨日无雨今日有雨,明日有雨的概率为0.5;昨日有雨,今日无雨明日有雨的概率为0.4;昨日,今日均无雨,明日有雨的概率为0.2.若星期一星期二均下雨,求星期四下雨的概率.解 设昨日,今日连续两天有雨称为状态0(RR),昨日无雨今日有雨称为状态1(NR),昨日有雨今日无雨称为状态2(RN),昨日今日无雨称为状态3(NN),于是天气预报模型可看作一个四状态的马尔可夫链,其中转移概率为 7.0}{}{}{00====今昨明今昨明今连续三天有雨R R R P P R R R R P p , )(0}{01不可能事件今昨明今==R R R N P p ,,3.07.01}{}{02=-===今昨明今昨明今R R N P R R N R P p)(0}{03不可能事件今昨明今==R R N N P p ,其中R 代表有雨,N 代表无雨.类似地可得到所有状态的一步转移概率,于是它的一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=33323130232221201312111003020100p p p p p p p p p p p p p p p p P =⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0其中两步转移矩阵为==P P P .)2(⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0.⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0 = ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡.64.010.016.010.048..020.012.020.030.015.020.035.018.021.012.049.0 由于星期四下雨意味着过程所处的状态为0或1,因此星期一星期二连续下雨,星期四下雨的概率为.61.012.049.0)2(01)2(00=+=+=p p p例 4.4 设质点在线段[1,4]上作随机游动,假设它只能在时刻T n ∈发生移动,且只能停留在1,2,3,4点上.当质点转移到2,3点时,它以1/3的概率向左或向右移动一格或停留在原处.当质点称动到点1时,它以概率1停留在原处.当质点移动到点4时,它以概率1移动到点3.若以n X 表示质点在时刻n 所处的位置,则},{T n X n ∈ 是一个齐次马尔可夫链,其转移概率矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=0100313131003131310001P 例中的点1称为吸收壁,即质点一旦到达这种状态后就被吸收住了,不再移动;点4称为反射壁,即质点一旦到达这种状态后,必然被反射出去.例4.5生灭链.观察某种生物群体,以n X 表示在时刻n 群体的数目,设为i 个数量单位,如在时刻n+1增生到i+1个单位的概率为i b ,减灭到i 个数量单位的概率为i a ,保持不变的概率为)(1i i i b a r +-=,则}0,{≥n X n 为齐次马尔可夫链,I={0,1,2,…,}.其转移概率为⎪⎩⎪⎨⎧+==+==.1,,,1,i j a j i r i j b p ii i ij称此马尔可夫链为生灭链. 4.2 遍历性设齐次马氏链的状态空间为I,若对于所有,,I a a j i ∈转移概率)(n P ij 存在极限 j ij n n P π=∞→)(lim (不依赖于i)或 ⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡→=................................................)(212121j j jn P n P πππππππππ则称此链具有遍历性.又若∑=jj 1π,则同时称,...),(21πππ=为链的极限分布.齐次马氏链在什么条件下才具有遍历性?如何求出它的极限分布?这问题在理论上已经解决,但是要较多的篇幅.下面对有限链的遍历性给出一个充分条件. 定理4.4设齐次马氏链},{T n X n ∈的状态空间为P a a a I n },,...,,{21=是它的一步转移概率矩阵,如果存在正整数m,使对任意的j i a a ,都有 ,,...,2,1,,0)(N j i m p ij =>则此链具有遍历性,且有极限分布, ),,...,,(21N ππππ=它是方程组 P ππ=或即ij Ni i j p ∑==1ππ的满足条件∑==>Nj j j 11,0ππ的唯一解.在定理条件下马氏链的极限分布又是平稳分布.即若用π作为链的初始分布,即π=)0(p ,则链在任一时刻T n ∈的分布)(n p 永远与π一致,事实上ππππ======-P P P n P p n p n n ...)()0()(1 例4..6 设马尔可夫链的转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=9.005.005.01.08.01.02.01.07.0P 解 容易证明满足定理4.4条件.可得方程组⎪⎪⎩⎪⎪⎨⎧=++++=++=++=1,9.01.02.0,05.08.01.0,05.01.07.0321321332123211πππππππππππππππ解上述方程组得平稳分布为.5882.0,2353.0,1765.0321===πππ。
