马尔可夫链

马尔可夫链马尔可夫链（Markov chains ）是一类重要的随机过程，它的状态空间是有限的或可数无限的。

经过一段时间系统从一个状态转到另一个状态这种进程只依赖于当前出发时的状态而与以前的历史无关。

马尔可夫链有着广泛的应用，也是研究排队系统的重要工具。

1) 离散时间参数的马尔可夫链 ①基本概念定义 5.7 设{()0,1,2,}X n n ∙∙∙=，是一个随机过程，状态空间{0,1,2,}E =，如果对于任意的一组整数时间120k n n n ∙∙∙≤<<<，以及任意状态12,,,k i i i E ∈，都有条件概率11{()|()}k k k k P X n i X n i --=== （5-17）即过程{()0,1,2,}X n n ∙∙∙=，未来所处的状态只与当前的状态有关，而与以前曾处于什么状态无关，则称{()0,1,2,}X n n ∙∙∙=，是一个离散时间参数的马尔可夫链。

当E 为可列无限集时称其为可列无限状态的马尔可夫链，否则称其为有限状态的马尔可夫链。

定义5.8 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,}E =上的马尔可夫链，条件概率(,){()|()}ij p m k P X m k j X m i i j E =+==∈，、 （5-18）称为马尔可夫链{()0,1,2,}X n n ∙∙∙=，在m 时刻的k 步转移概率。

k 步转移概率的直观意义是：质点在时刻m 处于状态i 的条件下，再经过k 步（k 个单位时间）转移到状态j 的条件概率。

特别地，当1k =时，(,1){(1)|()}ij p m P X m j X m i =+== （5-19）称为一步转移概率，简称转移概率。

如果k 步转移概率(,)ij p m k i j E ∈，、，只与k 有关，而与时间起点m 无关，则{()}X n 称为离散时间的齐次马尔可夫链。

定义5.9 设{()0,1,2,}X n n ∙∙∙=，是状态空间{0,1,2,}E ∙∙∙=上的马尔可夫链，矩阵000101011101(,)(,)(,)(,)(,)(,)(,)(,)(,)(,)n n j j jn p m k p m k p m k p m k p m k p m k P m k p m k p m k p m k ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦（5-20） 称为{()}X n 在m 时刻的k 步转移概率矩阵。

马尔可夫链
马尔可夫链（Markov Chain, MC）是概率论和数理统计中具有马尔可夫性质（Markov property）且存在于离散的指数集（index set）和状态空间（state space）内的随机过程（stochastic process）。

适用于连续指数集的马尔可夫链被称为马尔可夫过程（Markov process），但有时也被视为马尔可夫链的子集，即连续时间马尔可夫链（Continuous-Time MC, CTMC），与离散时间马尔可夫链（Discrete-Time MC, DTMC）相对应，因此马尔可夫链是一个较为宽泛的概念。

马尔可夫链的命名来自俄国数学家安德雷·马尔可夫以纪念其首次定义马尔可夫链和对其收敛性质所做的研究。

马尔可夫链马尔可夫过程按其状态和时间参数是连续的或离散的,可分为三类: (1) 时间,状态都是离散的马尔可夫过程,称为马尔可夫链.(2) 时间连续,状态离散的马尔可夫过程,称为连续时间的马尔可夫 (3) 时间,状态都连续的马尔可夫过程. 4.1马尔可夫链的概念及转移概率 一,定义假设马尔可夫过程},{T n X n ∈的参数集T 是离散的时间集合,即 T={0,1,2,…},其相应n X 可能取值的全体组成的状态空间是离散的状态集,...}.,{21i i I =定义4.1 设有随机过程},{T n X n ∈,若对于任意的整数T n ∈和任意的I i i i i n ∈+.,...,,,1210,条件概率满足n n n n i X i X i X i X P ====++,...,,{110011}=},{11n n n n i X i X P ==++ (4.1) 则称},{T n X n ∈为马尔可夫链,简称.马氏链.(4.1)式是马尔可夫链的马氏性(或无后效性)的数学表达式.由定义知 ],...,,{1100n n i X i X i X P =====}.,...,,{111100--====n n n n i X i X i X i X P },...,,{111100--===n n i X i X i X P =}{11--==n n n n i X i X P .},...,,{111100--===n n i X i X i X P =… =}{11--==n n n n i X i X P }{2211----==n n n n i X i X P …}{0011i X i X P ==}.{00i X P =可见,马尔可夫链的统计特性完全由条件概率}{11n n n n i X i X P ==++所决定. 二,转移概率条件概率}{1i X j X P n n ==+的直观含义为系统在时刻n 处于状态i 的条件下,在时刻n+1系统处于状态j 的概率.它相当于随机游动的质点在时刻n 处于状态i 的条件下,下一步转移到状态j 的概率.记此条件概率为).(n p ij 定义4.2 称条件概率).(n p ij = }{11n n n n i X i X P ==++为马尔可夫链},{T n X n ∈在时刻n 的一步转移概率,其中i,j I ∈,简称为转移概率. 定义4.3 若对任意i,j I ∈,马尔可夫链},{T n X n ∈的转移概率).(n p ij 与n 无关,则称马尔可夫链是齐次的,并记).(n p ij 为.ij p下面我们只讨论齐次马尔可夫链,通常将齐次两字省略.设p 表示一步转移概率.ij p 所组成的矩阵,且状态空间I={1,2,…},则⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=...........................2222111211nnp p p p p p p 称为系统的一步转移概率矩阵,它有性质: (1) .,1)2(;,,0∑∈∈=∈≥Ij ij ijI i p I j i p通常称满足上述(1),(2)性质的矩阵为随机矩阵. 定义4.4称条件概率ij n p )(= )1,0,,(},{≥≥∈==+n m I j i i X j X P m n m 为马尔可夫链},{T n X n ∈的n 步转移概率,.并称)()()(n ij n p p =为马尔可夫链的n 步转移矩阵,其中(1) .,1)2(;,,0)(∑∈∈=∈≥Ij ij n ij n I i p I j i p 即也是随机矩阵.当n=1 时, .)1(ij p =.ij p ,此时一步转移矩阵.)1(p p =此外我们规定 ⎩⎨⎧=≠=.,1,,0)0(j i j i pij定理4.1设},{T n X n ∈为马尔可夫链,则对任意整数n l n <≤≥0,0和,,I j i ∈n 步转移概率.)(ij n p 具有下列性质:(1)))()()(l n kj Ik l ik n ij p p p -∈∑=; (4.2)(2) ;......112111)(j k Ik k k ik Ik n ij n n p p p p --∑∑∈∈= (4.3)(3);)1()(-=n n PP P (4.4) (4).)(n n P P =(4.5)证明(1) 利用全概率公式及马尔可夫性,有}{)(i X j X P p m n m n ij ===+=}{},{i X P j X i X P m n m m ===+}{},{.},{},,{i X P k X i X P k X i X P j X k X i X P m l m m Ik l m m n m l m m =========+∈+++∑}{}{i X k X P k X j X P m l m l m Ik n m =====++∈+∑=)()()()(m p l m p l ik Ik l n ij +∑∈-=)()(.l n kjIk l ik p p -∈∑. (2)在(1)中令1,1k k l ==得))1()(111-∈∑=n jkIk ik n ij p p p 这是一个递推公式,可递推下下去即得(4.3). (3)在(1).令l=1利用矩阵乘法可得. (4) 由(3),利用归纳法可证.定理4.1中的(1)式称为切普曼---柯尔哥洛夫方程,简称C-K 方程 .定义4.5设},{T n X n ∈为马尔可夫链,称 },{0j X P p j ==)(},{)(I j j X P n p n j ∈==为},{T n X n ∈的初始概率和绝对概率,并分别称}),({},,{I j n p I j p j j ∈∈为},{T n X n ∈的初始分布和绝对分布.简记为}.),({},,{n p p j j 称概率向量 )0(),...),(),(()(21>=n n p n p n P T 为n 时刻的绝对概率向量,而称)0(,...),,(21>=n p p P T为初始向量.定理4.2设},{T n X n ∈为马尔可夫链,则对任意整数I j n ∈≥,1,绝对概率).(n p j 具有下列性质:(1)))()(n ij Ii i j p p n p ∑∈=; (4.6)(2) ij Ii i j p n p p )1(-=∑∈ (4.7)(3);)0()()(n T T P P n P = (4.8) (4)P n P n P T T )1()(-= (4.9)证明(1) ===}{)(j X P n p n j},{0j X i XP n Ii ==∑∈= }{}{00i X P i X j XP nIi ===∑∈ =)(n ijIi i p p ∑∈ (2)===}{)(j X P n p n j },{1j X i X P n Ii n ==∑∈-=}{}{11i X P i X j X P n n n Ii ===--∈∑==ij Ii i p n p ∑∈-)1((3)与(4)是(1)与(2)的矩阵形式.定理4.3 设},{T n X n ∈为马尔可夫链,则对任意,1,,...,1≥∈n I i i n 有 },...{11n n i X i X P ===....11n n i i ii i p p p -∑ (4.10) 证明 由全概率公式及马氏性有},...{11n n i X i X P ===},...,,{110n n Ii i X i X i X P ===∈=},...,,{110n n Ii i X i X i X P ===∑∈=}.,{}{0110i X i X P i X P Ii ===∑∈...},...,{110--===n n n n i X i X i X P=}.,{}{0110i X i X P i X P Ii ===∑∈..}{11--==n n n n i X i X P=n n i i ii Ii i p p p 11...-∑∈.三,马尔可夫链的例子例4.1 无限制随机游动设质点在数轴上移动,每次移动一格,向右移动的概率为p,向左移动的概率为 q=1-p,这种运动称为无限制随机游动.以n X 表示时刻n 质点所处的位置,则},{T n X n ∈是一个齐次马尔可夫链,试写出它的一步和k 步转移概率. 解 },{T n X n ∈的状态空间,...},2,1,0{±±=I 其一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=.....................00.........0.....................p q p q P 设在第k 步转移中向右移了x 步向左移动了y 步,且经过k 步转移状态从j 进入j,则⎩⎨⎧-=-=+i j y x k y x ,.2)(,2)(i j k y i j k x --=-+=由于x,y 都只取整数,所以)(i j k -±必须是偶数.又在k 步中哪x 步向右,哪y 步向左是任意的,选取的方法有x k C 种.于是⎩⎨⎧-+-+=是奇数是偶数)(,0)(,i j k i j k q p C p y x x k k ij.例4.2赌徒输光问题.两赌徒甲,乙进行一系列赌博.赌徒甲有a 元,赌注乙有b 元,每赌一局输者给赢者1元,没有和局,直到两人中有一个输光为止.设在每一局中,甲赢的概率为p,输的概率为q=1-p,求甲输光的概率.这个问题实质上是带有两个吸收壁的随机游动,其状态空间为I={0,1,2,…,c} c=a+b.故现在的问题是求质点从a 出发到达0状态先于到达c=a+b 状态的概率.解 设i u 表示甲从状态i 出发转移到状态0的概率,要计算的是a u ..由于0和c 是吸收状态,故,10=u .0=c u i u 由全概公式).1,...,2,1(,11-=+=-+c i qu pu u i i i (4.11) 上式的含义是,甲从状态i 出发开始赌到输光的概率等于’他接下去赢了一局(概率为p)处于状态i+1后再输光”;和他接下去输一局(概率为q),处于状态i-1后再输光”这两个事件的概率.由于p+q=1,(4.11)实质上是一个差分方程.1,...,2,1),(11-=-=--+c i u u r u u i i i i (4.12)其中pqr =,其边界条件为.0,10==c u u (4.13) 先讨论r=1,即p=q=1/2的情况,(4.12)成为 .1,...,2,1),(11-=-=--+c i u u r u u i i i i 令,01α+=u u 得,2012αα+=+=u u u …,01ααi u u u i i +=+=- …,01ααc u u u c c +=+=-将,1,00==u u c 代于最后一式,得参数,1c-=α所以.1,...,2,1,1-=-=ci ciu i 令i=a, 求得甲输光的概率为.1ba bc a u a +=-= 由于甲,乙的地位是对称的,故乙输光的概率为.ba a u a +=再讨论1≠r ,即q p ≠的情况.由(4.12)式得到)(11--=-=-∑i c k i i k c u u r u u =)(011u u r c ki i-=∑-=.1)1(1r r r u ck ---= (4.14) 令k=0,由于,0=c u 有rr u c---=11)1(11即,11)1(1crru --=- 代入(4.14)式,得.1,...,2,1,1-=--=c k rr r u cck k 令k=a,得到输光的概率,1cca a rr r u --= 由对称性,乙输光的概率为.,11111q p r r r r u c cb b =--= 由于,1=+b a u u 因此在1≠r 时,即q p ≠时两个人中也总有一个人要输光的. 例4.3 天气预报问题设昨日,今日都下雨,明日有雨的概率为0.7;昨日无雨今日有雨,明日有雨的概率为0.5;昨日有雨,今日无雨明日有雨的概率为0.4;昨日,今日均无雨,明日有雨的概率为0.2.若星期一星期二均下雨,求星期四下雨的概率.解 设昨日,今日连续两天有雨称为状态0(RR),昨日无雨今日有雨称为状态1(NR),昨日有雨今日无雨称为状态2(RN),昨日今日无雨称为状态3(NN),于是天气预报模型可看作一个四状态的马尔可夫链,其中转移概率为 7.0}{}{}{00====今昨明今昨明今连续三天有雨R R R P P R R R R P p , )(0}{01不可能事件今昨明今==R R R N P p ,,3.07.01}{}{02=-===今昨明今昨明今R R N P R R N R P p)(0}{03不可能事件今昨明今==R R N N P p ,其中R 代表有雨,N 代表无雨.类似地可得到所有状态的一步转移概率,于是它的一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=33323130232221201312111003020100p p p p p p p p p p p p p p p p P =⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0其中两步转移矩阵为==P P P .)2(⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0.⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0 = ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡.64.010.016.010.048..020.012.020.030.015.020.035.018.021.012.049.0 由于星期四下雨意味着过程所处的状态为0或1,因此星期一星期二连续下雨,星期四下雨的概率为.61.012.049.0)2(01)2(00=+=+=p p p例 4.4 设质点在线段[1,4]上作随机游动,假设它只能在时刻T n ∈发生移动,且只能停留在1,2,3,4点上.当质点转移到2,3点时,它以1/3的概率向左或向右移动一格或停留在原处.当质点称动到点1时,它以概率1停留在原处.当质点移动到点4时,它以概率1移动到点3.若以n X 表示质点在时刻n 所处的位置,则},{T n X n ∈ 是一个齐次马尔可夫链,其转移概率矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=0100313131003131310001P 例中的点1称为吸收壁,即质点一旦到达这种状态后就被吸收住了,不再移动;点4称为反射壁,即质点一旦到达这种状态后,必然被反射出去.例4.5生灭链.观察某种生物群体,以n X 表示在时刻n 群体的数目,设为i 个数量单位,如在时刻n+1增生到i+1个单位的概率为i b ,减灭到i 个数量单位的概率为i a ,保持不变的概率为)(1i i i b a r +-=,则}0,{≥n X n 为齐次马尔可夫链,I={0,1,2,…,}.其转移概率为⎪⎩⎪⎨⎧+==+==.1,,,1,i j a j i r i j b p ii i ij称此马尔可夫链为生灭链. 4.2 遍历性设齐次马氏链的状态空间为I,若对于所有,,I a a j i ∈转移概率)(n P ij 存在极限 j ij n n P π=∞→)(lim (不依赖于i)或 ⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡→=................................................)(212121j j jn P n P πππππππππ则称此链具有遍历性.又若∑=jj 1π,则同时称,...),(21πππ=为链的极限分布.齐次马氏链在什么条件下才具有遍历性?如何求出它的极限分布?这问题在理论上已经解决,但是要较多的篇幅.下面对有限链的遍历性给出一个充分条件. 定理4.4设齐次马氏链},{T n X n ∈的状态空间为P a a a I n },,...,,{21=是它的一步转移概率矩阵,如果存在正整数m,使对任意的j i a a ,都有 ,,...,2,1,,0)(N j i m p ij =>则此链具有遍历性,且有极限分布, ),,...,,(21N ππππ=它是方程组 P ππ=或即ij Ni i j p ∑==1ππ的满足条件∑==>Nj j j 11,0ππ的唯一解.在定理条件下马氏链的极限分布又是平稳分布.即若用π作为链的初始分布,即π=)0(p ,则链在任一时刻T n ∈的分布)(n p 永远与π一致,事实上ππππ======-P P P n P p n p n n ...)()0()(1 例4..6 设马尔可夫链的转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=9.005.005.01.08.01.02.01.07.0P 解 容易证明满足定理4.4条件.可得方程组⎪⎪⎩⎪⎪⎨⎧=++++=++=++=1,9.01.02.0,05.08.01.0,05.01.07.0321321332123211πππππππππππππππ解上述方程组得平稳分布为.5882.0,2353.0,1765.0321===πππ。