马尔科夫链

马尔可夫链公式1. 什么是马尔可夫链马尔可夫链是指一个随机过程，在这个过程中某些状态可以通过概率转移去到其他状态，而且转移只与当前状态有关，与之前的状态无关。

具有这个特点的随机过程称为马尔可夫过程，而它产生的序列称为马尔可夫链。

2. 马尔可夫链的特点马尔可夫链具有以下几个特点：- 状态空间：指该随机过程中所有可能的状态的集合。

- 转移概率：在任意时刻，从一个状态转移到另一个状态的概率。

- 状态的分布：表示在任意时刻每个状态出现的概率。

- 稳定性：表示在长时间运转后达到的稳定状态的分布。

3. 马尔可夫链的公式马尔可夫链的公式描述了该过程中某个状态在下一时刻的概率分布与当前状态的概率分布之间的关系。

数学表示如下：P(X_n+1=i | X_n=j) = Pij其中，Pij表示从状态j转移到状态i的概率。

上述公式可以表示为一个矩阵形式：P = [Pij]其中P是一个n×n的矩阵，表示马尔可夫链的状态转移概率矩阵。

矩阵中的每个元素都是非负的，且每一行元素之和为1。

4. 马尔可夫链的应用马尔可夫链可以应用于许多现实生活中的问题。

例如：- 预测天气：根据前面几天的天气情况，通过马尔可夫链可以预测后面几天的天气情况。

- 音乐生成：通过马尔可夫链可以生成新的音乐片段，以及根据既有音乐生成新的音乐曲目。

- 股票分析：通过分析历史数据，使用马尔可夫链可以预测未来股票价格的走势。

- 自然语言处理：使用马尔可夫链可以构建文本生成模型，例如自动泡面爆款语录。

总之，马尔可夫链是一种极为重要的随机过程，在很多领域都有广泛的应用。

熟悉马尔可夫链公式，能够帮助我们更好地理解和应用这个概念，从而解决很多实际问题。

马尔可夫链的基本概念马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。

马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。

马尔可夫链由一组状态和状态之间的转移概率组成，可以用于模拟和预测各种随机过程，如天气变化、股票价格波动等。

一、马尔可夫链的定义马尔可夫链由状态空间和转移概率矩阵组成。

状态空间是指所有可能的状态的集合，用S表示。

转移概率矩阵是一个n×n的矩阵，其中n 是状态空间的大小。

转移概率矩阵的元素表示从一个状态转移到另一个状态的概率。

二、马尔可夫链的性质1. 马尔可夫性质：在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。

2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意一个状态。

3. 周期性：一个状态可以分为周期为k的状态和非周期状态。

周期为k的状态在经过k步后才能返回原状态，非周期状态的周期为1。

4. 不可约性：如果一个马尔可夫链中的任意两个状态都是可达的，那么该马尔可夫链是不可约的。

5. 非周期马尔可夫链的收敛性：如果一个马尔可夫链是非周期的且不可约的，那么它具有收敛性，即在经过足够多的步骤后，状态分布会趋于稳定。

三、马尔可夫链的应用马尔可夫链在许多领域都有广泛的应用，包括自然语言处理、机器学习、金融市场分析等。

1. 自然语言处理：马尔可夫链可以用于语言模型的建立，通过分析文本中的词语之间的转移概率，可以预测下一个词语的出现概率，从而实现自动文本生成、机器翻译等任务。

2. 机器学习：马尔可夫链可以用于序列数据的建模和预测，如音频信号处理、图像处理等。

通过分析序列数据中的状态转移概率，可以预测下一个状态的出现概率，从而实现序列数据的预测和分类。

3. 金融市场分析：马尔可夫链可以用于分析金融市场的波动性和趋势。

通过分析股票价格的状态转移概率，可以预测未来股票价格的走势，从而指导投资决策。

四、马尔可夫链的改进和扩展马尔可夫链的基本概念可以通过改进和扩展来适应更复杂的问题。

马尔可夫链马尔可夫过程按其状态和时间参数是连续的或离散的,可分为三类: (1) 时间,状态都是离散的马尔可夫过程,称为马尔可夫链.(2) 时间连续,状态离散的马尔可夫过程,称为连续时间的马尔可夫 (3) 时间,状态都连续的马尔可夫过程. 4.1马尔可夫链的概念及转移概率 一,定义假设马尔可夫过程},{T n X n ∈的参数集T 是离散的时间集合,即 T={0,1,2,…},其相应n X 可能取值的全体组成的状态空间是离散的状态集,...}.,{21i i I =定义4.1 设有随机过程},{T n X n ∈,若对于任意的整数T n ∈和任意的I i i i i n ∈+.,...,,,1210,条件概率满足n n n n i X i X i X i X P ====++,...,,{110011}=},{11n n n n i X i X P ==++ (4.1) 则称},{T n X n ∈为马尔可夫链,简称.马氏链.(4.1)式是马尔可夫链的马氏性(或无后效性)的数学表达式.由定义知 ],...,,{1100n n i X i X i X P =====}.,...,,{111100--====n n n n i X i X i X i X P },...,,{111100--===n n i X i X i X P =}{11--==n n n n i X i X P .},...,,{111100--===n n i X i X i X P =… =}{11--==n n n n i X i X P }{2211----==n n n n i X i X P …}{0011i X i X P ==}.{00i X P =可见,马尔可夫链的统计特性完全由条件概率}{11n n n n i X i X P ==++所决定. 二,转移概率条件概率}{1i X j X P n n ==+的直观含义为系统在时刻n 处于状态i 的条件下,在时刻n+1系统处于状态j 的概率.它相当于随机游动的质点在时刻n 处于状态i 的条件下,下一步转移到状态j 的概率.记此条件概率为).(n p ij 定义4.2 称条件概率).(n p ij = }{11n n n n i X i X P ==++为马尔可夫链},{T n X n ∈在时刻n 的一步转移概率,其中i,j I ∈,简称为转移概率. 定义4.3 若对任意i,j I ∈,马尔可夫链},{T n X n ∈的转移概率).(n p ij 与n 无关,则称马尔可夫链是齐次的,并记).(n p ij 为.ij p下面我们只讨论齐次马尔可夫链,通常将齐次两字省略.设p 表示一步转移概率.ij p 所组成的矩阵,且状态空间I={1,2,…},则⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=...........................2222111211nnp p p p p p p 称为系统的一步转移概率矩阵,它有性质: (1) .,1)2(;,,0∑∈∈=∈≥Ij ij ijI i p I j i p通常称满足上述(1),(2)性质的矩阵为随机矩阵. 定义4.4称条件概率ij n p )(= )1,0,,(},{≥≥∈==+n m I j i i X j X P m n m 为马尔可夫链},{T n X n ∈的n 步转移概率,.并称)()()(n ij n p p =为马尔可夫链的n 步转移矩阵,其中(1) .,1)2(;,,0)(∑∈∈=∈≥Ij ij n ij n I i p I j i p 即也是随机矩阵.当n=1 时, .)1(ij p =.ij p ,此时一步转移矩阵.)1(p p =此外我们规定 ⎩⎨⎧=≠=.,1,,0)0(j i j i pij定理4.1设},{T n X n ∈为马尔可夫链,则对任意整数n l n <≤≥0,0和,,I j i ∈n 步转移概率.)(ij n p 具有下列性质:(1)))()()(l n kj Ik l ik n ij p p p -∈∑=; (4.2)(2) ;......112111)(j k Ik k k ik Ik n ij n n p p p p --∑∑∈∈= (4.3)(3);)1()(-=n n PP P (4.4) (4).)(n n P P =(4.5)证明(1) 利用全概率公式及马尔可夫性,有}{)(i X j X P p m n m n ij ===+=}{},{i X P j X i X P m n m m ===+}{},{.},{},,{i X P k X i X P k X i X P j X k X i X P m l m m Ik l m m n m l m m =========+∈+++∑}{}{i X k X P k X j X P m l m l m Ik n m =====++∈+∑=)()()()(m p l m p l ik Ik l n ij +∑∈-=)()(.l n kjIk l ik p p -∈∑. (2)在(1)中令1,1k k l ==得))1()(111-∈∑=n jkIk ik n ij p p p 这是一个递推公式,可递推下下去即得(4.3). (3)在(1).令l=1利用矩阵乘法可得. (4) 由(3),利用归纳法可证.定理4.1中的(1)式称为切普曼---柯尔哥洛夫方程,简称C-K 方程 .定义4.5设},{T n X n ∈为马尔可夫链,称 },{0j X P p j ==)(},{)(I j j X P n p n j ∈==为},{T n X n ∈的初始概率和绝对概率,并分别称}),({},,{I j n p I j p j j ∈∈为},{T n X n ∈的初始分布和绝对分布.简记为}.),({},,{n p p j j 称概率向量 )0(),...),(),(()(21>=n n p n p n P T 为n 时刻的绝对概率向量,而称)0(,...),,(21>=n p p P T为初始向量.定理4.2设},{T n X n ∈为马尔可夫链,则对任意整数I j n ∈≥,1,绝对概率).(n p j 具有下列性质:(1)))()(n ij Ii i j p p n p ∑∈=; (4.6)(2) ij Ii i j p n p p )1(-=∑∈ (4.7)(3);)0()()(n T T P P n P = (4.8) (4)P n P n P T T )1()(-= (4.9)证明(1) ===}{)(j X P n p n j},{0j X i XP n Ii ==∑∈= }{}{00i X P i X j XP nIi ===∑∈ =)(n ijIi i p p ∑∈ (2)===}{)(j X P n p n j },{1j X i X P n Ii n ==∑∈-=}{}{11i X P i X j X P n n n Ii ===--∈∑==ij Ii i p n p ∑∈-)1((3)与(4)是(1)与(2)的矩阵形式.定理4.3 设},{T n X n ∈为马尔可夫链,则对任意,1,,...,1≥∈n I i i n 有 },...{11n n i X i X P ===....11n n i i ii i p p p -∑ (4.10) 证明 由全概率公式及马氏性有},...{11n n i X i X P ===},...,,{110n n Ii i X i X i X P ===∈=},...,,{110n n Ii i X i X i X P ===∑∈=}.,{}{0110i X i X P i X P Ii ===∑∈...},...,{110--===n n n n i X i X i X P=}.,{}{0110i X i X P i X P Ii ===∑∈..}{11--==n n n n i X i X P=n n i i ii Ii i p p p 11...-∑∈.三,马尔可夫链的例子例4.1 无限制随机游动设质点在数轴上移动,每次移动一格,向右移动的概率为p,向左移动的概率为 q=1-p,这种运动称为无限制随机游动.以n X 表示时刻n 质点所处的位置,则},{T n X n ∈是一个齐次马尔可夫链,试写出它的一步和k 步转移概率. 解 },{T n X n ∈的状态空间,...},2,1,0{±±=I 其一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=.....................00.........0.....................p q p q P 设在第k 步转移中向右移了x 步向左移动了y 步,且经过k 步转移状态从j 进入j,则⎩⎨⎧-=-=+i j y x k y x ,.2)(,2)(i j k y i j k x --=-+=由于x,y 都只取整数,所以)(i j k -±必须是偶数.又在k 步中哪x 步向右,哪y 步向左是任意的,选取的方法有x k C 种.于是⎩⎨⎧-+-+=是奇数是偶数)(,0)(,i j k i j k q p C p y x x k k ij.例4.2赌徒输光问题.两赌徒甲,乙进行一系列赌博.赌徒甲有a 元,赌注乙有b 元,每赌一局输者给赢者1元,没有和局,直到两人中有一个输光为止.设在每一局中,甲赢的概率为p,输的概率为q=1-p,求甲输光的概率.这个问题实质上是带有两个吸收壁的随机游动,其状态空间为I={0,1,2,…,c} c=a+b.故现在的问题是求质点从a 出发到达0状态先于到达c=a+b 状态的概率.解 设i u 表示甲从状态i 出发转移到状态0的概率,要计算的是a u ..由于0和c 是吸收状态,故,10=u .0=c u i u 由全概公式).1,...,2,1(,11-=+=-+c i qu pu u i i i (4.11) 上式的含义是,甲从状态i 出发开始赌到输光的概率等于’他接下去赢了一局(概率为p)处于状态i+1后再输光”;和他接下去输一局(概率为q),处于状态i-1后再输光”这两个事件的概率.由于p+q=1,(4.11)实质上是一个差分方程.1,...,2,1),(11-=-=--+c i u u r u u i i i i (4.12)其中pqr =,其边界条件为.0,10==c u u (4.13) 先讨论r=1,即p=q=1/2的情况,(4.12)成为 .1,...,2,1),(11-=-=--+c i u u r u u i i i i 令,01α+=u u 得,2012αα+=+=u u u …,01ααi u u u i i +=+=- …,01ααc u u u c c +=+=-将,1,00==u u c 代于最后一式,得参数,1c-=α所以.1,...,2,1,1-=-=ci ciu i 令i=a, 求得甲输光的概率为.1ba bc a u a +=-= 由于甲,乙的地位是对称的,故乙输光的概率为.ba a u a +=再讨论1≠r ,即q p ≠的情况.由(4.12)式得到)(11--=-=-∑i c k i i k c u u r u u =)(011u u r c ki i-=∑-=.1)1(1r r r u ck ---= (4.14) 令k=0,由于,0=c u 有rr u c---=11)1(11即,11)1(1crru --=- 代入(4.14)式,得.1,...,2,1,1-=--=c k rr r u cck k 令k=a,得到输光的概率,1cca a rr r u --= 由对称性,乙输光的概率为.,11111q p r r r r u c cb b =--= 由于,1=+b a u u 因此在1≠r 时,即q p ≠时两个人中也总有一个人要输光的. 例4.3 天气预报问题设昨日,今日都下雨,明日有雨的概率为0.7;昨日无雨今日有雨,明日有雨的概率为0.5;昨日有雨,今日无雨明日有雨的概率为0.4;昨日,今日均无雨,明日有雨的概率为0.2.若星期一星期二均下雨,求星期四下雨的概率.解 设昨日,今日连续两天有雨称为状态0(RR),昨日无雨今日有雨称为状态1(NR),昨日有雨今日无雨称为状态2(RN),昨日今日无雨称为状态3(NN),于是天气预报模型可看作一个四状态的马尔可夫链,其中转移概率为 7.0}{}{}{00====今昨明今昨明今连续三天有雨R R R P P R R R R P p , )(0}{01不可能事件今昨明今==R R R N P p ,,3.07.01}{}{02=-===今昨明今昨明今R R N P R R N R P p)(0}{03不可能事件今昨明今==R R N N P p ,其中R 代表有雨,N 代表无雨.类似地可得到所有状态的一步转移概率,于是它的一步转移概率矩阵为⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=33323130232221201312111003020100p p p p p p p p p p p p p p p p P =⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0其中两步转移矩阵为==P P P .)2(⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0.⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡8.002.006.004.0005.005.003.007.0 = ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡.64.010.016.010.048..020.012.020.030.015.020.035.018.021.012.049.0 由于星期四下雨意味着过程所处的状态为0或1,因此星期一星期二连续下雨,星期四下雨的概率为.61.012.049.0)2(01)2(00=+=+=p p p例 4.4 设质点在线段[1,4]上作随机游动,假设它只能在时刻T n ∈发生移动,且只能停留在1,2,3,4点上.当质点转移到2,3点时,它以1/3的概率向左或向右移动一格或停留在原处.当质点称动到点1时,它以概率1停留在原处.当质点移动到点4时,它以概率1移动到点3.若以n X 表示质点在时刻n 所处的位置,则},{T n X n ∈ 是一个齐次马尔可夫链,其转移概率矩阵为⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=0100313131003131310001P 例中的点1称为吸收壁,即质点一旦到达这种状态后就被吸收住了,不再移动;点4称为反射壁,即质点一旦到达这种状态后,必然被反射出去.例4.5生灭链.观察某种生物群体,以n X 表示在时刻n 群体的数目,设为i 个数量单位,如在时刻n+1增生到i+1个单位的概率为i b ,减灭到i 个数量单位的概率为i a ,保持不变的概率为)(1i i i b a r +-=,则}0,{≥n X n 为齐次马尔可夫链,I={0,1,2,…,}.其转移概率为⎪⎩⎪⎨⎧+==+==.1,,,1,i j a j i r i j b p ii i ij称此马尔可夫链为生灭链. 4.2 遍历性设齐次马氏链的状态空间为I,若对于所有,,I a a j i ∈转移概率)(n P ij 存在极限 j ij n n P π=∞→)(lim (不依赖于i)或 ⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎣⎡→=................................................)(212121j j jn P n P πππππππππ则称此链具有遍历性.又若∑=jj 1π,则同时称,...),(21πππ=为链的极限分布.齐次马氏链在什么条件下才具有遍历性?如何求出它的极限分布?这问题在理论上已经解决,但是要较多的篇幅.下面对有限链的遍历性给出一个充分条件. 定理4.4设齐次马氏链},{T n X n ∈的状态空间为P a a a I n },,...,,{21=是它的一步转移概率矩阵,如果存在正整数m,使对任意的j i a a ,都有 ,,...,2,1,,0)(N j i m p ij =>则此链具有遍历性,且有极限分布, ),,...,,(21N ππππ=它是方程组 P ππ=或即ij Ni i j p ∑==1ππ的满足条件∑==>Nj j j 11,0ππ的唯一解.在定理条件下马氏链的极限分布又是平稳分布.即若用π作为链的初始分布,即π=)0(p ,则链在任一时刻T n ∈的分布)(n p 永远与π一致,事实上ππππ======-P P P n P p n p n n ...)()0()(1 例4..6 设马尔可夫链的转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=9.005.005.01.08.01.02.01.07.0P 解 容易证明满足定理4.4条件.可得方程组⎪⎪⎩⎪⎪⎨⎧=++++=++=++=1,9.01.02.0,05.08.01.0,05.01.07.0321321332123211πππππππππππππππ解上述方程组得平稳分布为.5882.0,2353.0,1765.0321===πππ。