第三章 马尔可夫链

第三章 马尔可夫链 一、马尔可夫链的概念

马尔可夫过程是一类有重要应用意义的随机过程，它具有如下特征：随机过程‘将来’所处的状态仅与‘现在’所处的状态有关，而与‘过去’曾处于什么状态无关。

马尔可夫过程按其状态和时间参数是离散还是连续的可以分成三类 （1） 时间和状态都是离散的马尔可夫过程，称为马尔可夫链。

（2） 时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。 （3） 时间和状态都连续的马尔可夫过程。 本章介绍马尔可夫链

定义1 设}0,{≥n X n 为随机序列，其状态空间为},,,{210 i i i I =，如果对任意正整数n 及任意n+2个状态I i i i i n ∈+1210,,,, ，有

},,,{110011n n n n i X i X i X i X P ====++ }{11n n n n i X i X P ===++

则称此随机序列}0,{≥n X n 为马尔可夫链。

若将时刻n 称为‘现在’，将时刻n+1称为‘将来’，而把0，1，2，……，n-1称为‘过去’。定义中的等式便可通俗解释为：在已知}0,{≥n X n ‘现在’所处的状态条件下，‘将来’所要达到的状态与‘过去’所经历的状态无关，这一特性常称为马尔可夫的无后效性。

例1．一个n 级数字传输系统，每一级的输入和输出信号只取0或1两个值，每一级的输出是下一级的输入；并假定当一级输入为0时，其输出为0和为1的概率分别为p 和1-p;当输入为1时，其输出为1和0的概率分别为p 和1-p （见图）

令Xn 表示第n 级输出，则{ Xn,n ≥0}便为一个马尔可夫链。

例2．从1，2，……，N 数字中任取一个数，记为X0；再从1，2，……，X0数字中任取一个数，记为X1；再从1，2，……，X1中任取一个数，记为X2；依此类推，在1，2，……，Xn-1中任取一个数，记为Xn 。可以证明{ Xn,n ≥0}为马尔可夫链。

事实上，{ Xn,n ≥0}的状态空间为I={1，2，……，N}，对任意正整数n ，取n+1个状态I i i i i n ∈,,,,210 ,由题意可知

故{ Xn,n ≥0}为马尔可夫链。 二、转移概率

由马尔可夫链的无后效性和乘法公式有

},,,{1100n n i X i X i X P ===

},,,{},,,{111100111100----===?=====n n n n n n i X i X i X P i X i X i X i X P },,,{}{11110011----===?===n n n n n n i X i X i X P i X i X P =

}{}{}{}{000011221111i X P i X i X P i X i X P i X i X P n n n n n n n n ========------

由此可见，马尔可夫链的统计特性完全由条件概率

}{11n n n n i X i X P ==++所确定，所以如何确定这个条件概率就显得非常重要，我们把这个条件概率称为一步转移概率。一般一步转移概率为}{1i X j X P n n ==+，它表示系统在时刻n 处于状态i 的条件下，到时刻n+1转移到状态j 的概率，记为)(n p ij 。

定义2 称条件概率 }{)(1i X j X P n p n n ij ===+为马尔可夫链}0,{≥n X n 在时刻n 的一步转移概率。

一般，转移概率)(n p ij 不仅与状态j i ,有关，而且与时刻n 有关，但当它与时刻n 无关时，表示马尔可夫链具有平稳转移概率，即与起点无关，此时我们称马尔可夫链是齐次的。

定义3 如果对任意的I j i ∈,，马尔可夫链的转移概率)(n p ij 与n 无关，则称

}0,{≥n X n 为齐次马尔可夫链，并记ij ij p n p =)(。 下面我们只讨论齐次马尔可夫链。

设P 为一步转移概率ij p 所组成的矩阵，状态空间},2,1{ =I ，称

P ????

? ?

?=

n

n

p p p p p p 22221112

11 为马尔可夫链的一步转移概率矩阵。 转移概率矩阵具有下面性质 （1）0≥ij p ，I j i ∈,

（2）1=∑∈I

j ij p ，I i ∈

称具有上面两条性质的矩阵为随机矩阵。

下面给出n 步转移概率的概念 定义4 称条件概率

}{)(i X j X P p m n m n ij ===+，1,0,,≥≥∈n m I j i

为马尔可夫链的n 步转移概率，并称

P (n) )()(n ij p =

为马尔可夫链的n 步转移概率矩阵。其中1,

0)

()(=≥∑∈I

j n ij

n ij p

p 。

当n=1时，P P )1(=，规定

??

?=≠=j

i j

i p

ij

,1,0)0(，即)0(P 为单位矩阵。 切普曼--柯尔莫哥洛夫方程

定理1 设}0,{≥n X n 为马尔可夫链，则对任意正整数n ，n l <≤0，和状态I j i ∈,，

n 步转移概率具有下列性质

（1）∑∈-=I

k l n kj l ik n ij p p p )

()()(（切普曼—柯尔莫哥洛夫方程）

（2）∑∑∈∈--=I

k j k k k ik I

k n ij n n p p p p 112111)(

（3）)1n (n)(PP P -=

（4）n )n (P P =

证明 （1）利用全概率公式和马尔可夫性，有

},)({}{)(i X j X k X P i X j X P p m n m I

k l m m n m n ij =======+∈++

}),({i X j X k X P m I

k n m l m ====∈++

∑∈++====I

k m n m l m i X j X k X P },{

∑

∈++=====I

k m n m l m m i X P j X k X i X P }

{}

,,{

∑

∈+++========I

k m l m m n m m l m m i X P k X i X j X P i X k X P i X P }

{}

,{}{}{

∑∈+++=====I

k l m n m m l m k X j X P i X k X P }{}{

∑∈-+=I

k l n kj l ik l m p m p )()()()(∑∈-=I

k l n kj l ik p p )

()( （1）式是关于转移概率的一个重要结果，切普曼-柯尔莫哥洛夫方程（简称为C-K 方程），直观上可以作如下解释：马尔可夫链{ Xn,n ≥0}在时刻m 处于状态

i ，经过n 步，即在时刻m+n 转移到状态j 的过程可以视为它在时刻m 处于状态i ，

先经过l 步，即在时刻l m +遍历所有状态),2,1( =k k ，然后再经过l n -步，即在时刻m+n 转到状态j 的转移过程（见下图）

C-K 方程的矩阵形式为 )()()n (P P P l n l -=

当1=l 时，即为（3）)1n (n)(PP P -=，再利用归纳法可证（4）

在（1）中令1,1k k l ==，得 ∑∈-=I

k n j

k

ik n ij p p p )

1()(11这是一个递推公式，逐步递推可证（2）

例3（随机游动）

设质点在线段上做随机游动。（见图）。每隔一秒钟移动一步。当质点处于‘O ’点时，必然要以概率1向右移动一步至‘1’点；当质点处于‘4’点时，下一步必然以概率1向左移动一步至‘3’点；当质点处于其它点时，下一步便均分别以概率 向左、向右或停留在原地不动。

令Xn 表示n 次移动后质点所处的位置。显然，{ Xn,n ≥0}为一齐次马尔可夫链， 其状态空间为I={0，1，2，3，4}

试求{ Xn,n ≥0}的一步和二步转移概率矩阵：

解：按题意可知

同样可求得其它转移概率

等等。

于是便得一步转移概率矩阵

二步转移概率矩阵便为

齐次马尔可夫链的有限维分布 1. 一维分布

定义5 设}0,{≥n X n 为齐次马尔可夫链，其状态空间为I ，称下列一组概率 }{)0(0j X P p j ==，I j ∈

为}0,{≥n X n 的初始分布，)0(j p 称为初始概率。将其写成向量形式为

)),0(,),0(),0((0P 21T N p p p =）（，称为初始概率向量。

定义6 设}0,{≥n X n 为齐次马尔可夫链，其状态空间为I ，称下列一组概率

}{)(j X P n p n j ==，I j ∈

为}0,{≥n X n 的绝对分布，)(n p j 称为绝对概率。将其写成向量形式为

)),(,),(),((n P 21T n p n p n p N =）（，称为绝对概率向量。

定理2 设}0,{≥n X n 为齐次马尔可夫链，则对任意I j ∈和1≥n ，绝对概率具有下列性质

（1）∑∈=I

i n ij i j p p n p )()0()(

（2）∑∈-=I

i ij i j p n p n p )1()(

（3）)n (T T P )0(P )n (P =

（4）P )1n (P )n (P T T -=

证明 (1) }{)(j X P n p n j ==∑∈===I

i n j X i X P },{0

∑∑∈∈=====I

i n ij

i I

i n p p i X j X P i X P )

(00)0(}{}{ （2）}{)(j X P n p n j ==∑∈-===I

i n n j X i X P },{1

∑∑∈∈---=====I

i ij i I

i n n n p n p i X j X P i X P )1(}{}{11

（3）（4）式是（1）（2）的矩阵形式。 2．n 维分布

定理3 设}0,{≥n X n 为齐次马尔可夫链，对任意I i i i n ∈,,,21 和1≥n ，则马尔可夫链的n 维分布有

∑∈-====I

i i i i i ii i n n n n p p p p i X i X i X P 1211)0(},,,{2211

此式证明利用了乘法公式和马尔可夫的无后效性。（见教材P45）

此式表明齐次马尔可夫链的有限维分布同样可由其初始分布和转移概率而确定。 例4． 某计算机经常出故障。现每隔15分钟观察一次此计算机的状态，共收集97次观察结果。用‘1’表示工作正常，用‘0’表示工作不正常，所测得数据如下：

令Xn 表示第n 个时间段计算机的状态。显然{ Xn,n ≥0}为齐次马尔可夫链。其状态空间为I={0，1}。由统计的结果可得转移情况如下：

利用频率‘代替’概率的原理，可得转移概率

即得其转移概率矩阵为

假定初始分布为

则此计算机能连续工作四个时间段（即一小时）的概率便为

书上例题

例1 无限制随机游动

设质点在数轴上移动，每次移动一格，向右移动的概率为p ，向左移动的概率为q=1-p ，这种运动称为无限制随机游动，以n X 表示质点在时刻n 所处的位置，则

}0,{≥n X n 是一个齐次马尔可夫链，试写出它的一步转移概率矩阵和k 步转移概率。

解 显然状态空间为},2,1,0{ ±±=I ，一步转移概率矩阵为

????

??

?

??= p q p q 0000P 设质点在k 步转移过程中向右移了x 步，向左移了y 步，并且经过k 步转移状态从i 进入j ，则

???-=-=+i j y x k

y x

解出 2)(i j k x -+=

，2

)

(i j k y --=

由于y x ,是正整数，所以)(i j k -±必须是偶数，又在k 步转移中哪x 步向右哪y 步向左是任意的，于是 ???-±-±=为奇数，

为偶数)(0)(,)

(i j k i j k q p C p

y x x k k ij

例2 赌徒输光问题

两赌徒甲、乙进行一系列赌博，甲有a 元，乙有b 元，每赌一局输者给赢者1元，没有和局，直到两人中有一人输光为止，设在每一局中，甲赢的概率为p ，输的概率为p q -=1，求甲输光的概率。

这个问题实际上是带有两个吸收壁的随机游动，状态空间为

b a

c c I +==},,,2,1,0{ ，求质点从状态a 出发到达状态0先于到达状态c 的概

率。

解 设i u 表示甲从状态i 出发转移到状态0的概率，现要计算a u 。 由于0和c 是吸收状态，故 0,10==c u u 由全概率公式 1,,2,1,11-=+=-+c i qu pu u i i i 即 11)(-++=+i i i qu pu u q p ，11-+-=-i i i i qu qu pu pu 所以 1,,2,1,),(11-==

-=--+c i p

q

r u u r u u i i i i 这是一个差分方程，下面只讨论1,2

1

===r q p 即的情况，此时 1,,2,111-=-=--+c i u u u u i i i i

令 α+=01u u ，则

αα2011012+=+=+-=u u u u u u ， αα3023+=+=u u u ， αi u u i +=0

αc u u c +=0, ，即 αc +=10，c

1

-=α

所以 c i u i -=1， b

a b

c a u a +=-=1

由于甲、乙的地位是对等的，同样可计算出乙输光的概率为

b

a a

u b +=

上式表明甲输光的概率与乙的赌本成正比，所以赌本小者输光的可能性大（输赢

等可能的情况下），又1=+b a u u ，表明必有一人要输光，赌博迟早要结束。 例3 天气预报问题

设昨日、今日都下雨，明日有雨的概率为0.7；昨日无雨、今日有雨，明日有雨的概率为0.5；昨日有雨、今日无雨，明日有雨的概率为0.4；昨日、今日都无雨，明日有雨的概率为0.2；若星期一、星期二均下雨，求星期四下雨的概率。 解 设昨日、今日都有雨称为状态0（记为RR ），昨日无雨、今日有雨称为状态1（记为NR ），昨日有雨、今日无雨称为状态2（记为RN ），昨日、今日都无雨称为状态3（记为NN ），于是此问题可看作是一个4状态的马尔可夫链，求现在处

于状态0的条件下将来处于状态0或1的两部转移概率)2(01

)2(00p p +，下面求出一步概率转移矩阵

}{}{00连续三天有雨今昨明今P R R R R P p ==7.0}{==今昨明R R R P 0}{01==今昨明今R R R N P p （不可能事件）

0.30.71}{}{02=-===今昨明今昨明今R R N P R R N R P p 0}{30==今昨明今R R N N P p （不可能事件） ==}{10今昨明今R N R R P p 5.0}{=今昨明R N R P 0}{11==今昨明今R N R N P p （不可能事件）

==}{12今昨明今R N N R P p 5.05.01}{=-=今昨明R N N P 0}{13==今昨明今R N N N P p （不可能事件）

同样方法可求出 0}{20==今昨明今N R R R P p ，4.0}{21==今昨明今N R R N P p

0}{22==今昨明今N R N R P p ，6.0}{23==今昨明今N R N N P p 0}{30==今昨明今N N R R P p ，2.0}{31==今昨明今N N R N P p 0}{32==今昨明今N N N R P p ，8.0}{33==今昨明今N N N N P p 所以一步转移概率矩阵为

????

??

? ??=??????? ??=8.002.006.004.0005.005.003.007.0P 3332

31

30

2322212013121110

03020100p p p p p p p p p p p p p p p p ??????? ??==8.002.006.004.0005.005.003.007.0PP P (2)

??????? ??8.002.006.004.0005.005.003.007.0???

?

??

?

?

?=

64.010

.016.010.048.020.012.020.030.015.020.035.018.021.012

.049

.0 所以星期一、星期二均下雨，星期四又下雨的概率为

)

2(01

)2(00p p +=0.49+0.12=0.61 例4 带有吸收壁和反射壁的随机游动

设质点在线段[1，4]上做随机游动，假设它只在时刻n 发生移动，且只能停留在

1，2，3，4点上，当质点转移到2，3点时，它以3

1

的概率向左或向右移动一格，

或停留在原处。当质点移动到1时，它以概率1停在原处。当质点移到4时，它以概率1转移到点3。若以n X 表示质点在时刻n 所处位置，则}}4,3,2,1{,{∈n X n 是一个齐次马尔可夫链。 一步概率转移矩阵为

????

??

? ??=010013131003131310001P 转移概率可以用图形表达出来

107509-概率统计随机过程课件-第十三章马尔可夫链第一节第二节(上)

第十三章 马尔可夫链 马尔可夫过程是一类特殊的随 机过程, 马尔可夫链是离散状态的马尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的. 应用十分广泛,其应用领域涉及 计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等. 第一节 马尔可夫链的定义 一．定义 定义 1 设随机过程} ),({T t t X ∈的状态空间S 是有限集或可列集,对任意正整数n ,对于T 内任意1+n 个参数121+<

如果条件概率 })(,,)(,)(|)({221111n n n n j t X j t X j t X j t X P =???===++})(|)({11n n n n j t X j t X P ===++,(13.1) 恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性. 马氏性的直观含义可以解释如下: 将n t 看作为现在时刻,那末,121,,,-???n t t t 就是过去时刻,而1+n t 则是将来时刻.于是,(13.1)式是说,当已知系统现时情况的条件下,系统将来的发展变化与系统的过去无关.我们称之为无后效性. 许多实际问题都具有这种无后 效性. 例如 生物基因遗传从这一代 到下一代的转移中仅依赖于这一代而与以往各代无关. 再如,每当评估一个复杂的计 算机系统的性能时,就要充分利用系统在各个时刻的状态演变所具有

的通常概率特性:即系统下一个将到达的状态,仅依赖于目前所处的状态,而与以往处过的状态无关. 此外,诸如某公司的经营状况 等等也常常具有或近似具有无后效性. 二． 马尔可夫链的分类 状态空间S 是离散的(有限集或可列集),参数集T 可为离散或连续的两类. 三．离散参数马尔可夫链 （1）转移概率 定义2 在离散参数马尔可夫链 },,,,,),({210??????=n t t t t t t X 中, 条件概率 )(})(|)({1m ij m m t p i t X j t X P ===+ 称为)(t X 在时刻(参数)m t 由状态i 一 步转移到状态j 的一步转移概率, 简称转移概率.

随机过程-C4马尔可夫链

练习四：马尔可夫链 随机过程练习题 1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1停留在原处， 在其它整数点分别以概率 3 1 向左、右移动一格或停留在原处。求质点随机游动的一步和二步转移的概率矩阵。 2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为p ，对于2≥n 求，令n X =0， 1，2或3，这些值分别对应于第1-n 次和第n 次抛掷的结果为（正，正），（正，反）， （反，正）或（反，反）。求马尔可夫链},2,1,0,{ =n X n 的一步和二步转移的概率矩阵。 3．设}0,{≥n X n 为马尔可夫链，试证： （1）},,,|,,,{11002211n n m n m n n n n n i X i X i X i X i X i X P ======++++++ }|,,,{2211n n m n m n n n n n i X i X i X i X P =====++++++ （2）}|,,,,,,{11221100++++++======n n m n m n n n n n i X i X i X i X i X i X P }|,,,{111100++=====n n n n i X i X i X i X P ==?+++m n n n X i X P ,,{22 }|11+++=n n m n i X i 4．设}1,{≥n X n 为有限齐次马尔可夫链，其初始分布和转移概率矩阵为==0{X P p i 4,3,2,1,4 1}==i i ，???? ?? ? ??=4/14/14/14/18/34/18/14/14/14/14/14/14/14/14/14/1P ，试证 }41|4{}41,1|4{12102<<=≠<<==X X P X X X P 5．设}),({T t t X ∈为随机过程，且)(11t X X =，,),(22 t X X = ),(n n t X X =为独 立同分布随机变量序列，令2,,)(,011110≥=+===-n X cY Y X t Y Y Y n n n ，试证 }0,{≥n Y n 是马尔可夫链。 6．已知随机游动的转移概率矩阵为???? ? ??=5.005.05.05.0005.05.0P ，求三步转移概率矩阵) 3(P 及 当初始分布为1}3{,0}2{}1{000======X P X P X P 时经三步转移后处于状态 3的概率。 7．已知本月销售状态的初始分布和转移概率矩阵如下： （1）)4.0,2.0,4.0()0(=T P ，???? ? ??=6.02.02.02.07.01.01.08.08.0P ；

2010年5月苏北赛算法：马尔可夫链。适合很多题型

马尔可夫链 在自然界与社会现象中，许多随机现象遵循下列演变规律，已知某个系统(或过程)在时刻0t t =所处的状态，与该系统(或过程)在时刻0t t >所处的状态与时刻0t t <所处的状态无关。例如，微分方程的初值问题描述的物理系统属于这类随机性现象。随机现象具有的这种特性称为无后效性(随机过程的无后效性)，无后效性的直观含义：已知“现在”，“将来”和“过去”无关。 在贝努利过程(){} ,1X n n ≥中，设()X n 表示第n 次掷一颗骰子时出现的点数，易见，今后出现的点数与过去出现的点数无关。 在维纳过程(){} ,0X t t ≥中，设()X t 表示花粉在水面上作布朗运动时所处的位置，易见，已知花粉目前所处的位置，花粉将来的位置与过去的位置无关。 在泊松过程(){,0}N t t ≥中，设()N t 表示时间段[0,]t 内进入某商店的顾客数。易见，已知时间段0[0,]t 内进入商店的顾客数()0N t ，在时间段()0[0,]t t t >内进入商店的顾客数 ()N t 等于()0N t 加上在时间段0(,]t t 内进入商店的顾客数()()0N t N t -，而与时刻0t 前进 入商店的顾客无关。 一、马尔可夫过程 定义：给定随机过程 (){},X t t T ∈。如果对任意正整数3n ≥，任意的 12,,1,,n i t t t t T i n <<<∈= ，任意的11,,,n x x S -∈ S 是()X t 的状态空间，总有 ()()()1111|,n n n n P X x X t x X t x --≤== ()() 11|,n n n n n P X x X t x x R --=≤=∈ 则称(){} ,X t t T ∈为马尔可夫过程。 在这个定义中，如果把时刻1n t -看作“现在”，时刻n t 是“将来”，时刻12,,n t t - 是“过去”。马尔可夫过程要求：已知现在的状态()11n n X t x --=，过程将来的状态()n X t 与过程过去的状态()()1122,,n n X t x X t x --== 无关。这就体现了马尔可夫过程具有无后效性。通常也把无后效性称为马尔可夫性。 从概率论的观点看，马尔可夫过程要求，给定()()1111,,n n X t x X t x --== 时，()n X t 的条件分布仅与()11n n X t x --=有关，而与()()12,,n X t X t - 无关。

马尔可夫链在天气预测中的应用

马尔可夫链在天气预测中的应用 龚海涛 （数学系，093班25号） 摘要：马尔可夫链是一种预测方法，模式先假设某一时间各种状态之间的转移概率是基于 当前状态的而与其他因素无关，然后利用这一转移概率来推测未来状态的分布情况。本文将利用马尔可夫链对鞍山市区天气状态进行探究，通过对鞍山市区从2010年2月7号到2012年2月6号共730天的天气历史经验数据进行马尔可夫链分析，得到鞍山市天气状况的稳定分布。 关键字：马尔可夫链；转移概率矩阵 一、引言 马尔可夫链模型（Markov Chain Model ）是一种常用的概率模型也叫马尔可夫分析(Markov Chain Analysis),其原理为利用概率转移矩阵所进行的模拟分析。此模型为一动态模型，参数可随时间而变，故可以用来预测未来事物变化状态的趋势。 马尔可夫链的基本概念是在1907年由俄国数学家马尔可夫（Markov ）从布朗运动（Brown motion ）的研究中提出的，后经由Wiener 、Kolmogorve 、Feller 、Doeblin 及Lery 等人的研究整理而于1930到1940年代建立此模型（杨超然，1977）。 二、马尔可夫链的基本介绍 定义2.1（Markov 过程）随机过程｛X n ,n=0,1,2,3,…｝若它只取有限或可列个值E 0,E 1,E 2,…(我们用｛0，1，2，…｝来标记E 0,E 1,E 2,…，并称它们是过程的状态。｛0，1，2，…｝或其子集记为S ，称为过程的状态空间)对任意的n ≥0及状态i, j, i 0, i 1, … i n-1有 P{X n+1=j|X 0=i 0,X 1=i 1, …X n-1=i n-1,X n =i}=P{ X n+1=j|X n =i} （2.1） 式(2.1)刻画的Markov 链的特性称为Markov 性[1]。 Markov 链表示一个随机序列的条件概率只与最近的系统状态有关，而与先前系统状态 无关，所以Markov 性也被称为无后效性[2] 。Markov 性也可以用一句通俗的话来概括——已知现在，将来与过去无关。 定义2.2（转移概率）称式（2.1）中的条件概率P{ X n+1=j|X n =i}为Markov 链｛X n ,n=0,1,2,3,…｝的一步转移概率，简称转移概率[1]。 定义2.3（时齐马尔可夫链）当Markov 链的转移概率P{ X n+1=j|X n =i}只与状态i,j 有关，而与n 无关时，称Markov 链为时齐的，并记P ij = P{ X n+1=j|X n =i}(n ≥0)。 不管Markov 链的状态是否有限，我们都可以将P ij （i,j ∈S ）排成一个矩阵的形式，令 ()?????? ??? ? ? ?== 434241403332313023222120 1312111003020100ij P P P P P P P P P P P P P P P P P P P P P P (2.2)

马尔可夫链

马尔可夫链 马尔可夫链（Markov chains ）是一类重要的随机过程，它的状态空间是有限的或可数无限的。经过一段时间系统从一个状态转到另一个状态这种进程只依赖于当前出发时的状态而与以前的历史无关。马尔可夫链有着广泛的应用，也是研究排队系统的重要工具。 1) 离散时间参数的马尔可夫链 ①基本概念 定义 5.7 设{()0,1,2,}X n n ???=，是一个随机过程，状态空间{0,1,2,}E =，如果对于任意的一组整数 时间120k n n n ???≤<<<，以及任意状态12,, ,k i i i E ∈，都有条件概率 11{()|()}k k k k P X n i X n i --=== （5-17） 即过程{()0,1,2,}X n n ???=，未来所处的状态只与当前的状态有关，而与以前曾处于什么状态无关，则称 {()0,1,2,}X n n ???=，是一个离散时间参数的马尔可夫链。当E 为可列无限集时称其为可列无限状态的马尔可 夫链，否则称其为有限状态的马尔可夫链。 定义5.8 设{()0,1,2,}X n n ???=，是状态空间{0,1,2, }E =上的马尔可夫链，条件概率 (,){()|()}ij p m k P X m k j X m i i j E =+==∈，、 （5-18） 称为马尔可夫链{()0,1,2,}X n n ???=，在m 时刻的k 步转移概率。 k 步转移概率的直观意义是：质点在时刻m 处于状态i 的条件下，再经过k 步（k 个单位时间）转移到状 态j 的条件概率。特别地，当1k =时， (,1){(1)|()}ij p m P X m j X m i =+== （5-19） 称为一步转移概率，简称转移概率。 如果k 步转移概率(,)ij p m k i j E ∈，、，只与k 有关，而与时间起点m 无关，则{()}X n 称为离散时间的齐次马尔可夫链。 定义5.9 设{()0,1,2,}X n n ???=，是状态空间{0,1,2,}E ???=上的马尔可夫链，矩阵 0001010 11101(,)(,)(,)(,)(,)(,)(,)(,)(,) (,) n n j j jn p m k p m k p m k p m k p m k p m k P m k p m k p m k p m k ?? ???? ? ?=? ?????? ? （5-20） 称为{()}X n 在m 时刻的k 步转移概率矩阵。 当1k =时，(,1)P m 称为一步转移概率矩阵。 对于齐次马尔可夫链，容易推得k 步转移概率矩阵与一步转移概率矩阵具有关系 ()(),,1k P m k P m =????，1,2,k ???= （5-21）

随机过程与马尔可夫链习题答案

信息论与编码课程习题1——预备知识 概率论与马尔可夫链 1、某同学下周一上午是否上课，取决于当天情绪及天气情况，且当天是否下雨与心情好坏没有关系。若下雨且心情好，则50%的可能会上课；若不下雨且心情好，则有10%的可能性不上课；若不下雨且心情不好则有40%的可能性上课；若下雨且心情不好，则有90%的可能不会上课。假设当天下雨的概率为30%，该同学当天心情好的概率为20%，试计算该同学周一上课的可能性是多大？ 分析： 天气情况用随机变量X 表示，“0”表示下雨，“1”表示不下雨；心情好坏用Y 表示，“0”表示心情好用“0”表示，心情不好用“1”表示；是否上课用随机变量Z 表示，“0”表示上课，“1”表示不上课。由题意可知 已知[]5.00,0|0====Y X Z P ，[]5.00,0|1====Y X Z P []1.00,1|1====Y X Z P ，[]9.00,1|0====Y X Z P []4.01,1|0====Y X Z P ，[]6.01,1|1====Y X Z P []9.01,0|1====Y X Z P ，[]1.01,0|0====Y X Z P []3.00==X P ，[]7.01==X P []2.00==Y P ，[]8.01==Y P 即题目实际上给出了八个个条件概率和四个概率 [][][][]0,0|00|000===?==?===X Y Z P X Y P X P Z P [][][]0,1|00|10===?==?=+X Y Z P X Y P X P [][][]1,0|01|01===?==?=+X Y Z P X Y P X P [][][]1,1|01|11===?==?=+X Y Z P X Y P X P 由于X ，Y 相互独立，则有 [][][][]0,0|0000===?=?===X Y Z P Y P X P Z P [][][]0,1|010===?=?=+X Y Z P Y P X P [][][]1,0|001===?=?=+X Y Z P Y P X P [][][]1,1|011===?=?=+X Y Z P Y P X P []5.02.03.00??==Z P 1.08.03.0??+9.02.07.0??+1.08.07.0??+ =? 注意：全概率公式的应用 2、已知随机变量X 和Y 的联合分布律如又表所示， 且()Y X Y X g Z +==2 11,，()Y X Y X g Z /,22==， 求：

随机过程-C4马尔可夫链复习过程

随机过程-C4马尔可 夫链

收集于网络，如有侵权请联系管理员删除 练习四：马尔可夫链 随机过程练习题 1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1 停留在原处，在其它整数点分别以概率3 1 向左、右移动一格或停留在原 处。求质点随机游动的一步和二步转移的概率矩阵。 2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为p ，对于2 ≥n 求，令n X =0，1，2或3，这些值分别对应于第1-n 次和第n 次抛掷的结果为（正，正），（正，反），（反，正）或（反，反）。求马尔可夫链},2,1,0,{Λ=n X n 的一步和二步转移的概率矩阵。 3．设}0,{≥n X n 为马尔可夫链，试证： （1）},,,|,,,{11002211n n m n m n n n n n i X i X i X i X i X i X P ======++++++ΛΛ }|,,,{2211n n m n m n n n n n i X i X i X i X P =====++++++Λ （2）}|,,,,,,{11221100++++++======n n m n m n n n n n i X i X i X i X i X i X P ΛΛ }|,,,{111100++=====n n n n i X i X i X i X P Λ==?+++m n n n X i X P ,,{22Λ }|11+++=n n m n i X i 4．设}1,{≥n X n 为有限齐次马尔可夫链，其初始分布和转移概率矩阵为 ==0{X P p i 4,3,2,1,4 1}==i i ，???? ? ? ? ??=4/14/14/14/18/34/18/14/14/14/14/14/14/14/14/14/1P ，试证 }41|4{}41,1|4{12102<<=≠<<==X X P X X X P 5．设}),({T t t X ∈为随机过程，且)(11t X X =，,),(22Λt X X =Λ ),(n n t X X =为独立同分布随机变量序列，令 2,,)(,011110≥=+===-n X cY Y X t Y Y Y n n n ，试证}0,{≥n Y n 是马尔可夫链。 6．已知随机游动的转移概率矩阵为??? ?? ??=5.005.05.05.0005.05.0P ，求三步转移概率矩 阵)3(P 及当初始分布为1}3{,0}2{}1{000======X P X P X P 时经三步转 移后处于状态3的概率。 7．已知本月销售状态的初始分布和转移概率矩阵如下： （1）)4.0,2.0,4.0()0(=T P ，???? ? ??=6.02.02.02.07.01.01.08.08.0P ；

随机过程报告——马尔可夫链.doc

马尔可夫链 马尔可夫链是一种特殊的随机过程，最初由 A.A .M arkov 所研究。它的直观背景如下 : 设有一随机运动的系统 E ( 例如运动着的质点等 ) ，它可能处的状态记为E 0 , E1 ,..., E n ,.... 总共有可数个或者有穷个。这系统只可能在时刻t=1,2, n, 上改变它的状态。随着的运动进程，定义一列随机变量 Xn,n=0,1, 2, ?其中Xn=k，如在 t=n 时，位于 Ek。 定义 1.1 设有随机过程 X n， n T ，若对任意的整数 n T 和任意的 i 0 , i1 ,...i n 1 I , 条件概率满足 { i n 1 X i ,..., X n i n }{ i n 1 X n i n } P X n 1 0 P X n 1 则称 X n， n T为马尔可夫链，简称为马氏链。 实际中常常碰到具有下列性质的运动系统。如果己知它在t=n 时的状态，则关于它在 n时以前所处的状态的补充知识，对预言在 n时以后所处的状态，不起任何作用。或者说，在己知的“现在”的条件下，“将来”与“过去”是 无关的。这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性” 。假设马尔可夫过程 X n， n T 的参数集T是离散时间集合，即T={0,1,2, }, 其相应 Xn可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。 定义 1.2 条件概率 P( n) { j X n i } ij p X n 1 称为马尔可夫链X n， n T 在时刻n的一步转移矩阵，其中i，j I ，简称为转移概率。 一般地，转移概率 P ij( n )不仅与状态 i,j 有关，而且与时刻 n有关。当 P ij( n)不依赖于时刻 n时，表示马尔可夫链具有平稳转移概率。若对任意的 i ，j I，马尔可夫

第五章 连续时间的Markov链

第五章 连续时间的马尔可夫链 第四章我们讨论了时间和状态都是离散的Markov 链，本章我们研究的是时间连续、状态离散的Markov 过程，即连续时间的Markov 链. 连续时间的Markov 链可以理解为一个做如下运动的随机过程：它以一个离散时间Markov 链的方式从一个状态转移到另一状态，在两次转移之间以指数分布在前一状态停留. 这个指数分布只与过程现在的状态有关，与过去的状态无关（具有无记忆性），但与将来转移到的状态独立. 5.1 连续时间马尔可夫链的基本概念 定义 5.1 设随机过程{(),0}X t t ≥，状态空间{,1}n I i n =≥，若对任意的正整数 1210n t t t +≤<<

概率统计讲课稿第十三章马尔可夫链第一节第二节(上)

第十三章 马尔可夫链 马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的. 应用十分广泛,其应用领域涉及计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等. 第一节 马尔可夫链的定义 设随机过程}),({T t t X ∈的状态空间S 是有限集或可列集, 对任意正整数n ,对于T 内任意1+n 个参数121+<

112211{(),(),,(),()}n n n n P X t j X t j X t j X t j ++==???== 而 112211{(),(),,(),()}n n n n P X t j X t j X t j X t j ++==???== 11221111{()}{()|()}{()|(),,n n n n P X t j P X t j X t j P X t j X t j X ++====???==L 这就归结为求形如 })(,,)(,)(|)({221111n n n n j t X j t X j t X j t X P =???===++的条件概率。在何种条件下这类条件概率容易算出来？ 一．定义 定义 1 设随机过程} ),({T t t X ∈的状态空间S 是有限集或可列集, 如果对任意正整数n ,对于T 内任意1+n 个参数121+<

马尔可夫链

马尔可夫过程 编辑词条 一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变 ( 过去 ) 。例如森林中动物头数的变化构成——马尔可夫过程。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。 目录 马尔可夫过程 离散时间马尔可夫链 连续时间马尔可夫链 生灭过程 一般马尔可夫过程 强马尔可夫过程 扩散过程 编辑本段马尔可夫过程 Markov process 1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。 类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当现在所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2，…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗

概率统计讲课稿第十三章马尔可夫链(习题课)

第十三章马尔可夫链(习题课) 习题十三 1. 已知齐次马尔可夫链的转移概率矩阵 ? ?=03131P 323132???????? ?31310 问此马尔可夫链有几个状态？求二步转移概率矩阵. 解 因为转移概率矩阵是三阶的, 故此马尔可夫链的状态有三个; 二步转移概率矩阵 2) 2()2()(P p P ij == ? ?=0313*******???????? ?31310 ? ?031313 23132?????????31310 ??=929293949594???????? ? 939292 . 2. 在一串贝努利试验中,事件A 在 每次试验中发生的概率为p ,令

? ??=发生次试验第不发生次试验第A n A n X n ,1,0 ,Λ,3,2,1=n (1) },2,1,{Λ=n X n 是否齐次马尔可夫链？ (2) 写出状态空间和转移概率矩阵; (3) 求n 步转移概率矩阵. 解 (1) 根据题设条件 知道ΛΛ,,,,2 1 n X X X 是相互独立的, 所以 },2,1,{Λ=n X n 是马尔可夫链, 又转移概率 ???=======++1 ,0,}{}|{1 1j p j q j X P i X j X P n n n 与n 无关, 故},2,1,{Λ=n X n 是齐次马尔可夫链; (2) 状态空间}1,0{=S , 一步转移概率矩阵 )(ij p P = ? ?=q q ?? ?? p p , ? ??========++1,0,}{}|{1 1j p j q j X P i X j X P p n n n ij . (3) n 步移概率矩阵

随机过程 第五章 连续时间的马尔可夫链

第五章 连续时间的马尔可夫链 5.1连续时间的马尔可夫链 考虑取非负整数值的连续时间随机过程}.0),({≥t t X 定义5.1 设随机过程}.0),({≥t t X ,状态空间}0,{≥=n i I n ,若对任意 121...0+<<<≤n t t t 及I i i i n ∈+121,...,,有 })(,...)(,)()({221111n n n n i t X i t X i t X i t X P ====++ =})()({11n n n n i t X i t X P ==++ (5.1) 则称}.0),({≥t t X 为连续时间马尔可夫链. 由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程,即过程在已知现在时刻n t 及一切过去时刻所处状态的条件下,将来时刻1+n t 的状态只依赖于现在状态而与过去无关. 记(5.1)式条件概率一般形式为 ),(})()({t s p i s X j t s X P ij ===+ (5.2) 它表示系统在s 时刻处于状态i,经过时间t 后转移到状态j 的转移概率. 定义5.2 若(5.2)式的转移概率与s 无关,则称连续时间马尔可夫链具有平稳的或齐次的转移概率,此时转移概率简记为 ),(),(t p t s p ij ij = 其转移概率矩阵简记为).0,,()),(()(≥∈=t I j i t p t P ij 以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率.简称为齐次马尔可夫过程. 假设在某时刻,比如说时刻0,马尔可夫链进入状态i,而且接下来的s 个单位时间单位中过程未离开状态i,(即未发生转移),问随后的t 个单位时间中过程仍不离开状态i 的概率是多少呢?由马尔可夫我们知道,过程在时刻s 处于状态i 条件下,在区间[s,s+t]中仍然处于i 的概率正是它处于i 至少t 个单位的无条件概率..若记 i h 为记过程在转移到另一个状态之前停留在状态i 的时间,则对一切s,t 0≥有 },{}{t h P s h t s h P i i i >=>+> 可见,随机变量i h 具有无记忆性,因此i h 服从指数分布. 由此可见,一个连续时间马尔可夫链,每当它进入状态i,具有如下性质: (1) 在转移到另一状态之前处于状态i 的时间服从参数为i v 的指数分布;

第十二章马尔可夫链第一节第二节(上)

第十二章 马尔可夫链 马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的. 应用十分广泛,其应用领域涉及计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等. 第一节 马尔可夫链的定义 设随机过程}),({T t t X ∈的状态空间S 是有限集或可列集, 对任意正整数n ,对于T 内任意1+n 个参数121+<

我们需要知道 112211{(),(),,(),()}n n n n P X t j X t j X t j X t j ++==???== 而 112211{(),(),,(),()}n n n n P X t j X t j X t j X t j ++==???== 11221111{()}{()|()}{()|(),,n n n n P X t j P X t j X t j P X t j X t j X ++====???==这就归结为求形如 })(,,)(,)(|)({221111n n n n j t X j t X j t X j t X P =???===++的条件概率。在何种条件下这类条件概率容易算出来？ 一．定义 定义 1 设随机过程}),({T t t X ∈的状态空间S 是有限集或可列集, 如果对任意正整数n ,对于T 内任意1+n 个参数121+<

马尔可夫链的概念及转移概率

第四章 4.1 马尔可夫链的的概念及转移概率 一、知识回顾 二、马尔可夫链的的定义 三、转移概率 四、马尔可夫链的一些简单例子 五、总结

一、知识回顾 1. 条件概率 定义：设A，B为两个事件，且，称 为事件A发生条件下B事件发生的条件概率。 将条件概率公式移项即得到所谓的乘法公式： 2.全概率公式 设试验E的样本空间为S，A为E的事件，若为S的一个完备事件组，既满足条件： 1)两两互不相容，即 2).，且有，则 此式称为全概率公式。 3.矩阵乘法 矩阵乘法的定义 ， 如果

那么矩阵C叫做矩阵A和B的乘积，记作 4.马尔可夫过程的分类 马尔可夫过程按其状态和时间参数是连续的或离散的，可分为三类：（1）时间、状态都是离散的马尔科夫过程，称为马尔可夫链； （2）时间连续、状态离散的马尔科夫过程称为连续时间的马尔可夫链的；（3）时间、状态都连续的马尔科夫过程。

二、马尔科夫链的定义 定义4.1设有随机过程，若对于任意的整数和任意的，条件概率都满足 (4.1.1) 则称为马尔科夫链，简称马氏链。 式(4.1.1)即为马氏链，他表明在状态已知的条件下，的条件概率与无关，而仅与所处的状态有关。 式(4.1.1)是马尔科夫链的马氏性（或无后效性）的数学表达式。由定义知 = = = 可见，马尔科夫链的统计特性完全由条件概率 所决定。如何确定这个条件概率，是马尔科夫链理论和应用中的重要问题之一。 现举一例说明上述概念： 例4.1.1 箱中装有c个白球和d个黑球，每次从箱子中任取一球，抽出的球要到从箱子中再抽出一球后才放回箱中，每抽出一球作为一次取样试验。 现引进随机变量序列为,每次取样试验的所有可能结果只有两个，即白球或黑球。若以数代表白球，以数代表黑球则有

概率统计讲课稿第十三章马氏链第二节(下)

三.有限维概率分布 马尔可夫链},,,),({210???=t t t t t X 在初始时刻0t 的概率分布 })({)(00j t X P t p j ==, ???=,2,1,0j 称为初始分布. 初始分布与转移概率完全地确定了马尔可夫链的任何有限维分布.下面的定理二正是论述这一点. 不妨设齐次马尔可夫链的参数集和状态空间都是非负整数集,那么有 定理二 设齐次马尔可夫链},2,1,0),({???=n n X 的状态空间},,,2,1,0{??????=i S ,则对任意n 个非负整数n k k k

})(|)({})({112211j k X j k X P j k X P ==?== })(,)(|)({221133j k X j k X j k X P ===? } )(,,)(,)(|)({112211--=???===???n n n n j k X j k X j k X j k X P })(|)({})({112211j k X j k X P j k X P ==?== })(|)({2233j k X j k X P ==? })(|)({11--==???n n n n j k X j k X P ?==})({11j k X P ) ()()(1123321221-----???n n n n k k j j k k j j k k j j p p p , 由全概率公式,上式等号右端第一 因式化为 })({11j k X P = })0(|)({})0({011i X j k X P i X P i ==?==∑+∞ = ∑+∞ ==0 ) (11)0(i k ij i p p , 于是得到 })(,,)(,)({2211n n j k X j k X j k X P =???== )()()()(0112332122111 )0(-----+∞ =???=∑n n n n k k j j k k j j k k j j k ij i i p p p p p , 证毕 . 例6 在本节例5中,设初始时输入0和1 的概率分别为31和32 ,求第 2、3、6 步都传输出1的概率.

随机过程报告——马尔可夫链

马尔可夫链 马尔可夫链是一种特殊的随机过程，最初由A.A .M arkov 所研究。它的直观背景如下:设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为,....E ,...,E ,E n 10总共有可数个或者有穷个。这系统只可能在时刻t=1,2,…n,…上改变它的状态。随着∑的运动进程，定义一列随机变量Xn,n=0,1, 2, ?其中Xn=k ，如在t=n 时，∑位于Ek 。 定义1.1 设有随机过程}{T n X n ∈，，若对任意的整数T n ∈和任意的,,...,110I i i i n ∈+条件概率满足 }i {},...,i X i {1n 100 01n 1n n n n n n i X X P i X X P ======++++ 则称}{T n X n ∈，为马尔可夫链，简称为马氏链。 实际中常常碰到具有下列性质的运动系统∑。如果己知它在t=n 时的状态，则关于它在n 时以前所处的状态的补充知识，对预言∑在n 时以后所处的状态，不起任何作用。或者说，在己知的“现在”的条件下， “将来”与“过去”是无关的。这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性”。 假设马尔可夫过程}{T n X n ∈，的参数集T 是离散时间集合，即T={0,1,2,…},其相应Xn 可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。 定义1.2 条件概率 }{P 1)(i X j X p n n n ij ===+ 称为马尔可夫链}{T n X n ∈，在时刻n 的一步转移矩阵，其中i ，j ∈I ，简称为转移概率。 一般地，转移概率)(P n ij 不仅与状态i,j 有关，而且与时刻n 有关。当)(P n ij 不依赖 于时刻n 时，表示马尔可夫链具有平稳转移概率。若对任意的i ，j ∈I ，马尔可夫

随机过程报告记录——马尔可夫链

随机过程报告记录——马尔可夫链

————————————————————————————————作者：————————————————————————————————日期：

马尔可夫链 马尔可夫链是一种特殊的随机过程，最初由A.A .M arkov 所研究。它的直观背景如下:设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为 ,....E ,...,E ,E n 10总共有可数个或者有穷个。这系统只可能在时刻t=1,2,…n,…上 改变它的状态。随着∑的运动进程，定义一列随机变量Xn,n=0,1, 2, ?其中Xn=k ，如在t=n 时，∑位于Ek 。 定义1.1 设有随机过程}{T n X n ∈，，若对任意的整数T n ∈和任意的 ,,...,110I i i i n ∈+条件概率满足 }i {},...,i X i {1n 100 01n 1n n n n n n i X X P i X X P ======++++ 则称}{T n X n ∈，为马尔可夫链，简称为马氏链。 实际中常常碰到具有下列性质的运动系统∑。如果己知它在t=n 时的状态，则关于它在n 时以前所处的状态的补充知识，对预言∑在n 时以后所处的状态，不起任何作用。或者说，在己知的“现在”的条件下， “将来”与“过去”是无关的。这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性”。 假设马尔可夫过程}{T n X n ∈，的参数集T 是离散时间集合，即T={0,1,2,…},其相应Xn 可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。 定义1.2 条件概率 }{P 1)(i X j X p n n n ij ===+ 称为马尔可夫链}{T n X n ∈，在时刻n 的一步转移矩阵，其中i ，j ∈I ，简称为转 移概率。 一般地，转移概率)(P n ij 不仅与状态i,j 有关，而且与时刻n 有关。当)(P n ij 不依赖于时刻n 时，表示马尔可夫链具有平稳转移概率。若对任意的i ，j ∈I ，马尔可夫

107511-概率统计随机过程课件-第十三章马氏链第三节(上)

第三节 参数连续的齐次马尔可夫链 在实际应用中, 马尔可夫链的参 数t 通常表示时间,参数集T 通常取非负实数集.本节就来讨论这类参数连续的马尔可夫链. 一. 转移概率函数 定义 5 设}0),({≥t t X 是参数连续 的马尔可夫链,对于任意非负实数t 和任意正实数τ,以及链的任意两 个状态j i ,,条件概率 )(})(|)({)(t p i t X j t X P ij ττ===+ 称为马尔可夫链在时刻t 由状态i 出 发,经过时间间隔τ,在时刻τ+t 到 达状态j 的转移概率.τ称为转移时 间. 一般来说, )()(t p ij τ既依赖于出发 时刻t ,又依赖于转移时间τ.

特殊地,如果)()(t p ij τ不依赖于出 发时刻t ,仅依赖于转移时间τ,则 称马尔可夫链}0),({≥t t X 具有齐次性 或时齐性.此时可记 )(})(|)({)()(τττij ij p i t X j t X P t p ===+=,(13.15)就是说,对于参数连续的齐次马尔可夫链,从状态i 转移到状态j 的转移概率仅仅依赖于完成状态转移的转移时间τ,而与出发时刻无关.)(τij p 是转移时间τ的函数. 一般地, 参数连续的齐次马 尔可夫链的转移概率函数具有如下性质: 性质1 当0>τ时, 0)(≥τij p . 当0=τ时,规定 ???≠===j i j i p ij ij ,0,1)0(δ,(13.16) ij δ称为克罗纳克(Kronecker)符号. ? ??≠===j i j i p ij ij ,0,1)0(δ表示:在任何瞬时,一个状态留在原位的概 率为1,而跳离原位的概率为0.