下载文档原格式
第十三章 马尔可夫链马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的.应用十分广泛,其应用领域涉及计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等.第一节 马尔可夫链的定义一．定义定义 1 设随机过程}),({T t t X ∈的状态空间S 是有限集或可列集,对任意正整数n ,对于T 内任意1+n 个参数121+<<⋅⋅⋅<<n n t t t t 和S 内任意1+n 个状态121,,,,+⋅⋅⋅n n j j j j ,如果条件概率})(,,)(,)(|)({221111n n n n j t X j t X j t X j t X P =⋅⋅⋅===++})(|)({11n n n n j t X j t X P ===++,(13.1) 恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性.马氏性的直观含义可以解释如下: 将n t 看作为现在时刻,那末,121,,,-⋅⋅⋅n t t t 就是过去时刻,而1+n t 则是将来时刻.于是,(13.1)式是说,当已知系统现时情况的条件下,系统将来的发展变化与系统的过去无关.我们称之为无后效性.许多实际问题都具有这种无后效性.例如 生物基因遗传从这一代到下一代的转移中仅依赖于这一代而与以往各代无关.再如,每当评估一个复杂的计算机系统的性能时,就要充分利用系统在各个时刻的状态演变所具有的通常概率特性:即系统下一个将到达的状态,仅依赖于目前所处的状态,而与以往处过的状态无关.此外,诸如某公司的经营状况等等也常常具有或近似具有无后效性.二． 马尔可夫链的分类状态空间S 是离散的(有限集或可列集),参数集T 可为离散或连续的两类.三．离散参数马尔可夫链（1）转移概率定义2 在离散参数马尔可夫链},,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 中,条件概率)(})(|)({1m ij m m t p i t X j t X P ===+称为)(t X 在时刻(参数)m t 由状态i 一步转移到状态j 的一步转移概率, 简称转移概率.条件概率)(})(|)({)(m n ij m n m t p i t X j t X P ===+称为)(t X 在时刻(参数)m t 由状态i 经n 步转移到状态j 的n 步转移概率.(2)转移概率的性质:对于状态空间S 内的任意两个状态i 和j ,恒有(1) 0)()(≥m n ij t p ;(2)1)()(=∑∈m Sj n ij t p ,⋅⋅⋅=,2,1n ()()(m Sj n ij t p ∑∈ })(|)({i t X j t X P m n m Sj ===+∈∑ })({})(,)({i t X P i t X j tX P m S j m n m ====∑∈+ })({}})(}){)({({i t X P i t X j t X P m S j m n m ====∑∈+1})({})({====i t X P i t X P m m )四.离散参数齐次马尔可夫链定义3 在离散参数马尔可夫链},,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 中,如果一步转移概率)(m ij t p 不依赖于参数m t ,即对任意两个不等的参数m t 和k t ,k m ≠,有)(})(|)({1m ij m m t p i t X j t X P ===+ij k ij k k p t p i t X j t X P =====+)(})(|)({1则称此马尔可夫链具有齐次性或时齐性,称)(t X 为离散参数齐次马尔可夫链.例1 Bernoulli 序列是离散参数齐次马尔可夫链.验证 在Bernoulli 序列},3,2,1,{⋅⋅⋅=n X n 中, 对任意正整数 n , 121+<<⋅⋅⋅<<n n t t t t ,121,,,,+⋅⋅⋅n n t t t t X X X X 相互独立, 故对 ,1,0=k j )1,,2,1(+⋅⋅⋅=n k ,有},,,|{211211n t t t n t j X j X j X j X P n n =⋅⋅⋅===++}{11+==+n t j X P n}|{11n t n t j X j X P n n ===++即满足马尔可夫性,且}|{11n t n t j X j X P n n ==++⎩⎨⎧=-====++++0,11,}{1111n n n t j p j p j X P n 当当 , 不依赖于参数n t ,满足齐次性.故Bernoulli 序列是离散参数齐次马尔可夫链.例2 爱伦菲斯特(Ehrenfest)模型 一容器中有a 2个粒子在作随机运动.设想有一实际不存在的界面把容器分为左右容积相等的两部分.当右边粒子多于左边时,粒子向左边运动的概率要大一些,大出部分与两边粒子的差数成正比;反之,当右边粒子少于左边时,粒子向右边运动的概率要大一些.以nX 表示n 次变化后,右边粒子数与均分数a 之差,则状态空间},1,,2,1,0,1,,1,{a a a a S -⋅⋅⋅-⋅⋅⋅+--=,转移概率 ⎪⎪⎪⎩⎪⎪⎪⎨⎧==±≠∈-=+=+---+-1,),1(21),1(211,1,1,1,a a a a j j j j p p a j S j a j p a j p则 },3,2,1,{⋅⋅⋅=n X n 是齐次马尔可夫链.第二节 参数离散的齐次马尔可夫链对于离散参数齐次马尔可夫链,本节讨论以下四个问题.一. 转移概率矩阵设 },,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X 是齐次马尔可夫链, 由于状态空间S 是离散的(有限集或可列集)，不妨设其状态空间 },,,2,1,0{⋅⋅⋅⋅⋅⋅=n S .则对S 内的任意两个状态i 和j ,由转移概率 ij p 排序一个矩阵⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=ij i i j j p p p p p p p p p P 101111000100 称为(一步)转移概率矩阵 .})(|)({1i t X j t X P p m m ij ===+转移概率矩阵的性质：(1) 0≥ij p ,即元素均非负;(2) 1=∑∈S j ij p ,即每行和为1.具有以上两个特点的方阵称为随机矩阵.转移概率矩阵就是一个随机矩阵.例1 Bernoulli 序列的状态空间}1,0{=S ,转移概率矩阵⎝⎛=⎪⎪⎭⎫ ⎝⎛=q q p p p p P 11100100 ⎪⎪⎭⎫p p , })(|)({1i t X j t X P p m m ij ===+⎩⎨⎧=====+1,0,})({1j p j q j t X P m .例1 一维随机游动一个质点在直线上的五个位置:0,1,2,3,4之上随机游动.当它处在位置1或2或3时,以31的概率向左移动一步而以32的概率向右移动一步;当它到达位置0时,以概率1返回位置1;当它到达位置4时以概率1停留在该位置上(称位置0为反射壁,称位置4为吸收壁).以j t X n =)(表示时刻n t 质点处于位置j ,4,3,2,1,0=j ,则},,,),({210⋅⋅⋅=t t t t t X 是齐次马尔可夫链.其状态空间}4,3,2,1,0{=S ,状态0是反射状态,状态4是吸收状态.其转移概率矩阵⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛==1000032031000320310003203100010)(ij p P})(|)({1i t X j t X P p m m ij ===+分别以4,3,2,1,0,0==j i ； 4,3,2,1,0,1==j i ；4,3,2,1,0,2==j i ；4,3,2,1,0,3==j i ；4,3,2,1,0,4==j i按题设条件求出转移概率 })(|)({1i t X j t X P p m m ij ===+ 画出状态转移示意图如图例3（成功流）设在一串贝努里试验中,每次试验成功的概率为p ,令⎩⎨⎧≤≤=n k k n k n X n 1,,,0次成功次试验接连第第次试验失败第则},3,2,1,{⋅⋅⋅=n X n 是齐次马尔可夫链.其状态空间},,,2,1,0{⋅⋅⋅⋅⋅⋅=k S ,其转移概率pq X P i X X P n n n -======++1}0{}|0{11,p n P i X i X P n n =+==+=+}1{}|1{1次试验时成功第,,0,,020100===p p p q p ，⎪⎪⎩⎪⎪⎨⎧=≤<+=+≥====+0,0,01,2,0}|{1j q i j i j p i j i X j X P p n n ij , （ ,3,2,1=i ）于是转移概率矩阵⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅⋅=ij i i j j p p p p p p p p p P 101111000100⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=p q p q p q p q 0000000000二． 切普曼-柯尔莫哥洛夫方程定理一 设 },,,,,),({210⋅⋅⋅⋅⋅⋅=n t t t t t t X是马尔可夫链,则有)()()()()()(n m l kj km n ik m l n ij t p t p t p ++∑=, (13.6)称为切普曼-柯尔莫哥洛夫方程.证 由条件概率定义计算公式,利用全概率公式和马氏条件,得})(|)({)()(i t X j t X P t p m l n m m l n ij ===+++})({})(,)({i t X P j t X i t X P m l n m m ====++ })({}})(,)(}){)({({i t X P j t X i t X k t X P m Sk l n m m n m =====∑∈+++})({})(,)(,)({i t X P j t X k t X i tX P m Sk l n m n m m=====∑∈+++ })({})(,)({})(,)({})(,)(,)({i t X P k t X i t X P k t X i t X P j t X k t X i t X P m n m m kn m m l n m n m m ===⋅======+++++∑})(|)({})(,)(|)({i t X k t X P k t X i t X j t X P m n m n m m kl n m ==⋅====++++∑})(|)({})(|)({i t X k t X P k t X j t X P m n m n m kl n m ==⋅===++++∑)()()()(n m l kj km n ik t p t p +∑= 证毕.如果马尔可夫链具有齐次性,那么切普曼-柯尔莫哥洛夫方程化为)()()(l kjkn ik l n ij p p p ∑=+ ,(13.7)当1,1==l n 时,得到kj kik ij p p p ∑=)2(,进一步改写为矩阵形式 2)2(P P=其中)()2()2(ijp P =是两步转移概率矩阵,P 是一步转移概率矩阵.用数学归纳法可得 nn P P =)(,⋅⋅⋅=,4,3,2n (13.8) 式(13.8)表明:n 步转移概率矩阵)()()(n ij n p P =等于一步转移概率矩阵P 的n 次幂.因此也常把n P 作为n 步转移概率矩阵的符号.例2 在本节例2中,求)2(00p 和)2(31p.解 由kj kik ij p p p ∑=)2(,得3131140)2(00=⨯==∑=k k k p p p,913131413)2(31=⨯==∑=k k k p p p.或用2)2()2()(P p Pij==.例3 传输数字0和1的通讯系统,每个数字的传输需经过若干步骤,设每步传输正确的概率为109,传输错误的概率为101,(1)问:数字1经三步传输出1的概率是多少? (2)若某步传输出数字1,那么又接连两步都传输出1的概率是多少?解 以n X 表示第n 步传输出的数字,则},2,1,0,{⋅⋅⋅=n X n 是一齐次马尔可夫链,0X 是初始状态,状态空间}1,0{=S ,一步转移概率矩阵⎝⎛=101109P ⎪⎪⎪⎪⎭⎫109101 (1) 2)2(P P =⎝⎛=101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109 ⎪⎪⎪⎪⎭⎫109101= ⎝⎛1001810082⎪⎪⎪⎪⎭⎫10082100183)3(P P =⎝⎛=101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101= ⎝⎛1001810082⎪⎪⎪⎪⎭⎫1008210018 ⎝⎛101109⎪⎪⎪⎪⎭⎫109101=⎝⎛10002441000756 ⎪⎪⎪⎪⎭⎫10007561000244,756.01000756)3(11==p ; (2) }1|1,1{21===++n n n X X X P}1|1{1===+n n X X P }1,1|1{12===⋅++n n n X X X P}1|1{1===+n n X X P }1|1{12==⋅++n n X X P81.0)109(21111==⋅=p p .。
马尔可夫链的基本概念马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。
马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
马尔可夫链由一组状态和状态之间的转移概率组成，可以用于模拟和预测各种随机过程，如天气变化、股票价格波动等。
一、马尔可夫链的定义马尔可夫链由状态空间和转移概率矩阵组成。
状态空间是指所有可能的状态的集合，用S表示。
转移概率矩阵是一个n×n的矩阵，其中n 是状态空间的大小。
转移概率矩阵的元素表示从一个状态转移到另一个状态的概率。
二、马尔可夫链的性质1. 马尔可夫性质：在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意一个状态。
3. 周期性：一个状态可以分为周期为k的状态和非周期状态。
周期为k的状态在经过k步后才能返回原状态，非周期状态的周期为1。
4. 不可约性：如果一个马尔可夫链中的任意两个状态都是可达的，那么该马尔可夫链是不可约的。
5. 非周期马尔可夫链的收敛性：如果一个马尔可夫链是非周期的且不可约的，那么它具有收敛性，即在经过足够多的步骤后，状态分布会趋于稳定。
三、马尔可夫链的应用马尔可夫链在许多领域都有广泛的应用，包括自然语言处理、机器学习、金融市场分析等。
1. 自然语言处理：马尔可夫链可以用于语言模型的建立，通过分析文本中的词语之间的转移概率，可以预测下一个词语的出现概率，从而实现自动文本生成、机器翻译等任务。
2. 机器学习：马尔可夫链可以用于序列数据的建模和预测，如音频信号处理、图像处理等。
通过分析序列数据中的状态转移概率，可以预测下一个状态的出现概率，从而实现序列数据的预测和分类。
3. 金融市场分析：马尔可夫链可以用于分析金融市场的波动性和趋势。
通过分析股票价格的状态转移概率，可以预测未来股票价格的走势，从而指导投资决策。
四、马尔可夫链的改进和扩展马尔可夫链的基本概念可以通过改进和扩展来适应更复杂的问题。
马尔可夫链的基本概念马尔可夫链是一种数学模型，用于描述具有马尔可夫性质的随机过程。
马尔可夫性质指的是在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
马尔可夫链由一组状态和状态之间的转移概率组成，可以用于模拟和预测各种随机过程，如天气变化、股票价格波动等。
一、马尔可夫链的定义马尔可夫链由状态空间和转移概率矩阵组成。
状态空间是指所有可能的状态的集合，用S表示。
转移概率矩阵是一个n×n的矩阵，其中n 是状态空间的大小。
转移概率矩阵的元素表示从一个状态转移到另一个状态的概率。
二、马尔可夫链的性质1. 马尔可夫性质：在给定当前状态的情况下，未来状态的概率只与当前状态有关，与过去状态无关。
2. 遍历性：从任意一个状态出发，经过有限步骤后可以到达任意一个状态。
3. 周期性：一个状态可以返回到自身的步数称为周期。
如果一个状态的周期为1，则称其为非周期状态；如果周期大于1，则称其为周期状态。
4. 不可约性：如果一个马尔可夫链中的任意两个状态都是可达的，则称该马尔可夫链是不可约的。
5. 遍历性与周期性的关系：对于不可约的马尔可夫链，要么所有状态都是非周期状态，要么所有状态都是周期状态。
三、马尔可夫链的应用马尔可夫链在许多领域都有广泛的应用，包括自然语言处理、机器学习、金融市场分析等。
以下是一些具体的应用案例：1. 自然语言处理：马尔可夫链可以用于生成文本，如自动写作、机器翻译等。
通过学习文本的转移概率，可以生成具有相似语言风格的新文本。
2. 机器学习：马尔可夫链可以用于序列建模，如语音识别、手写识别等。
通过学习序列的转移概率，可以对序列进行分类和预测。
3. 金融市场分析：马尔可夫链可以用于预测股票价格的波动。
通过学习历史股票价格的转移概率，可以预测未来股票价格的走势。
4. 生物信息学：马尔可夫链可以用于基因序列分析。
通过学习基因序列的转移概率，可以识别基因的功能和结构。
四、马尔可夫链的应用案例以下是一个简单的马尔可夫链应用案例，用于模拟天气变化：假设有三种天气状态：晴天、多云和雨天。
随机过程中的马尔可夫性质与极限定理随机过程是概率论和数理统计中的一个重要概念，它描述了一系列随机事件的演化规律。
在随机过程中，马尔可夫性质是一种重要的性质，它指的是在给定当前状态的情况下，未来状态的概率分布只依赖于当前状态，而与过去状态无关。
这种性质在很多实际问题中都有广泛的应用。
马尔可夫性质最早由俄国数学家马尔可夫在20世纪初提出，他研究了一种离散状态的随机过程，即马尔可夫链。
马尔可夫链具有马尔可夫性质，即在给定当前状态的情况下，未来状态的概率分布只与当前状态有关。
这种性质使得马尔可夫链具有很好的数学性质，可以通过一些简单的计算方法来求解。
在实际应用中，马尔可夫链常常用于建模描述一些具有随机性的现象，比如天气变化、股票价格波动等。
通过建立状态空间和状态转移概率矩阵，可以将这些现象抽象成一种马尔可夫链。
然后利用马尔可夫性质，可以预测未来的状态，从而对这些现象进行分析和控制。
除了马尔可夫性质，随机过程还有一个重要的性质是极限定理。
极限定理描述了随机过程中的一些重要统计量的极限行为。
其中最著名的是中心极限定理，它指出当随机变量的个数趋向于无穷大时，这些随机变量的和的分布趋向于正态分布。
这个定理在概率论和统计学中有着广泛的应用，可以用来解决很多实际问题。
极限定理的证明通常需要使用数学分析和概率论的方法，比较复杂。
但是在实际应用中，我们通常只需要知道极限定理的结论即可。
通过极限定理，我们可以对一些随机过程中的统计量进行估计和推断，从而得到一些有用的结果。
总结起来，随机过程中的马尔可夫性质和极限定理是概率论和数理统计中的两个重要概念。
马尔可夫性质描述了随机过程中未来状态的概率分布只与当前状态有关，而与过去状态无关。
极限定理描述了随机过程中一些重要统计量的极限行为。
这两个性质在实际应用中有着广泛的应用，可以用来解决很多实际问题。
虽然它们的证明比较复杂，但我们通常只需要知道它们的结论即可。
通过应用这些性质，我们可以对随机过程进行建模、分析和控制，从而得到一些有用的结果。
高等数学不用看的部分：第5页映射；第17页到第20页双曲正弦双曲余弦双曲正切及相应的反函数可以不记；第107页由参数方程所确定的函数的导数；第119页微分在近似方程中的应用记住几个公式4，5,6还有120页的近似公式即可，不用看例题；第140页泰勒公式的证明可以不看，例题中的几个公式一定要记住，比如正弦公式等；第169页第七节；第178页第八节；第213页第四节；第218页第五节；第280页平行截面面积为已知的立体体积；第282页平面曲线的弧长；第287页第三节；第316页第五节；在第七章微分方程中建议大家只要会解方程即可，凡是书上涉及到物理之类的例题不看跳过例如第301页的例2例3例4；第八章；第90页第六节；第101页第七节；第157页第三节；165页第四节；第十一章；第261页定理6；第278页第四节；第285页第五节；第302页第七节；第316第八节线性代数不用看的部分：第102页第五节概率论与数理统计要考的部分：第一二三四五章；第六章第135页抽样分布；第7章第一节点估计和第二节最大似然估计注意：数学课本和习题中标注星号的为不考内容，在上面的内容中我并没有标出。
上述内容是根据文都发放的教材编的。
《高等数学》目录与2010数三大纲对照的重点计划用时（天）标记及内容要求：★─大纲中要求“掌握”和“会”的内容以及对学习高数特别重要的内容，应当重点加强，对其概念、性质、结论及使用方法熟知，对重要定理、公式会推导。
要大量做题。
☆─大纲中要求“理解”和“了解”的内容以及对学习高数比较重要的内容，要看懂定理、公式的推导，知道其概念、性质和方法，能使用其结论做题●─大纲中没有明确要求，但对做题和以后的学习有帮助。
要能看懂，了解其思路和结论。
▲─超出大纲要求。
第一章函数与极限第一节映射与函数（☆集合、影射，★其余）第二节数列的极限（☆）第三节函数的极限（☆）第四节无穷小与无穷大（★）第五节极限运算法则（★）第六节极限存在准则（★）第七节无穷小的比较（★）第八节函数的连续性与间断点（★）第九节连续函数的运算与初等函数的连续性（★）第十节闭区间上连续函数的性质（★）总习题第二章导数与微分第一节导数概念（★）第二节函数的求导法则（★）第三节高阶导数（★）第四节隐函数及由参数方程所确定的函数的导数相关变化率（★）第五节函数的微分（★）总习题二第三章微分中值定理与导数的应用第一节微分中值定理（★罗尔，★拉格朗日，☆柯西）第二节洛必达法则（★）第三节泰勒公式（☆）第四节函数的单调性与曲线的凹凸性（★）第五节函数的极值与最大值最小值（★）第六节函数图形的描绘（★）第七节曲率(●)第八节方程的近似解(●)总习题三（★注意渐近线）第四章不定积分第一节不定积分的概念与性质（★）第二节换元积分法（★）第三节分部积分法（★）第四节有理函数的积分（★）第五节积分表的使用（★）总习题四第五章定积分第一节定积分的概念与性质（☆）第二节微积分基本公式（★）第三节定积分的换元法和分部积分法（★）第四节反常积分（☆概念，★计算）第五节反常积分的审敛法г函数(●)总习题五第六章定积分的应用第一节定积分的元素法（★）第二节定积分在几何学上的应用（★平面面积，★旋转体，★简单经济应用）第三节定积分在物理学上的应用（★求函数平均值）总习题六、第七章微分方程第一节微分方程的基本概念（☆）第二节可分离变量的微分方程（☆）（★掌握求解方法）第三节齐次方程（☆）（★掌握求解方法）第四节一阶线性微分方程（☆）（★掌握求解方法）第五节可降阶的高阶微分方程（☆）第六节高阶线性微分方程（☆）第七节常系数齐次线性微分方程（★二阶的）第八节常系数非齐次线性微分方程（★二阶的）第九节欧拉方程(●)第十节常系数线性微分方程组解法举例(●)总习题七附录I 二阶和三阶行列式简介附录II 几种常用的曲线附录、积分表第八章空间解析几何与向量代数（▲）第一节向量及其线性运算第二节数量积向量积混合积第三节曲面及其方程第四节空间曲线及其方程第五节平面及其方程第六节空间直线及其方程总习题八第九章多元函数微分法及其应用第一节多元函数的基本概念（☆）第二节偏导数（☆概念。
第13章 马尔可夫链13.1 复习笔记一、马尔可夫过程及其概率分布 马尔可夫过程的概率分布 （1）转移概率及其转移概率矩阵 ①转移概率(,){|}ij m n j m i P m m n P X a X a ++===为马氏链在m 时处于a i 的条件下，到m ＋n 时转移到状态a j 的转移概率。
1(,)1,1,2,ij j P m m n i +∞=+==∑②转移概率矩阵 (,)((,))ij P m m n P m m n +=+性质：各元素非负，每行之和为1（2）齐次马氏链的转移概率及转移概率矩阵 一步转移概率为(){}11ij ij m j m i p P P X a X a +====一步转移概率矩阵()11211112122122212=1m j j mj i i i ijX a a a a p p p X a p pp P P a p p p +⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦的状态的记成状态二、多步转移概率的确定1．C-K 方程1()()(),,1,2,ij ik kj k P u v P u P v i j +∞=+==∑2．n 歩转移概率齐次马尔可夫链的n 歩转移概率矩阵P （n ）＝P n三、遍历性 1．定义转移概率()ij P n 存在极限或()()121212jj n jP n P n πππππππππ⎡⎤⎢⎥⎢⎥⎢⎥=→∞⎢⎥⎢⎥⎢⎥⎣⎦则此链具有遍历性，若1jjπ=∑，则12(,,)πππ=为链的极限分布。
2．有限链遍历性的充分条件设齐次马氏链{X n ，n ≥l}的状态空间为12{,,,}N I a a a =，P 是它的一步转移概率矩阵，如果∃m ∈N ＋，使对∀,i j a a I ∈，都有()0,,1,2,,ij P m i j N >=则此链具有遍历性，且有极限分布12(,,,)N ππππ=，它是方程组π＝πP 或1,1,2,Nj i ij i p j Nππ===∑满足条件10,1Nj j j ππ=>=∑的唯一解。
