下载文档原格式
第三章 马尔可夫链 一、马尔可夫链的概念马尔可夫过程是一类有重要应用意义的随机过程，它具有如下特征：随机过程‘将来’所处的状态仅与‘现在’所处的状态有关，而与‘过去’曾处于什么状态无关。
马尔可夫过程按其状态和时间参数是离散还是连续的可以分成三类 （1） 时间和状态都是离散的马尔可夫过程，称为马尔可夫链。
（2） 时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。
（3） 时间和状态都连续的马尔可夫过程。
本章介绍马尔可夫链定义1 设}0,{≥n X n 为随机序列，其状态空间为},,,{210 i i i I =，如果对任意正整数n 及任意n+2个状态I i i i i n ∈+1210,,,, ，有},,,{110011n n n n i X i X i X i X P ====++}{11n n n n i X i X P ===++则称此随机序列}0,{≥n X n 为马尔可夫链。
若将时刻n 称为‘现在’，将时刻n+1称为‘将来’，而把0，1，2，……，n-1称为‘过去’。
定义中的等式便可通俗解释为：在已知}0,{≥n X n ‘现在’所处的状态条件下，‘将来’所要达到的状态与‘过去’所经历的状态无关，这一特性常称为马尔可夫的无后效性。
例1．一个n 级数字传输系统，每一级的输入和输出信号只取0或1两个值，每一级的输出是下一级的输入；并假定当一级输入为0时，其输出为0和为1的概率分别为p 和1-p;当输入为1时，其输出为1和0的概率分别为p 和1-p （见图）令Xn 表示第n 级输出，则{ Xn,n ≥0}便为一个马尔可夫链。
例2．从1，2，……，N 数字中任取一个数，记为X0；再从1，2，……，X0数字中任取一个数，记为X1；再从1，2，……，X1中任取一个数，记为X2；依此类推，在1，2，……，Xn-1中任取一个数，记为Xn 。
可以证明{ Xn,n ≥0}为马尔可夫链。
事实上，{ Xn,n ≥0}的状态空间为I={1，2，……，N}，对任意正整数n ，取n+1个状态I i i i i n ,,,,210 ,由题意可知故{ Xn,n ≥0}为马尔可夫链。
