下载文档原格式
1第七章 马尔可夫过程简介§7.1 马尔可夫过程定义对于一个随机过程，如果它具有以下特性：即当过程在现在时刻k t 所处的状态为已知的条件下，过程在将来时刻k t t >处的状态，只与过程在k t 时刻的状态有关，而与过程在k t 时刻以前所处的状态无关，则具具有此种特性的随机过程称为马尔可夫过程。
上述随机过程所具有的特性又称为无后效应。
无后效应也理解为：过程)(t X 在现在时刻k t 的状态，k k i t X =)(已知的条件下，过程“将来”的情况与“过去”的情况是无关的。
或者说，这种随机过程的“将来”只是通过“现在”与“过去”发生联系，如果一旦“现在”已知，那么“将来”和“过去”就无关了。
或者说，这种随机过程的“将来”只是通过“现在”与“过去”发生联系，如果一旦“现在”已知，那么“将来”和“过去”就无关了。
严格定义如下：定义马尔可夫过程：考虑随机过程)(t X ，并设1110+<<<<k k t t t t t ，如果它的条件概率密度函数满足)]()([)](,),(),()([1011k k k k k t x t x f t x t x t x t x f +-+= 则称为)(t X 为马尔可夫过程。
定义表明，)1(+k t x 的概率密度函数只取决于)(k t x 的状态，而与前)(,),(01t x t x k -个状态无关。
也就是“现在”的状态)(k t x 才对“将来”的状态)(1+k t x 有影响，而“过去”的状态)(,),(),(021t x t x t x k k --对“将来”没有影响。
由马尔要夫定义再根据条件密度函数公式，可写出马乐可夫过程的联合概率密度。
∵ ])(,),()([01t x t x t x f k k +)](,),(),([)](,),(),(),([01011t x t x t x f t x t x t x t x f k k k k k --+=)](,),(),(),([011t x t x t x t x f k k k -+2)](,),(),([)](,),(|)([0101t x t x t x f t x t x t x f k k k k -+= )](,),(),([)](|)([011t x t x t x f t x t x f k k k k -+=∏=+=ki i i t f t x t x f 01)()](|)([由上式要知，马尔可夫过程的联合概率密度函数等于各个转移概率密度和初始概率密度的乘积。
9马尔可夫过程9.1马尔可夫过程概论9.1.1马尔可夫过程的状态系统处于某个状态的概率9.1.2马尔可夫过程的状态转移概率从任意状态转移到特定状态的概率 从特定状态转移到任意状态的概率参数连续状态离散马尔可夫过程的转移概率和转移概率分布齐次的参数连续状态离散马尔可夫过程的转移概率和转移概率分布9.1.3参数连续状态离散马尔可夫过程的状态转移的切普曼-柯尔莫哥洛夫方程 9.1.4马尔可夫过程状态瞬时转移的跳跃率函数和跳跃条件分布函数 9.1.5确定马尔可夫过程Q 矩阵跳跃强度、转移概率Q 矩阵9.2参数连续状态离散马尔可夫过程的前进方程和后退方程柯尔莫哥洛夫-费勒前进方程（利用Q 矩阵可以导出、转移概率的微分方程） 福克-普朗克方程（状态概率的微分方程）柯尔莫哥洛夫-费勒后退方程（利用Q 矩阵可以导出、转移概率的微分方程） 9.3典型例题排队问题、机器维修问题、随机游动问题的分析方法 9.4马尔可夫过程的渐进特性稳态分布存在的条件和性质 稳态分布求解9.5马尔可夫过程的研究9.1马尔可夫过程概论9.1.1参数连续状态离散马尔可夫过程的状态，I={0,1,2,…,k,…}给定时刻系统处于某个状态的概率分布[]Tk t w t w t w t ""),(),(),()(10=w9.1.2参数连续状态离散马尔可夫过程的转移概率和转移概率分布，参数连续状态离散的马尔可夫过程的条件转移概率，{}{}I j i t t i t j t P t t t j t P ∪≤===≤′≤′=,,)(/)(0)(/)(211212ξξξξ并满足，{}0)(/)(12≥==i t j t P ξξ，{}1)(/)(12===∑∈Ij i t j t P ξξ齐次马尔可夫过程（随机过程是平稳的）的条件转移概率，如果转移概率只是时间差12t t −=τ的函数,转移概率可以写作)(τj i P ，上述关系写作，0)(≥τj i P ，1)(=∑∈Ij j i P τ。
