下载文档原格式
第三章 马尔可夫链 一、马尔可夫链的概念马尔可夫过程是一类有重要应用意义的随机过程，它具有如下特征：随机过程‘将来’所处的状态仅与‘现在’所处的状态有关，而与‘过去’曾处于什么状态无关。
马尔可夫过程按其状态和时间参数是离散还是连续的可以分成三类 （1） 时间和状态都是离散的马尔可夫过程，称为马尔可夫链。
（2） 时间连续、状态离散的马尔可夫过程，称为连续时间的马尔可夫链。
（3） 时间和状态都连续的马尔可夫过程。
本章介绍马尔可夫链定义1 设}0,{≥n X n 为随机序列，其状态空间为},,,{210 i i i I =，如果对任意正整数n 及任意n+2个状态I i i i i n ∈+1210,,,, ，有},,,{110011n n n n i X i X i X i X P ====++}{11n n n n i X i X P ===++则称此随机序列}0,{≥n X n 为马尔可夫链。
若将时刻n 称为‘现在’，将时刻n+1称为‘将来’，而把0，1，2，……，n-1称为‘过去’。
定义中的等式便可通俗解释为：在已知}0,{≥n X n ‘现在’所处的状态条件下，‘将来’所要达到的状态与‘过去’所经历的状态无关，这一特性常称为马尔可夫的无后效性。
例1．一个n 级数字传输系统，每一级的输入和输出信号只取0或1两个值，每一级的输出是下一级的输入；并假定当一级输入为0时，其输出为0和为1的概率分别为p 和1-p;当输入为1时，其输出为1和0的概率分别为p 和1-p （见图）令Xn 表示第n 级输出，则{ Xn,n ≥0}便为一个马尔可夫链。
例2．从1，2，……，N 数字中任取一个数，记为X0；再从1，2，……，X0数字中任取一个数，记为X1；再从1，2，……，X1中任取一个数，记为X2；依此类推，在1，2，……，Xn-1中任取一个数，记为Xn 。
可以证明{ Xn,n ≥0}为马尔可夫链。
事实上，{ Xn,n ≥0}的状态空间为I={1，2，……，N}，对任意正整数n ，取n+1个状态I i i i i n ,,,,210 ,由题意可知故{ Xn,n ≥0}为马尔可夫链。
第三章 马尔科夫过程第一节 随机过程的概念1、 随机系数必然事件自然界中出现的事件分为 不可能事件随机事件事物的变化过程 必然过程随机过程（1） 必然过程：有确定的变化形式，可以用精确的数学关系式来描述。
如()()sin m u t U t ω= ()()sin m i t I t ωϕ=+（2） 随机过程：没有确定的变化形式，只能用随机函数来描述。
例如：在24h 内对某电网的负荷进行几天的观测，如下图所示：随机系数：观测对象随时间的变化时不确定的，用()x t 表示。
现实：每次观测得到一个具体的系数，称为随机系数的一个“现实”。
如：()()()12,...............n x t x t x t 参数。
t 是随机变量，称为过程的参数，其所有可能的集合为“参数空间”或“时间空间”。
状态：随机函数()x t 在1t 时刻的值()1x t ，称为()x t 在1t t =时的状态。
则所有可能的集合称为“状态空间”。
2、 随机系数的分类（1） 时间（分数）离散，状态空间离散 （2） 时间（分数）连续，状态空间连续 （3） 时间（分数）离散，状态空间连续 （4） 时间（分数）连续，状态空间离散 其中（1）与（4）研究的较多 3、 随机系数的概率分布当，n t t =时，()n t X 的分布与历史i t t =时()()11i t i n X ≤≤-的关系，即根据过程的历史来确定()n t X 的分布：用条件概率来描述：（()i x t 简化成i x ）()112211/,............n n n n P x x x x --X =X =X =X = （1）若在特定的情况下，n X 的分布与过去的历史无关，则()()112211/,............n n n n n n P x x x x P x --X =X =X =X ==X =称为过程独立（无记忆过程）。
若n X 的分布只与过去的一部分历史有关，如只与最近一次时间的状态有关，而与以前所有时刻的状态都是无关，即()()11221111/,............/n n n n n n n n P x x x x P x x ----X =X =X =X ==X =X =第二节 马尔科夫链1、 概述将参数和状态空间都是系数的马尔科夫过程称为马尔科夫链。
随机过程与马尔可夫链理论是概率论与数理统计领域中的重要概念和工具。
随机过程是指在不同时间点上变量值以某种概率规律变化的过程。
马尔可夫链则是一类特殊的随机过程，其未来状态只与当前状态有关，与过去状态无关。
马尔可夫链最初由俄国数学家马尔可夫提出，其名字也来源于此。
马尔可夫链的特点是具有马尔可夫性质，即未来状态的条件概率分布只与当前状态有关，与之前的状态无关。
这种性质使得马尔可夫链具有良好的统计特性和可计算性，广泛应用于概率论、统计学、电信工程、物理学、生物学等领域。
马尔可夫链的数学表达是一个序列，其中每一项表示系统的一个状态。
根据系统的状态空间和转移概率，可以构造转移矩阵，用来描述系统状态之间的转移规律。
通过矩阵的乘法和幂次运算，可以得到系统在不同时间点上的状态分布，从而分析系统的演化规律和性质。
马尔可夫链的核心是转移概率矩阵，它描述了状态之间的转移概率。
转移概率矩阵需要满足一些性质，例如每一行之和为1，表示从一个状态转移到其他状态的概率之和为1。
根据转移概率矩阵，可以计算出平稳分布，即系统在长时间演化后的稳定状态分布。
平稳分布是马尔可夫链的一个重要特性，可以用来研究系统的稳定性和平衡性。
马尔可夫链理论在实际应用中有广泛的应用。
在信息传输领域，例如通信网络、数据压缩、编码等，马尔可夫链可以用来描述信道的状态演化和信号的传输过程，从而提高通信系统的性能。
在金融领域，马尔可夫链可以用来分析股票价格的变化趋势和市场的状态转移规律，从而帮助投资者进行风险管理和决策。
在生物学领域，马尔可夫链可以用来模拟分子的随机运动和化学反应等，从而研究生物分子的行为和系统的动力学性质。
总之，随机过程与马尔可夫链理论是概率论与数理统计领域中的重要理论和工具。
马尔可夫链作为一种特殊的随机过程，具有马尔可夫性质，可以用来描述系统状态的演化规律和性质。
马尔可夫链理论在实际应用中有广泛的应用，可以用来分析和模拟各种复杂系统的行为和性质。
