22.05.2019
马尔柯夫过程
当条件概率为
P { X (tn ) x n|X (t1 ) x 1 ,X (t2 ) x 2 , ,X (tn 1 ) x n 1 } P { X (tn ) x n }
时,则称X(tn)与过去历史无关,即为独立随机过 程 当条件概率为
P { X (tn ) x n|X (t1 ) x 1 ,X (t2 ) x 2 , ,X (tn 1 ) x n 1 } P { X (tn ) x n|X (tn 1 ) x n 1 }
马尔柯夫过程
潘尔顺 副教授 上海交通大学 工业工程与管理系
22.05.2019
主要内容
基本概念 马尔柯夫过程 马尔柯夫状态转移图 马 柯夫转移矩阵
22.05.2019
基本概念
随机过程(Random Process)—随机事件的变化过程。 随机过程无确定的变化形式及必然的变化规律,因而 不可能用精确的数学关系式来表达,但可用随机函数 来描述。 随机函数X(t)在时间t1时的取值,称为X(t)在t=t1时的 状态,它也是随机变量,而t则称为过程参数。两者所 有可能值的集合,分别称为“状态空间”和“参数空 间”
已定时,则出现下一个系统状态X(tn)=xn的条件概
率为P { X (tn ) x n|X (t1 ) x 1 ,X (t2 ) x 2 , ,X (tn 1 ) x n 1 } 0 t1 t2 tn 则称 X (tn)与 X (t1), X (t2), ,X (tn 1)有图2所示的马尔可夫状态转移过程,也可用马尔可夫转 移矩阵或简称“转移矩阵”,“概率矩阵”来表达:
ij ij
PijP Pijii
P Pijjjij3 2//4 3