= −
• 如果已知系统在初始阶段的分布,即系统在初始阶段处于各状态
(0)
的概率 , i = 1, 2, ⋯ , 以及转移概率矩阵P,则在步后处于状
()
态j的概率 可以由下式计算得出:
= = = = 0 = (0 = ) =
集。如果状态空间也是离散的,则我们一般用 = 1, 2, 3, … 来
表示状态空间。
• 条件概率P = j −1 = 表示已知马尔可夫过程 X , ∈ T 在
第 − 1步处于状态,则在第步时处于状态j的条件概率,称为
转移概率。由于它表示的是从第 − 1步到第步的转移概率,因
→∞
马尔可夫链的极限分布。
• 注意:平稳分布和极限分布是两个不同的概念,而且确实存在两
者不一致的情况。
• 在本课程中,我们只考虑二者一致的情况。
• 定理: X , ∈ T 是不可约非周期的马尔可夫链,转移概率矩阵,则
该马尔可夫链存在极限分布当且仅当存在平稳分布,并且此时两者相
等。
• 这时,平稳分布可以通过求解稳态方程
此是一步转移概率。
• 如果条件概率P = j −1 = 只与状态和j有关,而与时刻无
关,则称之为平稳转移概率,记为pij = P = j −1 = 。
• 如果马尔可夫过程 X , ∈ T 的时间集T是离散的,状态空间也
是离散的,而且转移概率是平稳的,则称 X , ∈ T 为(齐次)马
− 步处于状态,则在第步时处于状态j的条件概率,称为
()
步转移概率,记为 。相应的步转移概率矩阵为
()
()
p11
… p1n
=
⋮