马尔可夫链（Markov Chain）是一种数学模型，用来描述一系列事件，其中每个事件的发生只与前一个事件有关，而与之前的事件无关。这种特性被称为“无后效性”或“马尔可夫性质”。
马尔可夫链常用于统计学、经济学、计算机科学和物理学等领域。在统计学中，马尔可夫链被用来建模时间序列，如股票价格或天气模式。在经济学中，马尔可夫链被用于预测经济趋势。在计算机科学中，马尔可夫链被用于自然语言处理、图像处理和机器学习等领域。在物理学中，马尔可夫链被用于描述粒子系统的行为。
马尔可夫链的数学表示通常是一个转移概率矩阵，该矩阵描述了从一个状态转移到另一个状态的概率。对于给定的状态，转移概率矩阵提供了到达所有可能后续状态的概率分布。
马尔可夫链的一个关键特性是它是“齐次的”，这意味着转移概率不随时间变化。也就是说，无论链在何时处于特定状态，从该状态转移到任何其他状态的概率都是相同的。
马尔可夫链的方程通常表示为：
P(X(t+1) = j | X(t) = i) = p_ij
其中，X(t)表示在时间t的链的状态，p_ij表示从状态i转移到状态j的概率。这个方程描述了马尔可夫链的核心特性，即未来的状态只与当前状态有关，而与过去状态无关。
马尔可夫链的一个重要应用是在蒙特卡罗方法中，特别是在马尔可夫链蒙特卡罗（MCMC）方法中。MCMC方法通过构造一个满足特定条件的马尔可夫链来生成样本，从而估计难以直接计算的统计量。这些样本可以用于估计函数的期望值、计算积分或进行模型选择等任务。
总之，马尔可夫链是一种强大的工具，用于建模和预测一系列相互关联的事件。通过转移概率矩阵和马尔可夫链方程，可以描述和分析这些事件的行为和趋势。
马尔可夫过程
编辑词条
一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 （现在）的条件下，它未来的演变 （将来）不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。关于该过程的研究，1931年A.H.柯尔莫哥洛夫在《概率论的解析方法》一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。
目录
马尔可夫过程
离散时间马尔可夫链
连续时间马尔可夫链
生灭过程
一般马尔可夫过程
强马尔可夫过程
扩散过程
编辑本段马尔可夫过程
Markov process
1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
类重要的随机过程，它的原始模型马尔可夫链，由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程：在已知它目前的状态（现在）的条件下，它未来的演变（将来）不依赖于它以往的演变（过去）。这种已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的，当现在所处的位置已知时，它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2，„分别表示青蛙最初处的荷叶号码及第一次、第二次、„„跳跃后所处的荷叶号码，那么{Xn，n≥0}
就是马尔可夫过程。液体中微粒所作的布朗运动，传染病受感染的人数，原子核中一自由电子在电子层中的跳跃，人口增长过程等等都可视为马尔可夫过程。还有些过程（例如某些遗传过程）在一定条件下可以用马尔可夫过程来近似。
11一、马尔科夫链的极限分布§4.4马尔科夫链的极限分布与平稳分布()1lim0nijnjpμ→∞=>若对一切i，j，有：定义：称该马尔科夫链有极限分布，并称1211,,μμ⎛⎞⎜⎟⎝⎠"为其极限分布。定理:（定理4.13和定理4.14综合分析而得）()lim0nijnp→∞=为非常返，或零常返：jj1d=()limnijijnifpμ→∞=为正常返：j1d>为正常返：()lim nijnp→∞没有极限2推论：()1lim0nijnjpμ→∞=>若马氏链是不可约、非周期、正常返的，则对一切i，j，有：注意到反之也成立。即：()lim0nijnp→∞>则马氏链必是不可约、非周期、正常返的若对一切i，j，有：
3有限马科科夫链的有关结论定理：对于有限马氏链，有下面的结论：（1）不可能全是非常返（2）不存在零常返态若所有的状态为非常返，那么证明：（1）设有限马科科夫链有N个状态，则()1 1, Nnijjp==∑()lim0nijnp→∞=试中令得：0=1，矛盾。n→∞所以，有限马氏链不可能全是非返态。（*）4证明（2）若有限马科科夫链存在零常返状态i，构造含有i的闭集，则C(i)是非空有限闭集，有(){}:Cijij=→()1, nijjCp∈=∑C中的所有状态为零常返，所以()lim0nijnp→∞=试中令得：0=1 ，矛盾。n→∞所以，有限马氏链不存在零常返态。（*）
5由上面的定理，得出推论：有限不可约非周期的马氏链，所有的状态必为正常返。所以有限不可约非周期的马氏链，必有极限分布。6对于有限不可约非周期马尔科夫链，极限分布一定存在，但是极限分布的计算，还是一个比较困难的问题。而对于无限状态的马尔科夫链，极限分布是否存在就是一个不容易解决的问题。为此，我们介绍平稳分布，并利用平稳分布，判断极限分布的存在性并计算极限分布
27二、平稳分布定义4.11,设齐次马氏链转移概率矩阵为PPππ=12(,,)πππ="若满足方程： 1jjπ=∑且则称为该马氏链的平稳分布定理4.16 不可约非周期的马氏链，其极限分布存在（或状态是正常返）的充要条件是存在平稳分布，且此平稳分布就是极限分布。即ijμπ1=注：上述定理给出了马氏链极限分布存在的判别以及求极限分布的便捷方法12(,,)πππ="8例1 ：设马尔科夫链的转移概率矩阵为⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=9.005.005.01.08.01.02.01.07.0P求马尔科夫链的极限分布及各状态的平均返回时间解：这是一个不可约非周期，有限状态的马氏链，所以必有极限分布，且极限分布就是平稳分布。123(,,):ππππ=极限分布满足123(,,)πππ=123(,,)πππ0.70.10.20.10.80.10.050.050.9⎡⎤⎢⎥⎢⎥⎢⎥⎣⎦1231πππ++=及
马尔可夫链模型
(重定向自马尔可夫链)
马尔可夫链模型（Markov Chain Model）
目录
[隐藏]
• 1 马尔可夫链模型概述
• 2 马尔可夫链模型的性质
• 3 离散状态空间中的马尔可夫链模型
• 4 马尔可夫链模型的应用
o 4.1 科学中的应用
o 4.2 人力资源中的应用
• 5 马尔可夫模型案例分析[1]
o 5.1 马尔可夫模型的建立
o 5.2 马尔可夫模型的应用
• 6 参考文献
[编辑]
马尔可夫链模型概述
马尔可夫链因安德烈·马尔可夫（Andrey Markov，1856－1922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。
时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为。
马尔可夫链是随机变量的一个数列。这些变量的范围，即他们所有可能取值的集合，被称为“状态空间”，而Xn的值则是在时间n的状态。如果Xn + 1对于过去状态的条件概率分布仅是Xn的一个函数，则
这里x为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。 马尔可夫在1906年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫果洛夫在1936年给出的。
马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的，但马尔可夫寻求的似乎不仅于数学动机，名义上是对于纵属事件大数法则的扩张。
马尔可夫链是满足下面两个假设的一种随机过程：
1、t+l时刻系统状态的概率分布只与t时刻的状态有关，与t时刻以前的状态无关；
2、从t时刻到t+l时刻的状态转移与t的值无关。一个马尔可夫链模型可表示为=(S，P，Q)，其中各元的含义如下：
1）S是系统所有可能的状态所组成的非空的状态集，有时也称之为系统的状态空间，它可以是有限的、可列的集合或任意非空集。本文中假定S是可数集(即有限或可列)。用小写字母i,j(或Si,Sj)等来表示状态。
