下载文档原格式
第二章 Markov 过程（03）本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为0},2,1,0{N T == ，状态空间为可列},2,1{ =S 或有限},,2,1{n S =的情况，即讨论的过程为Markov 链。
Markov 链最初由Markov 于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。
之后我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov 过程。
1． Markov 链的定义定义：设随机序列}0);({≥n n X 的状态空间为S ，如果对0N n ∈∀，及0})(,,)1(,)0({,,,,,10110>===∈+n n n i n X i X i X P S i i i i ，有：})()1({})(,,)1(,)0()1({1101n n n n i n X i n X P i n X i X i X i n X P ==+======+++ (A)则称}0);({≥n n X 为Markov 链。
注1：随机序列}0);({≥n n X 也可记为}0;{≥n X n 。
注2： 等式（A ）刻画了Markov 链的特性，称此特性为Markov性或无后效性，简称为马氏性。
Markov 链也称为马氏链。
定义：设}0);({≥n n X 为马氏链，状态空间为S ，对于S j i ∈∀,，称)(ˆ})()1({n p i n X j n X P j i ===+为马氏链}0);({≥n n X 在n 时刻的一步转移概率。
若对于S j i ∈∀,，有j i j i p n p i n X j n X P ≡===+)(ˆ})()1({即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。
对于齐次马氏链，我们记)(j i p P =，称矩阵P 为齐次马氏链的一步转移概率矩阵，简称为转移矩阵。
随机过程_课件---第三章第三章随机过程3.1 随机过程的基本概念1、随机过程定义3-1 设(),,F P Ω是给定的概率空间，T 为一指标集，对于任意t T ∈，都存在定义在(),,F P Ω上，取值于E 的随机变量()(),X t ωω∈Ω与它相对应，则称依赖于t 的一族随机变量(){},:X t t T ω∈为随机过程，简记(){}tX ω，{}tX 或(){}X t 。
注：随机过程(){,:,}X t t T ωω∈Ω∈是时间参数t 和样本点ω的二元函数，对于给定的时间是()00,,t T X t ω∈是概率空间(),,F P Ω上的随机变量；对于给定样本点()00,,X t ωω∈Ω是定义在T 上的实函数，此时称它为随机过程对应于0ω的一个样本函数，也成为样本轨道或实现。
E 称为随机过程的相空间，也成为状态空间，通常用""t X x =表示t X 处于状态x 。
2、随机过程分类：随机过程t X 按照时间和状态是连续还是离散可以分为四类：连续型随机过程、离散型随机过程、连续随机序列、离散随机序列。
3、有穷维分布函数定义3-2 设随机过程{}t X ，在任意n 个时刻1,,n t t 的取值1,,nt tX X 构成n 维随机向量()1,,n t t XX ，其n 维联合分布函数为：()()11,,11,,,,nnt t nt t nF x x P X x Xx ≤≤其n 维联合密度函数记为()1,,1,,n t tn f x x 。
我们称(){}1,,11,,:1,,,nt t n n Fx x n t t T ≥∈ 为随机过程{}t X 的有穷维分布函数。
3.2 随机过程的数字特征1、数学期望对于任何一个时间t T ∈，随机过程{}t X 的数学期望定义为()()tX t t E X xdF x μ+∞-∞==?()t E X 是时间t 的函数。
2、方差与矩随机过程{}t X 的二阶中心矩22()[(())],tX t t t Var X E X E X t T σ==-∈称为随机过程{}t X 的方差。
