下载文档原格式
1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 （1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。
称(){}:,==∈E x X t x t T 为状态空间。
参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。
若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。
第四章 Markov 过程本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为0{0,1,2,}T N ==L ，状态空间为可列{1,2,}I =L 或有限{1,2,,}I n =L 的情况，即讨论的过程为Markov 链。
Markov 链最初由Markov 于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。
之后我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov 过程。
§4.1 Markov 链的定义与性质一、Markov 链的定义定义 4.1设随机序列{;0}n X n ≥的状态空间为I ，如果对0n N ∀∈，及0110011,,,,,{,,,}0n n n n i i i i I P X i X i X i +∈===>L L ，有：11001111{,,,}{}n n n n n n n n P X i X i X i X i P X i X i ++++=======L （4.1.0)则称{;0}n X n ≥为Markov 链。
注1：等式（4.1.0）刻画了Markov 链的特性，称此特性为Markov 性或无后效性，简称为马氏性。
Markov 链也称为马氏链。
定义4.2 设{;0}n X n ≥为马氏链，状态空间为I ，对于,i j I ∀∈，称1{}()ˆn n i j P X j X i p n +===为马氏链{;0}n X n ≥在n 时刻的一步转移概率。
注2：一步转移概率满足：()0,,()1,i j i jj Ip n i j Ipn i I ∈≥∈=∈∑若对于,i j I ∀∈，有1{}()ˆn n i j i j P X j X i p n p +===≡即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。
设{}0()(0),p i P X i i I ==∈，如果对一切i I ∈都有00()0,()1i Ip i p i ∈≥=∑，称0()p i 为马氏链的初始分布。
随机过程-课件-第四章第四章Poion过程4.1齐次Poion过程到达时间间隔与等待时间的分布1、定理4-1强度为的齐次Poion过程{Nt,t0}的到达时间间隔序列某n,n1,2,是独立1同分布的随机变量序列，且是具有相同均值证：事件的指数分布。
即事件某1t等某1t发生当且仅当Poion过程在区间0,t内没有事件发生，价于{Nt0}，所以有P(某tt)P(Nt0)et因此，某1具有均值为1的指数分布，再求已知某1的条件下，某2的分布。
P(某2t|某1)P(在,+t内没有事件发生|某1)（由独立增量性）（由平稳增量性）et上式表明P(在,+t内没有事件发生)P(在0,t内没有事件发生)某2与某1相互独立，而且某2也是一个具有均值为1的指数分布的随机变量，重复同样的推导可以证明定理4-1的结论。
2、定理4-2等待时间Sn服从参数为n，的分布，即分布密度为f(t)et证：(t)n1,t0(n1)!因为第n个事件在时刻t或之前发生当且仅当到时间t已发生的事件数目至少是n，即事件NtnSnt是等价的，因此P(Snt)P(Ntn)ejnt(t)jj!上式两边对t求导得Sn的分布密度为f(t)etjnj1(t)j(t)etj!(j1)!jnet(t),t0(n1)!n1注：定理4-2又给出了定义Poion过程的另一种方法。
从一列均值为1/的独立同分布的指数随机变量序列某n,n1出发，定义第n个事件发生的时刻为Sn，则Sn某1某2某n这样就定义了一个计数过程，且所得计数过程Nt,t0就是参数为的Poion过程。
3、定理4-3条件随机变量(某1证：对|Nt1)U(0,t)，即在区间0,t内为均匀分布。
t,(某1|Nt1)的分布函数为P(某1,Nt1)P(某1|Nt1)P(Nt1)P(在0,内有一个事件发生，在，t内没有事件发生)P(Nt1)P(在0,内有一个事件发生)P(在，t内没有事件发生)P(Nt1)P(N1)P(Nt0)P(N1)ee(t)tett这说明(某14、顺序统计量|Nt1)在0,t上服从均匀分布。
《应用随机过程》课程教学大纲一、课程基本信息课程代码：16055502课程名称：应用随机过程英文名称：Applied Stochastic Processes课程类别：专业课学时：32学分： 2适用对象:财经类专业本科生考核方式：考试先修课程：微积分、线性代数、概率论二、课程简介中文简介紧抓课程改革核心环节，不断提升教学质量，将“课程思政”作为融合德育与智育的融合主渠道，是逐步实现“立德树人”的综合教育理念的前进方向。
《应用随机过程》是面向经济统计专业三年级学生开设的一门必修课，随机过程通常被视为概率论的动态部分，即研究的是随机现象的动态特征，着重对随时间和空间变化的随机现象提出各种不同的模型并研究其内在的性质与相互联系。
具有较强的理论性。
该学科在社会科学、自然科学、经济和管理等各个领域中都有广泛的应用，培养学生的科学精神，探索自然和人类的奥秘。
英文简介The course Applied Stochastic Processes is one of the compulsory courses for the junior undergraduates majoring in Economic Statistics,which is usually viewed as the dynamic part of probability theories. It focuses on the dynamic feature of stochastic phenomena and emphasizes modeling the stochastic phenomena varying with time and space .Moreover,it explores the inner property and relationship among various models and it is quite theoretical and widely used in social science,natural science,Economic and management science etc.三、课程性质与教学目的本课程是经济统计专业一门应用性很强的专业课。
