下载文档原格式
第四章 Markov 过程本章我们先讨论一类特殊的参数离散状态空间离散的随机过程，参数为0{0,1,2,}T N ==L ，状态空间为可列{1,2,}I =L 或有限{1,2,,}I n =L 的情况，即讨论的过程为Markov 链。
Markov 链最初由Markov 于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。
之后我们将讨论另一类参数连续状态空间离散的随机过程，即纯不连续Markov 过程。
§4.1 Markov 链的定义与性质一、Markov 链的定义定义 4.1设随机序列{;0}n X n ≥的状态空间为I ，如果对0n N ∀∈，及0110011,,,,,{,,,}0n n n n i i i i I P X i X i X i +∈===>L L ，有：11001111{,,,}{}n n n n n n n n P X i X i X i X i P X i X i ++++=======L （4.1.0)则称{;0}n X n ≥为Markov 链。
注1：等式（4.1.0）刻画了Markov 链的特性，称此特性为Markov 性或无后效性，简称为马氏性。
Markov 链也称为马氏链。
定义4.2 设{;0}n X n ≥为马氏链，状态空间为I ，对于,i j I ∀∈，称1{}()ˆn n i j P X j X i p n +===为马氏链{;0}n X n ≥在n 时刻的一步转移概率。
注2：一步转移概率满足：()0,,()1,i j i jj Ip n i j Ipn i I ∈≥∈=∈∑若对于,i j I ∀∈，有1{}()ˆn n i j i j P X j X i p n p +===≡即上面式子的右边与时刻n 无关，则称此马氏链为齐次（或时齐的）马氏链。
设{}0()(0),p i P X i i I ==∈，如果对一切i I ∈都有00()0,()1i Ip i p i ∈≥=∑，称0()p i 为马氏链的初始分布。
《无法触碰》观后感《无法触碰》观后感“时而欢笑，时而泪下，人生何求。
”这是一家法国媒体对这部电影的评价，同样的，这句话也很精确的形容了我看完这部电影后的第一感受。
下面是小编收集整理的《无法触碰》，希望对您有所帮助！篇一：《无法触碰》观后感影片改编自真实的故事。
在一次跳伞运动事故后，菲利普，一位富有的贵族下肢瘫痪，只能坐在轮椅上，生活无法自理，因此他找了黑人青年DRISSriss来家里帮佣。
这是一位郊区的年轻人，刚从监狱出来。
简单来说这是最不适合这份工作的人选。
两个世界相互碰撞，融合，于是一段不可思议的、奇妙的友情诞生了。
这是独一无二的关系，碰撞出许多火花。
而这段关系也使他们变得……无坚不摧。
这是一部法国电影。
西欧的电影总是给人感觉细腻，不过有时候看起来是啰嗦、不着重点，可能是我看不懂吧。
比如葡萄牙的《里斯本秘境》，讲的什么东西啊完全不知所云时间还这么长。
先来看一下名字：“无法触碰”。
第一层意思是身体上的，主人公菲利普脊椎以下瘫痪完全没知觉，开水倒在上面都感觉不到疼痛DRISSriss也这样干过。
第二层意思是菲利普心灵上的，他是一位富有的贵族脖子以下又瘫痪，极喜又极悲让他的心变得难以接近，无法触碰。
（高中语文在我身上留下深深烙印，看到关键词尤其是题目总要分析分析有几层意思仿佛已成为潜规则。
往往作者写的很自然根本没想这么多！往好了说是联想，发散思维，其实就是强*作意臆测并改变作者的意思，与强*民意类似）可以把菲利普和Driss之间发生的事当成不同生活方式的相遇、碰撞、融合的过程。
菲利普代表严肃、极度绅士、极其注重自身修养和礼貌的生活方式。
Driss则代表简单奔放、不拘小节、大胆说出内心感受和需求的生活方式。
在Driss到来之前菲利普的生活显得臃肿复杂、太注重形式，这直接导致他和笔友关系停滞不前。
Driss的方式简单明快、大胆追求内心感受，在他的带领下菲利普和他一起开跑车、抽烟、逛妓院，简洁的追寻内心不好意思说出的渴望。
1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 （1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。
称(){}:,==∈E x X t x t T 为状态空间。
参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。
若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。
§4.1 随机过程的收敛性随机过程的收敛性是研究随机分析的基础，由于随机过程的不确定性，其收敛性的选择也是多种多样的，本节主要介绍均方收敛，这是因为均方收敛能简化分析、比较实用。
今后，本书分析和研究问题一般都使用均方收敛概念。
定义依均方收敛： 考虑随机变量序列 ，如果存在随机变量 X 满足则称随机变量序列X (n )依均方收敛于随机变量X ，并记为 或 m ·s ——是英文Mean —Square 缩写） 2. 均方收敛的性质（1）如果随机变量序列 依均方收敛于随机变量X ，则有（2）均方收敛是唯一的。
如果 则必有X=Y（3）如果 ，则有 （4）如果 ，a 和b 是任意常数，则有研究随机过程的统计变化规律，在一定条件下，有时我们也可以借助数学分析的工具建立起随机过程的收敛性、连续性、可微性、可积性等概念，进而可对随机过程的变化规律有更清楚的分析了解。
这部分内容属于随机分析，这里我们只作简介。
当然在此基础上，我们还可建立随机微分方程，自从伊藤1961年建立随机微分方程理论以来，随机微分方程发展很快，已渗透到各领域。
§4.2 随机过程的连续性定义：若随机过程X (t )满足 则称随机过程X (t )于t 时刻在均方意义下连续（简称 连续）。
另一方面，由定义知∴有均方连续的充要条件是 RX (s ,t ) 是二元连续函数。
性质 若随机过程X (t )是 连续的，则它的数学期望也必定连续，即： 证 设 是一个随机变量 又∵ 均方连续 {(),0,1,2}X n n = {}2lim ()0n E X n X →∞-=lim ()n X n X→∞=()m s X n X ⋅−−−→{(),0,1,2,}X n n = lim {()}{lim ()}{}n n E X n E X n E X →∞→∞==()()m s m sX n X X n Y ⋅⋅−−−→−−−→和()()m s m sX n X Y n Y ⋅⋅−−−→−−−→和,lim [()()][]n m E X n Y n E XY →∞=lim (()())n aX n bYn aX bY →∞+=+()()m s m sX n X Y n Y⋅⋅−−−→−−−→和2lim [|()()|]0,t E X t t X t ∆→∞+∆-=m s⋅2()()()()()()()()()()E X t t X t E X t t X t t X t t X t X t X t t X t X t ⎡⎤+∆-⎣⎦=⎡+∆+∆-+∆-+∆+⎤⎣⎦(,)(,)(,)(,)X X X X R t t t t R t t t R t t t R t t =+∆+∆-+∆-+∆+20lim ()()t E X t t X t ∆→⎡⎤+∆-⎣⎦[]0lim (,)(,)(,)(,)X X X X t R t t t t R t t t R t t t R t t ∆→=+∆+∆-+∆-+∆+m s⋅0lim [()][()]t E X t t E X t ∆→+∆=()()Y X t t X t =+∆-22[][]{()}D Y E Y E Y =-222[][]{[]}{[]}E Y D Y E Y E Y =+≥22[]{[]}E Y E Y ≥22[|()()|]{[()()]}0E X t t X t E X t t X t +∆-+∆-≥≥()X t 20lim [|()()|]0t E X t t X t ∆→+∆-=由夹挤定理知这表明求极限和求数学期望的次序可以交换，这是一个非常有用的结果，以后经常可用到。
1.定义：设有随机过程{},n X n T ∈若对任意的整数n T ∈和任意的121,,...,n i i i I +∈,条件概率满足()()111111,...,n n n n n n n n p x i x i x i p x i x i ++++======则称其为马尔科夫链。
2.马尔科夫链的统计特性完全有条件概率()11n n n n p x i x i ++==决定。
3.一步转移概率称条件概率()()1p x j x i n ij n n p ==+=为马尔科夫链{},n X n T ∈在时刻n 的一步转移概率。
,i j I ∈,若()ij p n 与n 无关，则称马尔科夫链为齐次的。
();0;1;,ij ij ij ij j Ip n p p p j i I ∈=>==∈∑4.n 步转移概率称()()n p x j x i m m n ijp ==+=,i j I ∈0,1m n >=>=为马尔科夫链{},n X n T ∈的n步转移概率。
()()0;1;,n n ijijj Ip p j i I ∈>==∈∑5.n 步转移矩阵。
()()()n n ij P p =；()()()1011;0;;;ij ij ij i p p P P j p i j=⎧=⎨≠==⎩6.()n p ij具有如下性质：设{},n X n T ∈为马尔科夫链，则对任意整数n>=0,1=<l<n ；,i j I ∈()()()11112........n n i k Ik Il n l n p p p p p pijikkjik k k I k k j--∈∈-=∑∈=∑∑； ()()1n n n PP PP-==7初始概率：()0i p p X i == 8.初始概率向量：()()120,....TPp p =9.初始分布：{},i p i I ∈10绝对概率：()()j n p n p X j == 11绝对概率向量：()()()()12,....TPn p n p n =12绝对分布：(){},j p n j I ∈13性质如下：()()()()10;n T T T P n P n P P P =-=()()()1;nj i ij i ij i Ii Ip n p p p n p ∈∈==-∑∑14马氏链的有限维分布：设{},n X n T ∈为马氏链，则对任意的12,,...,;1n i i i I n ∈≤有{}11....11,....,n n i Ip p p i ii i i n n p X i X i ∈-===∑完全有初始概率和一步转移概率决定。
15状态i 的周期d 【决定状态是否为周期的】()(){}..:0,0n ii d d i G C D n n p ==≤>；如果d>1,则称状态为周期的； 如果d=1则其为非周期的。
16首达概率： ()(),11,/,1n ijm v j m n m f p X v n X j X i n +≠+=≤≤-==≤为质点有i 出发，经过n 步首次到达j 的概率，称为首达概率。
记()1nij ij n f f =∞=∑；规定()00ijf =为质点有i 出发，经过有限步到达j 的概率。
【决定是否为常返的】若ii f =1，则称状态i 为常反的；常返的充要条件()0niin p =∞=∞∑；当i 为常反时，返回i的次数是无限多次。
若ii f <1,则称状态i 为非常反的（瞬时状态）。
()011n ii iin p f ∞==-∑；当i 为非常反时，返回i 的次数只能是有限多次。
若状态i 为非常反的，则以概率1ii f -不再返回到i.; 17平均首次返回时间：【决定是为正还是零】对于常返态i,(){},1n ii f n ≤构成一概率分布，此分布的期望值()1n nf i ii n μ=∞=∑表示为由i出发再返回到i 的平均返回时间。
若i μ<∞,则称常返态i 为正常返的。
若i μ=∞则称常返态i 为零常返的。
非周期的正常返态称为遍历状态。
18()(),n n p f ij ij 关系对于任意状态i,j 及1n ≤<∞有()()()()()10n n k n k n k k n p f p f p ij ij jjij j k j k -=-=∑∑==； ()()()()11n k n k n n f p f p ij ij ij jj k --=-∑=()()()()()()()()()1221;;33122f p f p f p ij ij ij ij ij jj f p f p f p ij ij ij jj ij jj==-=--()()1n n PP P -=；(){}(){}..:0,0..:0,0nniiii G C D n n p G C D n n f ≤>=≤> 19平均次数：()1n njjp =∞∑表示有j 出发再返回j 的平均次数。
当j 是常返态时，返回的次数是无限多次。
当j 为非常反时，返回j 的次数只能是有限多次。
20超限概率()()()01/n i n i n m n m g p ij n X j X i p n X j p X j ∞∞===⎧⎫======⎨⎬⎩⎭I U 有无限多个使有无限多个使 对任意状态i 有,0f j ij g ij j ⎧⎪=⎨⎪⎩如是常返如非常返，状态i 常返当且仅当1ii g =状态i 非常返当且仅当0ii g = 21.设i 常返且有周期d,则()lim nd dp ii n iμ=→∞，其中i μ为i 的平均返回时间。
当i μ=∞时，0idμ= 设i 常返则若i 零常返()lim 0nd p iin ⇔=→∞；若i 遍历()1lim 0nd p ii n iμ⇔=>→∞22状态的可达与互通：状态i 可达状态j,i j →：存在0n >使()0n ij p >； 状态i 与状态j 互通，i j ↔：i jandi j →←可达与互通都具有传递性：即：,,i j j k i k i j j k i k →→→↔↔↔则；则 如果i j ↔则：ij 同为常返或非常返，如为常返，则同时为正常返或零常返；两者具有相同的周期。
互通关系的状态为同一类型。
23状态空间的分解：状态空间I 的子集C 称为闭集{闭集是不可约的【不可约的充要条件对,i k C ∈都有()0n p ik >，n>0】，闭集的充要条件：;i C k C ∈∉都有()0n p ik=，n>0。
}如果：1ii p =则称状态i 为吸收的，等价于单点集{}i 为闭集。
一个吸收状态构成的闭集是最小的；整个状态空间构成的闭集是最大的闭集；状态空间I 中所有常返态组成一闭集C.不可约的马尔科夫链(),m ,Pn m n ⇔∃≤中无零元⇔任何两个状态都互通⇔没有常返状态或没有非常返状态任一马尔科夫链的状态空间I ，可唯一的分解成有限个或可列个互不相交的子集12,,...D C C 之和，使得：每一个n C 是常返态组成的不可约闭集；n C 中的状态同类型，或全是正常返或全是零常返，它们有相同的周期，1ik f =，,n i k C ∈；D 是全体非常返态组成，自n C 中的状态不能达到D 中的状态。
12....n I D C C C =U U U U24分解定理说明：状态分为非常返态D 与常返态C ，C 又可按互通关系分为有限个互不相交的基本常返闭集12,...C C从D 出发，或一直停留在D 中，或在某一时刻进入i C ，一旦进入。
永不离开。
从某一i C 出发：停留在这一常返闭集中。
25不可约马尔科夫链的分解：周期为d 的不可约马尔科夫链，其状态空间C 可唯一的分解为d 个互不相交的子集之和即1;,d rrs r C G GG r s φ-===≠I U 且使得从r G 中任意状态出发经一步转移必进入1r G +中，0d G G =，任意取定一状态i ，对每一0,1,...,1r d =-，定义集(){}:,0nd r r ij G j n p +=≤>对某个0。
马氏链如果其状态空间不可约，则称其不可约的。
如果只在0，d,2d...上考虑{}n X ，记得一新马氏链{}nd X ，其转移矩阵()()()d d ij P p =。
对于新链，每一r G 是不可约闭集且r G 中的状态是非周期的。
如果原链常返，则新链宜常返； 26有限马氏链的性质不可能全是非常返态 没有零常返态 必有正常返态不可约的有限马氏链只有正常返态 27渐进性质如j 非常返或零常返则()lim 0n p ij n =→∞i I ∀∈有限状态的马氏链不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必是正常返。
如果马氏链有一个零常返态，则必有无限多个零常返态。
如果j 正常返，周期为d 对任意的i 及01r d ≤≤-有()()()()lim ,ij md r ij ij m jnd r p ijn df r f r f μ∞+=+→∞==∑设不可约、正常返、周期d 的马氏链，其状态空间为C ，则对一切i,j C ∈()s lim ;i.0;j j nd p ij n dfouze μ→∞⎧⎪=⎨⎪⎩同属于子集G如果j 为遍历的，d=1:()()()()lim 10,0ij md ij ij m jn p ij n f f f μ∞=→∞==∑;()()1lim 1m ij m jn p ij n f μ∞=→∞=∑对任意状态i,j()0,j 1lim ,1n k f p ij ij n j n k jμ=∑→∞=⎧⎪⎨⎪⎩非常返或零常返正常返 如{}n X 不可约、常返，则对任意状态i,j ()1lim 11=jn k p ij n n k μ∑→∞= 28平稳分布设{},0n X n ≤为齐次马尔科夫链，状态空间为I ，转移概率为ij p 。
概率分布{},jj I π∈为马尔科夫链平稳分布,他满足：,1;0j i ij i I j j j Ip ππππ∈∈⎧=⎪⎨=≤⎪⎩∑∑注：若初始概率分布为平稳分布，则()()1...j j j p p p n ===；平稳分布的矩阵形式()()()()().n n n j ij P Pp ππππ===不可约非周期马氏链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布1,j j I μ⎛⎫∈ ⎪ ⎪⎝⎭有限状态的不可约非周期马氏链必存在平稳分布；不可约马氏链的所有状态是非常返或零常返，则不存在平稳分布。
