下载文档原格式
马尔可夫链马尔可夫链是一种特殊的随机过程，最初由A.A .M arkov 所研究。
它的直观背景如下:设有一随机运动的系统E (例如运动着的质点等)，它可能处的状态记为,....E ,...,E ,E n 10总共有可数个或者有穷个。
这系统只可能在时刻t=1,2,…n,…上改变它的状态。
随着∑的运动进程，定义一列随机变量Xn,n=0,1, 2, ⋯其中Xn=k ，如在t=n 时，∑位于Ek 。
定义1.1 设有随机过程}{T n X n ∈，，若对任意的整数T n ∈和任意的,,...,110I i i i n ∈+条件概率满足}i {},...,i X i {1n 10001n 1n n n n n n i X X P i X X P ======++++ 则称}{T n X n ∈，为马尔可夫链，简称为马氏链。
实际中常常碰到具有下列性质的运动系统∑。
如果己知它在t=n 时的状态，则关于它在n 时以前所处的状态的补充知识，对预言∑在n 时以后所处的状态，不起任何作用。
或者说，在己知的“现在”的条件下， “将来”与“过去”是无关的。
这种性质，就是直观意义上的“马尔可夫性”，或者称为“无后效性”。
假设马尔可夫过程}{T n X n ∈，的参数集T 是离散时间集合，即T={0,1,2,…},其相应Xn 可能取值的全体组成的状态空间是离散状态空间I={1,2,..}。
定义1.2 条件概率}{P 1)(i X j X p n n n ij ===+称为马尔可夫链}{T n X n ∈，在时刻n 的一步转移矩阵，其中i ，j ∈I ，简称为转移概率。
一般地，转移概率)(P n ij 不仅与状态i,j 有关，而且与时刻n 有关。
当)(P n ij 不依赖于时刻n 时，表示马尔可夫链具有平稳转移概率。
若对任意的i ，j ∈I ，马尔可夫链Xn,n ∈T}的转移概率)(P n ij 与n 无关，则称马尔可夫链是齐次的。
1第四章 马尔可夫过程内容提要1. 马尔可夫过程的概念 （1）马尔可夫过程给定随机过程{}(),X t t T ∈，如果对122,∀≥∀<<<∈n n t t t T ，有11221111{()|(),(),,()}{()|()}n n n n n n n n P X t x X t x X t x X t x P X t x X t x ----<====<=则称{}(),X t t T ∈为马尔可夫过程。
称(){}:,==∈E x X t x t T 为状态空间。
参数集和状态空间都是离散的马尔可夫过程称为离散参数马氏链. 参数连续、状态空间离散的马尔可夫过程称为连续参数马氏链. （2）k 步转移概率设{}(),0,1,2,=X n n 为离散参数马氏链，称()(),(,){|},0,1=+==≥≥i j p n k P X n k j X n i n k为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率，称(),(,)((,)),P =∈i j n k p n k i j E为{}(),0,1,2,=X n n 在时刻n 的k 步转移概率矩阵. 特别地，当1k =时，在时刻n 的一步转移概率和一步转移概率矩阵分别简记为()ij p n 和()n P . （3）初始分布、绝对分布称((0)),,==∈i p P X i i E 为离散参数马氏链{}(),0,1,2,=X n n 的初始分布，记为0P ，称()(){},,==∈j p n P X n j j E 为马尔可夫链{}0n X n ≥的绝对分布，记为P n . （4）离散参数齐次马氏链设{}(),0,1,2,=X n n 是一离散参数马氏链，如果其一步转移概率()ij p n 恒与起始时刻n 无关，记为ij p ，则称{}(),0,1,2,=X n n 为离散参数齐次马氏链。
若{}(),0,1,2,=X n n2是离散参数齐次马氏链，则其k 步转移概率记为(),i j p k ，一步转移概率矩阵和k 转移概率矩阵分别记为P 和().P k(5) 离散参数齐次马氏链的遍历性离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若对一切状态i ，j ，存在与i 无关的极限()()lim 0,ij j n p n i j E →+∞=π>∈则称此马氏链具有遍历性.0,1j j j Ej E ππ∈>∈=∑若且则称{},j j E π∈为离散参数齐次马氏链{X (n ) ,n=0,1,2… }的极限分布，或称为最终分布，记为{},j j E ∏=∈π（6）离散参数齐次马氏链的平稳分布离散参数齐次马氏链{X (n ) ,n=0,1,2… }，若存在{v j , j ∈E } 满足条件：1)0,2)13)j jj Ej i iji Ev j E vv v p ∈∈≥∈==∑∑则称此马氏链是平稳的，称 { v j , j ∈E } 为此马氏链的平稳分布。
0.5丿 当初始分布为P{ X 0 = 1} =P{X 0 =2} = 0, P{ X 0 = 3} = 1时经三步转移后处于状态 3的概率。
7 .已知本月销售状态的初始分布和转移概率矩阵如下：1•设质点在区间［0 , 4］的整数点作随机游动，到达 0点或4点后以概率1停留在原处, 1 —向左、右移动一格或停留在原处。
求质点随机游动的一 3在其它整数点分别以概率 步和二步转移的概率矩阵。
2.独立地重复抛掷一枚硬币， 1, 2或3,这些值分别对应于第 n -1次和第n 次抛掷的结果为(正，正)，(正，反)， (反，正)或(反，反)。
求马尔可夫链{X n ,n 0,1,2,…}的一步和二步转移的概 率矩阵。
设{X n , n _0}为马尔可夫链，试证： (1 ) P{X n.1=i n1,X n.2=i n.2, ,X n^ ~lnm |X 0 - i 0,X ^i 1, ,X n=i n }= P{X n ・1 =in1,X n 2 - i n 2 , , X n m - i n m | X n - i n }(2) P{X 0 =i°,X 1 , X n - i n , Xn 2 ~ i n 2 , , X n ~ i n m | Xn ~ i n 1}= P{X ° = i°,X 1 二「…，X n -i n |X n^^i n-1} P{X n-2 ~ i n 2 / , Xn m i n m | Xn 1 _ i n 1}设{X n , n _1}为有限齐次马尔可夫链，其初始分布和转移概率矩阵为 每次抛掷出现正面的概率为 p ,对于n 一 2求，令X n =0, 3. 4. P i 二 P{X 。
5. P{X 2=4|X 设{X(t),r T}为随机过程 立同分布随机变量序列，令 {Y n , n _0}是马尔可夫链。
1/4 1/4 1/4 1/4"1/4 1/4 1/4 1/4 1/4 1/8 1/4 3/8J/4 1/4 1/4 1/4』0=1, 1 <X 1<4^ P{X ，且 X 1 =X(t 1),X 2，试证 1 「4"3,4，八 2 = 4 |1 :： X r :： 4}= X(t 2),…，X n = X(tJ …为独 Y 0 -0,Y ^-Y(t 1W X 1,Y ncY n 4^X n, n 一2，试证0.5 0.56.已知随机游动的转移概率矩阵为0.5 0.5 ,求三步转移概率矩阵 P (3)及0.5(1) P T(O) =(0.4, 02 0.4), P 二0.80.80.1 0.10.70.2 020.20.60.7 0.1 0.1 0.1?0.1 0.6 0.2 0.1(2) P T(0)=(02 02 0.3, 0.3) , p =0.1 0.1 0.6 0.230.1 0.2 0.5」求下一、二个月的销售状态分布。
