第十三章马尔可夫链(习题课)习题十三1. 已知齐次马尔可夫链的转移概率矩阵⎝⎛=03131P 323132⎪⎪⎪⎪⎪⎪⎪⎭⎫31310问此马尔可夫链有几个状态？求二步转移概率矩阵.解 因为转移概率矩阵是三阶的, 故此马尔可夫链的状态有三个;二步转移概率矩阵2)2()2()(P p P ij ==⎝⎛=0313*******⎪⎪⎪⎪⎪⎪⎪⎭⎫31310⎝⎛03131323132⎪⎪⎪⎪⎪⎪⎪⎭⎫31310⎝⎛=929293949594⎪⎪⎪⎪⎪⎪⎪⎭⎫939292 .2. 在一串贝努利试验中,事件A 在每次试验中发生的概率为p ,令⎩⎨⎧=发生次试验第不发生次试验第A n A n X n ,1,0 , ,3,2,1=n (1) },2,1,{ =n X n 是否齐次马尔可夫链？(2) 写出状态空间和转移概率矩阵; (3) 求n 步转移概率矩阵.解 (1) 根据题设条件知道 ,,,,21nX X X 是相互独立的, 所以 },2,1,{ =n X n 是马尔可夫链, 又转移概率⎩⎨⎧=======++1,0,}{}|{11j p j q j X P i X j X P n n n与n 无关,故},2,1,{ =n X n 是齐次马尔可夫链; (2) 状态空间}1,0{=S ,一步转移概率矩阵)(ij p P = ⎝⎛=q q ⎪⎪⎭⎫p p , ⎩⎨⎧========++1,0,}{}|{11j p j q j X P i X j X P p n n n ij . (3) n 步移概率矩阵nn ijn P pP==)()()( ⎝⎛=q q ⎪⎪⎭⎫p p . 3. 从次品率)10(<<p p 的一批产品中,每次随机抽查一个产品,以nX 表示前n 次抽查出的次品数,(1) },2,1,{ =n X n 是否齐次马尔可夫链？(2) 写出状态空间和转移概率矩阵; (3)如果这批产品共有100个,其中混杂了3个次品,作有放回抽样,求在抽查出2个次品的条件下,再抽查2次,共查出3个次品的概率. 解 (1)根据题意知,},2,1,{ =n X n 是齐次马尔可夫链; (2) 状态空间},,,2,1,0{ n S =, p 是次品率,p q -=1是正品率,根据题意知 ⎪⎪⎩⎪⎪⎨⎧+>+==<====+1,01,,,0}|{1i j i j p i j q i j i X j X P pn n ij, ,,,2,1,0,n j i = ;(3)次品率03.0=p , 所求概率为)2(232}2|3{p X X P n n ===+∑+∞==032k k k p p ++⋅+⋅++=000q p p q0582.097.003.022=⨯⨯==pq .4. 独立重复地掷一颗匀称的骰子,以nX 表示前n 次掷出的最小点数, (1) },2,1,{ =n X n 是否齐次马尔可夫链？(2) 写出状态空间和转移概率矩阵; (3)求}3|3,3{21===++n n n X X X P ; (4)求}1{2=X P .解 (1) 根据题意知,},2,1,{ =n X n 是齐次马尔可夫链;(2)状态空间 }6,5,4,3,2,1{,=S , }|{1i X j X P p nn ij ===+⎩⎨⎧≥=====+2,01,1}1|{11j j X j X P p n n j ,⎪⎪⎪⎩⎪⎪⎪⎨⎧≥======+3,02,651,61}2|{12j j j X j X P p n n j⎪⎪⎪⎩⎪⎪⎪⎨⎧≥======+4,03,642,1,61}3|{13j j j X j X P p n n j ,⎪⎪⎪⎩⎪⎪⎪⎨⎧=======+6,5,04,633,2,1,61}4|{14j j j X j X P p n n j ,⎪⎪⎪⎩⎪⎪⎪⎨⎧=======+6,05,624,3,2,1,61}5|{15j j j X j X P p n n j ,6,,2,1,61}6|{16 =====+j X j X P p n n j ;(3) }3|3,3{21===++n n n X X X P}3|3{1===+n n X X P }3,3|3{12===⋅++n n n X X X P}3|3{1===+n n X X P }3|3{12==⋅++n n X X P9464643333=⋅=⋅=p p ;(4) }|1{}{}1{126112i X X P i X P XP i ==⋅===∑=3611616116162=⋅+⋅=∑=i . 5.设齐次马尔可夫链},2,1,0,{ =n X n 的转移概率矩阵为⎝⎛=03131P 323132⎪⎪⎪⎪⎪⎪⎪⎭⎫31310 ,且初始概率分布为,31}{)0(0===j X P p j 3,2,1=j ,(1) 求}3,2,1{321===X X X P ; (2) 求}3{2=X P ; (3) 求平稳分布.解 (1)}3,2,1{321===X X X P}1,2|3{}1|2{}1{123121=======X X X P X X P X P}2|3{}1|2{}1{23121======X X P X X P X P23121}1{p p X P ⋅⋅==231203110}|1{}{p p j X X P j X P j ⋅⋅====∑= 23123110}{p p p j XP j j ⋅⋅==∑=814)03131(313132=++⨯⋅=; (2)}3{2=X P }|3{}{03120j X X P j X P j ====∑=)2(331}{j j p j XP ∑===277)939292(31=++= ;(3)平稳分布),,(321p p p 满足方程组031313211p p p p ++=,3231323212p p p p ++=,313103213p p p p ++=,1321=++p p p解之得41,42,41321===p p p .例6.具有三状态:0,1,2的一维随机游动,以j t X =)(表示时刻t 粒子处在状态),2,1,0(=j j 过程},,,),({210 t t t t t X =的一步转移概率矩阵⎝⎛=0q q P q p 0 ⎪⎪⎪⎭⎫p p 0 , (1) 求粒子从状态1经二步、经三步转移回到状态1 的转移概率;(2) 求过程的平稳分布.解 (1)}1)(|1)({2)2(11===+nn t X t X P ppq pq qp p pk k k20121=++==∑=,⎝⎛==222)2(q q q P P pq pq pq 2 ⎪⎪⎪⎪⎭⎫+222p pq p p ,⎝⎛+++==2333223)3(2pq q pq q p q q P P q p pq pq qp pq 2222++ ⎪⎪⎪⎪⎭⎫++3232222p q p p q p p 于是pq t X t X P p n n ====+}1)(|1)({3)3(11,(2) 平稳分布),,(210p p p 满足方程组 02100p q p q p p ++=, q p p p p p 21010++=, p p p p p p 21020++=,1210=++p p p ,解之得pq q p -=120 , pqpqp -=11,pq p p -=122 . 例7.设同型产品装在两个盒内,盒1内有8个一等品和2个二等品,盒2内有6个一等品和4个二等品.作有放回地随机抽查,每次抽查一个,第一次在盒1内取.取到一等品,继续在盒式内取;取到二等品,继续在2盒内取.以n X 表示第n 次取到产品的等级数,则},2,1,{ =n X n 是齐次马尔可夫链.(1) 写出状态空间和转移概率矩阵;(2) 恰第3、5、8次取到一等品的概率为多少？(3) 求过程的平稳分布解(1)根据题意, 状态空间}2,1{=S54108}1|1{111=====+n n X X P p, 51102}1|2{112=====+n n X X P p , 53106}2|1{121=====+n n X X P p ,52104}2|2{122=====+n n X X P p , 转移概率矩阵⎝⎛=5354P ⎪⎪⎪⎪⎭⎫5251 ; (2) 54}1{1==X P ,51}2{1==X P , }1,1,1{853===X X X P}1,1|1{}1|1{}1{358353=======X X X P X X P X P }1|1{}1|1{}1{58353======X X P X X P XP)3(11)2(113}1{p p X P ==9 )3(11)2(1121131}|1{}{p p i X X P i XP i ∑=====)3(11)2(1121)2(11}{p p p i XP i i ∑===,⎝⎛==251825192)2(P P ⎪⎪⎪⎪⎭⎫257256, ⎝⎛==12593125943)3(P P ⎪⎪⎪⎪⎭⎫1253212531,}1,1,1{853===X X X P)3(11)2(1121)2(11}{p p p i X P i i ∑===752.076.0)72.02.076.08.0(⨯⋅⨯+⨯=429783.0= ;(3) 平稳分布),(21p p 满足方程组 5354211p p p +=, 5251212p p p +=, 121=+p p ,解之得 431=p , 412=p .。
