第三章 马尔科夫过程1、将一颗筛子扔多次。
记X n 为第n 次扔正面出现的点数，问{X(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。
又记Y n 为前n 次扔出正面出现点数的总和，问{Y(n) , n=1,2,3,···}是马尔科夫链吗？如果是，试写出一步转移概率矩阵。
解：1)由已知可得，每次扔筛子正面出现的点数与以前的状态无关。
故X(n)是马尔科夫链。
E={1,2,3,4,5,6} ,其一步转移概率为:P ij = P ij =P{X(n+1)=j ∣X(n)=i }=1/6 (i=1,2,…,6,j=1,2,…,6) ∴转移矩阵为2)由已知可得，每前n 次扔正面出现点数的总和是相互独立的。
即每次n 次扔正面出现点数的总和与以前状态无关，故Y(n)为马尔科夫链。
其一步转移概率为其中2、一个质点在直线上做随机游动，一步向右的概率为p , (0<p<1)，一步向左的概率为 q , q =1-p 。
在x = 0 和x = a 出放置吸收壁。
记X(n)为第n 步质点的位置，它的可能值是0,1,2,···,a 。
试写出一步转移概率矩阵。
解：由已知可得, 其一步转移概率如下：故一步转移概率为3、做一系列独立的贝努里试验，其中每一次出现“成功”的概率为p ( 0<p<1 ) ,出现“失败”的概率为q , q = 1-p 。
如果第n 次试验出现“失败”认为 X(n) 取得数值为零；如果第n 次试验出现“成功”，且接连着前面k 次试验都出现“成功”，而第 n-k 次试验出现“失败”，认为X(n)取值k ，问{X(n) , n =1,2,···}是马尔科夫链吗？试写出其一步转移概率。
解：由已知得：故为马尔科夫链，其一步转移概率为616161616161616161616161616161616161P ={6,,2,1,6/1,,8,7,,0)1,(+++=<++==+i i i j i j i i i j ij n n P 或)1(6,,2,1;6,,2,1,+++=++=n n n j n n n n i {}α,,2,1,0 =E )(0,1;)0(0,1)1,1(0,,1,,2,1101,1,ααααα≠==≠==+-≠===-=-+j P P j P P i i j P q P P P x j j ij i i i i 而时，当 10000000000000001Pp q p q p q ={}{}m m m m m m i n X l n X i n X i n X i n X l n X P ==+=====+)(0)()(,,)(,)(0)(2211 {}{}mm m m m m in X k l n X i n X i n X i n X k l n X P ==+=====+)()()(,,)(,)()(22114、在一个罐子中放入50个红球和50个蓝球。
