第10章 多种状态转换模型1．某个三状态的马尔可夫链的转移概率由图10-1确定。
图10-1（1）给出转移概率矩阵P 。
（2）假设初始状态向量为计算状态向量（3）如果在时刻10的状态为1，计算在时刻12时处于状态1的概率。
（4）如果在时刻2的状态为2，计算状态向量（5）给出该过程的状态等价类，并说明状态的常返或非常返性。
（6）对非常返状态i ，计算（7）设过程的初始状态为2，计算过程处于状态2的期望次数。
（8）设过程的初始状态为2，计算过程能够到达状态0的概率。
解:（1）由图10-1可知概率转移矩阵P 为：（2）因为,由知： 220P ππ=（3）因为，由得：。
（4）因为，由得：。
（5）从图10-1可以看出，状态0和状态1相通，且状态0和状态1都无法到达状态2，因此该过程的状态等价类为{0，1}和{2}；0,1为常返，2为非常返。
（6）由于状态2与状态0,1不相通，因此。
（7）因为，所以。
（8）因状态2一定可以达到状态0，故。
2．某城市每天内的天气有雨和晴两种状况。
雨天和晴天的变化构成一个马尔可夫链。
如当天是雨天，那么下一天还是雨天的可能性是40％。
如当天是晴天，那么下一天还是晴天的可能性是80％。
（1）给出转移概率矩阵P 。
（2）如当天是雨天，计算三天后是雨天的概率有多大?（3）计算长期来说雨天的概率（即很久以后的某天是雨天的概率）。
（4）随机选择很久以后的不同的两天，那么两天都是雨天的概率有多大?220.750.250111741,0.50.503331212120.250.250.5π⎛⎫⎛⎫⎛⎫ ⎪=,=,, ⎪ ⎪ ⎪⎝⎭⎝⎭ ⎪⎝⎭21210P ππ=()2120.750.2500,100.50.500.250.250.5π⎛⎫ ⎪=,=⎪ ⎪⎝⎭242P ππ=()240.750.2500,010.50.500.250.250.5π⎛⎫ ⎪=,=⎪ ⎪⎝⎭20.5r =（5）随机选择很久以后的相邻的两天，那么两天都是雨天的概率有多大（6）若保险人同意对一年以后举行婚礼的某天不会有雨承保。
