齐次马氏链的遍历性

第二节齐次马尔可夫链之老阳三干创作一、齐次马尔可夫链的概念一个随机过程｛Xn,n＝0,1,2,…｝就是一族随机变量,而Xn 能取的各个不合的值,则称为状态.如果一个随机过程｛Xn,n ＝0,1,2,…｝,由一种状态转移到另一种状态的转移几率只与现在处于什么状态有关,而与在这时刻之前所处的状态完全无关,即如果过程｛Xn,n＝0,1,2,…｝中,Xn+1的条件几率散布只依赖于Xn的值,而与所有更前面的值相互独立,则该过程就是所谓马尔可夫(Markov)过程．马尔可夫链是指时间离散,状态也离散的马尔可夫过程.一个马尔可夫链,若从u时刻处于状态i,转移到t＋u时刻处于状态j的转移几率与转移的起始时间u无关,则称之为齐次马尔可夫链,简称齐次马氏链.如果把从状态i到状态j的一步转移几率记为pij,则pij＝P｛Xn+1＝j｜Xn＝i｝,i,j＝0,1,2,…,且有转移几率矩阵P,这样,一个齐次马氏链,可以由一个转移几率矩阵P以及在时刻零时状态x＝0,1,2,…的几率散布列向量Q＝(q(0),q(1),…)完全确定.由齐次马氏链性质知道,第i状态的行向量Ai与第i＋1状态的行向量Ai+1之间存在着关系式：Ai+1＝AiP.二、齐次马氏链在评估教学质量中的应用教学过程是一个随机过程,也就是说,对于具有相同基础知识布景的学生(个别),在同时接受新知识时是随机的.我们可以把一个班(群体)的学生划分为不合的等级(譬如：优、良、中、及格、不及格五个等级),近似地认为处于同一等级的学生具有相同的基础知识,用齐次马氏链,通过学生学习状态的转移几率矩阵,最终可以预测一个班学生学习成绩的稳定状态.对教师而言,也就可用来评估、预测一个班的教学质量.在教学效果指标的量化过程中,齐次马氏链评估法是将一个群体(如一个班或一个年级)的学生在某次考试中获得优(90分以上)、良(80～89分)、中(70～79分)、及格(60～69分)和不及格(59分以下)各等级学生人数占总人数之比,作为状态变量,并用向量暗示之.即R(t)＝(X1(t),X2(t),X3(t),X4(t),X5(t)),由于齐次马氏链与t时刻前的状态无关(呈无后效性),可以研究当t变更时,状态向量R(t)的变更规律,从而对教学效果进行评估.设经第一次考试,一个班n个学生中,优、良、中、及格、不及格的学生数辨别为ni(i＝1,2,3,4,5),则状态向量称作初始向量.为考察教学效果,继续阐发下一次考试时,上述学生的等级变更.若经第二次考试后,原来获优等成绩的n1名学生中,仍坚持优等的是n11人,转化为“良”,“中”,“及格”,“不及格”的学生辨别有n12,n13,n14,n15人,于是,第一次考试成绩优等的学生考试成绩转移情况是同样,其余各个等级的学生的考试成绩转移情况是向量中nij(i,j＝1,2,3,4,5)暗示从状态i酿成状态j的人数.这一转移情况用矩阵暗示为P为转移几率矩阵,简称转概阵.合适齐次马氏链学习状态转移几率矩阵的学生学习成绩最终必定趋于平稳状态X＝(x1,x2,x3,x4,x5),即 X＝X·P,也即 X(E－P)＝0,解此线性方程组,可得状态R(t)时学生学习成绩的平稳散布X.下面,我们仍以第一节表5－1中的15名学生的成绩为例,阐发这一群体在两次考试中学生等级的变更.按优、良、中、及格、不及格五等划分,辨别是2人、4人、4人、5人和0人,因此,各个等级学生转移情况辨别是第二次考试成绩散布状态依照这个变更规律,第三次考试成绩散布状态即在第三次考试后,学生中优等、良等的人数减少了,而中等的人数和及格的人数却在增加.这样,就可以阐发这组学生群体的变更状态.设该过程的平稳状态散布列为X,由于(E－P)TX＝0,从而可以断定,最终只有中等和及格两等级的学生,其人数辨别占总数的56％和44％.三、齐次马氏链在评估解题状态中的应用解决问题是数学教育的一项主要任务.如果能够把一个题目,按学生解题的认知过程的成长,分化成几个不合条理的状态,那么就可以用齐次马氏链去丈量一个群体(如一个班或一个年级的学生)解决问题的能力与状况.首先,我们认为解决一个问题的过程是由阐发S1、设计S2、探究S3、实施S4和验证S5这样五个状态组成的,并且这五个状态存在如图5－2的关系.分红了上面五个状态,我们可以认为解决问题的后一状态只与它的前一个状态有关,而与它的更前面的状态无关.这就完全合适齐次马氏链所要求的条件.图5－2的关系流程图,存在一个状态转移几率矩阵其中p23＋p24＝1,p31＋p32＝1.如果图5－2的关系流程图第i阶段的行向量为Ai＝(a1,a2,a3,a4,a5),由于A0＝(1,0,0,0,0),从而A1＝(0,1,0,0,0),A2＝A1P＝(0,0,p23,p24,0),A3＝A2P＝(p31p23,p23p32,0,0,p24),p24(P23P32＋1).应用齐次马氏链的关头在于找到一个转移几率矩阵中的pij,这就要从两个方面去控制,一是通过具体题目的解题过程划分几个不合状态(这一点相对来说是比较困难的),二是通过解题时间来控制解题过程,以阐发整个群体a的解题状态.例如,要求40名学生在10分钟内完成一个题目：求证：P1(2,3),P2(4,6),P3(6,9)三点共线.当然,对于这个题目,如何比较客不雅去阐发解题状态,即究竟做到哪一步才是从阐发S1到设计S2,哪一步才算是从设计S2到实施S4,这是比较困难的.但是,如果运用时间去控制解题状态,还是切实可行的.设8分钟以后,有30名学生圆满地证明了这个题目,剩下的10名学生中,经过老师的适当提示,又有6名学生完成了该题.这样对照关系流A0＝(1,0,0,0,0),A1＝(0,1,0,0,0),由A1可见,这40名学生全部从阐发状态S1转移到设计状态S2；由A2齐次马氏链,针对在规定的时间里,有相当一部分的学生完成解答,即处于图5－2关系流程图中验证状态S5,是比较有效的.但是,如果在规定的时间里,没有学生或者有很少学生顺利地完成解答,用控制时间的办法去测算解题状态是行欠亨的.这时,只能通过阐发题目的解题状态,具体地分清楚状态S1、S2、S3、S4和S5,才干使用上面办法,确定转概阵中的pij,从而正确使用齐次马氏链测算解题状态.。

随机过程第三版课后答案【篇一：随机过程习题答案】们的均值分别为mx和my，它们的自相关函数分别为rx(?)和ry(?)。

（1）求z(t)=x(t)y(t)的自相关函数；（2）求z(t)=x(t)+y(t)的自相关函数。

答案：（1）rz(?)?e?z(t??)z(t)??e?x(t??)y(t??)x(t)y(t)?利用x(t)和y(t)独立的性质：rz(?)?e?x(t??)x(t)?e?y(t??)y(t)???rx(?)ry(?)（2）rz(?)?e?z(t??)z(t)??e??x(t??)?y(t??)???x(t)?y(t)?? ?e?x(t??)x (t)?x(t??)y(t)?y(t??)x(t)?y(t??)y(t)?仍然利用x(t)和y(t)互相独立的性质：rz(?)?rx(?)?2mxmy?ry(?)2、一个rc低通滤波电路如下图所示。

假定输入是均值为0、双边功率谱密度函数为n0/2的高斯白噪声。

（1）求输出信号的自相关函数和功率谱密度函数；（2）求输出信号的一维概率密度函数。

电流：i(t)电压：y(t)答案：（1）该系统的系统函数为h(s)?y(s)1? x(s)1?rcs则频率响应为h(j?)?11?jrc?n02而输入信号x(t)的功率谱密度函数为px(j?)?该系统是一个线性移不变系统，所以输出y(t)的功率谱密度函数为：py(j?)?px(j?)h(j?)?2n0/21?rc?2对py(j?)求傅里叶反变换，就得到输出的自相关函数：1ry(?)?2?????py(j?)ej??1d??2?n0/2j?????1?rc?2ed??（2）线性系统输入为高斯随机过程，则输出也一定是高斯的。

因此，为了求输出的一维概率密度函数，仅需知道输出随机过程的均值和方差即可。

均值：已知输入均值mx=0，则输出均值my=mxh(0)=02方差：ry(0)?var(y)?my因为均值为0，所以方差var(y)?ry(0)?一维pdf：略12?n0/2???1?rc2?2d??3、理想带通滤波器的中心频率为fc、带宽为b，其在通带的频率增益为1。

山东财政学院2009—2010学年第 1 学期期末考试《应用随机过程》试卷(A )（考试时间为120分钟）参考答案及评分标准考试方式： 闭卷 开课学院 统计与数理学院 使用年级 07级 出题教师 张辉一． 判断题（每小题2分，共10分，正确划√，错误划ⅹ）1. 严平稳过程一定是宽平稳过程。

（ⅹ ）2. 非周期的正常返态是遍历态。

（√ ）3. 若马氏链的一步转移概率阵有零元，则可断定该马氏链不是遍历的。

（ⅹ ）4. 有限马尔科夫链没有零常返态。

（√ ）5．若状态i 有周期d, 则对任意1≥n , 一定有：0)(〉nd iip 。

（ⅹ ）二． 填空题（每小题5分，共10分） 1. 在保险公司的索赔模型中，设索赔要求以平均每月两次的速率的泊松过程到达保险公司，若每次赔付金额是均值为10000元的正态分布，一年中保险公司的平均赔付金额是＿＿240000元＿＿＿。

2．若一个矩阵是随机阵，则其元素满足的条件是：（1）任意元素非负（2）每行元素之和为1。

三． 简答题（每小题5分，共10分）1． 简述马氏链的遍历性。

答：设)(n ij p 是齐次马氏链{}1,≥n X n 的n 步转移概率，，如果对任意 I j i ∈,存在不依赖于i 的极限0)(〉=j n ij p p ，则称齐次马氏链{}1,≥n X n 具有遍历性。

2． 非齐次泊松过程与齐次泊松过程有何不同？答：非齐次泊松过程与齐次泊松过程的不同在于：强度λ不再是常数，而是与t 有关，也就是说，不再具有平稳增量性。

它反映了其变化与时间相关的过程。

如设备的故障率与使用年限有关，放射物质的衰变速度与衰败时间有关，等等。

四． 计算、证明题（共70分）1. 请写出C —K 方程，并证明之. （10分）解：2. 写出复合泊松过程的定义并推算其均值公式. （15分）解：若{}0),(≥t t N 是一个泊松过程，是Λ,2,1,=i Y i 一族独立同分布的随机变量，并且与{}0),(≥t t X 也是独立的， )(t X =∑=t N i i Y1，那么{}0),(≥t t X 复合泊松过程3. 顾客以泊松过程到达某商店，速率为小时人4=λ，已知商店上午9：00开门，求到9：30时仅到一位顾客，而到11：30时总计已达5位顾客的概率。