随机过程[2]

第二章 Markov 过程 习题解答1、 设}1,{≥n n ξ为相互独立同分布的随机变量序列，其分布为：01}0{,0}1{>-===>==p q P p P n n ξξ定义随机序列}2,{≥n X n 和}2,{≥n Y n 如下：⎪⎪⎩⎪⎪⎨⎧=========----;1,1,3;0,1,2;1,0,1;0,0,01111n nn n n n n nn X ξξξξξξξξ ⎩⎨⎧===-;,1;0,0,01其它n n n Y ξξ试问随机序列}2,{≥n X n 和}2,{≥n Y n 是否为马氏链？如果是的话，请写出其一步转移概率矩阵并研究各个状态的性质。

不是的话，请说明理由。

解：（1）显然，随机序列}2,{≥n X n 的状态空间为}3,2,1,0{=S 。

任意取S i i i j i n ∈-132,,,,, ，由于当i X n =给定时，即1,-n n ξξ的值给定时，就可以确定1+n X 的概率特性，即我们有：}{},,,,{12233111i X j X P i X i X i X i X j X P n n n n n n ========+--+因此}2,{≥n X n 是齐次马氏链，其一步转移概率矩阵为：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=p qp q p q p qP 0000000 由于01,0>-=>p q p ，画出状态转移图，可知各个状态都相通，且都是非周期的，因此此链是不可约的遍历链。

（也可以利用02>P 判定此链是不可约的遍历链）（2）显然，}2,{≥n Y n 的状态空间为}1,0{=S ，由于：}1,1{}1,1,0{}1,10{23234234=========Y Y P Y Y Y P Y Y Y P}0,1{}0,1,0{}0,10{23234234=========Y Y P Y Y Y P Y Y Y P由}2,{≥n Y n 的定义，可知}1,1,1{}1,1,0{}0,1,1{}0,1,0{}1,0,1{}1,1{12312312312312323===⋃===⋃===⋃⋃===⋃======ξξξξξξξξξξξξξξξY Y}1,1,0,0{}0,1,0,0{}1,1,0{12341234234====⋃========ξξξξξξξξY Y Y}0,0,1{}0,1{12323======ξξξY Y ， ∅====}0,1,0{234Y Y Y利用}1,{≥n n ξ是相互独立同分布的随机变量序列及其分布，我们有：322233}1,1{q q p pq Y Y P ++=== 223234}1,1,0{q p pq Y Y Y P +==== 223}0,1{pq Y Y P ===0}0,1,0{234====Y Y Y P即有：22222343}1,10{q p pq qp pq Y Y Y P +++==== 0}0,10{234====Y Y Y P由于01,0>-=>p q p ，因此有}0,10{}1,10{234234===≠===Y Y Y P Y Y Y P根据马氏链的定义可知}2,{≥n Y n 不是马氏链。

第二章Markov 过程习题完整答案，请搜淘宝1、 设}1,{≥n n ξ为相互独立同分布的随机变量序列，其分布为：01}0{,0}1{>-===>==p q P p P n n ξξ定义随机序列}2,{≥n X n 和}2,{≥n Y n 如下：⎪⎪⎩⎪⎪⎨⎧=========----;1,1,3;0,1,2;1,0,1;0,0,01111n nn n n n n nn X ξξξξξξξξ ⎩⎨⎧===-;,1;0,0,01其它n n n Y ξξ试问随机序列}2,{≥n X n 和}2,{≥n Y n 是否为马氏链？如果是的话，请写出其一步转移概率矩阵并研究各个状态的性质。

不是的话，请说明理由。

2、 天气预拨模型如下：今日是否下雨依赖于前三天是否有雨（即一连三天有雨；前两天有雨，第三天是晴天；…），试将此问题归纳为马尔可夫链，并确定其状态空间。

如果过去一连三天有雨，今天有雨的概率是0.8；过去三天连续为晴天，而今天有雨的概率为0.2；在其它天气情况时，今日的天气和昨日相同的概率为0.6。

试求此马氏链的转移概率矩阵。

3、 设}0;{≥n X n 是一齐次马氏链，状态空间为}2,1,0{=S ，它的初始状态的概率分布为：4/1}0{0==X P ，2/1}1{0==X P ，4/1}2{0==X P ，它的一步转移转移概率矩阵为：⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=4341031313104341P （1） 计算概率：}1,1,0{210===X X X P ； （2） 计算)3(12)2(01,p p 。

4、 独立地连续抛掷一颗质地均匀的骰子，以n ξ表示前n 次抛掷出的最大点数，试证明}1;{≥n n ξ是一马氏链，并求其n 步转移概率矩阵。

5、 设有一个三个状态}2,1,0{=S 的齐次马氏链，它的一步转移概率矩阵为：⎪⎪⎪⎭⎫ ⎝⎛=33221100p q q p q p P 试求：（1） )3(01)2(01)1(01)3(00)2(00)1(00,,,,,f f f f f f ； （2） 确定状态分类，哪些属于常返的，哪些属于非常返的。

⎪2. （1） 求参数为(p , b )的Γ 分布的特征函数，其概率密度为⎧ b p p (x ) = ⎪ x p -1e -bx , x > 0 b > 0, p 是正整数（2）求其期望和方差。

⎨Γ( p ) ⎪⎩0 x ≤ 0（3）证明对具有相同参数b 的Γ 分布，关于参数 p 具有可加性。

解 （1） 首先，我们知道Γ 函数有下面的性质：Γ(p ) = (p -1)!根据特征函数的定义，有f X (t ) = E [e jtX]= ⎰∞ejtxp (x )dx = ⎰e jtxb p Γ(p ) x p -1e -bx dx= ⎰0bpΓ( p ) -∞ 0x p -1e -(b - jt )x dx =b p 1p -1 -(b - jt )x ∞ b p p - 1 ∞ p -2 -(b - jt )x Γ(p ) - (b - jt ) x e0 + Γ( p ) (b - jt ) ⎰0 x e dx = b p p - 1 ⎰∞ x p -2 e -(b - jt )x dx Γ(p ) (b - jt ) 0 ==b p ( p - 1)! ∞ 0 -(b - jt )x Γ(p ) (b - jt )p -1 ⎰0 x e dx= b p ( p - 1)! = ⎛ b ⎫ Γ(p ) (b - jt )p b - jt ⎪ ⎝ ⎭所以⎛ b ⎫ pf X (t ) = ⎪b - jt ⎝ ⎭（2）根据期望的定义，有∞∞ p]⎰ b ⎰ ∞( )∞b pp -1 -bxb p∞p -bxm X = E [X ] = ⎰-∞ xp x dx = ⎰0 x Γ(p ) x e dx = Γ( p ) ⎰0 x e dx = b p 1 p -bx ∞ b p p ∞p -1 -bxΓ( p ) - b x e 0 + Γ(p ) b ⎰0 xe dx = p ⎰∞ bp -1 -bx = p ⎰∞ ( ) = p b 0 Γ( p ) x 类似的，有e dx p x dx b -∞ bE [X 2= ∞x 2-∞ p (x )dx = ⎰0 2b px Γ(p ) x p -1e -bx dx = p Γ(p ) ⎰0x p +1e -bx dx b p 1 p +1 -bx ∞ b p ( p + 1) ∞ p -bx= Γ( p ) - b x e 0 + Γ(p ) b ⎰0 x e dx= b p Γ( p ) =(p + 1) b 0 x p e -bx dx= (p + 1)p ∞ b pp -1 -bx= ( p + 1)p ∞ ( )b 2⎰0=(p + 1)p b 2Γ(p ) xe dxb 2⎰-∞p x dx所以， X 的方差为D X =E [X 2]- m 2= ( p + 1)p b 2⎛ p ⎫2⎪ b= p b 2⎝ ⎭ （3）p ∞∞ ∞ X -M M M M ∑ ∑ i =1 k =1 i =1 k =1i =1 k =1i =1 k =15. 试证函数 ( ) =e jt (1 - e jnt ) 为一特征函数，并求它所对应的随机变f tn (1 - e jt )量的分布。

1、 设有状态空间为}4,3,2,1,0{=S 的齐次Markov 链}0;{≥n X n ，其初始分布为),,,,()0(43210p p p p p =π一步转移矩阵为 ⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=1000000000000000001p q p q p qP 试回答以下问题： （1） 求出该马氏链进入各常返类的概率；（2） 求出该马氏链平均多长时间进入常返类集；（3） 计算：nn P ∞→lim 。

2、 （网球比赛）：网球一局比赛在两个选手（发球者和接发球者）之间进行，网球的记分制是：15、30、40、和60分。

平分是指第五球后双方分数相同。

平分后，从第六球开始，如果发球者得分/失分，则此时发球者占先/接发球者占先。

如果发球者在发球占先后再得分，则发球者赢得该局。

如果接发球者在接发球后占先后再得分，则接发球者赢得该局。

若发球者发一球获胜的概率为p ，输的概率为q ，1=+q p ，试回答以下问题：（1） 试用马氏链建模网球一局比赛过程，确定其状态，画出状态转移图；（2） 分析各状态的性质；（3） 试确定一局网球比赛发球者获胜的概率；（4） 试确定一局比赛平均需要发几个球才能结束。

3、 设有状态空间为}4,3,2,1,0{=S 的齐次Markov 链}0;{≥n X n ，其一步转移概率为⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=2/12/10004/14/104/14/1002/12/10004/34/1000001P 试回答以下问题：（1） 研究此马氏链的状态性质，并对各状态进行分类；（2） 针对状态1和2，确定其平稳分布；（3） 若i 和j 是非常返状态，试求ii f 、ij f 、ji f 和jj f ；（4） 假设该链起始的时候等概率处于非常返状态，试求该链进入常返状态集的期望步数；（5） 假设该链起始的时候等概率处于非常返状态，求出该马氏链进入各常返类的概率；（6） 计算：}12{35==X X P ；（7） 计算：nn P ∞→lim 。

第二章 平稳过程2. 设随机过程()sin X t Ut =，其中U 是在[]02π，上均匀分布的随机变量。

试证 （1）若t T ∈，而{}12T = ，，，则(){}12X t t = ，，，是平稳过程； （2）若t T ∈，而[)0T =+∞，，则(){}0X t t ≥，不是平稳过程。

证明：由题意，U 的分布密度为：()10220u f u ππ⎧<<⎪=⎨⎪⎩，，其它数学期望()()[]sin X m t E X t E Ut ==⎡⎤⎣⎦()()2220001111sin sin cos cos 212222ut du ut d ut ut t t t t ππππππππ=⋅==-=--⎰⎰.相关函数()()()()()sin sin X X R R t t E X t X t E Ut U t ττττ=+=+=⋅+⎡⎤⎡⎤⎣⎦⎣⎦，()()()2200111sin sin cos 2cos 222ut u t du ut u u du ππτττππ⎛⎫=⋅+⋅=⋅-+--⎡⎤ ⎪⎣⎦⎝⎭⎰⎰ ()()2220001111cos 2cos sin 2sin 442u t u du u t u t πππττττππττ⎡⎤=-+-=-+-⎡⎤⎢⎥⎣⎦+⎢⎥⎣⎦⎰()()11sin 22sin 2424t t πτπτπτπτ=-+++.（1）若t T ∈，而{}12T = ，，时，()0X m t =，()X R τ只与τ有关，二者均与t 无关，因此，(){}12X t t = ，，，是平稳过程。

（2）若t T ∈，而[)0T =+∞，时，()X m t 可能取到不是常数的值，所取到的值与t 有关，()X R τ取到的值也与t 有关，因此，(){}0X t t ≥，不是平稳过程。

3. 设随机过程()()0cos X t A t ωΦ=+，t -∞<<+∞其中0ω是常数，A 和Φ是独立随机变量。

2随机过程的基本概念§2.1 基本概念随机过程是指一族随机变量.对随机过程的统计分析称为随机过程论,它是随机数学中的一个重要分支，产生于本世纪的初期.其研究对象是随机现象，而它特别研究的是随“时间”变化的“动态”的随机现象.一随机过程的定义1 定义设E为随机试验，S为其样本空间，如果（1）对于每个参数t∈T, X(e,t)为建立在S上的随机变量，（2）对每一个e∈S, X(e,t)为t的函数，那么称随机变量族{X(e,t), t∈T, e∈S}为一个随机过程，简记为{X(e,t), t∈T}或X(t)。

()()()()(){}{}[]()为随机序列。

时，通常称，取可列集合当可以为无穷。

通常有三种形式：参数一般表示时间或空间，或有时也简写为一个轨道。

随机过程的一个实现或过程的样本函数，或称随机的一般函数，通常称为为对于：上的二元单值函数。

为即若用映射来表示注意：t X T T T b a b a T T T T t X t X t e X T t e X S e S T t e X RS T t e X t21321,,,,3,2,1,0,1,2,3,,3,2,1,0T ,.4,.3,,2,:,.1=---==ÎÎ×δ®´L L L为一个随机过程。

则令掷一均匀硬币，例),()(cos )(},{1t e X t X Rt T e t H e t t X T H S =Îîíì====p 2 随机过程举例îíì=====为随机变量的函数均为和解释：T e t He t t e X t t t T X t t H X 000cos ),(),(cos ),((p p 2121cos ),(000p t t t e X p 并且：例2：用X(t)表示电话交换台在(0，t)时间内接到的呼唤的次数,则(1)对于固定的时刻t, X(t)为随机变量,其样本空间为{0，1，2，…..},且对于不同的t,是不同的随机变量.(2)对于固定的样本点n, X(t)=n是一个t的函数.(即：在多长时间内来n个人?)所以{X(t),t>0}为一个随机过程.相位正弦波。

第二章一、填空题1、随机过程若按状态空间与参数集分类可分为＿＿、＿＿、＿＿、＿＿四类.2、＿＿是随机过程{X(t)，t∈T}在时刻t的平均值，＿＿是随机过程在时刻t对均值m x(t)的偏离程度，而＿＿和＿＿则反映随机过程{X(t)，t∈T}在时刻s和t 时的线性相关度.3、若随机变量x服从（01）分布，即p k=p{x=k}=,k=0,1则其特征函数g(t)=＿＿.4、若随机变量X服从参数为的指数分布，则其特征函数g(t)=＿＿.5、若随机变量X服从退化分布，即p(X=c)=1，其中c为常数，则其特征函数g(t)=＿＿.二、计算题1、已知Γ分布，X～Γ(α，β)，若其中α，β>0，试求Γ分布的特征函数.2、设随机变量X服从泊松分布,即p k=p(X=k)=,k=0,1,…,n,求其特征函数.3、设随机过程X(t)=Y+Zt，t>0,其中Y，Z是相互独立的N（0，1）随机变量，求{ X(t)，t>0}的一，二维概率密度族.4、设随机过程：0),sin()cos()(>+=t t Z t Y t X θθ，其中Y 、Z 是相互独立的随机变量，且EY=EZ=0，DY=DZ=δ2，求{X(t)，t>0}的均值函数、协方差函数和方差函数.5、设随机变量Y 具有概率密度f(y)，令)0,0(,)(>>=-Y t t X eYt，求随机过程X(t)的一维概率密度及EX(t)，R x (t 1,t 2).6、设随机过程Z t =，t 0，其中X 1,X 2,…,X n 是相互独立的，且服从N(0,)的随机变量，ω1, ω2,…, ωn 是常数，求{Z t ，t}的均值函数m(t)和相关函数R(s,t).参考答案:一、填空题1、离散参数链，连续参数链，随机序列，随机过程2、均值函数m X(t)，方差函数D X(t)，协方差函数B X(s，t)，相关函数R X(s，t)3、q+p4、5、二、解答题1、1、g(t)===其中：Γ(α)=2、g(t)= = ===3、由于X与Z是相互独立的正态随机变量，故其线性组合仍为正态随机变量，要计算{X(t)，t>0}的一、二维随机概率密度，只要计算数字特征m x(t)，D X(t)，即可. m x(t)=E(Y+Zt)=EY+tEZ=0，D X(t)=D(Y+Zt)=DY+t2DZ=1+t2，B X(s,t)=EX(s)X(t)- m x(s) m x(t)=E(Y+Zs)(Y+Zt)=1+st，==，故随机过程{X(t)，t>0}的一、二维概率密度分别为f t(x)=exp{-}，t>0，f s,t(x1,x2)=.exp{[]}, s,t>0,其中4、由数学期望的性质)sin()cos()]sin()cos([)(=+=+=EZ t EY t t Z t Y E t EX θθθθ又因为Y 、Z 相互独立，故])cos[()()sin()sin()()cos()cos()]sin()cos()][sin()cos([)]()([),(),(σ222θθθθθθθθθs t Z E t s Y E t s t Z t Y s Z s Y E t X s X E t s t s RBxX-=+=++===DX(t)=5、有随机变量函数的概率密度公式知：X(t)的一维概率密度：0,/)/ln ()(/)()()()(>-='='=t tx t x f y x y f x y y f x fX(t)的均值函数和相关函数为：dy e y f E t EX ytYte ⎰∞--==0)()()( dy y f e eeE t X t X E t t R t t y Yt Yt x )(][)]()([),(0)(21212121⎰∞+---===6、m(t)=E(Z t )=E[]=0，R(s,t)=E(Zs )=E===。

设)(t ξ是一马尔可夫过程，又设k n n n t t t t t ++<<<<<< 121。

试证明：)/(),,/(1/1,,/11++++++=n n t t k n n n t t t x x f x x x f n n k n n n即一个马尔可夫过程的反向也具有马尔可夫性。

证明：首先，由条件概率的定义式得),,(),,,(),,/(1,,1,,,1,,/111k n n t t k n n n t t t k n n n t t t x x f x x x f x x x f k n n k n n n k n n n ++++++++++++=根据马尔可夫性将上式中的分子和分母展开，并化简得)()()/()()/()/()()/()/()/(),,/(11/112/1/1/12/1/1,,/11112111211+++++-+++++-+++++++++-+++++-++++==n t n t n n t t n t n n t t k n k n t t n t n n t t n n t t k n k n t t k n n n t t t x f x f x x f x f x x f x x f x f x x f x x f x x f x x x f n n n n n n n k n k n n n n n n k n k n k n n n于是，)/()(),(),,/(1/11,1,,/1111++++++++++==n n t t n t n n t t k n n n t t t x x f x f x x f x x x f n n n n n k n n n试证明对于任何一个马尔可夫过程，如“现在”的)(t ξ值为已知，则该过程的“过去”和“将来”是相互统计独立的，即如果有321t t t <<，其中2t 代表“现在”，1t 代表“过去”，3t 代表“将来”，若22)(x t =ξ为已知值。