清华大学随机过程答案1

一、1.1设二维随机变量(,)的联合概率密度函数为：试求:在时,求。

解：当时，＝＝1.2 设离散型随机变量X服从几何分布：试求的特征函数，并以此求其期望与方差。

解：所以：2.1 袋中红球，每隔单位时间从袋中有一个白球，两个任取一球后放回，对每 对应随机变量一个确定的t⎪⎩⎪⎨⎧=时取得白球如果对时取得红球如果对t e t tt X t 3)(.维分布函数族试求这个随机过程的一2.2 设随机过程，其中是常数，与是相互独立的随机变量，服从区间上的均匀分布，服从瑞利分布，其概率密度为试证明为宽平稳过程。

解：（1）与无关（2），所以（3）只与时间间隔有关，所以为宽平稳过程。

2.3是随机变量，且，其中设随机过程U t U t X 2cos )(=求：，.5)(5)(==U D U E.321）方差函数）协方差函数；（）均值函数；（（2.4是其中，设有两个随机过程U Ut t Y Ut t X ,)()(32==.5)(=U D 随机变量，且数。

试求它们的互协方差函2.5，试求随机过程是两个随机变量设B At t X B A 3)(,,+=的均值),(+∞-∞=∈T t 相互独若函数和自相关函数B A ,.),()(),2,0(~),4,1(~,21t t R t m U B N A X X 及则且立为多少？3.1一队学生顺次等候体检。

设每人体检所需的时间服从均值为2分钟的指数分布并且与其他人所需时间相互独立，则1小时内平均有多少学生接受过体检？在这1小时内最多有40名学生接受过体检的概率是多少（设学生非常多，医生不会空闲）解：令()N t 表示(0,)t 时间内的体检人数，则()N t 为参数为30的poisson 过程。

以小时为单位。

则((1))30E N =。

40300(30)((1)40)!k k P N e k -=≤=∑。

3.2在某公共汽车起点站有两路公共汽车。

乘客乘坐1,2路公共汽车的强度分别为1λ，2λ，当1路公共汽车有1N 人乘坐后出发；2路公共汽车在有2N 人乘坐后出发。

随机过程作业第一章 P9例题6：随机过程X(t)=A+Bt, t ≥0, 其中A 和B 是独立随机变量，分布服从正态分布N(0, 1)。

求X(t)的一维和二维分布。

解 先求一维分布。

当t 固定，X(t)是随机变量，因为 EX(t)=EA+tEB=0, DX(t)=DA+2t DB=1+2t故X(t)具有正态分布N(0, 1+2t )。

这亦是随机过程X(t)的一维分布。

再求二维分布。

当1t , 2t 固定， X(1t )=A+B 1t , X(2t )=A+B 2t因A 、B 独立同正态分布，故(A, B)T 亦为二维正态分布。

则其线性变换也服从正态分布。

且所以二维分布是数学期望为(0, 0)T,协方差矩阵 的二维正态分布。

P10例题7：随机过程X(t)=Acost, -∞<t<∞,其中A 是随机变量,且有分布列 A 1 2 3 P 1/3 1/3 1/3 求 (1) 一维分布函数(2) 二维分布函数解 (1) 先求所以222211211)DX(t ,1)DX(t , 0)EX(t ,0)(t t t EX +=+===212121211))(())()X(t ())X(t ),(cov(t t Bt A Bt A E t X E t X +=++==⎥⎦⎤⎢⎣⎡++++222121211111t t t t t t )3π,0x x F )2πF(x;x F ;,( ),4;(21π( ;) 4F x π。

X()cos ,442A A ππ==显然，三值，，易知它仅取2232 22{()42P X π=={cos 42P A π==1P{A 1},3==31}223)4({ ,31 }2)4({====ππX P X P 同理，⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎨⎧≥<≤<≤<= 2 23 x 1,2 23x 2 ,32 2 x 22 ,3122 x 0 )4; ( ，πx F进而有P18例题1：具有随机初相位的简谐波 其中a 与 是正常数，而 服从在区间[0，2 ]上的均匀分布， 求X(t)的数学期望方差和相关函数。

一、1.1设二维随机变量(,)的联合概率密度函数为：试求:在时,求。

解：当时，＝＝1.2 设离散型随机变量X服从几何分布：试求的特征函数，并以此求其期望与方差。

解：所以：2.1 袋中红球，每隔单位时间从袋中有一个白球，两个任取一球后放回，对每 对应随机变量一个确定的t⎪⎩⎪⎨⎧=时取得白球如果对时取得红球如果对t e t tt X t 3)(.维分布函数族试求这个随机过程的一2.2 设随机过程，其中是常数，与是相互独立的随机变量，服从区间上的均匀分布，服从瑞利分布，其概率密度为试证明为宽平稳过程。

解：（1）与无关（2），所以（3）只与时间间隔有关，所以为宽平稳过程。

2.3是随机变量，且，其中设随机过程U t U t X 2cos )(=求：，.5)(5)(==U D U E.321）方差函数）协方差函数；（）均值函数；（（2.4是其中，设有两个随机过程U Ut t Y Ut t X ,)()(32==.5)(=U D 随机变量，且数。

试求它们的互协方差函2.5，试求随机过程是两个随机变量设B At t X B A 3)(,,+=的均值),(+∞-∞=∈T t 相互独若函数和自相关函数B A ,.),()(),2,0(~),4,1(~,21t t R t m U B N A X X 及则且立为多少？3.1一队学生顺次等候体检。

设每人体检所需的时间服从均值为2分钟的指数分布并且与其他人所需时间相互独立，则1小时内平均有多少学生接受过体检？在这1小时内最多有40名学生接受过体检的概率是多少（设学生非常多，医生不会空闲）解：令()N t 表示(0,)t 时间内的体检人数，则()N t 为参数为30的poisson 过程。

以小时为单位。

则((1))30E N =。

40300(30)((1)40)!k k P N e k -=≤=∑。

3.2在某公共汽车起点站有两路公共汽车。

乘客乘坐1,2路公共汽车的强度分别为1λ，2λ，当1路公共汽车有1N 人乘坐后出发；2路公共汽车在有2N 人乘坐后出发。

随机过程考试试题及答案详解1、（15分)设随机过程C t R t X +⋅=)(,),0(∞∈t ,C 为常数，R 服从]1,0[区间上的均匀分布。

(1)求)(t X 的一维概率密度和一维分布函数; (２）求)(t X 的均值函数、相关函数和协方差函数。

【理论基础】 （1）⎰∞-=xdt t f x F )()(,则)(t f 为密度函数；(2）)(t X 为),(b a 上的均匀分布,概率密度函数⎪⎩⎪⎨⎧<<-=其他,0,1)(bx a a b x f ，分布函数⎪⎩⎪⎨⎧>≤≤--<=b x b x a ab a x a x x F ,1,,0)(，2)(ba x E +=，12)()(2a b x D -=; （３)参数为λ的指数分布,概率密度函数⎩⎨⎧<≥=-0,00,)(x x e x f x λλ,分布函数⎩⎨⎧<≥-=-0,00,1)(x x e x F x λ，λ1)(=x E ，21)(λ=x D ； （4)2)(,)(σμ==x D x E 的正态分布，概率密度函数∞<<-∞=--x e x f x ,21)(222)(σμπσ,分布函数∞<<-∞=⎰∞---x dt ex F xt ,21)(222)(σμπσ,若1,0==σμ时，其为标准正态分布。

【解答】本题可参加课本习题２.1及2.2题。

(1)因R 为]1,0[上的均匀分布,C 为常数,故)(t X 亦为均匀分布。

由R 的取值范围可知，)(t X 为],[t C C +上的均匀分布,因此其一维概率密度⎪⎩⎪⎨⎧+≤≤=其他,0,1)(tC x C t x f ,一维分布函数⎪⎩⎪⎨⎧+>+≤≤-<=t C x t C X C tC x C x x F ,1,,0)(;(2)根据相关定义,均值函数C tt EX t m X +==2)()(； 相关函数2)(231)]()([),(C t s C st t X s X E t s R X +++==；协方差函数12)]}()()][()({[),(stt m t X s m s X E t s B X X X =--=（当t s =时为方差函数) 【注】)()()(22X E X E X D -=；)()(),(),(t m s m t s R t s B X X X X -=求概率密度的通解公式|)(|/)(|)(|)()(''y x y f x y y f x f t ==２、(1５分)设{}∞<<∞-t t W ),(是参数为2σ的维纳过程，)4,1(~N R 是正态分布随机变量；且对任意的∞<<∞-t ，)(t W 与R 均独立。

一、1.1设二维随机变量(,)的联合概率密度函数为：试求:在时,求。

解：当时，＝＝1.2 设离散型随机变量X服从几何分布：试求的特征函数，并以此求其期望与方差。

解：所以：2.1 袋中红球，每隔单位时间从袋中有一个白球，两个任取一球后放回，对每对应随机变量一个确定的t⎪⎩⎪⎨⎧=时取得白球如果对时取得红球如果对t et t t X t 3)(.维分布函数族试求这个随机过程的一2.2 设随机过程，其中是常数，与是相互独立的随机变量，服从区间上的均匀分布，服从瑞利分布，其概率密度为试证明为宽平稳过程。

解：（1）与无关（2），所以（3）只与时间间隔有关，所以为宽平稳过程。

2.3是随机变量，且，其中设随机过程U t U t X 2cos )(=求：，.5)(5)(==U D U E.321）方差函数）协方差函数；（）均值函数；（（2.4是其中，设有两个随机过程U Utt Y Ut t X ,)()(32==.5)(=U D 随机变量，且数。

试求它们的互协方差函2.5，试求随机过程是两个随机变量设B At t X B A 3)(,,+=的均值),(+∞-∞=∈T t 相互独若函数和自相关函数B A ,.),()(),2,0(~),4,1(~,21t t R t m U B N A X X 及则且立为多少？3.1一队学生顺次等候体检。

设每人体检所需的时间服从均值为2分钟的指数分布并且与其他人所需时间相互独立，则1小时内平均有多少学生接受过体检？在这1小时内最多有40名学生接受过体检的概率是多少（设学生非常多，医生不会空闲）解：令()N t 表示(0,)t 时间内的体检人数，则()N t 为参数为30的poisson 过程。

以小时为单位。

则((1))30E N =。

4030(30)((1)40)!kk P N ek -=≤=∑。

3.2在某公共汽车起点站有两路公共汽车。

乘客乘坐1,2路公共汽车的强度分别为1λ，2λ，当1路公共汽车有1N 人乘坐后出发；2路公共汽车在有2N 人乘坐后出发。

随机过程作业题及参考答案（第一章）第一章随机过程基本概念P391. 设随机过程 X tX cos 0t ， t，其中0 是正常数，而X 是标准正态变量。

试求 X t的一维概率分布。

解：1当 cos0t0 ，0tk，即 t1 k 1（ kz ）时，22 X t 0，则 P X t1.2当 cos0t0，0tk，即 t1 k 1（ kz ）时，22X~N 0，1， E X0，D X 1.E X tE X cos 0t E X cos 0t 0 .D X tD X cos0tD X cos 20tcos 2 0t .X t ~ N 0，cos 20t .1x 2则 fx ；te 2cos 2 0t .2 cos 0t2. 利用投掷一枚硬币的试验，定义随机过程为cos ，出现正面X t，出现反面2t假定 “出现正面” 和“出现反面” 的概率各为11 。

试确定 X t 的一维分布函数F x ；22和 F x ；1 ，以及二维分布函数1 。

F x 1，x 2；，12随机过程作业题及参考答案（第一章）解：， x 0X10 11 1 12，； P Xxx 122p k1 1 2x1， 221X 112，x 11 1 ；1，1 x 2p kF x 1 P X 1 x222x2，1随机矢量X1，X 1的可能取值为0， 1 ，1，2.2而PX10，X 111，PX11，X1 2 1 .2222F x 1，x 2 1P X1 x 1，X 1 x 2；，1 22，x 1或10 x 21， 且或且 1 x 2 22 0 x 1 1 x 21 x 1x 12， 且1 1 x 23. 设随机过程X t ， t总共有三条样本曲线X t ，11 X t ，2sint， X t ，3 cost，且P 1PP 31t和相关函数 R X t 1，t 2。

2。

试求数学期望 EX3随机过程作业题及参考答案（第一章）解：EX t1 1sint1cost1 1 1 sint cost .333 3，E X t 1 X t 2R X t 1 t 21 1 1 1sint 1 sint 2 1 cost 1 cost 23 331 1 sint 1 sint2 cost 1 cost 2 31 1 cos t 1 t2 .34. 设随机过程X te Xt ，（ t 0），其中 X 是具有分布密度f x 的随机变量。

第一章习题解答1． 设随机变量X 服从几何分布，即：(),0,1,2,k P X k pq k ===。

求X 的特征函数，EX 及DX 。

其中01,1p q p <<=-是已知参数。

解()()jtxjtk k X k f t E ee pq ∞===∑ 0()k jtkk p q e∞==∑ =0()1jt kjt k pp qe qe∞==-∑ 又20()kk k k q q E X kpq p kq pp p∞∞======∑∑ 222()()[()]q D X E X E X P =-=（其中 00(1)nnn n n n nxn x x ∞∞∞====+-∑∑∑）令 0()(1)n n S x n x ∞==+∑则 1000()(1)1xxnn k n x S t dt n tdt xx∞∞+===+==-∑∑⎰⎰ 202201()()(1)11(1)1(1)xn n dS x S t dt dxx xnx x x x ∞=∴==-∴=-=---⎰∑同理 2(1)2kkkk k k k k k x k x kx x ∞∞∞∞=====+--∑∑∑∑令20()(1)k k S x k x ∞==+∑ 则211()(1)(1)xkk k k k k S t dt k t dt k xkx ∞∞∞+====+=+=∑∑∑⎰）2、（1） 求参数为(,)p b 的Γ分布的特征函数，其概率密度函数为1,0()0,0()0,0p p bxb x e x p x b p p x --⎧>⎪=>>Γ⎨⎪≤⎩（2） 其期望和方差；（3） 证明对具有相同的参数的b 的Γ分布，关于参数p 具有可加性。

解 （1）设X 服从(,)p b Γ分布，则10()()p jtxp bxX b f t ex e dx p ∞--=Γ⎰ 1()0()p p jt b x b x e dx p ∞--=Γ⎰101()()()()(1)p u p p p p p b e u b u jt b x du jt p b jt b jt b∞----==Γ---⎰ 10(())x p p e x dx ∞--Γ=⎰ （2）'1()(0)X p E X f j b∴== 2''221(1)()(0)X p p E X f j b+==222()()()PD XE X E X b ∴=== （4） 若(,)i i X p b Γ 1,2i = 则121212()()()()(1)P P X X X X jt f t f t f t b-++==-1212(,)Y X X P P b ∴=+Γ+同理可得：()()iiP X b f t b jt∑=∑-3、设ln (),()(k Z F X E Z k =并求是常数）。

随机过程习题解答（一）第一讲作业：1、设随机向量的两个分量相互独立，且均服从标准正态分布。

（a）分别写出随机变量和的分布密度（b）试问：与是否独立？说明理由。

解：（a）（b）由于：因此是服从正态分布的二维随机向量，其协方差矩阵为：因此与独立。

2、设和为独立的随机变量，期望和方差分别为和。

（a）试求和的相关系数；（b）与能否不相关？能否有严格线性函数关系？若能，试分别写出条件。

解：（a）利用的独立性，由计算有：（b）当的时候，和线性相关，即3、设是一个实的均值为零，二阶矩存在的随机过程，其相关函数为，且是一个周期为T的函数，即，试求方差函数。

解：由定义，有：4、考察两个谐波随机信号和，其中：式中和为正的常数；是内均匀分布的随机变量，是标准正态分布的随机变量。

（a）求的均值、方差和相关函数；（b）若与独立，求与Y的互相关函数。

解：（a）（b）第二讲作业：P33/2．解：其中为整数，为脉宽从而有一维分布密度：P33/3．解：由周期性及三角关系，有：反函数，因此有一维分布：P35/4. 解：(1) 其中由题意可知，的联合概率密度为：利用变换：，及雅克比行列式：我们有的联合分布密度为：因此有：且V和相互独立独立。

（2）典型样本函数是一条正弦曲线。

（3）给定一时刻，由于独立、服从正态分布，因此也服从正态分布，且所以。

（4）由于：所以因此当时，当时，由（1）中的结论，有：P36/7．证明：(1)(2) 由协方差函数的定义，有：P37/10. 解：（1）当i =j 时；否则令，则有第三讲作业：P111/7．解：（1）是齐次马氏链。

经过次交换后，甲袋中白球数仅仅与次交换后的状态有关，和之前的状态和交换次数无关。

（2）由题意，我们有一步转移矩阵：P111/8．解：（1）由马氏链的马氏性，我们有：（2）由齐次马氏链的性质，有：，（2）因此：P112/9．解：（2）由（1）的结论，当为偶数时，递推可得：；计算有：，递推得到，因此有：P112/11．解：矩阵 的特征多项式为：由此可得特征值为：，及特征向量：，则有：因此有：（1）令矩阵P112/12．解：设一次观察今天及前两天的天气状况，将连续三天的天气状况定义为马氏链的状态，则此问题就是一个马氏链，它有8个状态。

习题11. 令X(t)为二阶矩存在的随机过程，试证它是宽平稳的当且仅当EX(s)与E[X(s)X(s+t)]都不依赖s.证明：充分性：若X(t)为宽平稳的，则由定义知EX(t)=μ， EX(s)X(s+t)=r(t) 均与s 无关必要性：若EX(s)与EX(s)X(s+t)都与s 无关，说明EX(t)=常数， EX(s)X(s+t)为t 的函数2. 记1U ，．．．，n U 为在（０,１）中均匀分布的独立随机变量，对0 < t , x < 1定义I( t , x)=⎩⎨⎧>≤，，，，t x t x 01并记X(t)=),(11∑=nk k U t I n ，10≤≤t ，这是1U ，．．．，n U 的经验分布函数。

试求过程X （t ）的均值和协方差函数。

解： EI ()k U t ,= P ()t U k ≤= t ， D()),(k U t I = EI ()k U t ,－()2),(kU t EI= t －2t = t(1－t)j k ≠， cov ()),(),(j k U s I U t I ，=EI(t,k U )I(s,j U )－EI(t, k U )EI(s, j U ) = st －st=0k = j ， cov ()),(),(j k U s I U t I ，= EI(t,k U )I(s,j U )－st = min(t,s)－stEX(t)=),(11∑=n k k U t EI n =∑=nk tn 11= tcov ())(),(s X t X =()()),(),,(cov 1),(),,(cov 1212j kjk nk k k U s I Ut I n U s I U t I n ∑∑≠=+=[]∑=nk st t s n12),min(1－=()st t s n－),min(13.令1Z ，2Z 为独立的正态分布随机变量，均值为0，方差为2σ，λ为实数，定义过程()t Sin Z t Cos Z t X λλ21+=.试求()t X 的均值函数和协方差函数，它是宽平稳的吗？Solution: ()221,0~,σN Z Z . 02221==EZ EZ .()()221σ==Z D Z D ，()0,21=Z Z Cov ,()0=t EX ，()()()()()[]s Sin Z s Cos Z t Sin Z t Cos Z E s X t X Cov λλλλ2121,+⋅+=[]t C o s S i n Z Z s t S i n C o s Z Z s t S i n S i n Z t C o s C o s Z E λλλλλλλλ12212221+++=()02++=s t S i n S i n s t C o s C o s λλλλσ =()[]λσs t Cos -2(){}t X 为宽平稳过程.4.Poisson 过程()0,≥t t X 满足（i ）()00=X ；(ii)对s t >，()()s X t X -服从均值为()s t -λ的Poisson 分布；（iii ）过程是有独立增量的.试求其均值函数和协方差函数.它是宽平稳的吗？Solution ()()()()t X t X E t EX λ=-=0，()()t t X D λ= ()()()()()s t s X t EX s X t X Cov λλ⋅-=,()()()()()ts s EX s X s X t X E 22λ-+-= ()()()()ts s EX s X D 220λ-++=()ts s s 22λλλ-+=()t s s λλλ-+=1 显然()t X 不是宽平稳的.5. ()t X 为第4题中的Poisson 过程，记()()()t X t X t y -+=1，试求过程()t y 的均值函数和协方差函数，并研究其平稳性. Solution ()λλ=⋅=1t Ey , ()()λ=t y DCov(y(t),y(s))=Ey(t)y(s)-Ey(t)y(s)=E(x(t+1)-x(t))(x(s+1)-x(s))-λ2(1)若s+1<t, 即s≤t-1，则Cov(y(t),y(s))=0-λ2=-λ2(2)若t<s+1≤t+1, 即t>s>t-1, 则Cov(y(t),y(s))=E[x(t+1)-x(s+1)+x(s+1)-x(t)][x(s+1)-x(t)+x(t)-x(s)] -λ2=E(x(t+1)-x(s+1))(x(s+1)-x(t))+E(x(t+1)-x(s+1))(x(t)-x(s))+E(x(s+1)-x(t))+E(x(s+1)-x(t))(x(t)-x(s))- λ2=λ(s+1-t)= λ-λ(t-s)- λ2(3) 若t<s<t+1Cov(y(t),y(s))= E [x(t+1)-x(s)+x(s)-x(t)] [x(s+1)-x(t+1)+x(t+1)-x(s)]- λ2 =(x(t+1)-x(s))(x(s+1)-x(t+1))+E(x(t+1)-x(s))(x(t+1)-x(s))+E(x(s)-x(t))(x(s+1)-x(t+1))+E(x(s)-x(t))(x(t+1)-x(s))- λ2=0+λ(t+1-s)+0-λ2=λ+λ(t-s)- λ2(4) 若s>t+1 Cov(y(t),y(s))=0-λ2=-λ2由此知，故方差只与t-s有关，与t,s无关故此过程为宽平稳的。

随机过程部分习题答案习题22.1 设随机过程b t b Vt t X ),,0(,)(+∞∈+=为常数，)1,0(~N V ，求)(t X 的一维概率密度、均值和相关函数。

解 因)1,0(~N V，所以1,0==DV EV ，b Vt t X +=)(也服从正态分布，b b tEV b Vt E t X E =+=+=][)]([ 22][)]([t DV t b Vt D t X D ==+=所以),(~)(2t b N t X ，)(t X 的一维概率密度为),(,21);(222)(+∞-∞∈=--x ett x f t b x π，),0(+∞∈t均值函数 b t X E t m X ==)]([)(相关函数)])([()]()([),(b Vt b Vs E t X s X E t s R X ++==][22b btV bsV stV E +++=2b st +=2.2 设随机变量Y 具有概率密度)(y f ，令Yt e t X -=)(，0,0>>Y t ，求随机过程)(t X 的一维概率密度及),(),(21t t R t EX X 。

解 对于任意0>t，Yt e t X -=)(是随机变量Y 的函数是随机变量，根据随机变量函数的分布的求法，}ln {}{})({);(x Yt P x e P x t X P t x F t Y ≤-=≤=≤=-)ln (1}ln {1}ln {tx F t x Y P t x Y P Y --=-≤-=-≥= 对x 求导得)(t X 的一维概率密度xtt x f t x f Y 1)ln ();(-=，0>t均值函数⎰∞+--===0)(][)]([)(dy y f e eE t X E t m yt tY X相关函数⎰+∞+-+---====0)()(2121)(][][)]()([),(212121dy y f e e E e e E t X t X E t t R t t y t t Y t Y t Y X2.3 若从0=t 开始每隔21秒抛掷一枚均匀的硬币做实验，定义随机过程⎩⎨⎧=时刻抛得反面时刻抛得正面t t t t t X ,2),cos()(π 试求：（1）)(t X 的一维分布函数),1(),21(x F x F 和；（2）)(t X 的二维分布函数),;1,21(21x x F ；（3）)(t X 的均值)1(),(X X m t m ，方差 )1(),(22X Xt σσ。

随机过程课后试题答案1. 题目：简述离散时间马尔可夫链和连续时间马尔可夫链的基本概念和性质。

答案：离散时间马尔可夫链（Discrete-time Markov Chain）是指在时间上的变化是离散的、状态空间是有限或可列无限的马尔可夫链。

其基本概念和性质如下：1.1 基本概念：- 状态空间：马尔可夫链的状态空间是指系统可能处于的状态集合，记作S。

离散时间马尔可夫链的状态空间可以是有限集合或可列无限集合。

- 转移概率：转移概率是指在给定前一个状态的条件下，系统转移到下一个状态的概率。

用P(i, j)表示系统从状态i转移到状态j的概率，其中i和j属于状态空间S。

- 转移概率矩阵：转移概率矩阵P是指表示从任一状态i到任一状态j的转移概率的矩阵。

对于离散时间马尔可夫链，转移概率矩阵是一个方形矩阵，维数与状态空间大小相同。

- 平稳概率分布：对于离散时间马尔可夫链，如果存在一个概率分布π，满足π = πP，其中π是一个行向量，P是转移概率矩阵，则称π为马尔可夫链的平稳概率分布。

1.2 性质：- 马尔可夫性：离散时间马尔可夫链具有马尔可夫性，即将来状态的发展只与当前状态有关，与过去的状态无关。

- 遍历性：若马尔可夫链中任意两个状态之间都存在路径使得概率大于零，则称该马尔可夫链是遍历的。

遍历性保证了马尔可夫链具有长期稳定的性质。

- 正常概率性：对于离散时间马尔可夫链，转移概率矩阵P的元素都是非负的，并且每一行的元素之和等于1。

- 可约性和不可约性：如果一个马尔可夫链中的所有状态彼此之间都是可达的，则称该马尔可夫链是不可约的。

反之，则称它是可约的。

不可约性保证了任意状态之间都可以相互转移。

- 周期性：对于不可约的离散时间马尔可夫链，如果存在某个状态，从该状态出发回到该状态所需的步数的最大公约数大于1，则称该状态是周期的。

若所有状态都是非周期的则称该马尔可夫链是非周期的。

2. 题目：连续时间马尔可夫链的定义和性质有哪些？答案：连续时间马尔可夫链（Continuous-time Markov Chain）是指在时间上的变化是连续的、状态空间是有限或可列无限的马尔可夫链。

随机过程课后试题答案一、选择题1. 随机过程的基本定义中，样本空间通常表示为：A. 一个集合B. 一个函数集合C. 一个概率空间D. 一个参数集合答案：A2. 若随机过程的样本轨迹几乎是连续的，则该过程是：A. 离散时间随机过程B. 连续时间随机过程C. 泊松过程D. 马尔可夫过程答案：B3. 马尔可夫性质的含义是未来的状态只依赖于当前状态，而与过去的状态无关。

这一性质不适用于：A. 泊松过程B. 布朗运动C. 马尔可夫链D. 所有随机过程答案：D4. 在随机过程中，如果两个随机变量的联合分布可以表示为它们各自的边缘分布的乘积，则这两个随机变量是：A. 独立的B. 相关的C. 正相关的D. 负相关的答案：A5. 随机游走的期望步长是：A. 1B. 2C. 依赖于起始点D. 依赖于步长分布答案：D二、填空题1. 一个随机过程的样本函数是定义在参数集合上的_________函数。

答案：实值或随机2. 在随机过程中，如果给定当前状态，下一状态的条件概率分布仅依赖于当前状态而不依赖于之前的状态，那么该过程是一个_________过程。

答案：马尔可夫3. 随机过程的均值函数（或称数学期望函数）是描述过程长期行为的重要工具，它是一个关于_________的函数。

答案：时间4. 布朗运动是一种连续时间随机过程，其样本轨迹具有_________性质。

答案：无处处可微5. 泊松过程是一种描述事件在时间上随机发生的随机过程，其特点是事件在任意两个不重叠时间区间内发生是_________的。

答案：相互独立三、计算题1. 假设有一个离散时间马尔可夫链，其状态转移矩阵为：\[P = \begin{bmatrix}0.7 & 0.3 \\0.4 & 0.6\end{bmatrix}\]求该马尔可夫链在第二时刻的状态概率分布，给定初始状态概率分布为：\\[\pi_0 = \begin{bmatrix}0.5 \\0.5\end{bmatrix}\]解：首先计算\( P^2 \)，即状态转移矩阵的二次幂，然后利用\( \pi_0 \)和\( P^2 \)来计算第二时刻的状态概率分布。