下载文档原格式
钱敏平龚光鲁随机过程答案（部分）随机过程课后习题答案第⼀章第⼆题：已知⼀列⼀维分布{();1}n F x n ≥，试构造⼀个概率空间及其上的⼀个相互独⽴的随机变量序列{(,);1}n n ξ?≥使得(,)n ξ?的分布函数为()n F x 。
解：有引理：设ξ为[0, 1]上均匀分布的随机变量，F(x)为某⼀随机变量的分布函数，且F(x)连续，那么1()F x η-=是以F(x)为分布的随机变量。
所以可以假设有相互独⽴的随机变量12,,...,n θθθ服从u[0, 1]分布，另有分布{()}n F x ，如果令1(,)()n n n F ξθ-?=，则有(,)n ξ?为服从分布()n F x 的随机变量。
⼜由假设条件可知，随机变量{(,),1}n n ξ?≥之间相互独⽴，则其中任意有限个随机变量12(,), (,),...,(,)n i i i ξξξ的联合分布为：11221122{(,),(,),...,(,)}()()()i i n in i i i i in in P i x i x i x F x F x F x ξξξ?≤?≤?≤=再令112{,,...,,...},,{|()[0,1],1,2,...}n i i i i w w w w A A x F x i -Ω=∈=∈=，令F 为Ω所有柱集的σ代数，则由Kolmogorov 定理可知，存在F 上唯⼀的概率测度P 使得：11221122{(,),(,),...,(,)}()()()i i n in i i i i in in P i w i w i w F w F w F w ξξξ?≤?≤?≤=则所构造的概率空间为(Ω,F , P)。
第⼋题：令{};1n X n ≥是⼀列相互独⽴且服从(0,1)N （正态分布）的随机变量。
⼜令1n n S X X =++22(1)n S n n ξ+=1(,,)n n F X X σ=试证明：,;1n n F n ξ≥（）是下鞅（参见23题）。
随机过程第三版课后答案【篇一：随机过程习题答案】们的均值分别为mx和my，它们的自相关函数分别为rx(?)和ry(?)。
（1）求z(t)=x(t)y(t)的自相关函数；（2）求z(t)=x(t)+y(t)的自相关函数。
答案：（1）rz(?)?e?z(t??)z(t)??e?x(t??)y(t??)x(t)y(t)?利用x(t)和y(t)独立的性质：rz(?)?e?x(t??)x(t)?e?y(t??)y(t)???rx(?)ry(?)（2）rz(?)?e?z(t??)z(t)??e??x(t??)?y(t??)???x(t)?y(t)?? ?e?x(t??)x (t)?x(t??)y(t)?y(t??)x(t)?y(t??)y(t)?仍然利用x(t)和y(t)互相独立的性质：rz(?)?rx(?)?2mxmy?ry(?)2、一个rc低通滤波电路如下图所示。
假定输入是均值为0、双边功率谱密度函数为n0/2的高斯白噪声。
（1）求输出信号的自相关函数和功率谱密度函数；（2）求输出信号的一维概率密度函数。
电流：i(t)电压：y(t)答案：（1）该系统的系统函数为h(s)?y(s)1? x(s)1?rcs则频率响应为h(j?)?11?jrc?n02而输入信号x(t)的功率谱密度函数为px(j?)?该系统是一个线性移不变系统，所以输出y(t)的功率谱密度函数为：py(j?)?px(j?)h(j?)?2n0/21?rc?2对py(j?)求傅里叶反变换，就得到输出的自相关函数：1ry(?)?2?????py(j?)ej??1d??2?n0/2j?????1?rc?2ed??（2）线性系统输入为高斯随机过程，则输出也一定是高斯的。
因此，为了求输出的一维概率密度函数，仅需知道输出随机过程的均值和方差即可。
均值：已知输入均值mx=0，则输出均值my=mxh(0)=02方差：ry(0)?var(y)?my因为均值为0，所以方差var(y)?ry(0)?一维pdf：略12?n0/2???1?rc2?2d??3、理想带通滤波器的中心频率为fc、带宽为b，其在通带的频率增益为1。
随机过程第三版课后答案【篇一：随机过程习题答案】们的均值分别为mx和my，它们的自相关函数分别为rx(?)和ry(?)。
（1）求z(t)=x(t)y(t)的自相关函数；（2）求z(t)=x(t)+y(t)的自相关函数。
答案：（1）rz(?)?e?z(t??)z(t)??e?x(t??)y(t??)x(t)y(t)?利用x(t)和y(t)独立的性质：rz(?)?e?x(t??)x(t)?e?y(t??)y(t)???rx(?)ry(?)（2）rz(?)?e?z(t??)z(t)??e??x(t??)?y(t??)???x(t)?y(t)?? ?e?x(t??)x (t)?x(t??)y(t)?y(t??)x(t)?y(t??)y(t)?仍然利用x(t)和y(t)互相独立的性质：rz(?)?rx(?)?2mxmy?ry(?)2、一个rc低通滤波电路如下图所示。
假定输入是均值为0、双边功率谱密度函数为n0/2的高斯白噪声。
（1）求输出信号的自相关函数和功率谱密度函数；（2）求输出信号的一维概率密度函数。
电流：i(t)电压：y(t)答案：（1）该系统的系统函数为h(s)?y(s)1? x(s)1?rcs则频率响应为h(j?)?11?jrc?n02而输入信号x(t)的功率谱密度函数为px(j?)?该系统是一个线性移不变系统，所以输出y(t)的功率谱密度函数为：py(j?)?px(j?)h(j?)?2n0/21?rc?2对py(j?)求傅里叶反变换，就得到输出的自相关函数：1ry(?)?2?????py(j?)ej??1d??2?n0/2j?????1?rc?2ed??（2）线性系统输入为高斯随机过程，则输出也一定是高斯的。
因此，为了求输出的一维概率密度函数，仅需知道输出随机过程的均值和方差即可。
均值：已知输入均值mx=0，则输出均值my=mxh(0)=02方差：ry(0)?var(y)?my因为均值为0，所以方差var(y)?ry(0)?一维pdf：略12?n0/2???1?rc2?2d??3、理想带通滤波器的中心频率为fc、带宽为b，其在通带的频率增益为1。
5.4 对于题5.2，若滤波器的输出，再加到第二个相同的滤波器中，仍用频域分析法求出第二个滤波器
的输出。
解：
第一个滤波器输入是
，则经过两个相同的滤波器以后的输出
5.14 假设一个零均值平稳随机过程
加到冲激响应为
（t.>=0）的线形滤波器中，证明
证明：
5.15 假设一个零均值平稳随机过程
，加到冲激响应为
的线性滤波器中，证明输出功率谱密度为。
证明：
所以，
5.18 假设随机过程
通过一个微分器，其输出过程
存在，微分器的传密为
，求（1）
与
的互功率谱密度。
（2）
的功率谱密度。
解：（1）
（2）
5.20 图为单个输入两个输出的线形系统，输入
为平稳随机过程，求证输出
和
的互谱密度为
证明：
令
，则
5.26 若线性系统输入平稳过程
的功率谱密度为
，现要求系统输出
的功率谱密度为
，求：相应的稳定系统的传输系数。
解：
5.29 某个放大器，其功率增益随频率的变化为
，求：该放大器的噪声带宽。
解：。
随机过程习题解答第一章习题解答1．设随机变量X 服从几何分布，即：(),0,1,2,kP X k pqk ===。
求X 的特征函数，EX 及DX 。
其中01,1p q p <<=-是已知参数。
解()()jtxjtk k X k f t E ee pq ∞===∑ =()1jt k jtk pp qe qe ∞==-∑又200()kkk k q qE X kpq p kq p p p ∞∞======∑∑（其中 0(1)nnnn n n nx n x x ∞∞∞====+-∑∑∑）令 0()(1)nn S x n x ∞==+∑则 1000()(1)1xxnn k n xS t dt n t dt x x∞∞+===+==-∑∑⎰⎰同理 2(1)2kkkk k k k k kx k x kx x ∞∞∞∞=====+--∑∑∑∑令2()(1)kk S x k x ∞==+∑ 则211()(1)(1)xkk kk k k S t dt k t dt k xkx ∞∞∞+====+=+=∑∑∑⎰）2、（1） 求参数为(,)p b 的Γ分布的特征函数，其概率密度函数为（2） 其期望和方差；（3）证明对具有相同的参数的b 的Γ分布，关于参数p 具有可加性。
解 （1）设X 服从(,)p b Γ分布，则 （2）'1()(0)Xp E X fjb∴==（4）若(,)i i X p b Γ 1,2i = 则同理可得：()()i i P X b f t b jt∑=∑-3、设ln (),()(kZ F X E Zk =并求是常数）。
X 是一随机变量，()F x 是其分布函数，且是严格单调的，求以下随机变量的特征函数。
（1）(),(0,)Y aF X b a b =+≠是常数； （2）ln (),()(kZ F X E Z k =并求是常数）。
解（1）11{()}{()}[()]P F x y P x F y F F y y --<=<==（01y ≤≤） ∴00()0111y F y yy y <⎧⎪=≤≤⎨⎪>⎩∴()F x 在区间[0，1]上服从均匀分布()F x ∴的特征函数为11001()(1)jtx jtx jt X e f t e dx e jt jt ===-⎰ （2）ln ()()()[]jtz jt F x Z f t E e E e ===1ln 01jt ye dy ⋅⎰=111jty dy jt =+⎰4、设12n X X X ，，相互独立，且有相同的几何分布，试求1nkk X =∑的分布。
湖南大学本科课程《随机过程》习题集主讲教师：何松华 教授第一章：概述及概率论复习1.1 设一批产品共50个，其中45个合格，5个为次品，从这一批产品中任意抽取3个，求其中有次品的概率。
1.2 设一批零件共100个，次品率为10%，每次从其中任取一个零件，取出的零件不再放回，求第3次才取得合格品的概率。
1.3 设一袋中有N 个球，其中有M 个红球，甲、乙两人先后各从袋中取出一个球，求乙取得红球的概率(甲取出的球不放回)。
1.4 设一批产品有N 个，其中有M 个次品，每次从其中任取一个来检查，取出后再放回，求连续n 次取得合格品的概率。
1.5设随机变量X 的概率分布函数为连续的，且0()00xA Be x F x x λ-⎧+≥=⎨<⎩其中λ≥0为常数，求常数A 、B 的值。
1.6设随机变量X 的分布函数为 ()() (-<<)F x A Barctg x x =+∞∞(1) 求系数A 、B ；(2)求随机变量落在(-1,1)内的概率；(3)求其概率密度函数。
1.7已知二维随机变量(X,Y)的联合概率密度分布函数为6(2)0,1(,)0XY xy x y x y f x y elsewhere --≤≤⎧=⎨⎩(1)求条件概率密度函数|(|)X Y f x y 、|(|)Y X f y x ；(2)问X 、Y 是否相互独立？1.8已知随机变量X 的概率密度分布函数为22()()]2X X X x m f x σ-=- 随机变量Y 与X 的关系为 Y=cX+b ，其中c ，b 为常数。
求Y 的概率密度分布函数。
1.9设X 、Y 是两个相互独立的随机变量，其概率密度分布函数分别为101()0X x f x elsewhere ≤≤⎧=⎨⎩，0()0y Y e y f y elsewhere-⎧<=⎨⎩ 求随机变量Z=X+Y 的概率密度分布函数。
1.10设随机变量Y 与X 的关系为对数关系，Y=ln(X)，随机变量Y 服从均值为m Y 、标准差为σY 的正态分布，求X 的概率密度分布。
第5章1. 设{},0t B t ≥是一维标准Brown 运动, 判断它是否均方连续, 是否均方可微. 解：由均方连续准则，Brown 运动{},0t B t ≥的相关函数(,)R s t 为()()()()()22(,)s t s s s t t s t t E B B B B s s t R s t E B B E B B B B t t s⎧-+=≤⎪==⎨-+=≤⎪⎩故()000,R t t t =连续，故Brown 运动是均方连续的。
由均方可微准则，对Brown 运动，1[(,)(,)(,)(,)]1m in(,)m in(,)m in(,)1R t h t k R t h t R t t k R t t hkh k t h t k t h t t t k t k hk k hh++-+-++⎧≤⎪++-+-++⎪==⎨⎪≤⎪⎩ 当0,0h k →→时极限不存在，故Brown 运动不是均方可微的。
2. 设()()2212,~0,0,,,X Y N σσρ. 令0,tt t u X X tY Y X du =+=⎰, 2tt u Z X du =⎰，0s t ∀≤≤.1) 证明t X 在0t >上均方可微； 2) 求,t t Y Z 的均方导数.证：1）()()()()221122,,,()()s t s t R s t E X X E X sY X tY s t st σρσσσ∀==++=+++根据均方可微准则，相关函数(,)R s t 在(),t t 点广义二次可微：()()()()()()()()()()()(),0222211221122,022222112211222222,01lim[(,)(,)(,)(,)]1lim[2222]1limh k h k h k R t h t k R t h t R t t k R t t hkt h k t h t k t h t h t hkt k t k t t t hk hk σρσσσσρσσσσρσσσσρσσσσσ→→→++-+-++=++++++-++++-+++++++⎡⎤==⎣⎦故t X 在0t >上均方可微。
第五章复习题1. 证明泊松过程(){},0X t t ≥为连续时间齐次马尔可夫链。
证 先证泊松过程的马尔可夫性。
泊松过程是独立增量过程，且()00X =，对任意1210n n t t t t +<<<<<有1111111121211111{()|(),,()}{()()|()(0),()(),,()()}{()()}n n n n n n n n n n n n n n n n P X t i X t i X t i P X t X t i i X t X i X t X t i i X t X t i i P X t X t i i ++++--++====-=--=-=--=-=-=-另一方面111111{()|()}{()()|()(0)}{()()}n n n n n n n n n n n n n n P X t i X t i P X t X t i i X t X i P X t X t i i ++++++===-=--==-=- 所以111111{()|(),,()}{()|()}n n n n n n n n P X t i X t i X t i P X t i X t i ++++======即泊松过程是一个连续时间马尔可夫链。
再证齐次性，当j i ≥时，(){()|()}{()()}()!j itt P X s t j X s i P X s t X s j i ej i λλ--+===+-=-=-当j i <时,因增量只取非负整数值,故(),0ij p s t =，所以(),(,)()()!0,j it ij ij t ej i p s t p t j i j i λλ--⎧≥⎪==-⎨⎪<⎩转移概率与s 无关，泊松过程具有齐次性。
2、连续时间齐次马尔可夫链的科尔莫戈罗夫向后方程是()()()ijikkj ii ij k ip t qp t q p t ≠'=-∑，其矩阵表达式为()()P t QP t '=，其中()P t 是马尔可夫链的状态转移矩阵，Q 是马尔可夫链的转移速率矩阵。
随机过程部分习题答案习题22.1 设随机过程b t b Vt t X ),,0(,)(+∞∈+=为常数，)1,0(~N V ，求)(t X 的一维概率密度、均值和相关函数。
解 因)1,0(~N V，所以1,0==DV EV ，b Vt t X +=)(也服从正态分布，b b tEV b Vt E t X E =+=+=][)]([ 22][)]([t DV t b Vt D t X D ==+=所以),(~)(2t b N t X ，)(t X 的一维概率密度为),(,21);(222)(+∞-∞∈=--x ett x f t b x π，),0(+∞∈t均值函数 b t X E t m X ==)]([)(相关函数)])([()]()([),(b Vt b Vs E t X s X E t s R X ++==][22b btV bsV stV E +++=2b st +=2.2 设随机变量Y 具有概率密度)(y f ，令Yt e t X -=)(，0,0>>Y t ，求随机过程)(t X 的一维概率密度及),(),(21t t R t EX X 。
解 对于任意0>t，Yt e t X -=)(是随机变量Y 的函数是随机变量，根据随机变量函数的分布的求法，}ln {}{})({);(x Yt P x e P x t X P t x F t Y ≤-=≤=≤=-)ln (1}ln {1}ln {tx F t x Y P t x Y P Y --=-≤-=-≥= 对x 求导得)(t X 的一维概率密度xtt x f t x f Y 1)ln ();(-=，0>t均值函数⎰∞+--===0)(][)]([)(dy y f e eE t X E t m yt tY X相关函数⎰+∞+-+---====0)()(2121)(][][)]()([),(212121dy y f e e E e e E t X t X E t t R t t y t t Y t Y t Y X2.3 若从0=t 开始每隔21秒抛掷一枚均匀的硬币做实验，定义随机过程⎩⎨⎧=时刻抛得反面时刻抛得正面t t t t t X ,2),cos()(π 试求：（1）)(t X 的一维分布函数),1(),21(x F x F 和；（2）)(t X 的二维分布函数),;1,21(21x x F ；（3）)(t X 的均值)1(),(X X m t m ，方差 )1(),(22X Xt σσ。
标准教材：随机过程基础及其应用/赵希人，彭秀艳编著索书号：O211.6/Z35-2备用教材：（这个非常多，内容一样一样的）工程随机过程/彭秀艳编著索书号：TB114/P50历年试题（页码对应备用教材）2007一、习题0.7（1）二、习题1.4三、例2.5.1—P80四、例2.1.2—P47五、习题2.2六、例3.2.2—P992008一、习题0.5二、习题1.4三、定理2.5.1—P76四、定理2.5.6—P80五、1、例2.5.1—P802、例2.2.2—P53六、例3.2.3—P992009（回忆版）一、习题1.12二、例2.2.3—P53三、例1.4.2与例1.5.5的融合四、定理2.5.3—P76五、习题0.8六、例3.2.22010一、习题0.4（附加条件给出两个新随机变量表达二、例1.2.1三、例2.1.4四、例2.2.2五、习题2.6六、习题3.3引理1.3.1 解法纠正 许瓦兹不等式()222E XY E X E Y ⎡⎤⎡⎤≤⎡⎤⎣⎦⎣⎦⎣⎦证明：()()()()222222222220440E X Y E X E XY E Y E XY E X E Y E XY E X E Y λλλ +⎡⎤⎡⎤=++≥⎣⎦⎣⎦∴∆≤⎡⎤⎡⎤∴-≤⎡⎤⎣⎦⎣⎦⎣⎦⎡⎤⎡⎤∴≤⎡⎤⎣⎦⎣⎦⎣⎦例1.4.2 解法详解已知随机过程(){},X t t T ∈的均值为零，相关函数为()121212,,,,0a t t t t et t T a --Γ=∈>为常数。
求其积分过程()(){},t Y t X d t T ττ=∈⎰的均值函数()Y m t 和相关函数()12,Y t t Γ。
解：()0Y m t =不妨设12t t >()()()()()()1212222112121122122100,,Y t t t t t t t t t EY t Y t E X d X d d d τττττττττΓ===Γ⎰⎰⎰⎰()()()()()222121122221222112222212221212121212000220022002200222211||111111||211ττττττττττττττττττττττττ--------------=+-=+=---=+-+⎡=++--⎣⎰⎰⎰⎰⎰⎰⎰⎰t t t a a t t a a a a t t t a a at a t a at t a t t at at ed d ed de d e d a ae d e d a a t t e e a a a a t e e e a a⎤⎦同理当21t t >时()()2112112221,1a t t at at Y t t t e e e a a----⎡⎤Γ=++--⎣⎦ （此处书上印刷有误）例1.5.5解法同上例1.5.6 解法详解 普松过程公式推导：(){}()()()()()()()()()()()1lim !lim 1!!!1lim 1!!lim 1lim !lim lim !第一项可看做幂级数展开：第二项将分子的阶乘进行变换：→∞-→∞-→∞---∆-→∞→∞-→∞→∞===-∆∆-⎡⎤⎡⎤⎡⎤=-∆∆⎢⎥⎢⎥⎣⎦-⎣⎦⎣⎦⎡⎤⎡⎤-∆==⎢⎥⎣⎦⎣⎦⎡⎤⋅∆=∆⎢⎥--⎣⎦N k N N kkN N k kN N kN kq t qtN N k N kk k N N P X t k C P N q t q t k N k N q t q t N k k q t e e N N N q t q t N k N ()()()()()!lim 1!-→∞⎡⎤⎢⎥⎣⎦⎡⎤⎡⎤=∆⋅=⋅=⎢⎥⎣⎦-⎣⎦N k k k k kN k N q t N qt qt N k (){}()()()()!1lim 1!!!N kkN kqt P X t k N q t q t N k k qt ek -→∞-∴=⎡⎤⎡⎤⎡⎤=-∆∆⎢⎥⎢⎥⎣⎦-⎣⎦⎣⎦=例2.1.2 解法详解设(){},X t t -∞<<+∞为零均值正交增量过程且()()2212121,E X t X t t t t t -=->⎡⎤⎣⎦，令()()()1Y t X t X t =--，试证明(){},Y t t -∞<<+∞为平稳过程。
第五章 离散参数Markov 链5.1 Markov 链的基本概念 1．Markov 链和转移概率矩阵 定义5-1考虑只取有限个或可数个值的随机过程{},0,1,2,nX n = ．把过程所取可能值的全体称为它的状态空间，记之为E ，通常假{}0,1,2,E = ．若n X i =就说“过程在时刻n 处于状态i ”．若对任意状态011,,,(,n 0)n i i i i j -≥ 及任意的有11111001(|,,,,)(|)n n n n n n n P X j X i X i X i X i P X j X i +--+======== 这样的随机过程称为Markov 链．假设每当过程处于状态i ，则在下一个时刻将处于状态j 的概率是固定的ijp ，即对任意时刻n ，有1(|)n nijP X j X i p +===，称过程具有齐次性．称矩阵00010201011121012j j i i i ij p p p p p p p p P p p p p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦是一步转移概率矩阵，简称为转移矩阵． 由ijp 的定义可知，这是一种带有平稳转移概率的Markov 链，也称作时间齐次Markov 链或简称时齐次Markov 链．我们研究的均为齐次马氏链．2．例题例5-1（直线上的随机游动）考虑在直线上整数点上运动的粒子，当它处于位置j 时，向右转移到j+1的概率为p ，而向左移动到j-1的概率为q=p-1，又设时刻0时粒子处在原点，即00X =．于是粒子在时刻n 所处的位置{}n X 就是一个Markov 链，且具有转移概率,1,10,jk p k j p q k j =+⎧⎪==-⎨⎪⎩其他当12p q ==时，称为简单对称随机游动．例5-6（排队模型）考虑顾客到服务台排队等候服务，在每个服务周期中只要服务台前有顾客在等待，就要对排队在队前的一位顾客提供服务，若服务台前无顾客时就不实施服务．设在第n 个服务周期中到达的顾客数为一随机变量n Y ，且序列{}nY 是独立同分布随机序列，即(),0,1,2,,n k P Y k p k === 且01k k p ∞==∑设n X 为服务周期n 开始时服务台前顾客数，则有11,1,0n n n n n n X Y X X Y X +-+≥⎧=⎨=⎩若若此时{},1nXn ≥为一Markov 链，其转移概率矩阵为01234012340123012000p p p p p p p p p p P p p p p p p p ⎡⎤⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦例5-8（生灭链）观察某种生物群体，以n X 表示在时刻n群体的数目，设为i 个数量单位，如在时刻n+1增生到i+1个数量单位的概率为i b ，减灭到i-1个数量单位的概率为i a ，保持不变的概率为1()i i i r a b =-+，则{},0nX n ≥为齐次马尔可夫链，{}0,1,2,E = ，其转移概率为,1,,1i ij i ib j i p r i ja j i =+⎧⎪==⎨⎪=-⎩ 0(0)a =,称此马尔可夫链为生灭链．3．定理5-1设随机过程{}nX 满足：（1）1(,)(1),n n n X f X n ξ-=≥其中:f E E E ⨯→，且n ξ取值在E 上； （2）{},1nn ξ≥为独立同分布随机变量，且0X 与{},1n n ξ≥也相互独立，则{}n X 是Markov 链，而且其一步转移概率为，对于任意,i j E ∈，1((,))ij p P f i j ξ==证明：设1n ≥，由上面(1)、(2)可知，1n ξ+与12,,,nX X X 互相独立，所以有1110011100111001(|,,,)((,)|,,,)((,)|,,,)((,))n n n n n n n n n n n n n n P X j X i X i X i P f X j X i X i X i P f i j X i X i X i P f i j ξξξ+--+--+--+================同理111001(|,,,)(|)n n n n n n P X j X i X i X i P X j X i +--+=======即{}nX 是Markov 链，由时间齐次性，其一步转移概率为1((,))ij p P f i j ξ==于是定理5-1得证．4．定理5-2时齐次Markov 链{}nX 完全由其初始状态的概率分布0(),1,2,i p P X i i ===和其转移概率矩阵()ijP p =所确定．证明：对于任意12,,,n i i i E ∈ ，计算有限维联合分布，由概率的乘法公式及马氏性可知1001121001100111100111100111111001111(,,,)(,,,)(|,,,)(,,,)(|)(,,,)n n n nn n n n n n n n n n n n n n n n i i i i i i i i i P X i X i X i P X i X i X i P X i X i X i X i P X i X i X i P X i X i P X i X i X i p p p p p ------------======================定理5-2得证． 5．例题 例5-9（1）（二项过程的概念）设在每次试验中，事件A 发生的概率为(01)p p <<，独立地重复进行这项试验，以n Y 表示到第n 次为止事件A 发生的次数，则{},1,2,nY n = 是一个二项过程．说明：令n X 表示第n 次试验中事件A 发生的次数，则n X ~(0)1,(1),1,2,n n P X p P X p n ==-=== 且独立．（易知{},1nX n ≥为马氏过程）而1,1,2,n n Y X X n =++= 服从二项分布(,)B n p ，故称此{},1nY n ≥为二项过程．（2）二项过程具有独立平稳增量性． 证明：易知增量1n l n n n l Y Y X X +++-=++ ，1121n l k n l n l n l k Y Y X X ++++++++++-=++ ，等等相互独立；且~(,),1,2,n m n Y Y B m p n +-= ，即具有平稳性． 即{},1nY n ≥为一个独立平稳增量过程．（3）独立平稳增量过程为马氏过程．5.2 C-K 方程1．定理5-3 Chapman-Kolmogorov 方程 对任何整数,0m n ≥， 有()()()m n m n ijik kj k Epp p +∈=∑或()()()m n m n P P P +=⨯证明：这里只需要证明()(1)n n P PP -=成立，再依次递推即可证明本定理．（？）因为()0100100101010(1)(|)(,|)(|)(|,)(|)(|)(n ij n n k n k n k n ik kj k P P X j X i P X j X k X i P X k X i P X j X i X k P X k X i P X j X k p p ∞=∞=∞=∞-====================∑∑∑∑由马氏性）根据矩阵的乘法规则，知()(1)n n P PP -=．定理得证．注：定义m 步转移概率()(|)m ijn m n pP X j X i +===，()m ijp 表示给定时刻n 时，过程处于状态i ，间隔m 步之后过程在时刻n+m 转移到了状态j 的条件概率．还约定(0)1iip =，(0)0ijp =，i j ≠以()n ijp 表示第i 行、第j 列的元素矩阵()n P =(()n ijp ),称为Markov 链的n 步转移概率矩阵．2．例题（两状态Markov 链） 例5-10在重复独立贝努里（Bernoulli ）试验中，每次试验有两种状态{}0,1E =，设{}nX 表示第n 次试验中出现的结果，且有(1),(0)1,1,2,n n P X p P X q p n =====-=其中01p <<，则{},1nX n ≥显然是独立同分布随机序列，从而它是Markov 链．于是经过计算有00100111,p p q p p p ====所以，一步转移概率矩阵为q p P qp ⎡⎤=⎢⎥⎣⎦而且有()n qp PP q p ⎡⎤==⎢⎥⎣⎦5.3 Markov 链的状态分类 1．互通 定义5-2称自状态i 可达状态j ，并记i j →，如果存在0n >，使()0n ijp >，称状态i 与j 互通（相同，互达），并记为i j ↔，如i j →且j i →2．定理5-4可达关系与互通关系都具有传递性，即如果i j →且j k →，则i k → 证：因为有i j →，j k →，所以存在1,1l m ≥≥，使()()0,0l m ij jk p p >>由C-K 方程()()()()()0l m l m l m ik is sk ij jk sp p p p p +=≥>∑这里1l m +≥，所以i k →成立．若将可达关系得证明正向进行，再反向进行，就可得出互通关系的传递性，证毕． 3．定义5-3 设{},1nXn ≥为齐次Markov 链，其状态空间为E 。
