~整理版~全部的随机过程

第一章随机过程 的基本概念与基本类型 一．随机变量及其分布X ，分布函数 F (x) P(X x) 1．随机变量 离散型随机变量 X 的概率分布用分布列 p P(X x k ) F(x)p kf (t)dt分布函数kxX 的概率分布用概率密度 f (x)F(x)分布函数连续型随机变量 2．n 维随机变量 X (X ,X , , X ) 1 2 n F(x) F(x ,x , ,x ) P(X x , X 2 x , , X n x n ,)其联合分布函数 1 2 n 1 1 2 离散型联合分布列连续型联合概率密度３．随机变量 的数字特征 数学期望：离散型随机变量 XEX x p kkXEX xf (x)dx连续型随机变量2DX E(X EX) 2 EX (EX) 2方差：反映随机变量取值 的离散程度协方差（两个随机变量 X ,Y ）：B E[( X EX)(Y EY)] E(XY) EX EYXYB XY相关系数（两个随机变量X,Y ）：0，则称 X ,Y 不相关。

若XYDX DY独立不相关itXg(t) E(e )itxe p k 连续 g(t)ke itxf (x)dx４．特征函数离散 g(t) 重要性质： g(0) 1，g(t) 1 g( t) g(t)，， g (0) i EX kk k５．常见随机变量 的分布列或概率密度、期望、方差 ０－１分布 二项分布P( X 1) p,P( X 0) qEX pDX pqP(X k) C p q n kk kEX npDX n p qnk泊松分布P( X k) ek!EXDX均匀分布略( x a)21 2N(a, ) f (x)222EX a正态分布eDX2xe ,x 0 0, x 011指数分布f (x)EXDX2X (X ,X , ,X ) 的联合概率密度 X ~ N(a, B) ６．Ｎ维正态随机变量1 2 n11 2T 1(x a) B (x a)}f (x , x , , x n ) exp{ 11 2n 2(2 ) | B |2a (a ,a , ,a )， x (x , x , ,x )， B (b ) 正定协方差阵 1 2 n 1 2 n ij n n二．随机过程 的基本概念 １．随机过程 的一般定义设 ( , P)是概率空间， T 是给定 的参数集，若对每个 t T ，都有一个随机变量 X 与之对应， X(t,e),t T ( , 是P)上 的随机过程。

随机过程知识点汇总随机过程是指一组随机变量{X(t)}，其中t属于某个集合T，每个随机变量X(t)都与一个时刻t相关联。

２．随机过程的分类随机过程可以分为离散时间随机过程和连续时间随机过程。

离散时间随机过程是指在离散的时间点上取值的随机过程，例如随机游走。

连续时间随机过程是指在连续的时间区间上取值的随机过程，例如XXX运动。

３．随机过程的数字特征随机过程的数字特征包括均值函数和自相关函数。

均值函数E[X(t)]描述了随机过程在不同时刻的平均取值。

自相关函数R(t1,t2)描述了随机过程在不同时刻的相关程度。

４．平稳随机过程平稳随机过程是指其均值函数和自相关函数都不随时间变化而变化的随机过程。

弱平稳随机过程的自相关函数只与时间差有关，而不依赖于具体的时间点。

强平稳随机过程的概率分布在时间上是不变的。

５．高斯随机过程高斯随机过程是指其任意有限个随机变量的线性组合都服从正态分布的随机过程。

高斯随机过程的均值函数和自相关函数可以唯一确定该过程。

６．马尔可夫随机过程马尔可夫随机过程是指其在给定当前状态下，未来状态的条件概率分布只依赖于当前状态，而与过去状态无关的随机过程。

马尔可夫性质可以用转移概率矩阵描述，并且可以用马尔可夫链来建模。

７．泊松过程泊松过程是指在一个时间段内随机事件发生的次数服从泊松分布的随机过程。

泊松过程的重要性质是独立增量和平稳增量。

８．随机过程的应用随机过程在金融学、信号处理、通信工程、控制理论等领域有广泛的应用。

例如，布朗运动被广泛应用于金融学中的期权定价，马尔可夫链被应用于自然语言处理中的语言模型。

t)|^2]协方差函数BZs,t)E[(ZsmZs))(ZtmZt))]，其中Zs和Zt是Z在时刻s和t的取值。

复随机过程是由实部和虚部构成的随机过程，其均值和方差函数分别由实部和虚部的均值和方差函数计算得到。

协方差函数和相关函数也可以类似地计算得到。

复随机过程在通信系统中有广泛的应用，例如调制解调、信道编解码等。

第 2 章 随机过程2.1 引言•确定性信号是时间的确定函数，随机信号是时间的不确定函数。

•通信中干扰是随机信号，通信中的有用信号也是随机信号。

•描述随机信号的数学工具是随机过程，基本的思想是把概率论中的随机变量的概念推广到时间函数。

2.2 随机过程的统计特性一.随机过程的数学定义：•设随机试验E 的可能结果为)(t g ，试验的样本空间S 为{x 1(t), x 2(t)， …, x n (t),…}， x i (t)是第i 次试验的样本函数或实现，每次试验得到一个样本函数，所有可能出现的结果的总体就构成一随机过程，记作)(t g 。

随机过程举例：二.随机过程基本特征其一，它是一个时间函数；其二，在固定的某一观察时刻1t ，)(1t g 是随机变量。

随机过程具有随机变量和时间函数的特点。

● 随机过程)(t g 在任一时刻都是随机变量； ● 随机过程)(t g 是大量样本函数的集合。

三.随机过程的统计描述设)(t g 表示随机过程，在任意给定的时刻T t ∈1， )(1t g 是一个一维随机变量。

1.一维分布函数：随机变量)(t g 小于或等于某一数值x 的概率，即})({);(1x t g P t x P ≤= 2.2.12.一维概率密度函数:一维概率分布函数对x 的导数.xt x P t x p ∂∂=);(),(11 2.2.2 3.对于任意两个时间1t 和2t ,随机过程的对应的抽样值)(1t g )(2t g 为两个随机变量.他们的联合分布定义为)(t g 的二维分布})(;)({),;,(221121212x t g x t g P t t x x P ≤≤= 2.2.34.二维分布密度定义为212121221212),;,(),;,(x x t t x x P t t x x p ∂∂∂=2.2.4四.随机过程的一维数字特征设随机过程)(t g 的一维概率密度函数为),(1t x p .1.数学期望(Expectation)dx t x xp t g E t g );()]([)(1⎰∞∞-==μ 2.2.52.方差(Variance)dx t x p t x t t g E t g Var t g g g ),()]([]))()([()]([)(1222μμσ-=-==⎰∞∞- 2.2.6五.随机过程的二维数字特征1.自协方差函数(Covariance)•21212122211221121),;,())())((())]()())(()([(),(dx dx t t x x p t x t x t t g t t g E t t C g g g g g μμμμ--=--=⎰⎰∞∞-∞∞- 2.2.72. 自相关函数(Autocorrelation)•2121212212121),;,()]()([),(dx dx t t x x p x x t g t g E t t R g ⎰⎰∞∞-∞∞-== 2.2.83.自相关函数和自协方差函数的关系)]([)]([),(),(212121t g E t g E t t R t t C g g •-= 2.2.9 4.设两个随机过程分别为)(),(t h t g ,在时刻1t 和2t ,对)(),(t h t g 抽样,两个随机过程的互相关函数(Cross-correlation)定义为)]()([),(2121t h t g E t t R gh = 2.2.105.两个随机过程的互协方差函数(Cross-covariance)定义为)]()())(()([(),(221121t t h t t g E t t C h g gh μμ--= 2.2.112.3 平稳随机过程一.狭义平稳的随机过程(严平稳的随机过程)对于任意的正整数n 和实数τ,若随机过程)(t g 的n 维概率密度函数满足),,;,,(),,;,,,(21212121n n n n n n t t t x x x p t t t x x x p ⋅⋅⋅⋅⋅⋅=+⋅⋅⋅++⋅⋅⋅τττ 2.3.1则称)(t g 为狭义平稳的随机过程.统计特性不随时间的推移而变化的随机过程称为平稳随机过程。

知识点总结第1章 概率论基础1.1概论空间随机试验，它是指其结果不能事先确定且在相同条件下可以重复进行的试验。

其中，一个试验所有可能出现的结果的全体称为随机试验的样本空间，记为Ω，试验的一个结果称为样本点，记为ω，即}{ω=Ω. 样本空间的某个子集称为随机事件，简称事件.定义1.1.1 设Ω样本空间，是Ω的某些子集构成的集合，如果：（1）∈Ω （2）若∈A ，则∈A（3）若∈n A ，，， ,21n =则∈∞= 1n nA那么称为一事件域，也称为σ域.显然，如果是一事件域，那么（1）∈φ（2）若∈B A ,，则∈-B A（3）若∈n A ， ∞==1n n 2,1n A ，则，，定义 1.1.2 设Ω是样本空间，是一事件域，定义在上的实值函数)(⋅P 如果满足：（1）∈∀A 0)(,≥A P ，（2）1)(=ΩP ， （3）若∈n A ,,2,1, =n 且,,2,1,,, =≠=j i j i A A j i φ则∞=∞=∑=11)()(n n n n A P A P那么称P 是二元组（,Ω)上的概率，称P (A )为事件A 的概率，称三元组,(Ω),P 为概率空间。

关于事件的概率具有如下性质：（1）;0)(=φP（2）若∈nA ,,,2,1,,,,,,2,1,n j i j i A A n i j i =≠==φ 则ni ni i i A P A P 11)()(==∑=（3）若∈B A ,,,B A ⊂则）A P B P A B P ()()(-=-（4）若∈B A ,)()(,,B P A P B A ≤⊂则； （5）若∈A ;1)(,≤A P 则（6）若∈A );(1)(,A P A P -=则（7）若∈n A ,,2,1, =n 则∞=∞=∑≤11)()(n n n i A P A P（8）若∈i A ,,,2,1,n i =则-===∑ ni ni i i A P A P 11)()(∑∑≤<≤≤<<≤--+-+nj i nk j i n n kj ij i A A A P A A A P A A P 11211)()1()()(一列事件∈n A ,2,1,=n 称为单调递增的事件列，如果;,2,1,1 =⊂+n A A n n 一列事件∈n A ,2,1,=n 称为单调递减的事件列，如果,2,1,1=⊃+n A A n n .定理1.1.1 设 ∈n A ,2,1,=n（1）若 ,2,1,=n A n 是单调递增的事件列，则⎪⎪⎭⎫⎝⎛=∞=∞→ 1)(lim n n n n A P A P （2）若 ,2,1,=n A n 是单调递减的事件列，则⎪⎪⎭⎫⎝⎛=∞=∞→ 1)(lim n n n n A P A P 定义1.1.3.设,(Ω),P 为一概率空间，∈B A ,.且,0)(>A P 则称)()()(A P AB P A B P =为在事件A 发生的条件下事件B 发生的条件概率.不难验证，条件概率)|(A P ⋅符合定义1.1.2中的三个条件，即 （1）∈∀B , 0)|(≥A B P ；（2）;1)|(=ΩA P （3）设∈n B ,,2,1,,,,2,1, =≠==j j i B B n j i φ则∞=∞=∑=11)|()|(n n n n A B P A B P定理 1.1.2. 设，Ω( ),P 是一概率空间，有： （1）（乘法公式）若∈i A ，,,,2,1n i =且0)(121>-n A A A P ，则)|()()(12121A A P A P A A A P n =(2)（全概率公式）设∈A ,∈iB ,,2,1,0)(, =>i B P i 且∞=⊃=≠=1,,,2,1,,,,i i j i A B j i j i B B φ则∑∞==1)|()()(i i i B A P B P A P（3）（贝叶斯(Bayes)公式）且∈A ∈>i B A P ,0)(,，,,2,1,0)( =>i B P i且 ∞=⊃==1,,,2,1,,i i j i A B j i B B φ则,2,1,)|()()|()()|(1==∑∞=i B A P B P B A P B P A B P j jji i i定义 1.1.4设,(Ω ),P 为一概率空间，,,,2,1,n i F A i =∈如果对于任意的)1(n k k ≤<及任意的,12n i i i k i ≤<<<≤ 有)()()()(2121k k i i i i i i A P A P A P A A A P =则称n 21,,,A A A 相互独立。

随机过程知识点第一章：预备知识§?1概率空间随机试验，样本空间记为Ω。

定义1.1 设Ω是一个集合，F是Ω的某些子集组成的集合族。

如果(1) F ；(2)若A F，则A-I A F ；OO(3)若A n EF，n = 1,2,…，则U A n E F;n 二则称F为?.…代数(Borel域)。

1 , F)称为可测空间，F中的元素称为事件。

由定义易知：(4)?- F；(5)若A)B F,则A B F；n n 八门(6)若 Ai E F，i=1,2,…则U A i，AP A = F.i 4 i -1 i 4定义1.2 设1 , F)是可测空间，一P( ?)是定义在F上的实值函数。

如果⑴任意A ：=F,0乞PA <1;(2)Pl：i： 1；(3)对两两互不相容事件A1, A?,…(当^j时，ACA j=0 ,有Λ□0、QOP A i 八 PA ii ≡T则称P是11,F上的概率，(门，F , P )称为概率空间，P(A)为事件A的概率。

定义1.3 设(J F，P)是概率空间，G F ,如果对任意A1,A2/ ,A n? G，n =1,2,有：PA i ■「P A ,1i=1则称G为独立事件族。

§?2随机变量及其分布随机变量X，分布函数F(X)，n维随机变量或n维随机向量，联合分布函数，Cχt,t T ［是独立的。

§ 1?3随机变量的数字特征定义1.7设随机变量X的分布函数为F(X),若JXIdF(X^ ::,则称QQE(X) = JxdF(X)为X的数学期望或均值。

上式右边的积分称为LebeSgUe-StieItjeS 积分。

方差，B X^E l^-EX 丫 - EY 1为X、Y的协方差，而P _ BXY XY V DX JDY为X、Y的相关系数。

若?XY=0,则称X、Y不相关。

(SChWarZ 不等式)若EX^ ::, EY^ -,则EXY 2空EX2EY2.§1.4特征函数、母函数和拉氏变换定义1. 10设随机变量的分布函数为 F (X),称g(t) E(e jtX) = .；e jtX dF x , -― t Z为X的特征函数随机变量的特征函数具有下列性质:⑴ g(0) =1,g(t)胡,g(-t) =g(t)1(2 ) g (t)在一：：，：：上一致连续。

第一章随机变量基础1历史上哪些学者对随机过程学科的基础理论做出了突出贡献？答:随机过程整个学科的理论基础是由柯尔莫哥洛夫和杜布奠定的。

这一学科最早源于对物理学的研究，如吉布斯、玻尔兹曼、庞加莱等人对统计力学的研究，及后来爱因斯坦、维纳、莱维等人对布朗运动的开创性工作。

1907年前后，马尔可夫研究了一系列有特定相依性的随机变量，后人称之为马尔可夫链。

1923年维纳给出布朗运动的数学定义，直到今日这一过程仍是重要的研究课题。

随机过程一般理论的研究通常认为开始于20世纪30年代。

1931年，柯尔莫哥洛夫发表了《概率论的解析方法》，1934年A·辛饮发表了《平稳过程的相关理论》，这两篇著作奠定了马尔可夫过程与平稳过程的理论基础。

1953年，杜布出版了名著《随机过程论》，系统且严格地叙述了随机过程基本理论。

2 全概率公式的含义？答：全概率公式的含义就是各种可能发生的情况的概率之和为1。

3 概率空间有哪几个要素，其概念体现了对随机信号什么样的建模思想？答：样本空间、事件集合、概率函数称为概率空间的三要素。

概率函数建立了随机事件与可描述随机事件可能性大小的实数间的对应关系，因此，概率空间是在观测者观测前对随机事件发生的可能性大小进行了量化，其有效性是通过多次观测体现出来的，也即在多次观测中，某个随机事件发生的频率可直接认为与其发生的概率相等，所以，概率空间的建模思想实际是对大量观测中某随机事件发生频率的稳定性的描述。

4 可用哪些概率函数完全描述一个随机变量？答：概率分布函数（cdf）、概率密度函数（pdf）、特征函数（cf）、概率生成函数（gf）。

5 可用哪些数字特征部分描述一个随机变量？答：均值、方差、协方差、相关系数和高阶矩。

6 随机变量与通常意义上的变量有何区别与联系？答：随机变量具有通常意义上的变量的所有性质和特征（即变量特性），还增加了变量取每个值的可能性大小的描述（即概率特性）。

因此，描述或刻画一个随机变量时，还必须要特别考察其概率函数或各阶矩函数。

第一章随机过程的基本概念与基本类型一．随机变量及其分布1．随机变量，分布函数离散型随机变量的概率分布用分布列分布函数连续型随机变量的概率分布用概率密度分布函数2．n 维随机变量其联合分布函数离散型联合分布列连续型联合概率密度3 .随机变量的数字特征数学期望：离散型随机变量连续型随机变量方差：反映随机变量取值的离散程度协方差（两个随机变量）：相关系数（两个随机变量）：若，则称不相关。

独立不相关4•特征函数离散连续重要性质：，，，5 •常见随机变量的分布列或概率密度、期望、方差0 — 1分布二项分布泊松分布均匀分布略正态分布指数分布6.N维正态随机变量的联合概率密度，，正定协方差阵二.随机过程的基本概念1.随机过程的一般定义设是概率空间，是给定的参数集，若对每个，都有一个随机变量与之对应，则称随机变量族是上的随机过程。

简记为。

含义：随机过程是随机现象的变化过程，用一族随机变量才能刻画出这种随机现象的全部统计规律性。

另一方面，它是某种随机实验的结果，而实验出现的样本函数是随机的。

当固定时，是随机变量。

当固定时，时普通函数，称为随机过程的一个样本函数或轨道。

分类：根据参数集和状态空间是否可列，分四类。

也可以根据之间的概率关系分类，如独立增量过程，马尔可夫过程，平稳过程等。

2 .随机过程的分布律和数字特征用有限维分布函数族来刻划随机过程的统计规律性。

随机过程的一维分布，二维分布，…，维分布的全体称为有限维分布函数族。

随机过程的有限维分布函数族是随机过程概率特征的完整描述。

在实际中，要知道随机过程的全部有限维分布函数族是不可能的，因此用某些统计特征来取代。

（1）均值函数表示随机过程在时刻的平均值。

（2）方差函数表示随机过程在时刻对均值的偏离程度。

（3）协方差函数且有（4）相关函数（3）和（4）表示随机过程在时刻，时的线性相关程度。

(5)互相关函数：，是两个二阶距过程，则下式称为它们的互协方差函数。

，那么，称为互相关函数。

第一章：考试范围1.3,1.41、计算指数分布的矩母函数.2、计算标准正态分布)1,0(~N X 的矩母函数.3、计算标准正态分布)1,0(~N X 的特征函数.第二章：1. 随机过程的均值函数、协方差函数与自相关函数2. 宽平稳过程、均值遍历性的定义及定理3. 独立增量过程、平稳增量过程，独立增量是平稳增量的充要条件1、设随机过程()Z t X Yt =+，t -∞<<∞.若已知二维随机变量(,)X Y 的协方差矩阵为2122σρρσ⎡⎤⎢⎥⎣⎦，求()Z t 的协方差函数. 2、设有随机过程{(),}X t t T ∈和常数a ，()()()Y t X t a X t =+-，t T ∈，计算()Y t 的自相关函数（用(,)X R s t 表示）.3、设12()cos sin X t Z t Z t λλ=+，其中212,~(0,)Z Z N σ是独立同分布的随机变量，λ为实数，证明()X t 是宽平稳过程.4、设有随机过程()sin cos Z t X t Y t =+，其中X 和Y 是相互独立的随机变量，它们都分别以0.5和0.5的概率取值-1和1，证明()Z t 是宽平稳过程.第三章：1. 泊松过程的定义（定义3.1.2）及相关概率计算2. 与泊松过程相联系的若干分布及其概率计算3. 复合泊松过程和条件泊松过程的定义1、设{(),0}N t t ≥是参数3λ=的Poisson 过程，计算：(1). {(1)3}P N ≤； (2). {(1)1,(3)3}P N N ==； (3). {(1)2(1)1}P N N ≥≥.2、某商场为调查顾客到来的客源情况，考察了男女顾客来商场的人数. 假设男女顾客来商场的人数分别独立地服从每分钟2人与每分钟3人的泊松过程.(1)．试求到某时刻t 时到达商场的总人数的分布；(2). 在已知t 时刻有50人到达的条件下，试求其中恰有30位女性的概率，平均有多少个女性顾客？3、某商店顾客的到来服从强度为4人/小时的Poisson 过程，已知商店9：00开门，试求：(1). 在开门半小时中，无顾客到来的概率；(2). 若已知开门半小时中无顾客到来，那么在未来半小时中，仍无顾客到来的概率。