4 刘次华《随机过程及其应用(第三版)》课件

当An An 1 , n 1
当An An 1 , n 1
9
A1 A2
连续性定理
A1 A2

则称P为（Ω，F）上的概率，（Ω，F，P）称 为概率空间，P（A）为事件A的概率。
An Ai 新事件：lim n i 1
lim An Ai
n i 1
3 对于R n中的任意区域， a1 , b1; a2 , b2 ;;a n , bn ，其中 ai bi , i 1,, n
F b1 , b2 ,, bn F b1 ,, bi 1 , ai , bi 1 ,bn F b1 ,, bi 1 , ai , bi 1 ,, b j 1 , a j , b j 1 ,, bn ，
d P({e : g( X ) y, e X }) dy
如果上式右端概率的导数对于y处处存在，那么这 个导数就给出了随机变量Y的概率密度
fY ( y)
19
20
n维联合分布函数F x1 , x 2 , x n 具有下列性质 :
三、边缘分布
若二维联合分布函数中有一个变元趋于无 穷，则其极限函数便是一维分布函数，对于这 种特殊性质，我们称其为边缘分布。 对于任意两个随机变量X,Y，其联合分布函数为： F ( x, y ) 则： FX ( x ) P ( X x ) P ( X x , Y ) F ( x , )
P( X x,Y y) P((X x) (Y y)) P( X x)P(Y y)kFra biblioteknpkq
nk
, k 0 ,1 , 2 n
p
P(X k)

k
k!

在独立增量过程中有一类很重要的特例一稳定过程，它满足条件:存在a>0(a称为此稳定 过程的阶)，使对∀c>0恒有
04 马 氏 过 程
马氏过程
定义14(马氏过程)
成立。式(1.17)又称为马氏性。 特别地，
马氏过程
命题1.2
成立。
证明 当
时，式(1.17)显然蕴含式(1.18);另外，用测度论典型
证明
可见Y是一元正态分布。
Gauss 系
命题1.6
证明
Gauss 系
命题1.7
令
Gauss 系
命题1.7
于是 这就可得到 于是
Gauss 系
命题1.8
于是 这就可得到 于是 这就证明了 (a)，(b)可采用同样的方法证明。
Gauss 系
命题1.9
于是 这就可得到 而式(1.28)左侧等于
Gauss 系
第二章
鞅论初步
随机过程论
上鞅、下鞅的概
01 念 、 简 单 性 质 与
分解定理
1.概念与简单性质
设在概率空间
上有一个非降的σ-代数族
和实随机过程
条件2’)还蕴含 证明1)令
马氏过程
定理1.3(Tulcea定理)
2)证明P( · )在δ上是完全可加的。
1° 为书写方便，我们先定义以下m-步转移概率测度。设
马氏过程
定理1.3(Tulcea定理)
及
再令 由
马氏过程
定理1.3(Tulcea定理)
2° 用归纳法来证明存在 由于
当K=-1时，式(1.27)可写成
Kolmogorov定理给出了由有限维联合分布族构造(Ω,ƒ)上测度P的方法。
1.Kolmogorov定理

• 我们称这个极限limP(x(n)=0)＝ 为{x(n),n 0} 的绝灭概率，显然 0 1 • 定理2.5设{x(n),n 0}是一个初始状态为1的以 f(s)=p(0)+p(1)s+…为本原母函数的分枝过程。 为其绝灭概率，则 • (1) =f( ) =1 • (2)当 1,p(1)<1时有 • (3)当1< 时, 是s=f(s)在[0,1)内的唯一解
• 所以对于一个取非负整数值的随机变量x,只要 知道了它的母函数其分布也就完全知道了。 • 二、分枝过程 • • • • 设有一个反应堆，最初有n(0)个质点，由于质 点之间的相互碰撞或其它射线的轰击，每隔一 单位时间，一个质点可分离成k个质点 （k=0,1,2…)并设 • （1）这些质点的分离情况是相互独立的，具 有共同分布 • （2）质点的分离情况与其年龄无关
k

(5) 2 (1) n(0) 2 , 2 f " (1) f ' (1) ( f ' (1))2 (6) 当 1时, 2 (n) n(0) 2 n ( n 1) /( 2 ) 2 2 当 = 1时， (n) n0 n 从定理2.4可知，只要f(s)已知，则{X(n),n 0} 的一切信息都知道了。 对于某一时刻n,若x(n)=0,则该过程就灭绝了。 下面来讨论过程灭绝的概率 • 因为{X(n)=0} {x(n+1) =0} • 所以0 P(x(n)=0) P(x(n+1)=0)1,即 {P(x(n)=0),n=1,2,…}是一个单调有界序列，故 其极限一定存在。 • • • • • •
• Z(n+1,i)表示时刻n存在的第i个质点在下一时刻 (n+1)时刻分离出的质点数。 • X(n)表示n时刻反应堆中的质点数，则有 • X(0)=n(0) • X(1)=Z(1,1)+Z(1,2)＋…+Z(1,n(0)) • X(2)=Z(2,1)+Z(2,2)+…Z(2,x(1)） • ……………. • X(n+1)=Z(n+1,1)+Z(n+1,2)+…+Z(n+1),x(n)) • 上面的假设（1）、（2）说明{z(n+1,i),i 1,n 0}是一族相互独立具有共同分布的取非负整数 的随机变量。令其共同分布为p(k)=P(z(n,i)=k)

协方差函数 CX (s, t) RX (s, t) mX (s)mX (t)
min( s,t) s , (s t)
(2) 时间间隔与等待时间
设 {X (t), t 0 }是泊松过程，令X (t)表示 t 时刻事件A
发生的次数， T1 T2 T3
n
Wn Ti (n 1)
Tn
i 1
考虑机器在 (t, t+h] 内发生故障这一事件。若机器发生故障， 立即修理后继续工作，则在 (t, t+h] 内机器发生故障而停止 工作的事件数构成一个随机点过程，它可以用泊松过程来描 述。
6.2 泊松过程的基本性质
泊松分布:
P{X (t s) X (s) n} (t)n et , n 0,1,
fT
(t )
et
(t)k 1 ,
(k 1)!
t
0
0 ,
t 0
故仪器在时刻 t0 正常工作的概率为:
P P(T t0 )
e
t
(t)k 1
dt
t0
(k 1)!
P[ X (t0 )
k]
k 1
e t0
n0
(t0 )n
n!
(3) 到达时间的条件分布
假设在[0 , t ]内事件A已经发生一次，确定这一事件到 达时间W1的分布 ——均匀分布
P( X
k)
n kpkqnkE( X ) np, D( X ) npq
[泊松定理] 在二项分布中，设 np= 是常数，则有
lim P( X k ) ke
n
k!
泊松分布
[泊松分布] 随机变量X 的所有可能取值为0, 1, 2, … ，而 取各个值的概率为

13
1 p1 j = P{ X (n + 1) = j | X ( n) = 1} = , j = 1, 2, L , 6 6 而又当X(n)=2时 由题意应知条件概率
p 21 = P{ X ( n + 1) = 1 | X ( n ) = 2} = 0 p2 j = 1 , j = 3, 4, 5, 6 6
1) pij ( k ) ≥ 0 2) ∑ p ij ( k ) = 1
j∈E
∀ i, j ∈ E ∀i ∈ E
第1)条性质是由概率定义所决定的; 第2)条性质利用全概率公式可知其正确性 实际上 ∀i ∈ E , ∑ pij (k ) = ∑ P{ X (k + 1) = j | X (k ) = i}
2
一 马氏链的定义
1 可列状态与有限状态马氏链
定义2.1 设{X(n),n 0}为一随机序列 其状态集为 E= {i0,i1,i2,…} 若对于任意的n 及i0,i1,i2,…in+1 对应的随机变量X(0),X(1),X(2),...,X(n+1)满足
P{X (n +1) = j | X (n) = in , X (n −1) = in−1,L, X (1) = i1, X (0) = i0} = P{X (n +1) = j | X (n) = in )
= P{X (n +1) = in+1 | X (0) = i0 , X (1) = i1,L, X (n) = in }P{X (0) = i0 ,
X (1) = i1,L, X (n) = in } = P{X (n +1) = in+1 | X (n) = in }P{X (0) = i0 , X (1) = i1,L, X (n) = in }

RX ( ) e2 , (, )
试计算X的谱密度.
解
谱密度S（X ）
e
j
RX
(
)d
e j e2 d
2 cos( )e2 d 0
4
4 2 2
,
(, )
例5.4.2 设X={Xt, -∞<t<+∞ }为零均值的实的正交增量过程，
且满足 E[Xt -Xs ]2 t s , 令 Yt Xt -Xt1,
k l =-
+
2 ckckm RY (m) k=-
Y为平稳序列.
+
又
RY (m)
2 ckckm
m
m k=-
+
2
ck ckm
m k=-
+
2
ck cl
k=- l
令 kml
2 ( ck ) cl
k
l
（2 ck ）2 k
所以Y 存在谱密度.
Y的谱密度
又称
lim E[ 1
T 2T
T T
Xt
2 dt]
为平稳过程X的平均功率.
定理5.4.1 设平稳过程X={Xt -∞<t<+ ∞}的相关函数RX(τ)
绝对可积,则有
SX ()
e
jt
RX
(
)dt
证明 因为
1E 2T
T T
e
jt
X t dt
2
1 2T
E[
T T
e
js
X
s
ds
T T
e
jt
X
T
X
e
jwu

1. 功率谱密度的概念
●工程实际中, 能量有限的信号x(t)称为 能量型信号, 可以定义它的总能量:
x2 (t)dt
当时间趋于无穷时,它的平均功率趋于零.
●另一类信号x(t),其能量是无限的,但平均功率有限.即
P lim 1 T x2(t)dt
T 2T T
称为 功率型信号.周期信号就是常见的功率信号.
说明信号的总能量等于能谱密度在全频域上的积分. 右式也是总能量的谱表达式.
由于实际中很多信号(函数)的总能量是无限的, 不满足绝对可积的条件,所以通常研究x(t)在 (-∞,+ ∞)上的平均功率,即
lim 1 T x2 (t)dt
T 2T T
为了能利用Fouier变换给出平均功率的谱表达式, 构造一个截尾函数:
§4 平稳过程的功率谱密度
● 之前对平稳过程的讨论都是在进行的. 在时域上描述了平稳过程的统计特征.
● 但对许多物理和工程领域中问题,不仅要研究其 在时域上的特性,还要研究其在频域内的特征,即 从频率的角度来研究随机过程的统计特征. 例如对信号处理、线性系统分析以及随机振动的 研究. 其中广泛采用的方法是频率域分析方法.
T e jt X (t)dt
T
称 lim E[ 1 T X 2 (t) dt] 为过程的平均功率.
T 2T T
定理1 设{X(t), -∞<t<+ ∞}是平稳过程,若RX(τ) 绝对可积,则有
S X
()
lim
T t
T
lim 1
T 2T
E[ FX (,T ) 2 ]=
即
S（x ）
lim 1 T 2T
Fx (,T )
2
lim

6
3. 严平稳过程的数字特征
(1)均值函数 m X ( t ) = E [ X ( t )]
=∫
2
+∞
−∞
xf ( x, t )dx = ∫
+∞
−∞
xf ( x)dx = 常数= mX
均方值函数
2 (t) = E[X 2 (t)]= ψX
∫
+∞
−∞
x f (x, t)dx =
+∞ −∞ 2
2
∫
+∞
一 二 三
平稳过程 宽平稳过程 联合平稳过程
1
一
平稳过程
为一随机过程 若对任
1. 严平稳过程定义
定义1.1 设{X (t) ,t 意整数n 任意的
t1 , t 2 , L , t n ∈ T ,
即
t1 + ε, t2 + ε ,L, tn + ε ∈T
其n维分布函数相等
F , xn,t1,t2,L ,tn) = F(x1, x2,L , xn,t1 +ε,t2 +ε,L ,tn +ε) n(x 1, x2,L
[
]
[
] [
]
14
2 ) R X ( −τ ) = R X (τ )
பைடு நூலகம்
因为R X (τ ) = E X (t ) X (t + τ ) = E X (t )X (t + τ )
= E X (t + τ ) X (t ) = E ( X ( s ) X ( s − τ )] = R X ( −τ )
[
CX (t1 , t2 ) = Cov( X (t), X (t2 )) = RX (t1 , t2 ) − mX (t1 )mX (t 2 ) = RX (t2 − t1 ) − mX mX = CX (t2 − t1 )

其中 D = {1} 是非常返集
C1 = {2 ,3,4},C2 = {5,6,7}
2 3 4
1 5 7 6
是常返闭集，非周期
lim （1）求每一个不可约闭集的极限分布（2）求 n →∞ p12
( n)
解（1）：这是一个可约马氏链。根据状态空间的分解 定理，状态空间分解为： I = {1} + {2,3, 4} + {5, 6, 7}
5
6
1
二、平稳分布
定义4.11
例1 ：设马尔科夫链的转移概率矩阵为
⎡ 0.7 0.1 0.2⎤ P = ⎢ 0.1 0.8 0.1⎥ ⎢ ⎥ ⎢ ⎦ ⎣0.05 0.05 0.9⎥
设齐次马氏链转移概率矩阵为P,
且
若π = (π 1 , π 2 , )满足方程：
π =πP
∑π
j
j
=1
则称 π = (π 1 , π 2 , ) 为该马氏链的 平稳分布 定理4.16 不可约非周期的马氏链，其极限分布存 在（或状态是正常返）的充要条件是存在平稳分 布，且此平稳分布就是极限分布。即 1 πj =
15
故从上式可解得：
16
2 lim p12 ( n ) = n →∞ 9
注: 对于一般可约马氏链， lim pij (
n →∞
n)
的情形如下:
例4 马氏链的概率转移图所示，分析转移概率极限:
I = D + C1 + C2 = {1, 5} + {2,3} + {4,, 6}
先进行状态空间分解： I = D + C1 + C2 +
,
(设j ∈ C
m
, Cm为不可约非周期常返闭集 )

第3章 3.1
3.2
3.3 3.4
Gauss 过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 Gauss 过程的基本定义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .40 3.1.1 多元 Gauss 分布的定义 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.1.2 多元 Gauss 分布的特征函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.1.3 协方差阵 Σ 不满秩的情况 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 多元 Gauss 分布的性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.2.1 边缘分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.2.2 独立性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3.2.3 高阶矩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 3.2.4 线性变换 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.2.5 条件分布 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 Gauss-Markov 性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .49 Gauss 过程通过非线性系统 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.4.1 理想限幅器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 3.4.2 全波线性检波 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 3.4.3 半波线性检波 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 3.4.4 平方律检波 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58