随机过程第1章 预备知识(补充)
- 格式：pdf
- 大小：490.63 KB
- 文档页数：30
下载文档原格式
合集下载
(完整版)随机过程知识点汇总
第一章随机过程 的基本概念与基本类型 一．随机变量及其分布X ，分布函数 F (x) P(X x) 1．随机变量 离散型随机变量 X 的概率分布用分布列 p P(X x k ) F(x)p kf (t)dt分布函数kxX 的概率分布用概率密度 f (x)F(x)分布函数连续型随机变量 2．n 维随机变量 X (X ,X , , X ) 1 2 n F(x) F(x ,x , ,x ) P(X x , X 2 x , , X n x n ,)其联合分布函数 1 2 n 1 1 2 离散型联合分布列连续型联合概率密度３．随机变量 的数字特征 数学期望：离散型随机变量 XEX x p kkXEX xf (x)dx连续型随机变量2DX E(X EX) 2 EX (EX) 2方差：反映随机变量取值 的离散程度协方差（两个随机变量 X ,Y ）：B E[( X EX)(Y EY)] E(XY) EX EYXYB XY相关系数（两个随机变量X,Y ）：0，则称 X ,Y 不相关。
若XYDX DY独立不相关itXg(t) E(e )itxe p k 连续 g(t)ke itxf (x)dx４．特征函数离散 g(t) 重要性质： g(0) 1，g(t) 1 g( t) g(t)，， g (0) i EX kk k５．常见随机变量 的分布列或概率密度、期望、方差 ０－１分布 二项分布P( X 1) p,P( X 0) qEX pDX pqP(X k) C p q n kk kEX npDX n p qnk泊松分布P( X k) ek!EXDX均匀分布略( x a)21 2N(a, ) f (x)222EX a正态分布eDX2xe ,x 0 0, x 011指数分布f (x)EXDX2X (X ,X , ,X ) 的联合概率密度 X ~ N(a, B) ６．Ｎ维正态随机变量1 2 n11 2T 1(x a) B (x a)}f (x , x , , x n ) exp{ 11 2n 2(2 ) | B |2a (a ,a , ,a )， x (x , x , ,x )， B (b ) 正定协方差阵 1 2 n 1 2 n ij n n二．随机过程 的基本概念 １．随机过程 的一般定义设 ( , P)是概率空间， T 是给定 的参数集，若对每个 t T ，都有一个随机变量 X 与之对应， X(t,e),t T ( , 是P)上 的随机过程。
随机过程_第一章
k k 1 k 1 k
则称P为（Ω，F）上的概率，（Ω，F，P）称 为概率空间，P（A）为事件A的概率。
由此定义出发，可推出概率的其它一些性质：
(4) P(F) 0;
(5) 若A, B F , A B, 则P( B A) P( B) P( A), 且P( B) P( A)
FY ( y ) P(Y y ) P( X , Y y ) F (, y )
分别称FX(x)和FY(y)为 F ( x, y ) 关于X和关于Y的 边缘分布函数。
离散型随机变量（X，Y）边缘分布律计算如下
P( X xi ) pi pij
, i 1,2,
设X，Y是两个随机变量，若对任意实数x，y有
P( X x, Y y) P(( X x) (Y y)) P( X x)P(Y y)
则称X，Y为相互独立的随机变量。
若X，Y为相互独立随机变量，则有
F ( x, y ) FX ( x) FY ( y ) f ( x, y ) f X ( x ) f Y ( y )
注：所谓某个事件在 试验中是否出现，当且仅 当该事件所包含的某个样本点是否出现，因此 一个事件实际上对应于的一个确定的子集。 事件的概率论运算 Ω子集的集合论运算。
样本空间 W 也是一个事件， 称 W 为必然事件，
空集 F 称为不可能事件。
注：由于事件是集合，故集合的运算（并、交、 差、上极限、下极限、极限等）都适用于事件。
定义1.5 设（ Ω ，F，P）是概率空间，X=X(e) ＝（X1(e),…,Xn(e)）是定义在Ω上的n维空间Rn中 取值的向量函数。如果对于任意x=(x1,…,xn) ∈Rn， {e:X1(e) ≤x1,…,Xn(e) ≤xn} ∈F，则称X=X(e)为n维 随机变量。称
则称P为（Ω，F）上的概率，（Ω，F，P）称 为概率空间，P（A）为事件A的概率。
由此定义出发，可推出概率的其它一些性质：
(4) P(F) 0;
(5) 若A, B F , A B, 则P( B A) P( B) P( A), 且P( B) P( A)
FY ( y ) P(Y y ) P( X , Y y ) F (, y )
分别称FX(x)和FY(y)为 F ( x, y ) 关于X和关于Y的 边缘分布函数。
离散型随机变量（X，Y）边缘分布律计算如下
P( X xi ) pi pij
, i 1,2,
设X，Y是两个随机变量，若对任意实数x，y有
P( X x, Y y) P(( X x) (Y y)) P( X x)P(Y y)
则称X，Y为相互独立的随机变量。
若X，Y为相互独立随机变量，则有
F ( x, y ) FX ( x) FY ( y ) f ( x, y ) f X ( x ) f Y ( y )
注：所谓某个事件在 试验中是否出现，当且仅 当该事件所包含的某个样本点是否出现，因此 一个事件实际上对应于的一个确定的子集。 事件的概率论运算 Ω子集的集合论运算。
样本空间 W 也是一个事件， 称 W 为必然事件，
空集 F 称为不可能事件。
注：由于事件是集合，故集合的运算（并、交、 差、上极限、下极限、极限等）都适用于事件。
定义1.5 设（ Ω ，F，P）是概率空间，X=X(e) ＝（X1(e),…,Xn(e)）是定义在Ω上的n维空间Rn中 取值的向量函数。如果对于任意x=(x1,…,xn) ∈Rn， {e:X1(e) ≤x1,…,Xn(e) ≤xn} ∈F，则称X=X(e)为n维 随机变量。称
应用随机过程 第一章 预备知识
1.4.3 独立性
定义 1.11
(1)设{A i，i I}是F的事件族，如果对I的每个非空 有限子集{i1，...,ik }，有 P（ A i j）= P（A i j） 则称{A i，i I}关于P是相互独立的.
j=1 j=1 k k
(2)设{Ai，i I}是F 的 子代数族，如果对I的每个非空 有限子集{i1，...,ik }，Ai j Ai j 使得上式成立，则称 {Ai，i I}是相互独立的.
p p
(4)设{F （ n x）}是分布函数列，如果F(x):单调不减， 使得对F (x)的所有连续点x有 lim Fn (x)=F(x),则称 n {F （ }弱收敛于F(x)； n x） 再设{X n }是一列以{F （ n x）}为分布函数的r.v.列， 如果{F （ } 敛于F(x)， 则称{X n }依分布收敛。 n x）弱收
n
(9)若X , Y 是两个独立的随机变量，函数(x，y)使得 E(| (X,Y))<,则 E[ (X，Y)|Y] E[ (X，y)] |y=Y a.s
作业：
结合《概率论》和第一章的内容，写出学习心得. 要求：1. 可就某个知识点或某个定理、引理或例题等， 用自己的语言写出； 2. 也可以写一点对《应用随机过程 》这们课的一些想 法（例如希望通过学习这门课学点什么 等）.
B
X dP=[P(B)] E（X I B）.
-1
性质：
（1） 若X L1，则 E[E（X |B） ]=EX。
（2） 若X是B随机变量， 则 E（X |B） =X， a.s.。
（3） 若X=Y， a.s. 且X L 1， 则E（X|B）=E（Y|B），a.s.
（4） 若a,b是实数，X，Y L 1， 则E[（aX+bY）|B ]=aE(X|B )+bE(Y|B )，a.s.
随机过程预备知识
上的概率,称(Ω,F,PB)是条件概率空间.
徐
概率空间
四、全概率公式与Bayes公式 定理：设 (Ω,F, P)是概率空间,若 1) A i∈F, 且 P(Ai)>0 ，(i=1,2, …); 2)
i 1
Ai Ω , Ai A j .
完备性 条件.
徐
概率空间
则对任意B∈F 有 1)
Ak Ak 1 B k , ˆ
kn kn
An+1
n 1,2,
徐
其中B1,B2,…互不相容，由完全可加性有
概率空间
1 P ( A1 ) P B k P Ak Ak 1 0 k 1 k 1
lim P Bn 0 P An P A P An A 0.
n
P An P A
( as
n )
徐
概率空间
4）多除少补原理 设 Ai F, i 1,2, , n , 有
n n P Ai P Ai i 1 i 1
P Ai P Ai i 1 i 1
Ai F i 1,2, , Ai A j , i j ,
称P是(Ω,F)上的概率(测度),P(A)是事件A 的概率. 三元体(Ω,F, P)称为概率空间.
徐
概率空间
二、概率性质 设(Ω,F, P)是概率空间,则概率P 有如下性质: 1) P(φ)=0;
n
lin P An P A.
徐
n 1
概率空间
A
证：在推论2中
令 Bn An A, 则 B1 B2 ,
徐
概率空间
四、全概率公式与Bayes公式 定理：设 (Ω,F, P)是概率空间,若 1) A i∈F, 且 P(Ai)>0 ，(i=1,2, …); 2)
i 1
Ai Ω , Ai A j .
完备性 条件.
徐
概率空间
则对任意B∈F 有 1)
Ak Ak 1 B k , ˆ
kn kn
An+1
n 1,2,
徐
其中B1,B2,…互不相容，由完全可加性有
概率空间
1 P ( A1 ) P B k P Ak Ak 1 0 k 1 k 1
lim P Bn 0 P An P A P An A 0.
n
P An P A
( as
n )
徐
概率空间
4）多除少补原理 设 Ai F, i 1,2, , n , 有
n n P Ai P Ai i 1 i 1
P Ai P Ai i 1 i 1
Ai F i 1,2, , Ai A j , i j ,
称P是(Ω,F)上的概率(测度),P(A)是事件A 的概率. 三元体(Ω,F, P)称为概率空间.
徐
概率空间
二、概率性质 设(Ω,F, P)是概率空间,则概率P 有如下性质: 1) P(φ)=0;
n
lin P An P A.
徐
n 1
概率空间
A
证：在推论2中
令 Bn An A, 则 B1 B2 ,
随机过程-第一章__概率预备知识
概率空间
(1) Ω∈F ; (2) 若A∈F ,则A=Ω\A∈F ; (3) 若An∈F ,n=1,2,…,则 n 1 An∈F , 那么F 称为ς-代数(Borel域).(Ω,F )称为可测空间,F中 的元素称为事件. 由定义1.1且有: (4) υ∈F ; (5) 若A,B∈F ,则A\B∈F ; n n (6) 若Ai∈F ,i=1,2,…,则 i 1 Ai, i 1 Ai, i 1 Ai∈F . 定义1.2 设(Ω,F )是可测空间,P(· )是定义在F 上的实值 函数.若 (1) 任意A∈F ,0≤P(A)≤1; (2) P(Ω)=1;
y1
yn
n维随机变量及其概率分布
率密度. 定义1.6 设{Xt,t∈T}是一族随机变量,若对任意的n≥2, t1,t2,…,tn∈T, x1,x2,…,xn∈R, 有 n P( X t≤x1, X t≤x2,…, X t≤xn)= i 1 P( X t xi ) 1 2 n 则称{Xt,t∈T}是独立的. • 若{Xt,t∈T}是一族独立的离散型随机变量, 则上式等 n 价于P( X t1 =x1, X t2 =x2,…, X t n=xn)= i 1 P( X t xi ) ; 若{Xt,t∈T}是一族独立的连续型随机变量, 则上式等 n 价于 f t1 ,t2 ,,tn(x1,x2,…,xn)= i 1 f t ( xi ), 其中 f t1 ,t2 ,,tn 1, (x x2,…,xn)是随机向量(X1,X2,…,Xn)的联合概率密度且 f ti ( xi ) 是随机变量 X t 的概率密度,i=1,2,…,n. • 独立性是概率论中的重要概念,独立性的判断通常是根 据经验或具体情况来决定的.
n维随机变量及其概率分布
是右连续函数; (3)对于Rn中的任意区域(a1,b1;…;an,bn),其中ai≤bi, i=1,2,…,n, 成立 n F(b1,b2,…,bn)- i 1 F(b1,…,bi-1,ai,bi+1,…,bn)
随机过程讲义(第一章)
P (Ω ) = 1 ；
对任意两两不交的至多可数集 {An } ⊂ F ， P⎛ ⎜ U An ⎞ ⎟ = P ( An ) ⎝n ⎠ ∑ n
称 P(⋅) 为 F 上的概率测度， (Ω, F , P) 称为概率空间。
1
1.4 随机变量的概念 定义：设 (Ω, F , P ) 为一概率空间， X = X ( w) 为 Ω 上的一个实值函数，若对 任意实数 x ，X −1 ((−∞, x) ) ∈ F ， 则称 X 为 (Ω, F , P ) 上的一个 （实） 随机变量。 称 F ( x) = P( X < x ) = P( X ∈ (−∞, x)) = P X −1 ((−∞, x) ) 为随机变量 X 的 分布 函数。 随 机 变 量 实 质 上 是 (Ω, F ) 到 (R, B ( R ) ) 上 的 一 个 可 测 映 射 ( 函 数 ) 。 记
_______
2
α 1 , α 2 Lα m ， ∑∑ ϕ (t l − t k )α l α k ≥ 0 ；
l =1 k =1
m
m
5) ϕ ( w) 为 R n 上的连续函数。 6) 有限多个独立随机变量和的特征函数等于各自特征函数的乘积； 7) 设 X = (ξ1 , Lξ n ) 为 n 维 随 机 向 量 ， 特 征 函 数 为 ϕ ( w1 ,L wn ) , 则
n→∞
敛到随机变量 X ；
2)
若 E X n 存在， 且 lim E X n − X
n→∞
p
p
则称 X 1 , X 2 , L X n ,L p 阶收敛到 = 0，
随机变量 X ，特别当 p = 2 ，称为均方收敛。
3) 4)
若 P lim X n = X = 1 ，称 X 1 , X 2 , L X n ,L 几乎必然收敛到随机变量 X 。
随机过程第章预备知识
������ = ������1, ������2, ������3, ������4, ������5, ������6
基本
概念 ℱ = ������, ������1, ������2, ������3 , ������4, ������5, ������6 , Ω - ℱ为-代数， ������, ℱ 为可测空间
代数
•
若������������ ∈ ℱ ,则ڂ������������=1 ������������ , ځ������������=1 ������������ , ځ���∞���=1 ������������ ∈ ℱ （有限并，有限
概率 交，可列交事件）
空间
独立 事件
中南民族大学经济学院
3
《随机过程》第1章-预备知识
1 概率空间
例：抛掷一枚骰子，观察出现的点数。
背景
������ = 1,2,3,4,5,6
基本
概念 ������ = 1,3,5 ⊆ Ω ������ = 2,4,6 ⊆ Ω
-
代数 骰子“出现1点”, “出现2点”, … ,“出现6点”, “点数不大于6”,“点数为偶数” 等都为随机事件.
-
代数 （3）若������������ ∈ ℱ, ������ ∈ ������，则ڂ���∞���=1 ������������ ∈ ℱ(可列并事件）
概率
空间 则称ℱ为-代数， (������, ℱ)为可测空间。
独立 事件
中南民族大学经济学院
6
《随机过程》第1章-预备知识
背景 例：抛掷一枚骰子，������������表示出现������点。
∞
∞
概率 空间
基本
概念 ℱ = ������, ������1, ������2, ������3 , ������4, ������5, ������6 , Ω - ℱ为-代数， ������, ℱ 为可测空间
代数
•
若������������ ∈ ℱ ,则ڂ������������=1 ������������ , ځ������������=1 ������������ , ځ���∞���=1 ������������ ∈ ℱ （有限并，有限
概率 交，可列交事件）
空间
独立 事件
中南民族大学经济学院
3
《随机过程》第1章-预备知识
1 概率空间
例：抛掷一枚骰子，观察出现的点数。
背景
������ = 1,2,3,4,5,6
基本
概念 ������ = 1,3,5 ⊆ Ω ������ = 2,4,6 ⊆ Ω
-
代数 骰子“出现1点”, “出现2点”, … ,“出现6点”, “点数不大于6”,“点数为偶数” 等都为随机事件.
-
代数 （3）若������������ ∈ ℱ, ������ ∈ ������，则ڂ���∞���=1 ������������ ∈ ℱ(可列并事件）
概率
空间 则称ℱ为-代数， (������, ℱ)为可测空间。
独立 事件
中南民族大学经济学院
6
《随机过程》第1章-预备知识
背景 例：抛掷一枚骰子，������������表示出现������点。
∞
∞
概率 空间
第1章 随机过程
0
−∞
半环 C 上定义如下的集函数
P ((a,b]) = F (b) − F (a), ∀(a,b]∈C .
由测度扩张定理，P 可扩张为 σ(C )上的概率测度，至此，本例的概率空间(Ω，F，P)构造完
毕．□
注 在本例中，如果认为每个样本点ω的出现机会均等，那么可取 f (·)为常值，易知，f(x)
注 (1) 在应用概率的减法公式 P(B − A) = P(B) − P( A) 时，务必注意条件 A ⊂ B 是否满
足，若不然，则结论未必成立．此时，可采用一般情形下的减法公式，
P(B − A) = P(B) − P( AB), ∀A, B ∈ F .
(1.1.1)
(2) 在 Jordan 公式中取 n = 2、3，就得到两个常用公式
∪ ∪ ∞
k −1
单调增的，即，An
⊂
An+1
(n
≥
1)
，此时，lim n→∞
An
=
Ak
k =1
，令 Bk
=
Ak
−
i =1
Ai
=
Ak
−
Ak −1
(k
≥ 1) ，
∪ ∑ ∞
∞
其中约定：A0=φ. 显然，事件列{Bn，n=1,2,…}两两互斥且 Ak = Bk ，故
k =1
k =1
———————— ① 关于集列的单调性与集列的极限概念参见本章附录中的相关内容．
{ } 间．例如，取 Ω 的非空真子集 A，令 F = A, Ac ,∅, Ω ，则 F 是事件域且 F1 ⊂ F ⊂ F2 ．
通常称（Ω，F ）为可测空间，称 F 中的元 A 为可测集．对可测空间（Ω，F ）装备测 度 μ，就构成测度空间（Ω，F，μ）．若所装备的测度还满足 μ(Ω) = 1，则称（Ω，F，μ）为 概率测度空间，简称概率空间．按概率论的记法，以 P 替换 μ，记作概率空间（Ω，F，P）．
应用随机过程教案预备知识
(t) n(n 1)( pet 1 p)n2 ( pet )2 n( pet 1 p)n1 pet ,
E(X ) (0) np ， E(X 2 ) (0) n(n 1) p2 np ， D( X ) E[X 2 ] [EX ]2
其分布函数为
F(x) pk P{X xk }
xk x
xk x
连续型随机变量 X 的分布用概率密度 f(x)描述，其分布函数为：
x
F (x) f (t)dt
分布函数 F(x)的性质
（1） 0 F(x) 1
（2） F() 0, F() 1
（3） F(x) 是单调不减函数， a b 则 F(a) F(b)
定义 2 两个随机变量 X 与 Y，如果满足 P{ω∈Ω :X(ω) ≠Y(ω) }=0,则称它们是 等价的。
注：为简单起见，习惯将{ω:X(ω) ≥x}记为{X≥x}，其他记号类似。
常用的随机变量：离散型随机变量、连续型随机变量。 离散性随机变量 X 的概率分布用如下分布列描述：
pk = P{X = xk }, k = 1,2, …
第三节 数字特征、矩母函数与特征函数 1.Riemann—Stietjes 积分 定义 1 设 g(x) ，F(x) 为有限区间 (a,b] 上的实值函数，a x0 x1 xn b 为
(a,b] 的 一 个 分 割 ， 令 F(xi ) F(xi ) F(xi1) ， i [xi1, xi ] ， 1 i n ，
d 维正态分布
密度函数 f (x)
1
exp{(x ) (x )}
d
1
(2 ) 2 | | 2
Γ 分布
密度函数
f
(x)
s
(s)
x s1e x
E(X ) (0) np ， E(X 2 ) (0) n(n 1) p2 np ， D( X ) E[X 2 ] [EX ]2
其分布函数为
F(x) pk P{X xk }
xk x
xk x
连续型随机变量 X 的分布用概率密度 f(x)描述，其分布函数为：
x
F (x) f (t)dt
分布函数 F(x)的性质
（1） 0 F(x) 1
（2） F() 0, F() 1
（3） F(x) 是单调不减函数， a b 则 F(a) F(b)
定义 2 两个随机变量 X 与 Y，如果满足 P{ω∈Ω :X(ω) ≠Y(ω) }=0,则称它们是 等价的。
注：为简单起见，习惯将{ω:X(ω) ≥x}记为{X≥x}，其他记号类似。
常用的随机变量：离散型随机变量、连续型随机变量。 离散性随机变量 X 的概率分布用如下分布列描述：
pk = P{X = xk }, k = 1,2, …
第三节 数字特征、矩母函数与特征函数 1.Riemann—Stietjes 积分 定义 1 设 g(x) ，F(x) 为有限区间 (a,b] 上的实值函数，a x0 x1 xn b 为
(a,b] 的 一 个 分 割 ， 令 F(xi ) F(xi ) F(xi1) ， i [xi1, xi ] ， 1 i n ，
d 维正态分布
密度函数 f (x)
1
exp{(x ) (x )}
d
1
(2 ) 2 | | 2
Γ 分布
密度函数
f
(x)
s
(s)
x s1e x
Stochastic Process_1 随机过程
1 n 即P X i mx 1 n i 1
Dy D
中心极限定理
• 令X1, …,Xn为一系列独立随机变量, 均值为 ，方差为 ，则当
的分布趋于正态分布。 大量独立的随机变量之和的极限分布为正态 分布。
多次抛掷硬币实验中出现正面的平均比率 每次实验均抛掷了大量硬币
x mx f ( x )dx
2
x mx
x mx f ( x )dx
2
由于f(x)>0，因此
Dx 2
x mx
f ( x )dx 2 P[ x mx ]
Dx
P[ x m x ]
2
Chebyshev定理
当独立试验次数足够大，随机变量X的观察值的算 术平均值以概率收敛于数学期望。 “以概率收敛”即当实验次数n足够大时，对任意 小的正数 和 有 1 n
例：掷一个色子的期望E(X)
练习：试求前面所讲几个典型随机变量的期望
• 定理：X是一随机变量，F(x)为分布函数， y=g(x)是连续函数，若 g ( x)dF ( x存在，则 )
EY E[ g ( X )] g ( x)dF( x)
• 推论：如果a，b为常数，则
(7) Continuity for above: 若 En 单调递减，则
lim P( En ) P( En )
n n 1
• 条件概率 • 乘法公式 • 全概率公式
P( EF ) P( E F ) P( F )
P( E1 E2 En ) P( E1 ) P( E2 E1 ) P( E3 E1 E2 ) P( En E1 E2 En 1 )
Dy D
中心极限定理
• 令X1, …,Xn为一系列独立随机变量, 均值为 ，方差为 ，则当
的分布趋于正态分布。 大量独立的随机变量之和的极限分布为正态 分布。
多次抛掷硬币实验中出现正面的平均比率 每次实验均抛掷了大量硬币
x mx f ( x )dx
2
x mx
x mx f ( x )dx
2
由于f(x)>0，因此
Dx 2
x mx
f ( x )dx 2 P[ x mx ]
Dx
P[ x m x ]
2
Chebyshev定理
当独立试验次数足够大，随机变量X的观察值的算 术平均值以概率收敛于数学期望。 “以概率收敛”即当实验次数n足够大时，对任意 小的正数 和 有 1 n
例：掷一个色子的期望E(X)
练习：试求前面所讲几个典型随机变量的期望
• 定理：X是一随机变量，F(x)为分布函数， y=g(x)是连续函数，若 g ( x)dF ( x存在，则 )
EY E[ g ( X )] g ( x)dF( x)
• 推论：如果a，b为常数，则
(7) Continuity for above: 若 En 单调递减，则
lim P( En ) P( En )
n n 1
• 条件概率 • 乘法公式 • 全概率公式
P( EF ) P( E F ) P( F )
P( E1 E2 En ) P( E1 ) P( E2 E1 ) P( E3 E1 E2 ) P( En E1 E2 En 1 )