第五章 大数定律和中心极限定理

P 1 n 定理(辛钦大数定律) 设 { X n } 为独立同分布随机变量序列，若 EX 1 存在，则 X i . n i 1
第三节 中心极限定理
所谓中心极限定理，就是关于大量微小的随机变量之和的极限分布在什么条件下是正态分布的定理. 定义 1 设 { X n } 为一随机变量序列， DX n ， n 1,2, ，若
2
83
n a n lim P(a X i b) P n i 1 n
X
i 1
n
i
n
n
b n b n a n ) ( ). ( n n n
例 1 一加法器同时收到 50 个噪声电压 Vi (i 1,2, ,50 ) ， 设 V i (单位： 微伏)相互独立且均在 [0,10] 上 服从均匀分布，求该加法器上总电压 V
i 1
n
1 n2
c n 0(n ) ，
i 1
n
c
推论 2 (贝努里大数定律) 设 S n 为 n 重贝努里试验中事件 A 出现的次数， p 为 A 在每次 n
证 明 ：令 Xi
1 在第i 次试验中A出现 ， 则 X i ~ B(1, p ) ， i 1,2,, n 且 相 互 独 立 ， 0 在第 i 次试验中 A 不出现
c 0 ，使得 DX n c ， n 1,2, ，则
P 1 n ( X i EX i ) 0 . n i 1
证明：只须验证马尔可夫条件成立即可.由于 { X n } 两两互不相关，故
0
因此马尔可夫条件成立.
n 1 1 D ( Xi) 2 2 n n i 1
DX i
n
率 1 收敛(或几乎处处收敛或几乎必然收敛)于 X ，简记为 X n X (或 X n X ).
a e
as
第二节 大数定律
人们在长期的实践中发现，事件发生的频率具有稳定性，也就是说随着试验次数的增多，事件发生的 频率将稳定于一个确定的常数.对某个随机变量 X 进行大量的重复观测，所得到的大批观测数据的算术平 均值也具有稳定性. 概率论中，一切关于大量随机现象之平均结果稳定性的定理统称为大数定律 .按收敛性的含义不同， 大数定律又可以分为弱大数定律和强大数定律. 定义：设 { X n } 为一随机变量序列，如果存在常数序列 {a n } 使得
lim
n
1 2 Bn

i 1
n
| x i | Bn
(x i ) 2 dFi ( x ) 0
n
d
该定义表明，X n X 等价于 X n 的分布函数为 Fn ( x ) 弱收敛于 X 的分布函数 F ( x) .这里称呼为弱收 敛是自然的，因为它比每一点上都收敛的要求的确是弱了一点.
d
二、依概率收敛
定义：设 { X n } 为一随机变量序列， X 为一个随机变量，若对任给的 0 都有
V
i 1
50
i
不低于 300 微伏的概率的近似值.
解：易知 EV1 5 ， 2 DX 1
100 ，从而 12
P(V 300) P(Vi 300) 1 (
i 1
50
300 50 5 50 100 12
) 1 ( 6 ) 1 (2.45) 1 0.9929 0.0071 .
1 n lim P ( X EX ) i i 0， n n i 1
故结论成立.
lim
n 1 D ( X i ) 0 称为马尔可夫条件.它只是大数定律成立的充分条件，不是必要条件. n n 2 i 1
推论 1( 切比雪夫大数定律 ) 设 { X n } 为两两互不相关的随机变量序列，且方差有界，即存在常数
n P 1 1 n D ( X ) 0 ( X EX ) 0. ，则 i i i n n 2 n i 1 i 1
X
i 1
n
i
)且
lim
证明：记 Y 等式有
n 1 n 1 n 1 X EY EX DY D ( X i ) .对任给的 0 ，由切比雪夫不 ，则 ， i i n i 1 n i 1 n2 i 1
P d P d P P P P
F ( x ) P( X x ) P( X x , X n x) P( X x , X n x) P( X n x) P(| X n X | x x ) Fn ( x) P(| X n X | x x ) ，
P(| X n C | ) P( X n C ) P( X n C ) Fn (C 0) 1 Fn (C ) 0 1 1 0(n ) ，
故有 X n C . 上述定理的逆命题不成立. 例 1 设 X ~ N (0,1) ， X n X ，则 X n ~ N (0,1) ，故有 X n X .但对给定的 0 ，
EX 1 ， DX 1 2 (0 2 ) ，则 { X n } 服从中心极限定理，即
Yn
X
i 1
n
i
n
n
N (0,1) .
d
记X
1 n n ( X ) d X i ，则上式可写成 N (0,1) .这一结论正是数理统计学中大样本统计推断 n i 1
Sn P p. n
推论 3 (泊松大数定律) 设 S n 为 n 次独立试验中事件 A 出现的次数， p i 为在第 i 次试验中 A 出现的 概率， i 1,2,, n ，则
P Sn 1 n pi 0 . n n i 1
证 明 ： 如 推 论 2 中 那 样 定 义 X i ， 则 X i ~ B (1, p i ) ， i 1,2,, n 且 相 互 独 立 ， EX i pi ，
由 X n X 知 P(| X n X | x x ) 0(n ) ，故有 F ( x ) lim Fn ( x) .
n
P
同理可证对 x x ，有 F ( x ) lim Fn ( x) .因此对于 x x x 有
n
F ( x) lim Fn ( x) lim Fn ( x) F ( x ) ，
定理 ( 林德贝格定理 ) 设 { X n } 为一相互独立且具有有限方差的随机变量序列，记 EX i i ，
2 i2 ， Yn DX i i2 (i 1,2, , n) ， Bn i 1 n
1 Bn
(X
i 1
n
i
i ) ，若对任给的 0 都有
的理论依据. 推论 1(德莫佛—拉普拉斯积分极限定理) 设 S n ~ B (n, p ) ，则对任意给定的 a, b(a b) ，有
lim P a n
t b 1 2 b e dt . a np(1 p) 2
S n np
2
上述定理和推论的一个简单应用是可以利用它们来求独立同分布随机变量之和落在区间 [ a, b) 内概率 的近似值. 设 X 1 , X 2 , , X n 独立同分布， EX 1 ， DX 1 ，当 n 充分大时，有
n 1 n 1 1 P ( X EX ) P (| Y EY | ) DY D (Xi ) ， i i n 2 2 n 2 i 1 i 1
81
由条件 lim
n 1 D ( X i ) 0 及概率的非负性即得 n n 2 i 1
Yn
(X
i 1
n
i
EX i )
n
N (0,1) ，
d
D ( X i )
i 1
即对一切 x R 有
lim FYn ( x) lim P(Yn x)
n n
x
1 2

e

t2 2
dt ( x) ，
则称 { X n } 服从中心极限定理. 定理 ( 林德贝格 - 勒维定理或独立同分布中心极限定理 ) 设 { X n } 为一独立同分布随机变量序列，
n n
对于 F ( x) 的连续点 x ，令 x x ， x x ，则有 lim Fn ( x) F ( x) ，即 X n X .
n
d
2）只须证明若 X n C 则有 X n C 即可.事实上，若 X n C ，则对任给的 0 有
80
d
P
d
P P 1 n 1 n 1 . { X n } 满足推论 1 的条件，故有 ( X i p ) 0 或 X i p ，显 n i 1 n i 1 4
EX i p ， DX i p(1 p)
然 Sn
X i ，因此有
i 1
n
Sn P p. n
在贝努里大数定律中，显然 S n ~ B(n, p) ，因此贝努里大数定律也可以改述为：设 S n ~ B(n, p) ，则
82
DX i pi (1 pi )
n S P 1 ，故 { X n } 满足推论 1 的条件，而显然 S n X i ，因此有 n p . n 4 i 1
泊松大数定律是贝努里大数定律的推广 .贝努里大数定律证明了在完全相同的条件下独立重复试验中 频率的稳定性，而泊松大数定律表明，当独立试验的条件发生变化时，频率仍具有稳定性.
第五章 大数定律和中心极限定理
第一节 随机变量序列的四种收敛性 一、依分布收敛
定义：设 X 1 , X 2 , 为定义在同一概率空间( , F , P )上的一列随机变量，简记为 { X n } ， X 为一个 随机变量(可以是常数)， X n 的分布函数为 Fn ( x ) ， X 的分布函数为 F ( x) ，若对 F ( x) 的一切连续点 x 都 有 lim Fn ( x) F ( x) ，则称随机变量序列 { X n } 依分布收敛于随机变量 X ，简记为 X n X .