当前位置：文档之家 › 依概率收敛与弱大数定律

依概率收敛与弱大数定律

  • 格式：doc
  • 大小：282.00 KB
  • 文档页数：8

下载文档原格式

  / 8

合集下载

第五章 大数定律和中心极限定理

第五章 大数定律和中心极限定理
P 1 n 定理(辛钦大数定律) 设 { X n } 为独立同分布随机变量序列，若 EX 1 存在，则 X i . n i 1
第三节 中心极限定理
所谓中心极限定理，就是关于大量微小的随机变量之和的极限分布在什么条件下是正态分布的定理. 定义 1 设 { X n } 为一随机变量序列， DX n ， n 1,2, ，若
2
83
n a n lim P(a X i b) P n i 1 n
X
i 1
n
i
n
n
b n b n a n ) ( ). ( n n n
例 1 一加法器同时收到 50 个噪声电压 Vi (i 1,2, ,50 ) ， 设 V i (单位： 微伏)相互独立且均在 [0,10] 上 服从均匀分布，求该加法器上总电压 V
i 1
n
1 n2
c n 0(n ) ，
i 1
n
c
推论 2 (贝努里大数定律) 设 S n 为 n 重贝努里试验中事件 A 出现的次数， p 为 A 在每次 n
证 明 ：令 Xi
1 在第i 次试验中A出现 ， 则 X i ~ B(1, p ) ， i 1,2,, n 且 相 互 独 立 ， 0 在第 i 次试验中 A 不出现
c 0 ，使得 DX n c ， n 1,2, ，则
P 1 n ( X i EX i ) 0 . n i 1
证明：只须验证马尔可夫条件成立即可.由于 { X n } 两两互不相关，故
0
因此马尔可夫条件成立.
n 1 1 D ( Xi) 2 2 n n i 1
DX i

大数定律

大数定律

k 1
定理二（李雅普诺夫(Lyapunov) (L )定理） 设随机变量 数学期望和方差 (k=1,2,…) 1,2,…) ，记 相互独立，它们具有 ，
若存在正数 使得当
时，
则随机变量之和
Zn
的标准化变量
X
k 1 n k
E ( X k )
k 1 n
n

X
k 1
n
k
n
D ( X k )
16
自从高斯指出测量误差服从正态 分布之后，人们发现，正态分布在 自然界中极为常见。
高斯
如果一个随机变量是由大量相互独立的随机因 素的综合影响所造成，而每 个别因素对这种综合 素的综合影响所造成，而每一个别因素对这种综合 影响中所起的作用不大。 则这种随机变量一般都服 从或近似服从正态分布。 从或近似服从正态分布 现在我们就来研究独立随机变量之和所特有 的规律性问题。 当n无限增大时，这个和的极限分布是什么呢？ 无限增大时 这个和的极限分布是什么呢？
k 1
Bn
21
Zn
X
k 1
n
k
E ( X k )
k 1 n
n

X
k 1
n
k
n
D ( X k )
k 1
Bn
的分布函数
Fn ( x)
n X n i i 1 lim Fn ( x) lim P x n n n
由切比雪夫不等式
2 n 1 n P Xk 1 2 n k 1 上式中令 n 得 1 n lim P{| X i | } 1 n n i 1
4

5-1 大数定律

5-1 大数定律

大数定律的客观背景
大量的随机现象中平均结果的稳定性
大量抛掷硬币 正面出现频率
生产过程中的 字母使用频率 …… 废品率
二、大数定律（难点）
背景：
大数定律研究在什么条件下随机变量序列的算术平均值 收敛于其均值的算术平均值。
nA 1 n n X i p( A) 特例：频率的稳定性。 Rn ( A) n n i 1
0
1
{ln X k }满足辛钦Βιβλιοθήκη 数定律,令Zn ln Yn
1 n P 则Z n ln Yn ln X i 1 n i 1
又函数 f ( x ) e x 连续
故 Yn e
Zn
e
P
1
故 C e 1
本节重点总结
三个大数定律的核心
说明:(1) 另一种形式 lim P{ X n a } 0
n
(2) 对N ,n N时, 落在邻域U (a, )外的X n个数有限,测度为0.
P P P (3) 设X n a , Yn b, 则X n Yn a b. P X n .Yn a .b, P X n / Yn a / b(b 0)
例3 {X k }( k 1, 2, ...)独立同分布,且X k U (0,1), 令 Yn ( X k )
k 1 n
1 n
P 证明 : Yn C , 并求C .
证明 :{ X k }独立同分布, 故{ln X k }也独立同分布.
X k U (0,1),
E (lnX k ) ln xdx 1
说明：
(证明见下页)
nA P (1) n重伯努利试验中, 事件A发生的频率Rn ( A) p( A) n nA (2) 试验次数充分大时,可用频率 近似代替概率p( A) n nA 5 例抛硬币试验 : 若 =0.01, n=10 时, P{ 0.5 0.01} 97.5% n

14级--GZ《概率与统计》_第12讲_5.1大数定律_5.2中心极限定理

14级--GZ《概率与统计》_第12讲_5.1大数定律_5.2中心极限定理

§2 中心极限定理
5.2 中心极限定理
简介
中心极限定理是研究在什么条件下，独立随机变 量序列部分和的极限分布为正态分布的一系列定理 的总称。 在自然界与生产中，一些现象受到许多相互独立 的随机因素的影响，如果每个因素所产生的影响都 很微小时，总的影响可以看作是服从正态分布的。 中心极限定理就是从数学上证明了这一现象 。 它是近两个世纪概率论研究的中心问题，因此这 些定理称为中心极限定理。
P(120000 aX 60000 ) 0.9，即 P( X
由棣莫弗 - 拉普拉斯定理知，
60000 ) 0.9. a
60000 X 60 60000 a 60 P( X ) P( ) 0 . 9. a 60 9.4% 60 9.4%
5.2 中心极限定理
定理1：独立同分布中心极限定理 （变形）
P( k 1
n
X
n
k
n
当n 时 x) ( x)
n
k
X
式中
k 1
n
n
X n n 1 X X
分子分母同时除以n n k 1

k
X 近似 ~ N (0,1) 故： n
或
X ~ N (,
为什么会有这种规律性？这是由于大量试验过程中，随
机因素相互抵消、相互补偿的结果。
用极限方法来研究大量独立（包括微弱相关）随机试验
的规律性的一系列定律称为大数定律。
5.1 大数定律
弱大数定理（辛钦大数定理）
设随机变量序列 X1, X2, … 独立同分布，具有有限的 数学期望 E(Xk)=μ, k=1, 2, …，则对任给 ε >0 ，有
棣莫弗 – 拉普拉斯定理 (针对二项分布)

第四章 大数定律与中心极限定理

第四章 大数定律与中心极限定理
n→∞
则称{X 依概率收敛 依概率收敛于 则称 n}依概率收敛于X. 可记为
X n →X.
P
或
lim P{| X n − X |≥ ε} = 0
n→∞
二.几个常用的大数定律 几个常用的大数定律
1. 契贝晓夫大数定律 契贝晓夫大数定律 设{Xk,k=1,2,...}为两两不相关的随机变量序 为两两不相关的随机变量序 且它们的方差有界 即存在常数C>0，使 方差有界， 列，且它们的方差有界，即存在常数 ，
lim P{|
n→∞
µn
n
− p |< ε} = 1
即：µn
n
=
∑X
i= 1
i
n
→p
P
3. 辛钦大数定律
为独立同分布随机变量序列, 若{Xi,i=1.2,...}为独立同分布随机变量序列 为独立同分布随机变量序列 EXi=a <∞, i=1, 2, … 则对任意的 ε > 0，有 ∞
1 n 1 n P lim P{| ∑Xi − a |< ε} = 1，即 Yn = ∑Xi →a n→∞ n i=1 n ii=1 =1
2.德莫佛 拉普拉斯中心极限定理 德莫佛-拉普拉斯中心极限定理 德莫佛 拉普拉斯中心极限定理(De Moivre-Laplace) 设随机变量η 服从参数为n, 设随机变量ηn(n=1, 2, ...)服从参数为 p(0<p<1) 服从参数为 的二项分布， 的二项分布，则有 ηn − np L→ξ ~ N(0, 1).
§4.3. 中心极限定理 一.依分布收敛 依分布收敛
为随机变量序列， 为随机变量 为随机变量， 设{Xn}为随机变量序列，X为随机变量，其 为随机变量序列 若在F(x)的 对应的分布函数分别为F 的 对应的分布函数分别为 n(x), F(x). 若在 连续点，有 连续点， limF (x) = F(x),

12.16大数定理和中心极限定理(蓝背景)

12.16大数定理和中心极限定理(蓝背景)

n
n
有
lim
P
i 1
Xi
i 1
i
x
x
n
n
2 i
i 1
定理三 棣莫弗—拉普拉斯中心极限定理
（DeMoivre-Laplace ）
设n服从参数为n, p的二项分布Bn, p，则对于任意的
实数x，有
lim
n
P
P
X
x
x
np npq
n np
np(1 p)
x
1
2
x t2
n k 1
Xk
1
定义5.1 设Y1,Y2 , ,Yn , 是一个随机变量序列，a是
一个常数，若对任意正数，有 lim P n
Yn a
1，
P
则称序列Y1,Y2 , ,Yn , 依概率收敛于a。记为Yn a。
P
P
依概率收敛有以下性质：设Xn a,Yn b,又函数g x, y
P
在a,b点连续，则g X ,Y g a,b n
P(0
rX
a)
a
/
r
120 48
0
120 48
a
/
r
120 48
(17.32) 0
反查标准正态函数分布表，得
3.09 99.9%
令
a 120
r
3.09
48
解得
a (3.09 48 120)r
141r (千瓦)
例5 设有一批种子，其中良种占1/6. 试估计在任选的 6000粒种子中，良种比例与 1/6 比较上下不超过1% 的概率.
棣莫弗-拉普拉斯中心极限定理
(De Moivre-Laplace) [ 二项分布以正态分布为极限分布 ]

依概率有界 依概率收敛

依概率有界依概率收敛
依概率有界和依概率收敛是概率论和数理统计中的重要概念。

依概率有界是指，设$\{ \xi_n \}$是时间序列，$\{ c_n \}$是非零常数列，如果对任意$\varepsilon >0$，存在正数$M$，使得$\sup_n P(|\xi_n |>M) \leq \varepsilon$，就称时间序列$\{ \xi_n \}$是依概率有界的，记做$\xi_n = O_p(1)$。

如果$\{ \xi_n / c_n \}$=$O_p(1)$，就称$\xi_n = O_p(c_n)$。

依概率收敛是指，随机变量序列在概率意义下趋于一个确定的随机变量。

换句话说，随着样本数量的增加，随机变量越来越有可能接近某个特定值。

直观解释为，假设有一个随机实验用来生成一个随机变量序列，当重复这个实验很多次，随机变量序列的平均值趋向于某个特定值，即依概率收敛。

依概率收敛常用于描述大量随机实验中的稳定性，表征平均值的趋势，在统计学中大数定律就是基于依概率收敛的原理描述样本均值在大样本下趋于总体均值。

5.2随机变量序列的两种收敛

n
(n )
i 1
根据定义即证 例1、设 n 是独立同分布的随机变量序列，且 2 lim P ( k a ) 0 2 E a , D n ( n 1 ) 1 1
n n
n 2 P (n ) k a 试证： n k ( n 1 ) k 1 n 2 n 2 n 2 k E a k a kk 证： E k ( n 1 ) n ( n 1 ) ) k1 n k 1 k 1 n(n1
随机变量序列依概率收敛与函数序列收敛也不一样．
P 0 , lim P ( ) 1 n n n n


i列 n 服从大 n n 1 1 数定律就可以表达为 0 , lim P ( E ) 1 i i n n n
0，有 如果
n
lim P ( ) 0 或 lim P ( ) 1 n n
n

P

则称随机变量序列 n 依概率收敛于 ，记作
lim n
n
，或
P , ( n ) n
由定义可知，
P n
0 , ( n )
W
证明 ：略。
３.依概率收敛与按分布收敛间的关系
（１）
( n ) n
P
( n ) n
L
（２）
P c n n
L n
c n
分布函数列的弱收敛是一个很有用的概念，但要判 断一个分布函数序列是否弱收敛，有时很麻烦，而判 定相应的特征函数序列的收敛性却往往比较容易。

大数定律

敛于事件的概率p, 它以严格的数学形式表达了频
率的稳定性 .
因而当 n 很大时, 事件发生的频率与概率有较 大偏差的可能性很小. 在实际应用中, 当试验次数 很大时, 便可以用事件发生的频率来代替事件的概 率.
三、典型例题
例1 设随机变量 X1, X2, , Xn, 相互独立,
具有如下分布律： Xn na 0 na
1
11
P 2n2 1 n2 2n2
问是否满足契比雪夫定理? 解 独立性依题意可知, 检验是否具有数学期望？
E(Xn)
na 2
1 2n2
0 (1
1 n2
)
na 2
1 2n2
0,
说明每一个随机变量都有数学期望, 检验是否具有有限方差？
Xn2
P
(na )2 1 2n2
0 2n2
}
1.
[证毕]
2. 伯努利大数定理
伯努力资料
设 fA 是 n 次独立重复试验中事件A 发生的 次数 , p 是事件 A 在每次试验中发生的概率, 则对
于任意正数 0 , 有
lim
n
P
fA n
p
1
或
lim
P
n
fA n
p
0.
证 因为 fA ~ b(n, p) , 由第四章第二节例6， 有
E
(
X
2 n
)
2(
na
)2
1 2n2
a2,
D( Xn )
E
(
X
2 n
)
[
E
(
X
n
)]2
a2.
说明离散型随机变量有有限方差,
故满足契比雪夫定理的条件.

概率论大数定律及其应用

概率论基础结课论文题目：独立随机序列的大数事件的定理与应用作者：信计1301班王彩云130350119摘要：概率论历史上第一个极限定理属于伯努利，后人称之为“大数定律”。

概率论中讨论随机变量序列的算术平均值向常数收敛的定律。

概率论与数理统计学的基本定律之一，又称弱大数理论。

大数定律以严格的数学形式表达了随机现象最根本的性质—平均结果的稳定性，它是概率论中一个非常重要的定律，是随机现象统计规律性的具体表现，应用很广泛。

本文介绍了几种常用的大数定律，并分析了它们在理论与实际中的应用。

关键词：弱大数定理伯努利大数定理随机变量数学期望概率引言：“大数定律”本来是一个数学概念，又叫做“平均法则”。

在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律，通俗的说，这个定律就是在试验不变的条件下，重复试验多次，随机事件的频率以概率为稳定值。

比如，我们向上抛一枚硬币，硬币落下时哪一面朝上本身是偶然的，但当我们向上抛的硬币的次数足够多时，达到上万次甚至几十万几百万时之后，我们就会发现，硬币朝上的次数大约占总数的二分之一。

偶然之中包含着必然。

从概率的统计定义中可以看出：一个事件发生的频率具有稳定性，即随着试验次数的增多，事件的频率逐渐稳定在某个常数附近，人们在实践中观察其他的一些随机现象时，也常常会发现大量随机个体的平均效果的稳定性。

这就是说，无论个别随机个体以及它们在试验进行过程中的个别特征如何，大量随机个体的平均效果与每一个体的个别特征无关，而且结果也不再是随机的。

深入考虑后，人们会提出这样的问题：稳定性的确切含义是什么？在什么条件下具有稳定性？这就是我们大数要研究的问题。

概率与统计是研究随机现象的统计规律的学科，而随机现象的统计规律性只有在相同条件下进行大量重复试验或观察才呈现出来。

然而，在大量重复试验或观察中，我们会发现，一个事件发生的频率具有稳定性，它的稳定性会随着试验次数的增多表现得越来越明显。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

§2 依概率收敛与弱大数定律 一、依概率收敛 二、弱大数定律

一、依概率收敛 尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω表示落点的位置，定义

(),,10 [,.](.,]005051 (),,

0

1 [,.](.,]005

051. (1)

则ξ和η具有相同的分布函数

F(x)=,1,2/1,0 .1,10,0xxx (2) 如果定义n, n1, 则nd, 但||n1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性. 定义1 设和n是定义在同一概率空间 (Ω,F, P)上的随机变量序列. 如果对任意ε>0, lim(||)nnP=0, (3)

或 lim(||)nnP=1, ')3(

则称n依概率收敛(convergence in probability)于，记作nP. 注 定义1要求所有和n的定义域相同. nP可直观地理解为：除去极小的可能性，只要n充分大，n与的取值就可以任意接近. 从上面例子可以看出, 由nd并不能导出nP. 关于这两种收敛性之间的关系，我们有下面的定理. 定理1 设和n是定义在概率空间 (Ω,F, P)上的随机变量序列.

1. 如果nP, 则 nd. 2. 如果ndc, c为常数，则nPc. 证 1. 设F和Fn分别是和n的分布函数，x表示F的连续点. 任意给定ε>0, (xxxxxnn)(,)(,) ()()nnx,

因此 F(x)()()FxPnn.

令n→∞, 由于nP, 故PPnn()(||)0, 从而 F(x)lim()nnFx. (4) 类似地 ()(,)(,)nnnxxxxx

()()xn

,

从而 FxFxPnn()()().

令n→∞, 得 lim()()nnFxFx. (5)

连接(4) (5)两式，对任意ε>0, 有

F(x)lim()nnFxlim()()nnFxFx. 由于F在x点连续，令ε→0, 就得 lim()()nnFxFx, 即nd. 2. 如果ndc，则 lim(),,nnFx

0

1 xcxc

.

因此对任意0,有

)()(1)()()|(|cPcPcPcPcP

nnnnn

=1FcFcnn()(),00 (n→∞). 定理证毕. 例1 设{n}独立同分布，都为[0, a]上的均匀分布, nnmax{,,,}12.求证 nPa. 证 由定理1, 只须证明n的分布函数GxDxanW()(), 其中D(x-a)是在a点的退化分布函数. 从第二章知道：若k的分布函数为F(x), 则n的分布函数为GxFxnn()[()]. 现在k的分布函数为

F(x)=,1,/,0ax.,0,0axaxx 故

Gxxann(),(/),,



0

1 xxaxa00

→ D(x-a)=01,, xaxa (n→∞).

证毕. 依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.

例2 设和n是定义在概率空间 (Ω,F, P)上的随机变量序列. 求证：

1. 若nP，nP, 则P(ξ=η)=1. 2. 若nP, f是 (-∞, ∞) 上的连续函数，则f (n)Pf(). 证 1. 任意给定ε>0，我们有 (||)(||/)(||/)nn22, 从而 P(||)(||/)(||/)PPnn22.

由nP, nP, 并注意到上式左方与n无关, 得P(||)=0. 进一步,

P(||)((||/))(||/)01111PnPnnn=0, 即P(ξ=η)=1. 2. 任意给定,0，存在M>0, 使得

P(|ξ|M)P(|ξ|M/)/24. (6) 由于nP, 故存在N11, 当nN1时, P(||/)/nM24, 因此 2/4/4/)2/|(|)2/|(|)|(|MPMPMPnn (7) 又因f(x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的ε>0, 存在δ>0, 当|x-y|时，|f(x)-f(y)|

P(|()()|)(||)(||)(||)ffPPMPMnnn. (8)

对上面的δ, 存在N21, 当nN2时, P(||)/n4. (9) 结合(6) (7) (8) (9)式, 当nmax(,)NN12时， P(|ffn()()|)///424, 从而 f (n)Pf(). 为了进一步讨论依概率收敛的条件，我们给出下列切比雪夫不等式(第三章§2)的推广. 定理2 （马尔科夫不等式） 设ξ是定义在概率空间 (Ω, F, P)上的随机变量，f (x)是[0, ∞) 上非负单调不减函数，则对任意x >0,

P(|ξ| > x)Effx(||)(). (10) 证 当Ef(|ξ|)=∞时，(10)式显然成立. 设Ef(|ξ|)<∞,ξ的分布函数为F(x). 因f (x) 单调不减，故 |y| >x 时, f(|yfx|)(),从而

xyxyydFxfyfydFxP||||)()(|)(|)()|(|

)(|)(|)(1ydFyfxf )(|)(|xfEf. 定理3 nP 当且仅当 E||||nn221→0. 证 充分性：注意到f (x)=xx221在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2 P(|nnnE|)||||112222→0, 即nP. 必要性：设n的分布函数是Fxn(). 对任意ε>0,

)(1)(1)(1||1||||22||222222xdFxxxdFxxxdFxxEnxnxnnn



221dFxnx()|\=221Pn(||). (11) 由于nP, 在(11)式两边先令n→∞, 再让ε→0，即得证E||||nn221→0. 二、弱大数定律 考虑随机试验E中的事件A，假设其发生的概率为p (0 < p <1), 现在独立重复地做试验n次——n重贝努里试验. 令

i

10,

, 次试验中不出现在第次试验中出现在第iA

iA

, 1in.

则P(i=1)=p, P(i=0)=1-p. Sniin1是做试验E n次后A发生的次数，可能值0,1,2,…,n, 视试验结果而定. 熟知 ESnn=p. 在第一章§1中曾经指出: 当n时频率nSn"稳定到"（在某种意义下收敛于）概率p. 我们想知道Snn与p之间的差究竟有多大. 首先应该意识到不可能期望对任意给定的 0果成立. 事实上，当0 < p <1,

P(Snn=1)=P(1=1,…,n=1)=pn, P(Snn=0)=P(1=0,…,n=0)=(1pn), 它们都不为零. 而在第一种情况，取ε<1-p，不论n多大，|Snn-p|=1-p >ε; 在第二种情况，取εε. 然而，当n充分大后，事件{Snn=1}和{Snn=0}发生的可能性都很小. 一般来说，自然地希望当n充分大以后，出现{|Snn-p|ε}的可能性可以任意地小. 这一事实最早由贝努里发现. 定理4 （贝努里大数定律） 设{n}是一列独立同分布的随机变量，P(n=1)=p, P(n=0)=1-p, 0 < p <1, 记Sniin1, 则SnnPp. 继贝努里之后，人们一直试图对一般的随机变量建立类似的结果. 定义2 设{n}是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{an}和

{bn}使得 101abnknPkn



, (n→∞)， (12)

则称{n}服从弱大数定律( weak law of large numbers), 简称{n}服从大数定律. 定理5 （切比雪夫大数定律） 设{n}是定义在概率空间 (Ω,F, P)上的独立随机变量序列，

En=n, Varn=n2. 如果10221nkkn，则{n}服从弱大数定律，即 11011nnkknkPkn



.

证 考察随机变量11nkkn, 因E(11nkkn)=11nkkn, Var(11nkkn)=1221nkkn，用第三章§2的切比雪夫不等式，得

P(|11nkkkn()|)12Var(11nkkn)=12(1221nkkn)→0. 此即所证. 注1 贝努里大数定律是切比雪夫大数定律的特例.

注2 如果条件“{n}独立”被“{n}两两不相关”所代替，定理5依然成立. 更一般地, 由

该定理的证明容易看出：如果取消条件“{n}独立”，但条件“1221nkkn→0”改为“12nVar(kkn1)→0”, 则定理5的结论仍然成立, 称为“马尔科夫大数定律”. 如果{n}不仅独立，而且同分布，则可以改进定理5如下：

定理6（辛钦大数定律） 设{n}是定义在概率空间 (Ω, F, P)上的独立同分布随机变量序列，