下载文档原格式
23个大数定律大数定律是概率论中的一组重要定理，用于描述在随机试验中大量重复进行时的规律性现象。
以下是23个大数定律的简要介绍。
1. 大数定律：随着试验次数的增加，随机变量的平均值会趋近于其期望值。
2. 弱大数定律：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
3. 辛钦大数定律：对于独立同分布的随机变量序列，其平均值以概率1收敛于期望值。
4. 伯努利大数定律：在一系列独立的伯努利试验中，事件发生的频率趋近于其概率。
5. 泊松大数定律：对于独立同分布的泊松随机变量序列，其平均值以概率1收敛于其参数。
6. 中心极限定理：大量独立同分布的随机变量的和趋近于正态分布。
7. 林德伯格-列维定理：对于独立同分布的随机变量序列，其和的标准化形式以概率1收敛于标准正态分布。
8. 稳定中心极限定理：对于独立同分布的随机变量序列，其和的标准化形式以概率1收敛于稳定分布。
9. 辛钦大数定律的弱形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
10. 多重大数定律：对于多个随机变量序列，其平均值以概率1收敛于各自的期望值。
11. 大数定律的强形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
12. 独立非同分布大数定律：对于独立非同分布的随机变量序列，其平均值以概率1收敛于各自的期望值。
13. 独立同分布大数定律的弱形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
14. 辛钦大数定律的强形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
15. 大数定律的加法形式：对于独立同分布的随机变量序列，其和以概率1收敛于各自的期望值之和。
16. 大数定律的乘法形式：对于独立同分布的随机变量序列，其乘积以概率1收敛于各自的期望值之积。
17. 大数定律的极限形式：对于独立同分布的随机变量序列，其平均值以概率1收敛于期望值的极限。
18. 大数定律的收敛速度：随着试验次数的增加，随机变量的平均值与期望值之间的差异逐渐减小。
四种大数定律导语：大数定律是概率论中的重要概念，它描述了在重复进行某个实验的过程中，随着实验次数的增加，实验结果会趋近于某个稳定值的现象。
本文将介绍四种常见的大数定律。
一、大数定律之弱大数定律弱大数定律，也称为大数定律的弱收敛形式，是概率论中最早被发现和证明的大数定律之一。
它指出，对于独立随机变量序列X1, X2, ..., Xn，如果这些随机变量的数学期望存在且相等，那么对于任意给定的正数ε，有lim(n→∞)P(|(X1+X2+...+Xn)/n-μ|<ε)=1，即随着样本容量的增加，样本均值趋近于总体均值。
例如，我们进行了n次掷硬币的实验，正面朝上的概率为p。
根据弱大数定律，当n趋向于无穷大时，正面朝上的频率将逐渐收敛于p。
二、大数定律之强大数定律强大数定律是大数定律中的一种更为强大的形式，也称为大数定律的强收敛形式。
它指出，对于独立同分布的随机变量序列X1, X2, ..., Xn，如果这些随机变量的数学期望存在且相等，那么对于任意给定的正数ε，有lim(n→∞)P(|(X1+X2+...+Xn)/n-μ|≤ε)=1，即样本均值几乎以概率1收敛于总体均值。
以赌场为例，假设我们进行了n次抛硬币的实验，正面朝上的概率为p。
根据强大数定律，当n趋向于无穷大时，正面朝上的频率几乎以概率1收敛于p。
三、大数定律之伯努利大数定律伯努利大数定律是大数定律中的一种特殊形式，适用于二项分布的随机变量序列。
它指出，对于独立同分布的伯努利试验序列X1, X2, ..., Xn，如果这些随机变量的概率p存在且相等，那么对于任意给定的正数ε，有lim(n→∞)P(|(X1+X2+...+Xn)/n-p|≤ε)=1，即样本均值几乎以概率1收敛于总体均值p。
以制造业为例，假设我们对某个产品进行了n次质量检测，不合格的概率为p。
根据伯努利大数定律，当n趋向于无穷大时，不合格品的比例几乎以概率1收敛于p。
四、大数定律之中心极限定理中心极限定理是大数定律中的一种重要形式，它描述了随机变量序列的和在一定条件下服从近似正态分布的现象。
依概率收敛大数定律中心极限定理依概率收敛、大数定律和中心极限定理是概率论中重要的三个定理，它们在统计学、经济学、物理学等领域有着广泛的应用。
本文将分别介绍这三个定理的定义、原理和应用。
一、依概率收敛1.1 定义依概率收敛是指，对于一组随机变量序列X1,X2,...,Xn,...，如果对于任意给定的正数ε>0，都有：lim P(|Xn-X|≥ε)=0(n→∞)其中，X为常数，则称随机变量序列{Xn}依概率收敛于X。
1.2 原理依概率收敛是弱收敛的一种形式。
它表示当样本容量趋近于无限大时，样本均值与总体均值之间的差距会越来越小，并最终趋于零。
1.3 应用依概率收敛在经济学和金融学中有着广泛的应用。
例如，在股票市场上，当投资者持有股票时，他们通常希望股票价格能够稳定增长。
而依概率收敛则可以帮助投资者预测股票价格的未来趋势，从而制定出更为科学合理的投资策略。
二、大数定律2.1 定义大数定律是指，对于一组独立同分布的随机变量序列X1,X2,...,Xn,...，如果E(Xi)=μ，则对于任意给定的正数ε>0，都有：lim P(|(X1+X2+...+Xn)/n-μ|≥ε)=0(n→∞)其中，μ为总体均值，则称随机变量序列{Xn}满足大数定律。
2.2 原理大数定律是概率论中最基本也是最重要的一条定理。
它表明当样本容量越来越大时，样本均值会越来越接近总体均值。
换句话说，当样本容量充分大时，样本均值就可以代表总体均值。
2.3 应用大数定律在统计学中有着广泛的应用。
例如，在进行人口普查或调查时，如果样本容量太小，则无法准确地反映总体情况。
而通过应用大数定律可以帮助我们确定一个合适的样本容量范围，并保证调查结果的准确性和可靠性。
三、中心极限定理3.1 定义中心极限定理是指，对于一组独立同分布的随机变量序列X1,X2,...,Xn,...，如果E(Xi)=μ，Var(Xi)=σ²，则随机变量序列：Zn=(X1+X2+...+Xn-μn)/σ√n近似服从标准正态分布，则称随机变量序列{Xn}满足中心极限定理。
依概率收敛和大数定律的关系引言：在概率论与数理统计中，依概率收敛和大数定律是两个重要的概念。
它们在研究随机现象时具有重要的理论和应用价值。
本文将从概念的解释、关系的阐述和实际应用的角度，探讨依概率收敛和大数定律之间的密切联系。
一、依概率收敛和大数定律的概念解释1. 依概率收敛：依概率收敛是指在概率论中，随机变量序列在概率意义下逐渐接近一个确定的常数。
具体来说，对于随机变量序列{X₁, X₂, ... , Xₙ}，如果对于任意给定的正数ε>0，当n趋向于无穷大时，有P(|Xₙ-α|>ε)→0，其中α为一个确定的常数，就称随机变量序列{Xₙ}依概率收敛于α。
2. 大数定律：大数定律是指随机现象中，随机变量序列的平均值在概率意义下逐渐接近其数学期望。
具体来说，对于随机变量序列{X₁, X₂, ... , Xₙ}，如果对于任意给定的正数ε>0，当n趋向于无穷大时，有P(|(X₁+X₂+...+Xₙ)/n-μ|>ε)→0，其中μ为随机变量的数学期望，就称随机变量序列的平均值依概率收敛于μ。
二、依概率收敛和大数定律的关系阐述依概率收敛和大数定律都是研究随机变量序列的收敛性质，两者之间存在密切的联系。
1. 依概率收敛是大数定律的一种特殊情况：依概率收敛是大数定律的一种特殊情况，即当随机变量序列的平均值依概率收敛于其数学期望时，也可以说该随机变量序列依概率收敛于其数学期望。
2. 大数定律是依概率收敛的一种具体表现形式：大数定律是依概率收敛的一种具体表现形式，即随着随机变量序列的增大，其平均值趋近于数学期望的概率趋近于1。
可以说大数定律是依概率收敛的一种具体应用。
三、依概率收敛和大数定律的实际应用1. 统计学中的样本均值：在统计学中，大数定律的一个重要应用是样本均值的稳定性。
根据大数定律，当样本容量足够大时，样本均值将以很高的概率接近总体均值，从而可以用样本均值来估计总体均值。
2. 金融领域中的股票收益率：在金融领域中，大数定律被广泛应用于股票收益率的研究。
§ 2依概率收敛与弱大数定律、依概率收敛 、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律，但是两个不同的随机变量可以有相同的分布函数.例如，向区间［0,1］上随机等可能投点，3表示落点的位置，定义则E 和n 具有相同的分布函数0,x 0, *1/2, 0 兰 x v 1, 1,x > 1F(x)八人 - I •(2)如果定义 n = , n —1,贝U n'，但1 n-尸1.这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度.为此需要引入另外的收敛性nimW(3)=1,则称 n 依概率收敛(convergenee in probability)于，记作 n性，只要n 充分大， n 与 的取值就可以任意接近系，我们有下面的定理定理1设和n 是定义在概率空间(Q ,F, P)上的随机变量序列证1.设F 和F n 分别是 和n 的分布函数，x 表示F 的连续点.任意给定£ >0,(",c - [0,05] c -(05,]C)门三[0,05]c -(05,](1)定义1设•和n 是定义在同一概率空间(Q ,F, P)上的随机变量序列.如果对任意£ >0,(3)注定义1要求所有和n 的定义域相同n 卩》可直观地理解为：除去极小的可能从上面例子可以看岀由n '并不能导岀n关于这两种收敛性之间的关产_P T1.如果 n，则2. 如果dn— e, e 为常数，贝UnP一；e(_x — ;) =( _X — , n _X)( _x — n X)5（仁X）（「_；）因此F(x—U)M F n(x)+P(S —P令n^x ,由于-n----------------------- 、-,故P(±n —乏s)兰P(| =n —耳二幼T 0,从而-;)Tim F n(x) F(x j . (4) 类似地(n _X)=( n -X, _X ；) ( ；_X, X )』（乜X 亠：.）（::n _ ；）从而F n(X"F(X ；) P( - n - ；)lim F n(x) _F(x )n i-连接⑷（5）两式，对任意£ >0,有-)< ljm F n (x)F(x n厂因此对任意名>0,有P(| n -C|—沪P( n -C ；) P( n "_ ；)= 1-P( n C ；) P( n ^C-；)=1-F n(C 「0) F n(C- ；) > 0,定理证毕.例1设｛ -n｝独立同分布，都为［0, a］上的均匀分布，人=max｛冷，二2，…tn｝.求证(5)由于F在x点连续，令£ T 0,就得lim F n(x) =F(x)F ,即nnim：F n(x)= 1, X :：CX(n TX ).证 由定理1,只须证明 n的分布函数Gn(x) > D(x —a),其中D (x-a)是在a 点的退化分布函数.从第二章知道：若 h 的分布函数为F(x)，则耳n的分布函数为G n (x)=[F(x)].现在的分布函数为0, x<0, x/a, 0 乞 x ：： a,则 P( E = n )=1.F(x)=1,x - a.故[0,G n (x)二(x/a)n ,x ::: 00 _ x ::: a0,1,kx _ a T D(x-a)=」,x ：： a证毕.依概率收敛有许多性质类似于微积分中数列极限的性质 的证题方法.大部分性质放在习题中留给读者自己证明 F 面仅举两个例子说明这类问题2设和n 是定义在概率空间(Q ,F, P)上的随机变量序列.求证: 1. 2.(-OO , OO ) 上的连续函数，则 f ( n ) * f()从而1.任意给定£ >0 ,我们有(I-I - ；/2) (I n - | - ；/2)P(IP(I-；/2) • P(| n-r.|_ ;/2)■T 口 ,并注意到上式左方与n 无关，得P(F 一 F 王和=0.进一步oOoO- I 0) =P( (I - I-1/n))P(| - 1-1/ n)n =1nm=0即 P( E =n )=1.2.任意给定，存在M>0,使得P(I E rM) _P(I E I - M/2)"： ； /4.(6)由于 n P「，故存在 N 1—1,当 n-N 1 时，p (「n-〕-M/2)「/4,因此-0,4 / 8P(| n |_M)乞 P(| n 一 j_ M /2) P(| j_M /2):::;/ 4 i / 4 = ; / 2(7)又因f (x)在(-g 产)上连续，从而在［-M, M ］上一致连续.对给定的£ >0,存在S >0,当|x-y|< S 时，|f (x)- f (y)|< £ .这样p (|f(g) —f(©l = E 兰P(|J —竺⑧ +P(I ®|A M)+P(| 舱 M).(8)对上面的S ,存在N2^1,当门王N2时,p (| — /4结合⑹⑺(8) (9)式,当n —max(N1,N 2)时,P(|f( n ) —f( )|- )：I4；I2：I4=;从而f ( n )卩'f().为了进一步讨论依概率收敛的条件，我们给岀下列切比雪夫不等式 (第三章§ 2)的推广.定理2 (马尔科夫不等式)设E 是定义在概率空间 (Q , F, P)上的随机变量，f (x)是［0, g )上非负单调不减函数，则对任意x >0,":Ef(| ］) P(|E | > x)f(x)证 当Ef(| E |)=g 时，(10)式显然成立.设Ef(| E |)<g ,E 的分布函数为 F(x).因f (x)单调不减，故 |y| >x 时，f(|y|) -f(x)，从而Ef(| |) f (x)|2定理3 n 卩'当且仅当 E 1 * n _ f -0.匚 | ； - |21 | ； - |2(9)(10)P(| ■ | x)y| xdF(y) <|y| xf(|y|)f(x)dF(y) 1 f(x)」(|y|)dF(y)证充分性：注意到f (x)=在［0,g ］上非负单调不减 对任意£ >0,由定理2P(|必要性：设n-的分布函数是 F n (X ).对任意£ >0,E I21| n - I _2 2 xx二 |x|2dF n (x) |x|2dF n (x)|x|:::;1 . x 2 |x|_;1 . x 2-|xdF n (X )牙 P(「n -〕—；)虫=1 +名© - q 2P2 由于 n : 在(11)式两边先令n is ,再让£— 0,即得证E1 11二、弱大数定律考虑随机试验 E 中的事件A ，假设其发生的概率为 p (0 < p <1),现在独立重复地做试验n 次——n 重贝努里试验.令A 在第i 次试验中出现 A 在第i 次试验中不出现Sn_种意义下收敛于)概率 p.我们想知道 n 与p 之间的差究竟有多大果成立.事实上，当0 < p <1,S n p nP( n =1) = P( 1=1, - , n =1)= , SnnP( n =0) = P( 1=0, - , n =0)=( p),S n它们都不为零.而在第一种情况，取£ <1-p ，不论n 多大，| n -p|=1-p >S A£ <p,则有 I n -p|= p > £ .Sn S n然而，当n 充分大后，事件｛ n =1｝和｛ n =0｝发生的可能性都很小望当n 充分大以后，岀现｛| n -p| — £ ｝的可能性可以任意地小.这一事实最早由贝努里发现2□0X-—dF n (x) 一 1 X (11)则 P( i =1)=p, P( i =0)=1-p.nS n 八ii 二是做试验E n 次后A 发生的次数，可能值 0,1,2,…,n,视S nS n试验结果而定.熟知E n =p.在第一章§ 1中曾经指岀： 当nr ::时频率n "稳定到"(在某首先应该意识到不可能期望对任意给定的0< £ <1,当n 充分大时,|S nn-p| - £对所有试验结£ ；在第二种情况，取.一般来说，自然地希定理6（辛钦大数定律）设｛ n ｝是定义在概率空间（Q , F, P ）上的独立同分布随机变量序列,定理4（贝努里大数定律）设｛ -n ｝是一列独立同分布的随机变量， P （b=i ）=p, p （ -n =0） = 1-p,nS n =瓦 E i0 < p <1,记 i 2继贝努里之后，人们一直试图对一般的随机变量建立类似的结果 定义2设｛ n ｝是定义在概率空间 （Q , F, P ）上的随机变量序列，如果存在常数列 ｛ an ｝和{ b n }使得1 n k _b n --------------------- ' 0a n k- , (n"), 则称｛ n ｝服从弱大数定律（weak law of large numbers ）,简称｛ n ｝服从大数定律1 nE -n^n, Var -n.如果n 2 ©ST 。
§2 依概率收敛与弱大数定律一、依概率收敛 二、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω表示落点的位置，定义ξω(),,=⎧⎨⎩10 ωω∈∈[,.](.,]005051ηω(),,=⎧⎨⎩01 ωω∈∈[,.](.,]005051. (1) 则ξ和η具有相同的分布函数F(x)=⎪⎩⎪⎨⎧,1,2/1,0 .1,10,0≥<≤<x x x(2)如果定义ξξn =, n ≥1, 则ξηn d−→−, 但||ξηn -≡1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性.定义1 设ξ和ξn 是定义在同一概率空间 (Ω,F, P)上的随机变量序列. 如果对任意ε>0,lim (||)n n P →∞-≥ξξε=0, (3)或lim (||)n n P →∞-<ξξε=1,')3(则称ξn 依概率收敛(convergence in probability)于ξ，记作ξn P−→−ξ. 注 定义1要求所有ξ和ξn 的定义域相同.ξn P−→−ξ可直观地理解为：除去极小的可能性，只要n 充分大，ξn 与ξ的取值就可以任意接近.从上面例子可以看出, 由ξn d −→−ξ并不能导出ξn P−→−ξ. 关于这两种收敛性之间的关系，我们有下面的定理.定理1 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列.1. 如果ξn P −→−ξ, 则 ξn d−→−ξ. 2. 如果ξn dc −→−, c 为常数，则ξn Pc −→−. 证 1. 设F 和F n 分别是ξ和ξn 的分布函数，x 表示F 的连续点. 任意给定ε>0,(ξεξεξξεξ≤-=≤-≤≤->x x x x x n n )(,)(,)⊆≤-≥()()ξξξεn n x ,因此F(x -≤+-≥εξξε)()()F x P n n .令n →∞, 由于ξn P−→−ξ, 故P P n n ()(||)ξξεξξε-≥≤-≥→0, 从而 F(x-≤→∞ε)lim ()n n F x . (4)类似地()(,)(,)ξξξεξξεn n n x x x x x ≤=≤≤+≤>+⊆≤+-≥()()ξεξξεx n ,从而F x F x P n n ()()()≤++-≥εξξε.令n →∞, 得lim ()()n n F x F x →∞≤+ε. (5)连接(4) (5)两式，对任意ε>0, 有F(x-≤→∞ε)lim ()n n F x ≤lim ()()n n F x F x →∞≤+ε.由于F 在x 点连续，令ε→0, 就得lim ()()n n F x F x →∞=, 即ξn d−→−ξ. 2. 如果ξn dc −→−，则 lim (),,n n F x →∞=⎧⎨⎩01 x cx c <≥.因此对任意ε>0,有)()(1)()()|(|εξεξεξεξεξ-≤++<-=-≤++≥=≥-c P c P c P c P c P n n n n n=1-+-+-→F c F c n n ()(),εε00 (n →∞).定理证毕.例1 设{ξn }独立同分布，都为[0, a]上的均匀分布, ηξξξn n =max{,,,}12 .求证ηn Pa −→−.证 由定理1, 只须证明ηn 的分布函数G x D x a n W()()−→−-, 其中D(x-a)是在a 点的退化分布函数.从第二章知道：若ξk 的分布函数为F(x), 则ηn 的分布函数为G x F x n n ()[()]=. 现在ξk 的分布函数为F(x)=⎪⎩⎪⎨⎧,1,/,0a x .,0,0a x a x x ≥<≤<故G x x a n n (),(/),,=⎧⎨⎪⎩⎪01 x x a x a <≤<≥00 → D(x-a)=01,,⎧⎨⎩x ax a <≥(n →∞).证毕.依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.例2 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列. 求证：1. 若ξn P −→−ξ，ξn P−→−η, 则P(ξ=η)=1. 2. 若ξn P −→−ξ, f 是 (-∞, ∞) 上的连续函数，则f (ξn )Pf −→−()ξ. 证 1. 任意给定ε>0，我们有(|ξηεξξεξηε-≥⊆-≥-≥|)(||/)(||/)n n 22 ,从而P(|ξηεξξεξηε-≥≤-≥+-≥|)(||/)(||/)P P n n 22.由ξn P −→−ξ,ξn P−→−η, 并注意到上式左方与n 无关, 得P(|ξηε-≥|)=0. 进一步, P(|ξηξηξη->=-≥≤-≥=∞=∞∑|)((||/))(||/)01111P n P n n n =0,即P(ξ=η)=1.2. 任意给定εε,'>0，存在M>0, 使得P(|ξ|≥≤M)P(|ξ|≥<'M /)/24ε.(6)由于ξn P−→−ξ, 故存在N 11≥, 当n ≥N 1时, P (||/)/ξξεn M -≥<'24, 因此2/4/4/)2/|(|)2/|(|)|(|εεεξξξξ'='+'<≥+≥-≤≥M P M P M P n n (7)又因f (x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的ε>0, 存在δ>0, 当|x-y|<δ时，|f (x)-f (y)|<ε. 这样P(|()()|)(||)(||)(||)f f P P M P M n n n ξξεξξδξξ-≥≤-≥+≥+≥. (8)对上面的δ, 存在N 21≥, 当n ≥N 2时,P (||)/ξξδεn -≥<'4.(9)结合(6) (7) (8) (9)式, 当n ≥max(,)N N 12时，P(|f f n ()()|)///ξξεεεεε-≥<'+'+'='424,从而 f (ξn )Pf −→−()ξ. 为了进一步讨论依概率收敛的条件，我们给出下列切比雪夫不等式(第三章§2)的推广. 定理2 （马尔科夫不等式） 设ξ是定义在概率空间 (Ω, F, P)上的随机变量，f (x)是[0, ∞) 上非负单调不减函数，则对任意x >0,P(|ξ| > x)≤Ef f x (||)()ξ.(10)证 当Ef(|ξ|)=∞时，(10)式显然成立. 设Ef(|ξ|)<∞,ξ的分布函数为F(x). 因f (x) 单调不减，故 |y| >x 时, f(|y f x |)()≥,从而⎰⎰>>≤=>xy xy y dF x f y f y dF x P ||||)()(|)(|)()|(|ξ⎰+∞∞-≤)(|)(|)(1y dF y f x f)(|)(|x f Ef ξ=.定理3 ξn P−→−ξ 当且仅当 E ||||ξξξξn n -+-221→0. 证 充分性：注意到f (x)=x x 221+在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2P(|ξξεεεξξξξn n n E ->≤+-+-|)||||112222→0,即ξnP−→−ξ.必要性：设ξn-ξ的分布函数是F xn(). 对任意ε>0,)(1)(1)(1||1||||22||222222xdFxxxdFxxxdFxxEnxnxnnn⎰⎰⎰≥<∞∞-+++=+=-+-εεξξξξ≤++≥⎰εεε221dF xnx()|\=εεξξε221++-≥Pn(||). (11)由于ξnP−→−ξ, 在(11)式两边先令n→∞, 再让ε→0，即得证E||||ξξξξnn-+-221→0.二、弱大数定律考虑随机试验E中的事件A，假设其发生的概率为p (0 < p <1), 现在独立重复地做试验n次——n重贝努里试验. 令ξi =⎧⎨⎩1,,次试验中不出现在第次试验中出现在第iAiA, 1≤≤i n.则P(ξi=1)=p, P(ξi=0)=1-p. S n iin==∑ξ1是做试验E n次后A发生的次数，可能值0,1,2,…,n, 视试验结果而定. 熟知E Snn=p. 在第一章§1中曾经指出: 当∞→n时频率nSn"稳定到"（在某种意义下收敛于）概率p. 我们想知道Snn与p之间的差究竟有多大.首先应该意识到不可能期望对任意给定的0<ε<1, 当n充分大时, |Snn-p|≤ε对所有试验结果成立. 事实上，当0 < p <1,P(Snn=1)=P(ξ1=1,…,ξn=1)=pn,P(Snn=0)=P(ξ1=0,…,ξn=0)=(1-pn),它们都不为零. 而在第一种情况，取ε<1-p，不论n多大，|Snn-p|=1-p >ε; 在第二种情况，取ε<p, 则有|Snn-p|= p >ε.然而，当n充分大后，事件{Snn=1}和{Snn=0}发生的可能性都很小. 一般来说，自然地希望当n充分大以后，出现{|Snn-p|≥ε}的可能性可以任意地小. 这一事实最早由贝努里发现.定理4 （贝努里大数定律） 设{ξn }是一列独立同分布的随机变量，P(ξn =1)=p, P(ξn =0)=1-p,0 < p <1, 记S n ii n==∑ξ1, 则S nnP p −→−. 继贝努里之后，人们一直试图对一般的随机变量建立类似的结果.定义2 设{ξn }是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{a n }和{b n }使得101a b n k n Pk n ξ-−→−=∑, (n →∞)，(12)则称{ξn }服从弱大数定律( weak law of large numbers), 简称{ξn }服从大数定律.定理5 （切比雪夫大数定律） 设{ξn }是定义在概率空间 (Ω,F, P)上的独立随机变量序列，E ξn =μn , Var ξn =σn 2. 如果10221n k k n σ=∑→，则{ξn }服从弱大数定律，即11011n n k k n k Pk n ξμ-−→−==∑∑.证 考察随机变量11n k k n ξ=∑, 因E(11n k k n ξ=∑)=11n k k n μ=∑, Var(11n k k nξ=∑)=1221n kk n σ=∑，用第三章§2的切比雪夫不等式，得P(|11n k k k n ()|ξμ-=∑≥ε)≤12εVar(11n k k nξ=∑)=12ε(1221n k k n σ=∑)→0.此即所证.注1 贝努里大数定律是切比雪夫大数定律的特例.注2 如果条件“{ξn }独立”被“{ξn }两两不相关”所代替，定理5依然成立. 更一般地, 由该定理的证明容易看出：如果取消条件“{ξn }独立”，但条件“1221n k k n σ=∑→0”改为“12n Var(ξk k n =∑1)→0”, 则定理5的结论仍然成立, 称为“马尔科夫大数定律”.如果{ξn }不仅独立，而且同分布，则可以改进定理5如下：定理6（辛钦大数定律） 设{ξn }是定义在概率空间 (Ω, F, P)上的独立同分布随机变量序列，E|ξ1|<∞. 记E ξ1=μ,S n kk n==∑ξ1, 则{ξn }服从弱大数定律，即 S n n P−→−μ.证 分别令)(t f 与)(t f n 为ξ1与S n / n 的特征函数. 既然{ξn }相互独立同分布，那么)(t f n =n n t f ))/((. 另外, E 1ξ=μ, 所以由泰勒展开式知)(t f =1+i )(t o t +μ,t →0.(13)对每个t ∈R,)/(n t f =1+i )/1(/n o n t +μ, n →∞,(14))(t f n =(1+i )/1(/n o n t +μ)n i t e →μ, n →∞.由于ei tμ恰好是集中单点μ的退化分布的特征函数，运用第一节的逆极限定理即可知道S n n d /−→−μ. 再根据定理1得S n n P/−→−μ. 定理证毕.例2 设ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505.., s<1 /2为常数，且{ξk }相互独立. 试证{ξk }服从弱大数定律. 证 已知ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505..，所以E ξk =0, Var ξk =k s 2. 当s<1/ 2时, 121n Var k k n ξ=∑=11022221211n k n n n s sk n s k n <=→=-=∑∑.另外, {ξk }又是相互独立的，所以{ξk }服从切比雪夫大数定律，即11n k k nξ=∑P−→−0. 例3 设{ξk }相互独立, 密度都为 p(x)=20113/,,x x x ⎧⎨⎩≥<，求证{ξk }服从大数定律.证 {ξk }独立同分布, E ξk =xp x dx()-∞∞⎰=2, 所以{ξk }服从辛钦大数定律.例4 设{ξk }独立同分布, E ξk =μ, Var ξk =σ2. 令ξξn k k n n ==∑11, S n n k n k n 2211=-=∑()ξξ.求证: S n P22−→−σ. 证S n nk n k n 2211=-=∑()ξξ=121n k n k n (()())ξμξμ---=∑=---=∑1221n k n k n()()ξμξμ.(15)由辛钦大数定律知 ξμn P −→−，从而()ξμn P -−→−20. 再因{(ξμk -)2)独立同分布，E(ξμk -)2=Var ξk =σ2, 故{(ξμk -)2)也服从辛钦大数定律，即∑μ-ξ=n 1k 2k )(n 12P σ−→−. 由(15)式与依概率收敛的性质（习题18），S n P 22−→−σ.注 在数理统计中，ξn 称为样本均值，nn S n -12称为样本方差. 辛钦大数定律表明样本均值依概率收敛于总体均值. 上述例子则表明样本方差依概率收敛于总体方差.最后，给出随机变量序列的另一种收敛性概念.定义3 设ξ和n ξ, n ≥1, 是定义在同一概率空间(Ω,F, P)上的随机变量序列，E ||ξr<∞, E||ξn r<∞, n ≥1, 0 < r <∞. 如果 E ||ξξn r-→0，(16)则称{ξn } r-阶平均收敛(convergence in the mean of order r)于ξ，记作ξξn Lr−→−. 如果存在0< r <∞, ξξn L r −→−, 令rx x f ||)(=，并对ξξn -应用马尔科夫不等式，可推出ξξn P−→−. 然而下例说明其逆不成立. 例5 定义P(ξn =n) =13log()n +，P(ξn =0) =1-13log()n +, n=1,2,…. 易知，ξn P −→−0, 但对任何 0 < r<∞,E ||log()ξn rrn n =+→∞3, (n →∞).即0−→−rLn ξ不成立.。
