概率论大数定律与强大数定理优秀课件

大数定律弱大数定律强大数定律大数定律是概率论中的重要定理之一，用来描述随机试验中样本均值的收敛性质。

弱大数定律和强大数定律是大数定律的两种形式，它们分别适用于不同条件下的样本均值收敛情况。

本文将从理论和实际应用两个方面介绍大数定律和它们的区别。

一、大数定律的概念大数定律是概率论的基础定理之一，它描述了当样本容量逐渐增大时，样本均值将会接近于总体均值的现象。

换句话说，大数定律说明了随机事件的平均结果会趋于稳定。

大数定律是统计学中非常重要的理论基础，对于判断样本均值是否能够代表总体均值具有重要意义。

二、弱大数定律的表述与证明弱大数定律也被称为伯努利定律或辛钦大数定律，它是大数定律的一种形式。

弱大数定律的表述是：对于独立同分布的随机变量序列，样本均值收敛于总体均值的概率为1。

换句话说，无论样本容量多大，样本均值与总体均值之间的差异都会在概率上趋于0。

弱大数定律的证明通常使用切尔诺夫辩证法。

根据独立同分布的条件，可以通过计算随机变量序列的方差和协方差来推导出样本均值的极限分布。

经过一系列推导，可以得到样本均值与总体均值之间的差异的概率极限为0，从而证明了弱大数定律。

三、强大数定律的表述与证明强大数定律也被称为布尔查诺夫大数定律，它是大数定律的另一种形式。

强大数定律的表述是：对于满足一定条件的随机变量序列，样本均值几乎处处收敛于总体均值。

与弱大数定律不同的是，强大数定律要求随机变量序列满足更严格的条件，如独立同分布序列的方差有界等。

强大数定律的证明比较困难，常采用盖希尔定理、泛函不等式等方法。

通过引入随机变量序列的独立性和方差有界性等条件，可以推导出样本均值的收敛性。

强大数定律表明，样本均值几乎必然收敛于总体均值，这是一种强收敛性的结果。

四、大数定律的应用大数定律在实际应用中具有广泛的意义。

首先，大数定律为统计推断提供了理论基础，使得我们能够根据样本均值对总体均值进行有力的估计。

其次，在金融和经济领域，大数定律被广泛用于建立风险模型和评估投资回报率。

大数定律和强大数定律的推广1 引言大数定律和强大数定律是概率论中两个重要的概念，围绕这两个概念有许多重要的定理，并且许多重要的定理证明和实际问题中都要应用这两个概念及其相关定理，鉴于这些定理在理论推导和实际应用方面的举足轻重的作用，很有必要推广这两个概念及其定理．2 大数定律2．1 大数定律的叙述定义2．1．1 设｛X n ｝为随机变量序列，它们都有有限的数学期望E(X n )．如果n1∑=-nk k kX E X1)]([−→−p0，则称｛X n ｝满足大数定律．定理2．1．1 （马尔可夫大数定律）设｛X n ｝是方差有限的随机变量列，如果有0)(112→∑=nk n X D n 则｛X n ｝满足大数定律．推论2．1．2（切贝谢夫大数定律） 若序列｛X n ｝两两不相关且方差有界：D(X n )≤C(n ≥1)，则｛X n ｝满足大数定律．推论2．1．3（伯努利大数定律） 设n μ为n 重伯努利试验中成功次数，则当n →∞时有nnμ−→−p p ．定理2．1．4（辛钦大数定律） 对于独立同分布随机变量列｛X n ｝，大数定律成立的充分必要条件是E(n ξ)=a 有限．证明 必要性是大数定律的定义所要求的．只需证明充分性．假定｛X n ｝之共同的特征函数为f(t)，则由引理2．8（《概率论》杨振明 科学出版社 P213）知t 0→时有f(t)＝1+iat+o(t)从而∑=nk k X n 11的特征函数为n n nto n t ia n t f )](1[)]([++=运用如下分析事实：对复数列｛c n ｝而言c n c →蕴含(1+nc n )nc e →， 便可得证iat n n n n e nto n iat n n t f =•++=)])([11(lim )]([lim ． 根据连续性定理1．10（《概率论》杨振明 科学出版社 P204）及定理1．6（《概率论》杨振明 科学出版社 P141）便得∑=nk k X n 11依概率收敛到a ．事实上该定理证明用到了概率论中弱收敛和特征函数收敛之间的等价关系，而几种收敛性之间的互推关系是一个重要的内容，这将在本文的最后一节加以阐述．2． 2 大数定律的推广2．2．1 大数定律定义的推广首先介绍几个引理．定义 称r ．v ．'s 序列｛X n ｝和｛Y n ｝是尾列等价的，若 P(X n ≠Y n ，i ．o ．)＝0称r ．v ．'s 序列｛X n ｝和｛Y n ｝是收敛等价的，若它们的收敛点集只相差一个零测集．引理1 （等价性引理）设r ．v ．’s 序列｛X n ｝和｛Y n ｝满足∞<≠∑∞=1)(n n n Y X P ，则下列叙述成立．(1) ｛X n ｝和｛Y n ｝是尾列等价的； (2)｛X n ｝和｛Y n ｝是收敛等价的；(3)若b n ∞↑，则｛b 1-n∑=nk kX1｝和｛b1-n∑=nk kY1｝是收敛等价的，且在公共收敛点上，它们的极限相同．证 P(X n n Y ≠，i ．o ．)＝∞→n lim P( n k k k Y X ≥≠)()∑≥≠≤nk k k Y X P )(lim =0，故(1)成立，而(2)和(3)的成立是显然的．定义2．2．1 设{ X n }为一列r ．v ．序列，如果存在常数列｛A n ｝和正常数序列｛B n ｝,其中B n ∞→，使nb B S －A n −→−p0 则称{ X n }服从弱大数定律（简称大数定律）．定义2．2．1是定义2．1．1的推广，但事实上我们所主要讨论的仍然是独立r ．v ．列以及B n =n 这种形式．2．2．2 ｛X n ｝为任意r ．v ．列．定理2．2．1 （格涅坚科定理） 对随机变量序列｛i X ｝，若记Sn=n1(X 1+X 2+．．．+Xn)，a n =)(121n EX EX EX n+++ ，则｛X n ｝服从大数定律的充要条件是})(1)({lim 22n n n n n a S a S E -+-∞→＝0 证 （充分性）令n η＝S n －a n =)(1n n ES S n-＝∑=-n k k k EX X n 1)(1，设其分布函数为F n (x)，则P(()ε≥-∑=nk k k EX X n 11)=P(εη≥n )=⎰≥εx n x dF )(⎰≥++≤εεεx n x dF x x )(112222=⎰≥++εεεx n x dF x x )(112222⎰∞+∞-++≤)(112222x dF x x n εε=⎪⎭⎫ ⎝⎛++222211n n E ηηεε0→ 故｛X n ｝服从弱大数定律．（必要性） ｛X n ｝服从大数定律，所以0>∀ε))(1(lim 1ε≥-∑=∞→nk k k n EX X n P =))(1(lim ε≥-∞→n n n ES S n P=0)(lim =≥∞→εηn n P (*)P(εη≥n )=⎰≥εx n x dF )(=222222222)1()(1)(1)(1εηηεε-+≥+-+=+⎰⎰⎰<∞+∞-≥nn x n n x n E x dF x x x dF x x x dF x x 令n ∞→ 由(*)及ε的任意性可得 })(1)({lim 22n n n n n a S a S E -+-∞→＝0定理2．2．2 （伯恩斯坦定理）已知随机变量序列｛X n ｝的方差有界：DX n C ≤，并且当∞→-j i 时，相关系数r ij 0→，则｛n X ｝满足大数定律．证 因当∞→-j i 时，r ij 0)()()cov(→-=j i j i X D X D X X ，且D(X n )C ≤故0)()(),cov(),cov(→≤j i j i j i X D X D X X CX X 当∞→-j i 时所以对于任意0>ε，),cov(j i X X εC ≤．εn n n C X X X D n X D n nnj i j i nk k n k k 1)),cov(2)((1)(1,11212-+≤+=∑∑∑≤≤== 又由ε的任意性可知01)(112→-+≤∑=εn n n C X D n nk k n ∞→时由定理2．1．1可知｛X n ｝符合大数定律．2．2．3 {X n }为独立r ．v ．列定理2．2．3 设{ X n }为一列独立的r ．v ．序列，则nS n −→−p0的充分必要条件是(i)∑=≥nk kn XP 1)(→0；(ii) 21n ∑=<nk n X kk I XD 1)(][→0；(iii)n1∑=<nk X kn I XE k 1][→0；证 令Y k =X k I )(n X k <充分性 由Chebushev 不等式，独立性条件(ii)，对ε∀>0，我们有P(n1∑=-nk k kEY Y1)(ε≥)≤2-εn2-∑=nk kYVar 1)(→0因而有n1∑=-nk k kEY Y1)(−→−p由条件(iii)有n1∑=nk kY1)(−→−p0 (2．1)由条件(i)，｛X n ｝和｛Y n ｝尾列等价，由引理1得∑=-n k k n Y n n S 11−→−p再由(2．1)式即得0−→−p nnS ．必要性 设0−→−pn nS ，以k μ表示r ．v ．X k 的中位数，f k 表示X k 的c ．f ．，g n (t)为n S n 的c ．f ，，则由完全收敛性准则g n (t)=∏=→nk k n tf 11)(．设c>1，由命题5．12（）知在每个有限区间［－c ，c ］上g n (t)一致收敛，因此当n 充分大时log )(t g n →0，故由弱对称化不等式及c ．f ．性质6的第二个不等式有21∑∑==≥≤≥-nk nk k k k c n X P c n X P 112)1()1(μ ⎰-≤c n du u g c 02)(log 7→0 (n ∞→) (2．2)又因为n X n ＝111-⋅---n S n n n S n n 0−→−p所以0→nnμ，注意到c<1，由(2．2)式即得(i)．由c ．f ．的性质8的第一个不等式及g n (t)→1，当n 充分大时2∑=nk k n Y Var 1)(=∑=n k s k n Y Var 1)(≤∑=-n k k e n f R 12)])1((1[3≤－3∑=nk k n f 12)1(log=－3log 2)1(ng n →0 (2．3)因此(iii)成立．由于0−→−p n nS ，由(i)和引理1有∑=−→−n k pk Y n 101，有chebushev 不等式和(2．3)式，P(ε≥-∑=nk k k EY Y n 1)(1)∑=→≤nk knY Var 120)(1ε 故0)(11−→−-∑=pn k k k EY Y n 从而∑=n k k EY n 11＝0)(11→-∑=nk k k EY Y n即(i)成立．2．2．4 ｛X n ｝为独立同分布r ．v ．序列．推论2．2．2 若｛X n ｝为独立同分布r ．v ．序列（简记为i ．i ．d ．序列），则0−→−p n nS 的充分必要条件是 (i)＇ nP(n X >1)0→ (ii)＇ EX 1I )(1n X <0→证 我们只要证明(i)能推出定理中的条件(ii)即可．由于｛X n ｝为i ．i ．d ，条件(ii)等价于)(1)(11n X I X D n<→0 (2．4) 事实上，我们由(i)＇可推出01)(211→<n X I EX n(2．5) 这是由于EX )(211n X I <=∑=≤≤-nj j X j I EX 1)1(211∑=<≤-≤nj j X j P j 112)1(∑∑==<≤-≤n j ji j X j iP 111)1(2=2∑∑==<≤-ni nj j X j P i 111)1(=2∑=<≤-ni n X i iP 11)1(∑∑==≥+≤-≥≤ni n i i X ip i X ip 1111)(22)1(2 (2．6)注意到如果a n →0，则∑=nk k a n 110→这一事实，由条件(i)＇和(2．6)式即知(2．5)式成立，从而(ii)成立．如果EX 1存在有限，则EX 1I )(1n X >0→，由Chebyshev 不等式知nP(n X ≥1)≤E[X 1I )(1n X ≥]0→，因此我们可以得到．推论2．2．3 如果｛X n ｝为i ．i ．d ．r ．v ．序列，则1EX nS pn −→−的充分必要条件是EX 1有限．事实上推论2．2．3就是我们所熟悉的辛钦大数定律．上面我们对于推广后大数定律的结论的讨论是遵循一定顺序的，主要是按照随机序列所满足条件的严格性的变化来讨论的，很明显，首先是在任意随机序列的基础上添加一定条件得到格捏坚科定理和伯恩斯坦定理，然后要求随机序列依次满足独立条件和独立同分布条件，得到大数定律的充分条件和充分必要条件．2．3 大数定律的进一步推广定义2．3．1 称r ．v ．序列｛X n ；n 1≥｝是弱稳定的，如果存在常数序列｛a n ｝和｛b n ｝，0<a n ∞↑，使得n n nb Y a -10−→−p(2．3．1) 定义2．3．2 称r ．v ．序列｛X n ；n 1≥｝服从大数定律，如果{S n }是弱稳定的，这里S n =∑=nk k X 1．若记X nk =nka X ，引入组列｛X nk ；k=1，2，．．．，n ，n ＝1，2，．．．｝，可用组列的概念定义大数定律，并且推广一些定理．定义2．3．3 称r ．v ．组列｛X nk ；k=1，2，．．．，k n ，n ＝1，2，．．．｝服从大数定律，如果存在常数列｛b n ｝，使得0−→−-∑pn knkb X换言之，｛X nk ｝服从大数定律，当且仅当存在常数列｛b n ｝，使得nknk b X -∑的分布弱收敛于退化分布D(x)=⎩⎨⎧><0,10,0x x 若　若引入组列的概念后，就可以给出定理2．2．1的更一般的形式．即下述定理．定理2．3．1 独立r ．v ．组列｛X nk ｝满足无穷小条件且0−→−∑p knkX的充要条件是对任给的0>ε和某个0>τ∑→≥knkXP 0}{ε． ∑<knk nkX I XE )}({τ0→． ∑<knk nkX I XD )}({τ0→．我们可把“对任给0>ε和某个0>τ”换作“任给的0>ε和任给0>τ”． 证：3 强大数定律3．1 强大数定律的叙述定义3．1．1 设｛X n ｝为随机变量列，它们都有有限的数学期望E(X n )．如果−→−-∑=..1)]([1s a n k k k X E X n 0则称｛X n ｝满足强大数定律．在独立情形下讨论强大数定律．定理3．1．1 柯尔莫戈洛夫强大数定律 设｛X n ｝是独立随机变量序列，满足∑∞=+∞<12)(k k kD ξ 则强大数定律成立．证明可查看由杨振明编著的《概率论》的P221，本定理的证明用到了概率论中非常重要的截尾法。