关于两两独立的随机变量序列和的强大数定律的简洁证明

弗雷德霍姆第二定理弗雷德霍姆第二定理是概率论和统计学中一个重要的定理，它描述了独立随机变量序列的一些收敛性质和其他关键特性。

以下是对该定理的详细介绍。

1.独立随机变量序列的收敛性质独立随机变量序列的收敛性质是概率论中一个基本而重要的概念。

具体来说，如果一个独立随机变量序列{Xn}满足以下条件：Xn→X，当n→∞时，X是一个随机变量；对于任意的ε>0，存在一个正整数N，使得当n>N时，P(|Xn-X|<ε)≥1-ε；则称{Xn}弱收敛于X。

这时，当n足够大时，Xn和X有相似的概率分布。

此外，如果对于任意的实数x，limn→∞P(Xn≤x)=P(X≤x)成立，则称{Xn}在分布上收敛于X。

在强大数定律的背景下，这种收敛类型非常重要。

2.独立随机变量序列的协方差收敛性质独立随机变量序列的协方差收敛性质是协方差理论中的一个重要概念。

具体来说，如果一个独立随机变量序列{Xn}满足以下条件：当n→∞时，Xn→X，其中X是一个随机变量；当n足够大时，对于任意的i和j，Cov(Xn,Xn-i)→Cov(X,X-i)，其中Cov(X,Y)表示X和Y的协方差；则称{Xn}的协方差收敛于{X}。

这意味着当n足够大时，Xn和X的协方差有相似的性质。

此外，如果对于任意的实数x和y，limn→∞Cov(Xn≤x,Yn≤y)=Cov(X≤x,Y≤y)成立，则称{Xn}在分布上收敛于{X}。

这种收敛类型在证明大数定律和中心极限定理时非常有用。

3.独立随机变量序列的期望收敛性质独立随机变量序列的期望收敛性质是期望理论中的一个重要概念。

具体来说，如果一个独立随机变量序列{Xn}满足以下条件：当n→∞时，EXn→EX，其中EX表示X的期望；当n足够大时，对于任意的i，EXn-i→EX-i；则称{Xn}的期望收敛于{X}。

这意味着当n足够大时，Xn和X的期望有相似的性质。

此外，如果对于任意的实数x，limn→∞EXn≤x=EX≤x成立，则称{Xn}在分布上收敛于{X}。

23个大数定律大数定律是概率论中的一组重要定理，用于描述在随机试验中大量重复进行时的规律性现象。

以下是23个大数定律的简要介绍。

1. 大数定律：随着试验次数的增加，随机变量的平均值会趋近于其期望值。

2. 弱大数定律：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。

3. 辛钦大数定律：对于独立同分布的随机变量序列，其平均值以概率1收敛于期望值。

4. 伯努利大数定律：在一系列独立的伯努利试验中，事件发生的频率趋近于其概率。

5. 泊松大数定律：对于独立同分布的泊松随机变量序列，其平均值以概率1收敛于其参数。

6. 中心极限定理：大量独立同分布的随机变量的和趋近于正态分布。

7. 林德伯格-列维定理：对于独立同分布的随机变量序列，其和的标准化形式以概率1收敛于标准正态分布。

8. 稳定中心极限定理：对于独立同分布的随机变量序列，其和的标准化形式以概率1收敛于稳定分布。

9. 辛钦大数定律的弱形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。

10. 多重大数定律：对于多个随机变量序列，其平均值以概率1收敛于各自的期望值。

11. 大数定律的强形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。

12. 独立非同分布大数定律：对于独立非同分布的随机变量序列，其平均值以概率1收敛于各自的期望值。

13. 独立同分布大数定律的弱形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。

14. 辛钦大数定律的强形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。

15. 大数定律的加法形式：对于独立同分布的随机变量序列，其和以概率1收敛于各自的期望值之和。

16. 大数定律的乘法形式：对于独立同分布的随机变量序列，其乘积以概率1收敛于各自的期望值之积。

17. 大数定律的极限形式：对于独立同分布的随机变量序列，其平均值以概率1收敛于期望值的极限。

18. 大数定律的收敛速度：随着试验次数的增加，随机变量的平均值与期望值之间的差异逐渐减小。

对于一般人来说，大数定律的非严格表述是这样的：X_1,...,X_n是独立同分布随机变量序列，均值为u，S_n=X_1+...+X_n，则S_n/n收敛到u.如果说“弱大数定律”，上述收敛是指依概率收敛(in probability)，如果说“强大数定律”，上述收敛是指几乎必然收敛(almost surely/with probability one)。

大数定律通俗一点来讲，就是样本数量很大的时候，样本均值和真实均值充分接近。

这一结论与中心极限定理一起，成为现代概率论、统计学、理论科学和社会科学的基石之一，重要性在本人看来甚至不弱于微积分。

（有趣的是，虽然大数定律的表述和证明都依赖现代数学知识，但其结论最早出现在微积分出现之前。

而且在生活中，即使没有微积分的知识也可以应用。

例如，没有学过微积分的学生也可以轻松利用excel或计算器计算样本均值等统计量，从而应用于社会科学。

）最早的大数定律的表述可以追朔到公元1500年左右的意大利数学家Cardano。

1713年，著名数学家James (Jacob) Bernouli正式提出并证明了最初的大数定律。

不过当时现代概率论还没有建立起来，测度论、实分析的工具还没有出现，因此当时的大数定律是以“独立事件的概率”作为对象的。

后来，历代数学家如Poisson（“大数定律”的名字来自于他）、Chebyshev、Markov、Khinchin（“强大数定律”的名字来自于他）、Borel、Cantelli等都对大数定律的发展做出了贡献。

直到1930年，现代概率论奠基人、数学大师Kolgomorov才真正证明了最后的强大数定律。

下面均假设X, X_1,...,X_n是独立同分布随机变量序列，均值为u。

独立同分布随机变量和的大数定律常有的表现形式有以下几种。

初等概率论(1). 带方差的弱大数定律：若E(X^2)小于无穷，则S_n/n-u依概率收敛到0。

证明方法：Chebyshev不等式即可得到。

大数定律和强大数定律的推广1 引言大数定律和强大数定律是概率论中两个重要的概念，围绕这两个概念有许多重要的定理，并且许多重要的定理证明和实际问题中都要应用这两个概念及其相关定理，鉴于这些定理在理论推导和实际应用方面的举足轻重的作用，很有必要推广这两个概念及其定理．2 大数定律2．1 大数定律的叙述定义2．1．1 设｛X n ｝为随机变量序列，它们都有有限的数学期望E(X n )．如果n1∑=-nk k kX E X1)]([−→−p0，则称｛X n ｝满足大数定律．定理2．1．1 （马尔可夫大数定律）设｛X n ｝是方差有限的随机变量列，如果有0)(112→∑=nk n X D n 则｛X n ｝满足大数定律．推论2．1．2（切贝谢夫大数定律） 若序列｛X n ｝两两不相关且方差有界：D(X n )≤C(n ≥1)，则｛X n ｝满足大数定律．推论2．1．3（伯努利大数定律） 设n μ为n 重伯努利试验中成功次数，则当n →∞时有nnμ−→−p p ．定理2．1．4（辛钦大数定律） 对于独立同分布随机变量列｛X n ｝，大数定律成立的充分必要条件是E(n ξ)=a 有限．证明 必要性是大数定律的定义所要求的．只需证明充分性．假定｛X n ｝之共同的特征函数为f(t)，则由引理2．8（《概率论》杨振明 科学出版社 P213）知t 0→时有f(t)＝1+iat+o(t)从而∑=nk k X n 11的特征函数为n n n to n t ia n t f )](1[)]([++=运用如下分析事实：对复数列｛c n ｝而言c n c →蕴含(1+nc n )nc e →， 便可得证iat n n n n e nto n iat n n t f =∙++=)])([11(lim )]([lim ． 根据连续性定理1．10（《概率论》杨振明 科学出版社 P204）及定理1．6（《概率论》杨振明 科学出版社 P141）便得∑=nk k X n 11依概率收敛到a ．事实上该定理证明用到了概率论中弱收敛和特征函数收敛之间的等价关系，而几种收敛性之间的互推关系是一个重要的内容，这将在本文的最后一节加以阐述．2． 2 大数定律的推广2．2．1 大数定律定义的推广首先介绍几个引理．定义 称r ．v ．'s 序列｛X n ｝和｛Y n ｝是尾列等价的，若 P(X n ≠Y n ，i ．o ．)＝0称r ．v ．'s 序列｛X n ｝和｛Y n ｝是收敛等价的，若它们的收敛点集只相差一个零测集．引理1 （等价性引理）设r ．v ．’s 序列｛X n ｝和｛Y n ｝满足∞<≠∑∞=1)(n n n Y X P ，则下列叙述成立．(1) ｛X n ｝和｛Y n ｝是尾列等价的； (2) ｛X n ｝和｛Y n ｝是收敛等价的；(3) 若b n ∞↑，则｛b1-n∑=nk kX1｝和｛b1-n∑=nk kY1｝是收敛等价的，且在公共收敛点上，它们的极限相同．证 P(X n n Y ≠，i ．o ．)＝∞→n lim P( n k k k Y X ≥≠)()∑≥≠≤nk k k Y X P )(lim =0，故(1)成立，而(2)和(3)的成立是显然的．定义2．2．1 设{ X n }为一列r ．v ．序列，如果存在常数列｛A n ｝和正常数序列｛B n ｝,其中B n ∞→，使nb B S －A n −→−p则称{ X n }服从弱大数定律（简称大数定律）．定义2．2．1是定义2．1．1的推广，但事实上我们所主要讨论的仍然是独立r ．v ．列以及B n =n 这种形式．2．2．2 ｛X n ｝为任意r ．v ．列．定理2．2．1 （格涅坚科定理） 对随机变量序列｛i X ｝，若记Sn=n1(X 1+X2+．．．+Xn)，a n =)(121n EX EX EX n+++ ，则｛X n ｝服从大数定律的充要条件是})(1)({lim 22n n n n n a S a S E -+-∞→＝0 证 （充分性）令n η＝S n －a n =)(1n n ES S n-＝∑=-n k k k EX X n 1)(1，设其分布函数为F n (x)，则P(()ε≥-∑=nk k k EX X n 11)=P(εη≥n )=⎰≥εx n x dF )(⎰≥++≤εεεx n x dF x x )(112222=⎰≥++εεεx n x dF x x )(112222⎰∞+∞-++≤)(112222x dF x x n εε=⎪⎭⎫ ⎝⎛++222211n n E ηηεε0→ 故｛X n ｝服从弱大数定律．（必要性） ｛X n ｝服从大数定律，所以0>∀ε))(1(lim 1ε≥-∑=∞→nk k k n EX X n P =))(1(lim ε≥-∞→n n n ES S n P=0)(lim =≥∞→εηn n P (*)P(εη≥n )=⎰≥εx n x dF )(=222222222)1()(1)(1)(1εηηεε-+≥+-+=+⎰⎰⎰<∞+∞-≥nn x n n x n E x dF x x x dF x x x dF x x 令n ∞→ 由(*)及ε的任意性可得 })(1)({lim 22n n n n n a S a S E -+-∞→＝0定理2．2．2 （伯恩斯坦定理）已知随机变量序列｛X n ｝的方差有界：DX n C ≤，并且当∞→-j i 时，相关系数r ij 0→，则｛n X ｝满足大数定律．证 因当∞→-j i 时，r ij 0)()()cov(→-=j i j i X D X D X X ，且D(X n )C ≤故0)()(),c o v (),c o v (→≤j i j i j i X D X D X X CX X 当∞→-j i 时所以对于任意0>ε，),cov(j i X X εC ≤．εn n n C X X X D n X D n nnj i j i nk k n k k 1)),cov(2)((1)(1,11212-+≤+=∑∑∑≤≤== 又由ε的任意性可知01)(112→-+≤∑=εn n n C X D n nk k n ∞→时 由定理2．1．1可知｛X n ｝符合大数定律．2．2．3 {X n }为独立r ．v ．列定理2．2．3 设{ X n }为一列独立的r ．v ．序列，则nS n −→−p0的充分必要条件是(i) ∑=≥nk k n X P 1)(→0；(ii) 21n∑=<nk n X kk I XD 1)(][→0；(iii)n1∑=<nk X kn I XE k 1][→0；证 令Y k =X k I )(n X k <充分性 由Chebushev 不等式，独立性条件(ii)，对ε∀>0，我们有P(n1∑=-nk k kEY Y1)(ε≥)≤2-εn2-∑=nk kYVar 1)(→0因而有n1∑=-nk k kEY Y1)(−→−p由条件(iii)有n1∑=nk kY1)(−→−p0 (2．1)由条件(i)，｛X n ｝和｛Y n ｝尾列等价，由引理1得∑=-n k k n Y n n S 11−→−p再由(2．1)式即得0−→−p nnS ．必要性 设0−→−pn nS ，以k μ表示r ．v ．X k 的中位数，f k 表示X k 的c ．f ．，g n (t)为n S n 的c ．f ，，则由完全收敛性准则g n (t)=∏=→nk k n tf 11)(．设c>1，由命题5．12（）知在每个有限区间［－c ，c ］上g n (t)一致收敛，因此当n 充分大时log )(t g n →0，故由弱对称化不等式及c ．f ．性质6的第二个不等式有21∑∑==≥≤≥-nk nk k k k c n X P c n X P 112)1()1(μ ⎰-≤c n du u g c02)(log 7→0 (n ∞→) (2．2) 又因为nX n ＝111-⋅---n S n n n S n n 0−→−p 所以0→nnμ，注意到c<1，由(2．2)式即得(i)．由c ．f ．的性质8的第一个不等式及g n (t)→1，当n 充分大时2∑=nk k n Y Var 1)(=∑=n k s k n Y Var 1)(≤∑=-n k k e n f R 12)])1((1[3≤－3∑=nk k n f 12)1(log=－3log 2)1(ng n →0 (2．3)因此(iii)成立．由于0−→−p n nS ，由(i)和引理1有∑=−→−n k pk Y n 101，有chebushev不等式和(2．3)式，P(ε≥-∑=nk k k EY Y n 1)(1)∑=→≤nk knY Var 120)(1ε 故0)(11−→−-∑=pn k kk EY Y n 从而∑=n k k EY n 11＝0)(11→-∑=nk k k EY Y n即(i)成立．2．2．4 ｛X n ｝为独立同分布r ．v ．序列．推论2．2．2 若｛X n ｝为独立同分布r ．v ．序列（简记为i ．i ．d ．序列），则0−→−p n nS 的充分必要条件是 (i)＇ nP(n X >1)0→ (ii)＇ EX 1I )(1n X <0→证 我们只要证明(i)能推出定理中的条件(ii)即可．由于｛X n ｝为i ．i ．d ，条件(ii)等价于)(1)(11n X I X D n<→0 (2．4) 事实上，我们由(i)＇可推出01)(211→<n X I EX n(2．5) 这是由于EX )(211n X I <=∑=≤≤-nj j X j I EX 1)1(211∑=<≤-≤nj j X j P j 112)1(∑∑==<≤-≤n j ji j X j iP 111)1(2=2∑∑==<≤-ni nj j X j P i 111)1(=2∑=<≤-ni n X i iP 11)1(∑∑==≥+≤-≥≤ni n i i X ip i X ip 1111)(22)1(2 (2．6)注意到如果a n →0，则∑=nk k a n 110→这一事实，由条件(i)＇和(2．6)式即知(2．5)式成立，从而(ii)成立．如果EX 1存在有限，则EX 1I)(1n X >0→，由Chebyshev 不等式知nP(n X ≥1)≤E[X 1I )(1n X ≥]0→，因此我们可以得到．推论2．2．3 如果｛X n ｝为i ．i ．d ．r ．v ．序列，则1EX nS pn −→−的充分必要条件是EX 1有限．事实上推论2．2．3就是我们所熟悉的辛钦大数定律．上面我们对于推广后大数定律的结论的讨论是遵循一定顺序的，主要是按照随机序列所满足条件的严格性的变化来讨论的，很明显，首先是在任意随机序列的基础上添加一定条件得到格捏坚科定理和伯恩斯坦定理，然后要求随机序列依次满足独立条件和独立同分布条件，得到大数定律的充分条件和充分必要条件．2．3 大数定律的进一步推广定义2．3．1 称r ．v ．序列｛X n ；n 1≥｝是弱稳定的，如果存在常数序列｛a n ｝和｛b n ｝，0<a n ∞↑，使得n n nb Y a -10−→−p(2．3．1) 定义2．3．2 称r ．v ．序列｛X n ；n 1≥｝服从大数定律，如果{S n }是弱稳定的，这里S n =∑=nk k X 1．若记X nk =nka X ，引入组列｛X nk ；k=1，2，．．．，n ，n ＝1，2，．．．｝，可用组列的概念定义大数定律，并且推广一些定理．定义2．3．3 称r ．v ．组列｛X nk ；k=1，2，．．．，k n ，n ＝1，2，．．．｝服从大数定律，如果存在常数列｛b n ｝，使得0−→−-∑pn knkb X换言之，｛X nk ｝服从大数定律，当且仅当存在常数列｛b n ｝，使得nknk b X -∑的分布弱收敛于退化分布D(x)=⎩⎨⎧><0,10,0x x 若　若引入组列的概念后，就可以给出定理2．2．1的更一般的形式．即下述定理．定理2．3．1 独立r ．v ．组列｛X nk ｝满足无穷小条件且0−→−∑p knkX的充要条件是对任给的0>ε和某个0>τ∑→≥knkXP 0}{ε． ∑<knk nkX I XE )}({τ0→． ∑<knk nkX I XD )}({τ0→．我们可把“对任给0>ε和某个0>τ”换作“任给的0>ε和任给0>τ”． 证：3 强大数定律3．1 强大数定律的叙述定义3．1．1 设｛X n ｝为随机变量列，它们都有有限的数学期望E(X n )．如果−→−-∑=..1)]([1s a n k k k X E X n 0则称｛X n ｝满足强大数定律．在独立情形下讨论强大数定律．定理3．1．1 柯尔莫戈洛夫强大数定律 设｛X n ｝是独立随机变量序列，满足∑∞=+∞<12)(k k k D ξ 则强大数定律成立．证明可查看由杨振明编著的《概率论》的P221，本定理的证明用到了概率论中非常重要的截尾法。

柯尔莫哥洛夫强大数律（Kolmogorov strong law of large numbers）是柯尔莫哥洛夫强大数律（Kolmogorov strong law of large numbers）是概率论中的一个重要定理，它描述了独立同分布随机变量序列的平均值随样本数量增大而趋于其数学期望的现象。

如果{X n}是一个独立同分布的随机变量序列，且EX n存在，那么以概率1成立，n个独立同分布随机变量X 1，X 2，...，X n的平均值随n增大几乎趋于μ。

这个定理在统计学、科学实验和数据分析等领域有着广泛的应用。

大数定律（LLN）和中心极限定理（CLT）是概率论中的核心定理，它们都是描述随机现象的规律性。

大数定律主要描述的是随机变量的平均值的稳定性，而中心极限定理则描述了随机变量之和的分布趋近于正态分布的性质。

为了证明中心极限定理，通常首先需要证明大数定律。

几个著名大数定律的证明及应用
路庆华
【期刊名称】《石家庄职业技术学院学报》
【年(卷),期】2007(19)4
【摘要】大数定律以严格的数学形式表达了随机现象最根本的性质--平均结果的稳定性,它是随机现象统计规律性的具体表现,介绍了几种常用大数定律及其证明方法,并分析了它们在理论和实际中的应用.
【总页数】5页(P4-8)
【作者】路庆华
【作者单位】石家庄信息工程职业学院,基础部,河北,石家庄,050035
【正文语种】中文
【中图分类】O212.2
【相关文献】
1.大数定律的几个应用 [J], 王小胜
2.关于两两独立的随机变量序列和的强大数定律的简洁证明 [J], 陈英霞
3.大数定律的几个应用 [J], 宁小青;刘吉定
4.平面几何中几个著名定理及其证明 [J], 史浩春
5.几个著名定理的面积法证明 [J], 秦振
因版权原因，仅展示原文概要，查看原文内容请购买。