下载文档原格式
23个大数定律大数定律是概率论中的一组重要定理，用于描述在随机试验中大量重复进行时的规律性现象。
以下是23个大数定律的简要介绍。
1. 大数定律：随着试验次数的增加，随机变量的平均值会趋近于其期望值。
2. 弱大数定律：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
3. 辛钦大数定律：对于独立同分布的随机变量序列，其平均值以概率1收敛于期望值。
4. 伯努利大数定律：在一系列独立的伯努利试验中，事件发生的频率趋近于其概率。
5. 泊松大数定律：对于独立同分布的泊松随机变量序列，其平均值以概率1收敛于其参数。
6. 中心极限定理：大量独立同分布的随机变量的和趋近于正态分布。
7. 林德伯格-列维定理：对于独立同分布的随机变量序列，其和的标准化形式以概率1收敛于标准正态分布。
8. 稳定中心极限定理：对于独立同分布的随机变量序列，其和的标准化形式以概率1收敛于稳定分布。
9. 辛钦大数定律的弱形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
10. 多重大数定律：对于多个随机变量序列，其平均值以概率1收敛于各自的期望值。
11. 大数定律的强形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
12. 独立非同分布大数定律：对于独立非同分布的随机变量序列，其平均值以概率1收敛于各自的期望值。
13. 独立同分布大数定律的弱形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
14. 辛钦大数定律的强形式：对于独立同分布的随机变量序列，其平均值收敛于期望值的概率为1。
15. 大数定律的加法形式：对于独立同分布的随机变量序列，其和以概率1收敛于各自的期望值之和。
16. 大数定律的乘法形式：对于独立同分布的随机变量序列，其乘积以概率1收敛于各自的期望值之积。
17. 大数定律的极限形式：对于独立同分布的随机变量序列，其平均值以概率1收敛于期望值的极限。
18. 大数定律的收敛速度：随着试验次数的增加，随机变量的平均值与期望值之间的差异逐渐减小。
依概率收敛大数定律中心极限定理依概率收敛、大数定律和中心极限定理是概率论中重要的三个定理，它们在统计学、经济学、物理学等领域有着广泛的应用。
本文将分别介绍这三个定理的定义、原理和应用。
一、依概率收敛1.1 定义依概率收敛是指，对于一组随机变量序列X1,X2,...,Xn,...，如果对于任意给定的正数ε>0，都有：lim P(|Xn-X|≥ε)=0(n→∞)其中，X为常数，则称随机变量序列{Xn}依概率收敛于X。
1.2 原理依概率收敛是弱收敛的一种形式。
它表示当样本容量趋近于无限大时，样本均值与总体均值之间的差距会越来越小，并最终趋于零。
1.3 应用依概率收敛在经济学和金融学中有着广泛的应用。
例如，在股票市场上，当投资者持有股票时，他们通常希望股票价格能够稳定增长。
而依概率收敛则可以帮助投资者预测股票价格的未来趋势，从而制定出更为科学合理的投资策略。
二、大数定律2.1 定义大数定律是指，对于一组独立同分布的随机变量序列X1,X2,...,Xn,...，如果E(Xi)=μ，则对于任意给定的正数ε>0，都有：lim P(|(X1+X2+...+Xn)/n-μ|≥ε)=0(n→∞)其中，μ为总体均值，则称随机变量序列{Xn}满足大数定律。
2.2 原理大数定律是概率论中最基本也是最重要的一条定理。
它表明当样本容量越来越大时，样本均值会越来越接近总体均值。
换句话说，当样本容量充分大时，样本均值就可以代表总体均值。
2.3 应用大数定律在统计学中有着广泛的应用。
例如，在进行人口普查或调查时，如果样本容量太小，则无法准确地反映总体情况。
而通过应用大数定律可以帮助我们确定一个合适的样本容量范围，并保证调查结果的准确性和可靠性。
三、中心极限定理3.1 定义中心极限定理是指，对于一组独立同分布的随机变量序列X1,X2,...,Xn,...，如果E(Xi)=μ，Var(Xi)=σ²，则随机变量序列：Zn=(X1+X2+...+Xn-μn)/σ√n近似服从标准正态分布，则称随机变量序列{Xn}满足中心极限定理。
对于一般人来说，大数定律的非严格表述是这样的：X_1,...,X_n是独立同分布随机变量序列，均值为u，S_n=X_1+...+X_n，则S_n/n收敛到u.如果说“弱大数定律”，上述收敛是指依概率收敛(in probability)，如果说“强大数定律”，上述收敛是指几乎必然收敛(almost surely/with probability one)。
大数定律通俗一点来讲，就是样本数量很大的时候，样本均值和真实均值充分接近。
这一结论与中心极限定理一起，成为现代概率论、统计学、理论科学和社会科学的基石之一，重要性在本人看来甚至不弱于微积分。
（有趣的是，虽然大数定律的表述和证明都依赖现代数学知识，但其结论最早出现在微积分出现之前。
而且在生活中，即使没有微积分的知识也可以应用。
例如，没有学过微积分的学生也可以轻松利用excel或计算器计算样本均值等统计量，从而应用于社会科学。
）最早的大数定律的表述可以追朔到公元1500年左右的意大利数学家Cardano。
1713年，著名数学家James (Jacob) Bernouli正式提出并证明了最初的大数定律。
不过当时现代概率论还没有建立起来，测度论、实分析的工具还没有出现，因此当时的大数定律是以“独立事件的概率”作为对象的。
后来，历代数学家如Poisson（“大数定律”的名字来自于他）、Chebyshev、Markov、Khinchin（“强大数定律”的名字来自于他）、Borel、Cantelli等都对大数定律的发展做出了贡献。
直到1930年，现代概率论奠基人、数学大师Kolgomorov才真正证明了最后的强大数定律。
下面均假设X, X_1,...,X_n是独立同分布随机变量序列，均值为u。
独立同分布随机变量和的大数定律常有的表现形式有以下几种。
初等概率论(1). 带方差的弱大数定律：若E(X^2)小于无穷，则S_n/n-u依概率收敛到0。
证明方法：Chebyshev不等式即可得到。
⼤数定律与中⼼极限定理⽬录随机变量序列的两种收敛性依概率收敛：设{X n}为⼀随机变量序列，X为⼀随机变量，若对于任意ϵ>0,有P(|X n−X|≥ϵ)→0(n→∞)则称序列{X n}依概率收敛于X，记作X n P →X依概率收敛的性质：若X n P →aY n P →b则：X n±Y n P→a±bX n Y n P→abX n÷Y n P→a÷b弱收敛（按分布收敛）：随机变量X,X1,X2…的分布函数为F(x),F1(x),F2(x)…，若对于F(x)的任意⼀个连续点x，有lim n→∞F n(x)=F(x)则称分布函数序列{F n(x)}弱收敛于F(x),记作F n(x)W→F(x)也称{X n}按分布收敛于X,记作X n L →X特征函数特征函数：设X是⼀个随机变量，则φ(t)=E(e itX)为X的特征函数。
常⽤分布的特征函数0-1分布：φ(t)=pe it+q泊松分布:φ(t)=∑e itx λk e−λk!=e−λ∑(λe it)kk!=eλ(e it−1)均匀分布:φ(t)=∫b ae itxb−a dx=e itb−e itait(b−a)标准正态分布:φ(t)=e−1 2t2证明：φ(t)=∫∞−∞e itx1√2πe−12x2dx=1√2π∫∞−∞∞∑n=0(itx)nn!e−12x2dx=∞∑n=0(it)nn![∫∞−∞x n1√2πe−12x2]dx=∞∑n=0(it)nn!E(X n)当n为奇数时，E(X n)=∫∞−∞x n1√2πe−12x2dx=0当n为偶数时，E(X n)=E(X2m)=∫∞−∞x2m1√2πe−12x2dx=1√2π∫∞−∞−x2m−1d(e−12x2)=1√2π(2m−1)∫∞−∞x2m−2e−12x2dx=(2m−1)(2m−3)…1∫∞−∞1√2πe−12x2dx=(2m−1)!!=2m!2m(m−1)!故φ(t)=∞∑m=0(it)2m(2m)!E(X2m)=∞∑m=0(it)2m(2m)!2m!2m(m−1)!=∞∑m=0(−t22)mm!=e−1 2t2指数分布的特征函数:φ(t)=(1−it λ)−1证明：φ(t)=∫∞0e itxλe−λx dx=λ[∫∞0cos(tx)e−λx dx+i∫∞0sin(tx)e−λx dx]I=∫∞0cos(tx)e−λx dx=∫∞01t e−λx dsin(tx)=λt∫∞sin(tx)e−λx dx=−λt2[−1+λ∫∞cos(tx)e−λx dx]=−λ2t2I+λt2故I=λλ2+t2φ(t)=λ(λλ2+t2+itλ2+t2)=λλ2+t2(λ+it)=λλ−it=(1−it λ)−1特征函数的性质|φ(t)|≤φ(0)=1证明:|φ(t)|=|∫e itx f(x)dx|≤∫|e itx|f(x)dx=1若Y=aX+b，则φY(t)=e ibtφX(at)证明：φY(t)=∫e it(ax+b)f(x)dx=e itb∫e itax f(x)dx=e ibtφX(at)若X和Y相互独⽴，则有φX+Y(t)=φX(t)φY(t)证明：E(e it(X+Y))=E(e itx e ity)=E(e itx)E(e ity)=φX(t)φY(t)若E(X l)存在，则X的特征函数l次可导，且对1≤k≤l有φ(k)(0)=i k E(X k)证明：φ(k)(t)=∫i k x k e ixt f(x)dx将t=0代⼊得φ(k)(0)=i k∫x k f(x)dx=i k E(X k)⼤数定律 概率是频率的稳定值，其中稳定是什么意思？⼤数定律详细的描述了这个问题。
本科毕业论文题目：随机变量序列的几种收敛性及其关系学院：数学与计算机学院班级：数学与应用数学2008级八班姓名：***指导教师：丁平仁职称：副教授完成日期：2012 年5月10 日随机变量序列的几种收敛性及其关系摘要：本文主要对随机变量序列的四种收敛性：a.e.收敛、依概率收敛、依分布收敛、r—阶收敛的概念、性质进行阐述；并结合具体实例讨论了它们之间的关系，进一步对概率论中依分布收敛的等价条件和一些依概率收敛的弱大数定律进行了具体的研究.关键字：随机变量序列收敛分布函数目录1.引言 .................................................................... 1 2.a.e.收敛、依概率收敛、依分布收敛、r —阶收敛的概念、性质以及它们之间的关系. 2.1 a.e.收敛的概念及性质 ................................................................................................... 1 2.2 依概率收敛的概念及性质 .............................................................................................. 2 2.3依分布收敛的概念及性质 ............................................................................................... 3 2.4 r —阶收敛的概念及性质 .................................................................................................. 5 3.随机变量序列依分布收敛的等价条件. (6)4.随机变量∑=nk k n 11ξ依概率收敛的一些结果 (9)5.小结. .................................................................. 12 6.参考文献 (12)1.引言：在数学分析和实变函数中“收敛性”极为重要，特别在实变函数中对可测函数列收敛性的讨论。
依概率收敛和大数定律的关系引言：在概率论与数理统计中，依概率收敛和大数定律是两个重要的概念。
它们在研究随机现象时具有重要的理论和应用价值。
本文将从概念的解释、关系的阐述和实际应用的角度，探讨依概率收敛和大数定律之间的密切联系。
一、依概率收敛和大数定律的概念解释1. 依概率收敛：依概率收敛是指在概率论中，随机变量序列在概率意义下逐渐接近一个确定的常数。
具体来说，对于随机变量序列{X₁, X₂, ... , Xₙ}，如果对于任意给定的正数ε>0，当n趋向于无穷大时，有P(|Xₙ-α|>ε)→0，其中α为一个确定的常数，就称随机变量序列{Xₙ}依概率收敛于α。
2. 大数定律：大数定律是指随机现象中，随机变量序列的平均值在概率意义下逐渐接近其数学期望。
具体来说，对于随机变量序列{X₁, X₂, ... , Xₙ}，如果对于任意给定的正数ε>0，当n趋向于无穷大时，有P(|(X₁+X₂+...+Xₙ)/n-μ|>ε)→0，其中μ为随机变量的数学期望，就称随机变量序列的平均值依概率收敛于μ。
二、依概率收敛和大数定律的关系阐述依概率收敛和大数定律都是研究随机变量序列的收敛性质，两者之间存在密切的联系。
1. 依概率收敛是大数定律的一种特殊情况：依概率收敛是大数定律的一种特殊情况，即当随机变量序列的平均值依概率收敛于其数学期望时，也可以说该随机变量序列依概率收敛于其数学期望。
2. 大数定律是依概率收敛的一种具体表现形式：大数定律是依概率收敛的一种具体表现形式，即随着随机变量序列的增大，其平均值趋近于数学期望的概率趋近于1。
可以说大数定律是依概率收敛的一种具体应用。
三、依概率收敛和大数定律的实际应用1. 统计学中的样本均值：在统计学中，大数定律的一个重要应用是样本均值的稳定性。
根据大数定律，当样本容量足够大时，样本均值将以很高的概率接近总体均值，从而可以用样本均值来估计总体均值。
2. 金融领域中的股票收益率：在金融领域中，大数定律被广泛应用于股票收益率的研究。
§ 2依概率收敛与弱大数定律、依概率收敛 、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律，但是两个不同的随机变量可以有相同的分布函数.例如，向区间［0,1］上随机等可能投点，3表示落点的位置，定义则E 和n 具有相同的分布函数0,x 0, *1/2, 0 兰 x v 1, 1,x > 1F(x)八人 - I •(2)如果定义 n = , n —1,贝U n'，但1 n-尸1.这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度.为此需要引入另外的收敛性nimW(3)=1,则称 n 依概率收敛(convergenee in probability)于，记作 n性，只要n 充分大， n 与 的取值就可以任意接近系，我们有下面的定理定理1设和n 是定义在概率空间(Q ,F, P)上的随机变量序列证1.设F 和F n 分别是 和n 的分布函数，x 表示F 的连续点.任意给定£ >0,(",c - [0,05] c -(05,]C)门三[0,05]c -(05,](1)定义1设•和n 是定义在同一概率空间(Q ,F, P)上的随机变量序列.如果对任意£ >0,(3)注定义1要求所有和n 的定义域相同n 卩》可直观地理解为：除去极小的可能从上面例子可以看岀由n '并不能导岀n关于这两种收敛性之间的关产_P T1.如果 n，则2. 如果dn— e, e 为常数，贝UnP一；e(_x — ;) =( _X — , n _X)( _x — n X)5（仁X）（「_；）因此F(x—U)M F n(x)+P(S —P令n^x ,由于-n----------------------- 、-,故P(±n —乏s)兰P(| =n —耳二幼T 0,从而-;)Tim F n(x) F(x j . (4) 类似地(n _X)=( n -X, _X ；) ( ；_X, X )』（乜X 亠：.）（::n _ ；）从而F n(X"F(X ；) P( - n - ；)lim F n(x) _F(x )n i-连接⑷（5）两式，对任意£ >0,有-)< ljm F n (x)F(x n厂因此对任意名>0,有P(| n -C|—沪P( n -C ；) P( n "_ ；)= 1-P( n C ；) P( n ^C-；)=1-F n(C 「0) F n(C- ；) > 0,定理证毕.例1设｛ -n｝独立同分布，都为［0, a］上的均匀分布，人=max｛冷，二2，…tn｝.求证(5)由于F在x点连续，令£ T 0,就得lim F n(x) =F(x)F ,即nnim：F n(x)= 1, X :：CX(n TX ).证 由定理1,只须证明 n的分布函数Gn(x) > D(x —a),其中D (x-a)是在a 点的退化分布函数.从第二章知道：若 h 的分布函数为F(x)，则耳n的分布函数为G n (x)=[F(x)].现在的分布函数为0, x<0, x/a, 0 乞 x ：： a,则 P( E = n )=1.F(x)=1,x - a.故[0,G n (x)二(x/a)n ,x ::: 00 _ x ::: a0,1,kx _ a T D(x-a)=」,x ：： a证毕.依概率收敛有许多性质类似于微积分中数列极限的性质 的证题方法.大部分性质放在习题中留给读者自己证明 F 面仅举两个例子说明这类问题2设和n 是定义在概率空间(Q ,F, P)上的随机变量序列.求证: 1. 2.(-OO , OO ) 上的连续函数，则 f ( n ) * f()从而1.任意给定£ >0 ,我们有(I-I - ；/2) (I n - | - ；/2)P(IP(I-；/2) • P(| n-r.|_ ;/2)■T 口 ,并注意到上式左方与n 无关，得P(F 一 F 王和=0.进一步oOoO- I 0) =P( (I - I-1/n))P(| - 1-1/ n)n =1nm=0即 P( E =n )=1.2.任意给定，存在M>0,使得P(I E rM) _P(I E I - M/2)"： ； /4.(6)由于 n P「，故存在 N 1—1,当 n-N 1 时，p (「n-〕-M/2)「/4,因此-0,4 / 8P(| n |_M)乞 P(| n 一 j_ M /2) P(| j_M /2):::;/ 4 i / 4 = ; / 2(7)又因f (x)在(-g 产)上连续，从而在［-M, M ］上一致连续.对给定的£ >0,存在S >0,当|x-y|< S 时，|f (x)- f (y)|< £ .这样p (|f(g) —f(©l = E 兰P(|J —竺⑧ +P(I ®|A M)+P(| 舱 M).(8)对上面的S ,存在N2^1,当门王N2时,p (| — /4结合⑹⑺(8) (9)式,当n —max(N1,N 2)时,P(|f( n ) —f( )|- )：I4；I2：I4=;从而f ( n )卩'f().为了进一步讨论依概率收敛的条件，我们给岀下列切比雪夫不等式 (第三章§ 2)的推广.定理2 (马尔科夫不等式)设E 是定义在概率空间 (Q , F, P)上的随机变量，f (x)是［0, g )上非负单调不减函数，则对任意x >0,":Ef(| ］) P(|E | > x)f(x)证 当Ef(| E |)=g 时，(10)式显然成立.设Ef(| E |)<g ,E 的分布函数为 F(x).因f (x)单调不减，故 |y| >x 时，f(|y|) -f(x)，从而Ef(| |) f (x)|2定理3 n 卩'当且仅当 E 1 * n _ f -0.匚 | ； - |21 | ； - |2(9)(10)P(| ■ | x)y| xdF(y) <|y| xf(|y|)f(x)dF(y) 1 f(x)」(|y|)dF(y)证充分性：注意到f (x)=在［0,g ］上非负单调不减 对任意£ >0,由定理2P(|必要性：设n-的分布函数是 F n (X ).对任意£ >0,E I21| n - I _2 2 xx二 |x|2dF n (x) |x|2dF n (x)|x|:::;1 . x 2 |x|_;1 . x 2-|xdF n (X )牙 P(「n -〕—；)虫=1 +名© - q 2P2 由于 n : 在(11)式两边先令n is ,再让£— 0,即得证E1 11二、弱大数定律考虑随机试验 E 中的事件A ，假设其发生的概率为 p (0 < p <1),现在独立重复地做试验n 次——n 重贝努里试验.令A 在第i 次试验中出现 A 在第i 次试验中不出现Sn_种意义下收敛于)概率 p.我们想知道 n 与p 之间的差究竟有多大果成立.事实上，当0 < p <1,S n p nP( n =1) = P( 1=1, - , n =1)= , SnnP( n =0) = P( 1=0, - , n =0)=( p),S n它们都不为零.而在第一种情况，取£ <1-p ，不论n 多大，| n -p|=1-p >S A£ <p,则有 I n -p|= p > £ .Sn S n然而，当n 充分大后，事件｛ n =1｝和｛ n =0｝发生的可能性都很小望当n 充分大以后，岀现｛| n -p| — £ ｝的可能性可以任意地小.这一事实最早由贝努里发现2□0X-—dF n (x) 一 1 X (11)则 P( i =1)=p, P( i =0)=1-p.nS n 八ii 二是做试验E n 次后A 发生的次数，可能值 0,1,2,…,n,视S nS n试验结果而定.熟知E n =p.在第一章§ 1中曾经指岀： 当nr ::时频率n "稳定到"(在某首先应该意识到不可能期望对任意给定的0< £ <1,当n 充分大时,|S nn-p| - £对所有试验结£ ；在第二种情况，取.一般来说，自然地希定理6（辛钦大数定律）设｛ n ｝是定义在概率空间（Q , F, P ）上的独立同分布随机变量序列,定理4（贝努里大数定律）设｛ -n ｝是一列独立同分布的随机变量， P （b=i ）=p, p （ -n =0） = 1-p,nS n =瓦 E i0 < p <1,记 i 2继贝努里之后，人们一直试图对一般的随机变量建立类似的结果 定义2设｛ n ｝是定义在概率空间 （Q , F, P ）上的随机变量序列，如果存在常数列 ｛ an ｝和{ b n }使得1 n k _b n --------------------- ' 0a n k- , (n"), 则称｛ n ｝服从弱大数定律（weak law of large numbers ）,简称｛ n ｝服从大数定律1 nE -n^n, Var -n.如果n 2 ©ST 。
概率收敛与弱大数定律.2概率收敛与弱大数定律一、概率趋同第二，弱大数定律虽然分布函数完全反映了随机变量的值的分布规律，但是两个不同的随机变量可以有相同的分布函数。
例如，间隔[0，1]上的随机和其他可能的投掷点，ω表示投掷点的位置和定义。
(1) ξ和η具有相同的分布函数F(x)=(2)如果定义为n，那么，然而，这表明分布函数的收敛性并不反映随机变量序列的值之间的紧密性。
因此，需要额外的收敛。
定义1定义为相同概率空间(ω，F，P)上的随机变量序列。
如果ε0，=0，(3)或=1为任意值，则称概率收敛，并记为。
注定义1要求所有的和域都是相同的。
可以直观地理解为:除了极小的可能性之外，只要n足够大，和的值就可以任意接近。
从上面的例子可以看出，不能从。
关于两个收敛之间的关系，我们有以下定理。
定理1将和设置为概率空间(ω，F，P)中定义的随机变量序列。
1.如果，那么。
2.如果c是常数，那么。
证据1。
将f sum分别设置为sum的分布函数。
x表示F的连续点，给定ε0，(，f (x .使n→∞，由于，因此，使F(x. (4)是类似的，所以n→∞，所以。
(5)连接两个方程(4) (5)。
对于任何ε0，都有f (x，因为f在x点是连续的，使ε→0，这样，即2。
如果，那么。
所以对于任何ε 0，都有=1 (n→∞)。
定理的证明是完整的。
例1假设{}个独立的同分布，它们都是[0，a]上的均匀分布。
证据。
定理1给出了证明，这是一个只需要证明的分布函数，其中D(x-一、概率趋同第二，弱大数定律虽然分布函数完全反映了随机变量的值的分布规律，但是两个不同的随机变量可以有相同的分布函数。
例如，间隔[0，1]上的随机和其他可能的投掷点，ω表示投掷点的位置和定义。
(1) ξ和η具有相同的分布函数F(x)=(2)如果定义为n，那么，然而，这表明分布函数的收敛性并不反映随机变量序列的值之间的紧密性。
因此，需要额外的收敛。
定义1定义为相同概率空间(ω，F，P)上的随机变量序列。
§2 依概率收敛与弱大数定律一、依概率收敛 二、弱大数定律一、依概率收敛尽管分布函数完全反映了随机变量取值的分布规律, 但是两个不同的随机变量可以有相同的分布函数. 例如, 向区间[0,1]上随机等可能投点,ω表示落点的位置，定义ξω(),,=⎧⎨⎩10ωω∈∈[,.](.,]005051 ηω(),,=⎧⎨⎩01 ωω∈∈[,.](.,]005051. (1) 则ξ和η具有相同的分布函数F(x)=⎪⎩⎪⎨⎧,1,2/1,.1,10,0≥<≤<x x x(2)如果定义ξξn =, n ≥1, 则ξηn d−→−, 但||ξηn -≡1. 这表明分布函数收敛性并不能反映随机变量序列取值之间的接近程度. 为此需要引入另外的收敛性.定义1 设ξ和ξn 是定义在同一概率空间 (Ω,F, P)上的随机变量序列. 如果对任意ε>0,lim (||)n n P →∞-≥ξξε=0, (3)或lim (||)n n P →∞-<ξξε=1,')3(则称ξn 依概率收敛(convergence in probability)于ξ，记作ξn P−→−ξ. 注 定义1要求所有ξ和ξn 的定义域相同.ξn P−→−ξ可直观地理解为：除去极小的可能性，只要n 充分大，ξn 与ξ的取值就可以任意接近.从上面例子可以看出, 由ξn d −→−ξ并不能导出ξn P−→−ξ. 关于这两种收敛性之间的关系，我们有下面的定理.定理1 设ξ和ξn 是定义在概率空间 (Ω,F, P)上的随机变量序列.1. 如果ξn P −→−ξ, 则ξn d−→−ξ. 2. 如果ξn dc −→−, c 为常数，则ξn Pc −→−. 证 1. 设F 和F n 分别是ξ和ξn 的分布函数，x 表示F 的连续点. 任意给定ε>0,(ξεξεξξεξ≤-=≤-≤≤->x x x x x n n )(,)(,)⊆≤-≥()()ξξξεn n x ,因此F(x -≤+-≥εξξε)()()F x P n n .令n →∞, 由于ξn P −→−ξ, 故P P n n ()(||)ξξεξξε-≥≤-≥→0, 从而 F(x-≤→∞ε)lim ()n n F x . (4)类似地()(,)(,)ξξξεξξεn n n x x x x x ≤=≤≤+≤>+⊆≤+-≥()()ξεξξεx n ,从而F x F x P n n ()()()≤++-≥εξξε.令n →∞, 得lim ()()n n F x F x →∞≤+ε. (5)连接(4) (5)两式，对任意ε>0, 有F(x-≤→∞ε)lim ()n n F x ≤lim ()()n n F x F x →∞≤+ε.由于F 在x 点连续，令ε→0, 就得 lim ()()n n F x F x →∞=, 即ξnd−→−ξ.2. 如果ξn dc −→−，则 lim (),,n n F x →∞=⎧⎨⎩01 x cx c <≥.因此对任意ε>0,有)()(1)()()|(|εξεξεξεξεξ-≤++<-=-≤++≥=≥-c P c P c P c P c P n n n n n=1-+-+-→F c F c n n ()(),εε00 (n →∞).定理证毕.例1 设{ξn }独立同分布，都为[0, a]上的均匀分布,ηξξξn n =max{,,,}12 .求证ηn Pa −→−.证由定理1, 只须证明ηn的分布函数G x D x anW()()−→−-, 其中D(x-a)是在a点的退化分布函数.从第二章知道：若ξk的分布函数为F(x), 则ηn的分布函数为G x F xnn()[()]=. 现在ξk的分布函数为F(x)=⎪⎩⎪⎨⎧,1,/,0ax.,,0axaxx≥<≤<故G x x an n(),(/),,=⎧⎨⎪⎩⎪1xx ax a<≤<≥→ D(x-a)=1,,⎧⎨⎩x ax a<≥(n→∞).证毕.依概率收敛有许多性质类似于微积分中数列极限的性质, 下面仅举两个例子说明这类问题的证题方法. 大部分性质放在习题中留给读者自己证明.例2设ξ和ξn是定义在概率空间 (Ω,F, P)上的随机变量序列. 求证：1. 若ξnP−→−ξ，ξnP−→−η, 则P(ξ=η)=1.2. 若ξnP−→−ξ, f是 (-∞, ∞) 上的连续函数，则f (ξn)P f−→−()ξ.证 1. 任意给定ε>0，我们有(|ξηεξξεξηε-≥⊆-≥-≥|)(||/)(||/)n n22,从而P(|ξηεξξεξηε-≥≤-≥+-≥|)(||/)(||/)P Pn n22.由ξnP−→−ξ,ξnP−→−η, 并注意到上式左方与n无关, 得P(|ξηε-≥|)=0. 进一步, P(|ξηξηξη->=-≥≤-≥=∞=∞∑|)((||/))(||/)01111P n P nn n=0,即P(ξ=η)=1.2. 任意给定εε,'>0，存在M>0, 使得P(|ξ|≥≤M)P(|ξ|≥<'M/)/24ε. (6)由于ξnP−→−ξ, 故存在N11≥, 当n≥N1时, P(||/)/ξξεnM-≥<'24, 因此2/4/4/)2/|(|)2/|(|)|(|εεεξξξξ'='+'<≥+≥-≤≥M P M P M P n n (7)又因f (x) 在 (-∞,∞)上连续，从而在[-M, M]上一致连续. 对给定的ε>0, 存在δ>0, 当|x-y|<δ时，|f (x)-f (y)|<ε. 这样P(|()()|)(||)(||)(||)f f P P M P M n n n ξξεξξδξξ-≥≤-≥+≥+≥. (8)对上面的δ, 存在N 21≥, 当n ≥N 2时,P (||)/ξξδεn -≥<'4.(9)结合(6) (7) (8) (9)式, 当n ≥max(,)N N 12时，P(|f f n ()()|)///ξξεεεεε-≥<'+'+'='424,从而 f (ξn )Pf −→−()ξ.为了进一步讨论依概率收敛的条件，我们给出下列切比雪夫不等式(第三章§2)的推广. 定理2 （马尔科夫不等式） 设ξ是定义在概率空间 (Ω, F, P)上的随机变量，f (x)是[0, ∞) 上非负单调不减函数，则对任意x >0,P(|ξ| > x)≤Ef f x (||)()ξ.(10)证 当Ef(|ξ|)=∞时，(10)式显然成立. 设Ef(|ξ|)<∞,ξ的分布函数为F(x). 因f (x) 单调不减，故 |y| >x 时, f(|y f x |)()≥,从而⎰⎰>>≤=>xy xy y dF x f y f y dF x P ||||)()(|)(|)()|(|ξ⎰+∞∞-≤)(|)(|)(1y dF y f x f)(|)(|x f Ef ξ=.定理3 ξn P −→−ξ 当且仅当 E ||||ξξξξn n -+-221→0.证 充分性：注意到f (x)=x x 221+在[0, ∞]上非负单调不减, 对任意ε>0, 由定理2P(|ξξεεεξξξξn n n E ->≤+-+-|)||||112222→0,即ξnP−→−ξ.必要性：设ξn-ξ的分布函数是F xn(). 对任意ε>0,)(1)(1)(1||1||||22||222222xdFxxxdFxxxdFxxEnxnxnnn⎰⎰⎰≥<∞∞-+++=+=-+-εεξξξξ≤++≥⎰εεε221dF xnx()|\=εεξξε221++-≥Pn(||). (11)由于ξnP−→−ξ, 在(11)式两边先令n→∞, 再让ε→0，即得证E||||ξξξξnn-+-221→0.二、弱大数定律考虑随机试验E中的事件A，假设其发生的概率为p (0 < p <1), 现在独立重复地做试验n 次——n重贝努里试验. 令ξi =⎧⎨⎩1,,次试验中不出现在第次试验中出现在第iAiA, 1≤≤i n.则P(ξi=1)=p, P(ξi=0)=1-p.S n iin==∑ξ1是做试验E n次后A发生的次数，可能值0,1,2,…,n,视试验结果而定. 熟知 E Snn=p. 在第一章§1中曾经指出: 当∞→n时频率nSn"稳定到"（在某种意义下收敛于）概率p. 我们想知道Snn与p之间的差究竟有多大.首先应该意识到不可能期望对任意给定的 0<ε<1, 当n充分大时, |Snn-p|≤ε对所有试验结果成立. 事实上，当0 < p <1,P(Snn=1)=P(ξ1=1,…,ξn=1)=p n,P(Snn=0)=P(ξ1=0,…,ξn=0)=(1-p n),它们都不为零. 而在第一种情况，取ε<1-p，不论n多大，|Snn-p|=1-p >ε; 在第二种情况，取ε<p, 则有|Snn-p|= p >ε.然而，当n充分大后，事件{Snn=1}和{Snn=0}发生的可能性都很小. 一般来说，自然地希望当n充分大以后，出现{|Snn-p|≥ε}的可能性可以任意地小. 这一事实最早由贝努里发现.定理4 （贝努里大数定律）设{ξn}是一列独立同分布的随机变量，P(ξn=1)=p,P(ξn=0)=1-p, 0 < p <1, 记S n iin==∑ξ1, 则SnnP p−→−.继贝努里之后，人们一直试图对一般的随机变量建立类似的结果.定义2设{ξn}是定义在概率空间 (Ω, F, P)上的随机变量序列，如果存在常数列{an}和{bn}使得11abnk nPknξ-−→−=∑, (n→∞)，(12)则称{ξn}服从弱大数定律( weak law of large numbers), 简称{ξn}服从大数定律.定理5（切比雪夫大数定律）设{ξn}是定义在概率空间 (Ω,F,P)上的独立随机变量序列，E ξn=μn, Varξn=σn2. 如果1221n kknσ=∑→，则{ξn}服从弱大数定律，即1111n nkknkPknξμ-−→−==∑∑.证考察随机变量11n kknξ=∑, 因E(11n kknξ=∑)=11n kknμ=∑, Var(11n kknξ=∑)=1221n kknσ=∑，用第三章§2的切比雪夫不等式，得P(|11n k kkn()|ξμ-=∑≥ε)≤12εVar(11n kknξ=∑)=12ε(1221n kknσ=∑)→0.此即所证.注1贝努里大数定律是切比雪夫大数定律的特例.注2如果条件“{ξn}独立”被“{ξn}两两不相关”所代替，定理5依然成立. 更一般地,由该定理的证明容易看出：如果取消条件“{ξn}独立”，但条件“1221n kknσ=∑→0”改为“12n Var(ξkkn=∑1)→0”, 则定理5的结论仍然成立, 称为“马尔科夫大数定律”.如果{ξn}不仅独立，而且同分布，则可以改进定理5如下：定理6（辛钦大数定律）设{ξn}是定义在概率空间 (Ω, F,P)上的独立同分布随机变量序列，E|ξ1|<∞. 记E ξ1=μ,S n kk n==∑ξ1, 则{ξn }服从弱大数定律，即 S n n P−→−μ.证 分别令)(t f 与)(t f n 为ξ1与S n/ n 的特征函数. 既然{ξn }相互独立同分布，那么)(t f n =n n t f ))/((. 另外, E 1ξ=μ, 所以由泰勒展开式知)(t f =1+i )(t o t +μ,t →0.(13)对每个t ∈R,)/(n t f =1+i )/1(/n o n t +μ, n →∞,(14))(t f n =(1+i )/1(/n o n t +μ)n i te →μ, n →∞.由于ei tμ恰好是集中单点μ的退化分布的特征函数，运用第一节的逆极限定理即可知道S n n d /−→−μ. 再根据定理1得S n n P/−→−μ. 定理证毕.例2 设ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505.., s<1 /2为常数，且{ξk }相互独立. 试证{ξk }服从弱大数定律.证 已知ξk 有分布列k k s s -⎛⎝ ⎫⎭⎪0505..，所以E ξk =0, Var ξk =k s2. 当s<1/ 2时,121n Var k k n ξ=∑=11022221211n k n n n s s k n s k n <=→=-=∑∑.另外, {ξk }又是相互独立的，所以{ξk }服从切比雪夫大数定律，即11n k k nξ=∑P−→−0. 例3 设{ξk }相互独立, 密度都为 p(x)=20113/,,x x x ⎧⎨⎩≥<，求证{ξk }服从大数定律.证 {ξk }独立同分布, E ξk =xp x dx()-∞∞⎰=2, 所以{ξk }服从辛钦大数定律.例4 设{ξk }独立同分布, E ξk =μ, Var ξk =σ2. 令ξξn kk nn ==∑11,S n nk n k n2211=-=∑()ξξ.求证: S n P 22−→−σ.证S n n k n k n 2211=-=∑()ξξ=121n k n k n (()())ξμξμ---=∑=---=∑1221n k n k n()()ξμξμ.(15)由辛钦大数定律知 ξμn P −→−，从而()ξμn P -−→−20. 再因{(ξμk -)2)独立同分布，E(ξμk-)2=Var ξk =σ2, 故{(ξμk -)2)也服从辛钦大数定律，即∑μ-ξ=n 1k 2k )(n 12P σ−→−. 由(15)式与依概率收敛的性质（习题18），S n P 22−→−σ.注 在数理统计中，ξn 称为样本均值，nn S n -12称为样本方差. 辛钦大数定律表明样本均值依概率收敛于总体均值. 上述例子则表明样本方差依概率收敛于总体方差.最后，给出随机变量序列的另一种收敛性概念.定义3 设ξ和n ξ, n ≥1, 是定义在同一概率空间(Ω,F, P)上的随机变量序列，E ||ξr<∞,E||ξn r <∞, n ≥1, 0 < r <∞. 如果E ||ξξn r-→0，(16)则称{ξn } r-阶平均收敛(convergence in the mean of order r)于ξ，记作ξξnLr−→−.如果存在0< r <∞, ξξn L r−→−, 令r x x f ||)(=，并对ξξn -应用马尔科夫不等式，可推出ξξn P−→−. 然而下例说明其逆不成立. 例5 定义P(ξn =n) =13log()n +，P(ξn =0) =1-13log()n +, n=1,2,…. 易知，ξn P−→−0, 但对任何 0 < r<∞,E ||log()ξn rrn n =+→∞3, (n →∞).即−→−rLn ξ不成立.。
