概率论与数理统计中心极限定理

概率论与数理统计主讲：四川大学四川大学第47讲中心极限定理1§5.2 中心极限定理四川大学第47讲中心极限定理3第47讲中心极限定理四川大学四川大学第47讲中心极限定理4中心极限定理的概念Central Limit Theorems四川大学第47讲中心极限定理5在客观实际中有许多随机变量，它们是由大量相互独立的随机因素的综合影响所形成，而其中每一个别因素在总的影响中所起的作用是微小的。

这种随机变量往往近似地服从正态分布。

这种现象就是中心极限定理的客观背景。

本节将用中心极限定理来说明这种现象。

四川大学中心极限定理是说：在一定条件下，充分多的相互独立的随机变量的算术平均值将服从正态分布，不管这些随机变量本身服从什么分布。

四川大学四川大学第47讲中心极限定理6本节介绍了三个中心极限定理1. 列维-林德伯格定理（独立同分布的中心极限定理）2. 李雅普诺夫定理（独立不同分布的中心极限定理）自学3. 棣莫弗-拉普拉斯定理(二项分布的极限分布)四川大学四川大学四川大学第47讲中心极限定理7列维-林德伯格定理独立同分布的中心极限定理四川大学第47讲中心极限定理8四川大学第47讲中心极限定理17Jarl Waldemar Lindeberg 1876–1932芬兰数学家Paul Pierre Lévy1886-1971法国数学家Lévy法国数学家。

现代概率论开拓者之一，他在巴黎出生。

第一次世界大战期间，莱维是法国炮兵进行数学分析工作。

1920年，他被任命为在Ecole理工学院，在那里他的学生包括蒙德布罗特分析。

他留在莱维主要研究概率论和泛函分析。

他引入分布律的莱维距离、散布函数和集结函数、鞅、局部时等概念，对极限理论和随机过程理论作出了重要贡献。

概率论中的莱维过程(Lévy processes)，莱维测度（Lévy measure），莱维分布(Lévy distribution) 等都是以其命名。

概率论与数理统计第五章大数定律及中心极限定理课前导读概率论是研究大量试验后呈现出的统计规律性的一门理论。

数学中研究大量的工具是极限。

因此这一章学习概率论中的极限定理。

第一节大数定律随着试验次数的增大，事件的频率逐步稳定到事件的概率。

意味着随着试验次数的增多，在其中一种收敛意义下，频率的极限是概率。

大数定律解释了这一结论。

首先介绍切比雪夫不等式。

一、切比雪夫(Chebyshev)不等式随机变量X的取值总是围绕着其期望变动，若X的分布已知时，可以计算事件\{，X-E(X)，\geq \epsilon \}的概率。

切比雪夫不等式：对切比雪夫不等式的直观理解：方差越小，X在其期望附近取值的密集程度越高，原理期望的区域的概率上加越小。

进一步说明了方差的概率意义，方差时随机变量取值与其中心位置的偏离程度的一种度量指标。

当随机变量X的分布未知时，可由X的观测数据估计得到X的期望和方差，然后使用切比雪夫不等式估计X关于E(X)的偏离程度。

二、依概率收敛随机变量序列即由随机变量构成的一个序列。

不能用类似定义数列极限的方式定义随机变量序列的极限，因为序列中的每一个元素X_n是随机变量，取值不确定，不可能和一个常数c的距离任意小。

只能说一些事件A发生的频率f_n(A)收敛到A的概率P(A)。

依概率收敛的定义：定理2：三、大数定律三个大数定律：切比雪夫大数定律、辛钦大数定律和伯努利大数定律。

注意这三个大数定律的条件有何异同。

定理3 切比雪夫大数定律：若随机变量序列相互不相关，方差存在且一致有上界，当n充分大时，随机序列的前n项的算术平均值和自身的期望充分接近几乎总是发生的。

定理4 相互独立同分布的大数定律（辛钦大数定律）：辛钦大数定律为算术平均值法则提供了理论依据。

伯努利大数定律：伯努利大数定律是相互独立同分布大数定律的特例，限定分布为两点分布。

伯努利大数定律体现了：随着试验次数的增大，事件的频率逐步稳定到时间的概率，这里的稳定即为依概率收敛。

概率论与数理统计第四章正态分布§13 中心极限定理暨南大学电气信息学院苏保河主讲第四章正态分布§13 中心极限定理主要内容一、林德伯格—莱维中心极限定理二、棣莫弗—拉普拉斯中心极限定理三、李雅普诺夫中心极限定理暨南大学电气信息学院苏保河主讲例1炮火轰击敌方防御工事100 次, 每次轰击命中的炮弹数服从同一分布, 其数学期望为2, 均方差为1.5. 若各次轰击命中的炮弹数是相互独立的, 求100 次轰击(1)至少命中180发炮弹的概率;(2)命中的炮弹数不到200发的概率.一、林德伯格—莱维中心极限定理解设X k 表示第k 次轰击命中的炮弹数,2()2,() 1.5,1,,100,k k E X D X k ==="相互独立,12100,,,X X X "苏保河主讲设X 表示100 次轰击命中的炮弹数, 由独立同分布的中心极限定理, 例1 解(续1)2()2,() 1.5,k k E X D X ==苏保河主讲1001,k k X X ==∑则2()200,()15,E X D X ==~(200,225).X N 近似地有{180}P X ≥1((180200)/15)Φ≈−−(1.33)Φ=(1)至少命中180发炮弹的概率;1( 1.33)Φ=−−0.9082.=1{180}P X =−<设X 表示100 次轰击命中的炮弹数, 由独立同分布的中心极限定理,例1 解(续2)2()2,() 1.5,k k E X D X ==苏保河主讲1001,k k X X ==∑则()200,()225,E X D X ==2~(200,15).X N 近似地有(2)命中的炮弹数不到200发的概率.{0200}P X ≤<((200200)/15)((0200)/15)ΦΦ≈−−−(0)(13.33)ΦΦ=−−0.5000.=例2检验员逐个检查某产品, 每查一个需用10秒钟. 但有的产品需重复检查一次,再用去10 秒钟. 若产品需重复检查的概率为0.5, 求检验员在8 小时内检查的产品多于1900 个的概率.解在8 小时内检查的产品多于1900 个,即检查1900 个产品所用时间小于8 小时.设X为检查1900 个产品所用的时间(秒),设Xk 为检查第k个产品所用的时间(单位为秒), k= 1, 2, …, 1900.苏保河主讲例3某车间有200 台车床独立地工作,开工率为0.6, 开工时每台耗电为r 千瓦.问供电所至少要供给这个车间多少电力,才能以99.9% 的概率保证这个车间不会因供电不足而影响生产？解设至少要供给该车间a千瓦的电力, X为开工的车床台数, 则X~ B(200, 0.6),由棣莫弗—拉普拉斯中心极限定理,X~ N(120, 48) (近似),欲求a, 使{0}99.9%.P rX a≤≤=苏保河主讲李雅普诺夫中心极限定理的意义如果随机变量X 可以看成许多相的总和,互独立的起微小作用的因素Xk则X 服从或近似服从正态分布.苏保河主讲苏保河主讲1. 离散型随机变量的数学期望第三章内容小结定义1设X 是离散型随机变量, 其分布律是P {X = x k } = p k (k = 1, 2, …),如果收敛, 定义X 的数学期望1||k k k x p ∞=∑1()k k k E X x p ∞==∑一、数学期望2. 连续型随机变量的数学期望定义2设X 是连续型随机变量,()()d E X x f x x∞−∞=∫收敛, 定义X 的数学期望||()d x f x x ∞−∞∫其密度函数为f (x ), 如果苏保河主讲4. 数学期望的性质1.设C 是常数, 则E (C ) = C .4.设X , Y 独立, 则E (XY ) = E (X )E (Y ).2.若k 是常数, 则E (kX ) = kE (X ).3.E (X 1 + X 2) =E (X 1) + E (X 2).条件: X 1,X 2, …, X n 相互独立.11()().n n i i i i i i E C X C E X ===∑∑推广:11()().n n i i i i E X E X ===∏∏推广:苏保河主讲3. 方差的性质1)设a 是常数, 则D (a ) = 0.2)若a 是常数, 则D (aX ) = a 2D (X ).4)若X 1 与X 2相互独立, 则D (X 1±X 2) = D (X 1) + D (X 2).推广：若X 1, X 2, …, X n 相互独立, 则11[](),n ni i i i D X D X ===∑∑211[]().n n i i i i i i D C X C D X ===∑∑3)若a , b 是常数, 则D (aX + b ) = a 2D (X ).苏保河主讲4. 协方差的定义定义对于二维随机变量(X, Y),称E{[X-E(X)][Y-E(Y)]} 为X与Y 的协方差, 记为Cov(X, Y), 即Cov(X, Y) = E{[X-E(X)][Y-E(Y)]}.5. 协方差的计算公式Cov(X,Y)=E(XY)–E(X)E(Y)推论: 若X 与Y 独立, 则Cov(X,Y) = 0.苏保河主讲6. 协方差的性质(1)Cov(X,Y)=Cov(Y,X)(2)Cov(aX,bY)=ab Cov(X,Y), a,b是常数(3)Cov(X1+X2,Y)=Cov(X1,Y)+Cov(X2,Y)苏保河主讲若X 1, X 2, …, X n 两两独立, 则D (X +Y ) = D (X )+D (Y )+2Cov(X , Y )7. 随机变量和的方差与协方差的关系11()().n ni i i i D X D X ===∑∑11()()2Cov(,)n ni i i j i i i j D X D X X X ==<=+∑∑∑苏保河主讲9. 相关系数的性质2)|| 1.XY ρ≤0,XY ρ=1) X 和Y 独立时但其逆不真.定义对于随机变量X , 如果E (X k )( k = 1, 2, …) 存在, 则称它为X 的k 阶原点矩或k 阶矩.10. 矩和中心矩如果E {[X -E (X )]k } ( k = 1, 2, …) 存在, 则称它为X 的k 阶中心矩.苏保河主讲三、切比雪夫不等式与大数定理1. 马尔科夫不等式2. 切比雪夫不等式3. 切比雪夫大数定理4. 独立同分布下的大数定理5. 伯努利大数定理苏保河主讲用X 表示n 重伯努利试验中事件A 出现(成功)的次数, 其分布律称r.v. X 服从参数为n 和p 的二项分布, 注当n = 1 时, 称X 服从参数为p 的伯努利分布，或0-1 分布.1. 二项分布{}(1),k k n k n P X k C p p −==−0,1,,k n ="记作X ~ B (n , p ).苏保河主讲四、几个重要的随机变量苏保河主讲(),()(1).E X np D X np p ==−如果X ~ B (n , p ),结论：{}(1),k k n k n P X k C p p −==−0,1,,,k n ="2. 超几何分布定义将N个元素分为2 类, M个属于第一类, N－M个属于第二类, 从中按不放回抽样随机取n个元素. 令X表示这n 个元素中第一类元素的个数, 则称X服从超几何分布, 记为X h n N M~(,,)苏保河主讲。

中心极限定理无论随机变量12,,,,n X X X 服从什么分布，当n 充分大时，其和的极限分布是正态分布，这就是我们今天要讲的中心极限定理。

定理 5.5（独立同分布中心极限定理）设随机变量12,,,,n X X X 相互独立,服从同一分布,且具有数学期望和方差2(),()0,i i E X D X μσ==>1,2,i =,则随机变量之和1ni i X =∑的标准化变量nin Xn Y μ-=∑的分布函数()n F x 对于任意X 满足2/2lim ()lim d ()n i x t n n n X n F x P x t x μΦ-→∞→∞⎧⎫-⎪⎪⎪=≤==⎬⎪⎪⎩⎭∑⎰定理 5.5表明,对于均值为,μ方差为20σ>的独立同分布的随机变量的和1ni i X =∑的标准化随机变量,不论12,,,,n X X X 服从什么分布,当n 充分大时,都有~(0,1)nin Xn Y N μ-=∑近似,从而,当n 充分大时21~(,)nii XN n n μσ=∑近似.定理5.5′ 设随机变量列12,,,,n X X X 相互独立,服从同一分布,且具有数学期望和方差2(),()0,i i E X D X μσ==>1,2,i =,令11nn i i X X n ==∑,则当n 充分大时~(0,1)N 近似,即2~(,/)n X N n μσ近似.例5.3 一盒同型号螺丝钉共有100个,已知该型号的螺丝钉的重量是一个随机变量,期望值是100 g,标准差是10 g,求一盒螺丝钉的重量超过10.2 kg 的概率.解 设i X 为第i 个螺丝钉的重量,,100,,2,1 =i Y 为一盒螺丝钉的重量,则1001,i i Y X ==∑12100,,,X X X 相互独立,由()100,i E X=10,σ= 100n =知()100()10 000,i E X E X =⨯=()100()10 000,i D X D X =⨯=由独立同分布中心极限定理,~(10000,10000)Y N 近似,{}{10 200}110 200P Y P Y >=-≤10 00010 20010 0001100100Y P --⎧⎫=-≤⎨⎬⎩⎭1(2)10.977 20.022 8.Φ≈-=-=定理5.6（李雅普诺夫定理）设随机变量 ,,,,21n X X X 相互独立,它们具有数学期望和方差2(),()0,1,2,k k k kE X D X k μσ==>=，记.122∑==nk k nB σ若存在正数δ,使得当∞→n 时,,0}|{|1122→-∑=++nk k knXE B δδμ则随机变量之和∑=n k k X 1的标准化变量nnk kn k kn k k n k k nk k n B X X D X E X Z ∑∑∑∑∑=====-=⎪⎪⎭⎫ ⎝⎛⎪⎪⎭⎫ ⎝⎛-=11111μ的分布函数)(x F n 对于任意x ,满足2/211lim ()lim d ().n nk k x t k k n n n n X F x P x t x B μΦ-==→∞→∞⎧⎫-⎪⎪⎪⎪=≤==⎨⎬⎪⎪⎪⎪⎩⎭∑∑⎰ 定理5.7（棣莫佛—拉普拉斯定理）设随机变量(1,2,)~(,)(01),n n b n p p η=<<则对任意x ,有22lim d ().t x n P x t x Φ--∞→∞⎧⎫⎪≤==⎬⎪⎭⎰证明 由于n η可视为n 个相互独立、服从同一参数p 的(01)-分布的随机变量12,,,n X X X 的和,即有1nn i i X η==∑,其中(),()(1),i i E X p D X p p ==-1,2,i =,故由独立同分布中心极限定理可得22lim lim d ().n i n n t xX np P x P x t x Φ→∞→∞-⎧⎫-⎪⎪⎧⎫⎪⎪≤=≤⎬⎬⎪⎪⎭⎪⎭==∑⎰, 定理5.7表明:若随机变量n η服从二项分布，即~(,)n b n p η，则当n 充分大时,有~(0,1)npN η-近似,从而,当n 充分大时~(,(1))n N np np p η-近似例5.4 假如某保险公司开设人寿保险业务，该保险有1万人购买（每人一份），每人每年付100元保险费,若被保险人在年度内死亡, 保险公司赔付其家属1万元.设一年内一个人死亡的概率为0.005试问:在此项业务中保险公司亏本的概率有多大？保险公司每年利润不少于10万的概率是多少？解 设X 表示一年内被保险人的死亡人数，则,~(10000,0.005)X b ,于是()100000.00550,()100000.0050.99549.75E X D X =⨯==⨯⨯=由棣莫佛—拉普拉斯定理,~(50,49.75)X N 近似.保险公司亏本,也就是赔偿金额大于10 000100100⨯=万元,即死亡人数大于100人的概率所以保险公司亏本的概率为(){100}1{100}117.050P X P X P Φ>=-≤=-≈-= 这说明,保险公司亏本的概率几乎是零.如果保险公司每年的利润不少于10万元,即赔偿人数不超过90人，则保险公司每年利润不少于10万的概率为(){90} 5.671P X ≤≈Φ≈Φ=.可见,保险公司每年利润不少于10万元的概率几乎是100%.。