中心极限定理的创立与发展
- 格式:wps
- 大小:59.00 KB
- 文档页数:5
中心极限定理的概念中心极限定理(Central Limit Theorem,CLT)是概率论中的一条重要定理,它描述了当样本容量足够大时,一组独立随机变量的和或平均值的分布将近似服从正态分布。
中心极限定理在统计学、概率论、金融数学等领域起着重要的作用,为许多统计推断和假设检验提供了理论基础。
中心极限定理有三种形式:林德伯格-列维中心极限定理(Lyapunov–Lindeberg central limit theorem)、棣莫弗-拉普拉斯中心极限定理(De Moivre-Laplace central limit theorem)和林德伯格-费勒中心极限定理(Lyapunov-Feller central limit theorem),它们分别适用于不同的随机变量。
首先讨论林德伯格-列维中心极限定理。
设X1, X2, ..., Xn是从同一总体分布函数F(x)独立且具有相同的期望μ和方差σ²的随机变量,令Sn = X1 + X2 + ... + Xn。
那么当n趋于无穷大时,标准化的和(即(Sn - nμ) / (σ√n))近似服从标准正态分布。
其中μ是总体的期望,σ²是总体的方差。
中心极限定理的意义在于,即使原本的随机变量并不遵循正态分布,只要样本容量足够大,样本的均值或和的分布就会接近于正态分布。
这种正态近似的性质使得许多统计推断成为可能,例如构建置信区间和进行假设检验。
棣莫弗-拉普拉斯中心极限定理是中心极限定理的一个特殊情况,适用于二项分布(Binomial Distribution)的情况。
二项分布描述了n次独立的伯努利试验中成功的次数,其中每次试验成功的概率为p。
当n足够大时,二项分布可以用正态分布来近似。
具体而言,当n趋于无穷大时,伯努利试验成功的次数(或称为成功的概率)的标准化形式(即(X - np)/ (np(1-p)))将近似服从标准正态分布。
林德伯格-费勒中心极限定理是中心极限定理的另一个扩展形式,适用于一组独立随机变量的和或平均值具有不同方差的情况。
第四章大数定律与中心极限定理第一节大数定律一、历史简介概率论历史上第一个极限定理属于贝努里,后人称之为“大数定律”.1733年,德莫佛——拉普拉斯在分布的极限定理方面走出了根本性的一步,证明了时二项分布的极限分布是正态分布.拉普拉斯改进了他的证明并把二项分布推广为更一般的分布.1900年,李雅普诺夫进一步推广了他们的结论,并创立了特征函数法.这类分布极限问题是当时概率论研究的中心问题,卜里耶为之命名“中心极限定理”.20世纪初,主要探讨使中心极限定理成立的最广泛的条件,二三十年代的林德贝尔格条件和费勒条件是独立随机变量序列情形下的显著进展.在第一章已经指出,随机事件在大量重复试验中呈现明显的统计规律性,即一个事件在大量重复试验中出现的频率具有稳定性.这种稳定性的提法应该说是什么形式? 贝努里是第一个研究这一问题的数学家.他于是1713年首先提出后人称之为“大数定律”的极限定理.二、大数定律定理1(贝努里大数定律) 设是重贝努里试验中事件出现的次数,是事件在每次试验中出现的概率,则对任意的,有证明:令表示在第次试验中出现的次数.若第次试验中出现,则令;若若第次试验中不出现,则令.由贝努里试验定义,是个相互独立的随机变量,且而于是由契比晓夫不等式有又由独立性知道有从而有这就证明了定理1.若是随机变量序列,如果存在常数列,使得对任意的,有成立,则称随机变量序列服从大数定律.定理2(契比晓夫大数定律) 设是一列两两不相关的随机变量,又设它们的方差有界,即存在常数,使有则对于任意的,有证明:利用契比晓夫不等式,有因为是一列两两不相关的随机变量,它们的方差有界,即可得到从而有从而定理2得证.[例1] 设为独立同分布的随机变量,均服从参数为的普哇松分布.由以往的讨论知道,,因而满足定理2的要求,则由定理2 的结论可知定理3(马尔科夫大数定律) 对于随机变量序列,若有则有证明:利用契比晓夫不等式,有由假设知,右端趋于1,于是于是定理3得证.一般称条件为马尔科夫条件.定理4(辛钦大数定律) 设是独立同分布的随机变量序列,且有有限的数学期望,则对于任意的,有上式也可表示为或,并且称依概率收敛于.三、大数定律的应用[例2] 抛掷一枚均匀的骰子,为了至少有0.95的把握使出现六点的概率与之差不超过0.01,问需要抛掷多少次?解:由契比晓夫不等式,有令,其中,则.即至少需要抛掷27778次才能至少有0.95的把握使出现六点的概率与之差不超过0.01[例3] (蒙特卡洛方法求积分) 计算.解:任取一列相互独立的都具有上均匀分布的随机变量,则也是一列相互独立且具有相同分布的随机变量,而因此,.为求,自然想到大数定律:这样一来,只要能生成随机变量序列,就能计算积分.现在借助计算机,产生上的随机数,然后通过大数定律,算出,最后由算出.这就是一种新的计算方法:概率计算方法,也称蒙特卡洛方法.[例4] 设随机变量序列的方差一致有界,即,且当时, 与的相关系数,证明服从大数定律.证明:因为由题设知,任给,存在当时,.这表明,在共有个中,绝对值超过的元素不多于个,其余的个元素的绝对值不超过,故有由于可任意小,故马尔科夫条件成立,所以服从大数定律.[例5] 设相互独立且,.证明服从大数定律.证明:因为,故故马尔科夫条件成立,所以服从大数定律.[例6] 设相互独立且分别具有以下分布,试确定是否满足马尔科夫条件.(1)(2)(3)解:(1)易知.由于故不满足马尔科夫条件.(2) 易知.由于故不满足马尔科夫条件.(3) 易知.由于注意到,故满足马尔科夫条件. [例7] 设相互独立且分别具有以下分布:(1)的分布函数为(2)(3) 的密度函数为(4)问是否满足大数定律.解:(1)因为,这是柯西分布,它的数学期望不存在,因此,不满足大数定律.(2)因为,由辛钦大数定律,知满足大数定律.(3)因为是奇函数,故.由辛钦大数定律,知满足大数定律.(4)而,故级数收敛,满足大数定律.作业:P221 EX 19,24,25,26。
中心极限定理并没有一个单一的原著,因为它是由多位数学家在不同的时期提出和证明的。
中心极限定理的基本思想是,对于任意分布的独立随机变量,它们的和趋近于正态分布。
这个理论是统计学中非常重要的一部分,广泛应用于概率论和统计学中。
有两个主要的中心极限定理:林德贝格-列维中心极限定理(Lyapunov Central Limit Theorem)和杰拉德-布朗中心极限定理(Lindeberg-Levy Central Limit Theorem)。
这两个定理都为不同的随机变量集合提供了极限分布的性质。
1. 林德贝格-列维中心极限定理:提出者是俄国数学家切比雪夫(Chebyshev),后来由俄国数学家林德贝格(Lyapunov)和法国数学家列维(Levy)独立地发展和证明。
它基本上表述了对于独立同分布的随机变量序列,它们的和在适当的条件下趋近于正态分布。
2. 杰拉德-布朗中心极限定理:这个定理是根据瑞士数学家杰拉德(Lindeberg)和法国数学家布朗(Levy)的工作而得名。
该定理更为弱化,它指出只要序列中的随机变量具有有限的均值和方差,并且序列中的方差趋于零,那么和的分布趋近于正态分布。
这些中心极限定理对于理解随机现象的规律以及在统计学和概率论中的应用非常重要。
大数定理概率论历史上第一个极限定理属于伯努利,后人称之为“大数定律”。
概率论中讨论随机变量序列的算术平均值向常数收敛的定律。
概率论与数理统计学的基本定律之一,又称弱大数理论。
发展历史1733年,德莫佛—拉普拉斯在分布的极限定理方面走出了根本性的一步,证明了二项分布的极限分布是正态分布。
拉普拉斯改进了他的证明并把二项分布推广为更一般的分布。
1900年,李雅普诺夫进一步推广了他们的结论,并创立了特征函数法。
这类分布极限问题是当时概率论研究的中心问题,卜里耶为之命名“中心极限定理”。
20世纪初,主要探讨使中心极限定理成立的最广泛的条件,二三十年代的林德贝尔格条件和费勒条件是独立随机变量序列情形下的显著进展。
伯努利是第一个研究这一问题的数学家,他于1713年首先提出后人称之为“大数定律”的极限定理。
表现形式大数定律有若干个表现形式。
这里仅介绍高等数学概率论要求的常用的三个重要定律:∙切比雪夫大数定理设是一列两两不相关的随机变量,他们分别存在期望和方差。
若存在常数C使得:则对任意小的正数ε,满足公式一:将该公式应用于抽样调查,就会有如下结论:随着样本容量n的增加,样本平均数将接近于总体平均数。
从而为统计推断中依据样本平均数估计总体平均数提供了理论依据。
∙伯努利大数定律设μ是n次独立试验中事件A发生的次数,且事件A在每次试验中发生的概率为P,则对任意正数ε,有公式二:该定律是切比雪夫大数定律的特例,其含义是,当n足够大时,事件A出现的频率将几乎接近于其发生的概率,即频率的稳定性。
在抽样调查中,用样本成数去估计总体成数,其理论依据即在于此。
∙辛钦大数定律辛钦大数定律:常用的大数定律之一设{,i>=1}为独立同分布的随机变量序列,若的数学期望存在,则服从大数定律:即对任意的ε>0,有公式三:、中心极限定理中心极限定理(central limit theorem)是概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。
统计学中心极限定理统计学中心极限定理是统计学中一个重要的概念和方法,它是对大数定律的推广和应用。
所谓大数定律是指在一定条件下,大量相互独立的随机变量的平均值趋向于一个确定的常数。
而中心极限定理则是关于随机变量和概率分布的一个定理,它揭示了随机变量和概率分布之间的关系。
中心极限定理的核心思想是,如果一个随机变量是由多个相互独立的随机变量的和或平均值构成的,那么当这些随机变量的数量足够大时,它的分布将逐渐接近于正态分布。
具体来说,中心极限定理分为三种形式:李雅普诺夫型、林德贝格-列维型和费歇尔-拉普拉斯型。
首先是李雅普诺夫型中心极限定理。
该定理是由俄国数学家亚历山大·利亚普诺夫于1901年提出的,它针对独立同分布的随机变量序列。
如果这个序列的方差有限,那么当随机变量的数量足够大时,它们的和的分布将逐渐接近于正态分布。
这个定理在实际应用中非常重要,例如在样本均值的抽样分布中,李雅普诺夫型中心极限定理可以帮助我们进行假设检验和置信区间的计算。
其次是林德贝格-列维型中心极限定理。
该定理由瑞典数学家约瑟夫·林德贝格和法国数学家保罗·列维于1922年独立提出,它针对独立同分布的随机变量序列。
如果这个序列的方差无限大,但是它们的均值的标准差趋向于零,那么当随机变量的数量足够大时,它们的标准化和的分布将逐渐接近于标准正态分布。
林德贝格-列维型中心极限定理在实际应用中常用于描述随机过程的极限行为,例如在金融市场中的股票价格变动。
最后是费歇尔-拉普拉斯型中心极限定理。
该定理由法国数学家西蒙·费歇尔和法国数学家皮埃尔-西蒙·拉普拉斯于1812年独立提出,它针对二项分布的随机变量序列。
如果这个序列的样本容量足够大,那么它的二项分布可以近似为正态分布。
费歇尔-拉普拉斯型中心极限定理在实际应用中常用于二项分布的近似计算,例如在品质控制中的不良品率的估计。
总结来说,统计学中心极限定理是关于随机变量和概率分布之间的一个重要定理。
中心极限定理含义及背景
中心极限定理是概率论中的一个重要定理,它描述了当独立随机变量之和趋向于无穷大时,其分布将逐渐接近于正态分布的现象。
背景:
中心极限定理最早由法国数学家拉普拉斯在1810年左右提出,但其概念和思想始于18世纪的
普遍研究。
在此之前,人们普遍认为大数定律只适用于确切发生概率大于0的事件,而对于连
续的随机变量分布则不能套用大数定律进行研究。
然而中心极限定理的出现打破了这种思维定式。
它告诉我们,即使随机变量之间没有严格的关联,它们的和的分布趋于正态分布。
这个定理极大地推动了概率论的发展,为统计学提供了强大的工具。
含义:
中心极限定理的含义是,对于独立同分布的随机变量,它们的和的分布(或均值的分布)将近似服从正态分布,尤其是当样本容量足够大时。
换句话说,当我们把多个随机变量进行求和,其结果的分布逐渐趋近于正态分布。
中心极限定理的重要性在于,正态分布具有许多重要的性质。
具体来说,正态分布对称且钟形,可以用数学上的公式来精确描述,这使得我们可以通过正态分布来近似描述和计算其他复杂的随机现象。
因此,中心极限定理被广泛应用于统计推断、假设检验和置信区间等统计学的领域。
它使得我们能够通过样本数据来了解总体分布,并做出相应的推断和决策。
中心极限定理历史演变过程
中心极限定理是概率论中的一项重要成果,它指出,在一定条件下,大量独立同分布的随机变量的算术平均值的分布会逼近于正态分布。
中心极限定理的演变过程如下:
1. 1713年:雅各布·贝努利提出贝努利大数定律,该定律指出,独立重复试验的结果平均值会趋近于其期望值。
2. 1733年:亚伯拉罕·德·摩瓦尔扩展了贝努利大数定律,提出
了中心极限定理的初步形式,他认为大量独立的随机变量之和将近似于正态分布。
3. 1810年:皮埃尔·西蒙·拉普拉斯对中心极限定理进行了深入
研究,并提出了一个更加精确的定理,即拉普拉斯中心极限定理。
他通过将连续函数近似为多项式,推导出了正态分布的密度函数。
4. 1860年:阿希尔·约翰·林德勒夫证明了中心极限定理的另一
种形式,即林德勒夫中心极限定理。
他证明了随机变量的平均值,经过适当的标准化,收敛到标准正态分布。
5. 1920年代:哈罗德·霍普金斯扩展了中心极限定理的应用范围,提出了多元中心极限定理,适用于多维随机变量的和的情况。
中心极限定理的历史演变过程,经过了数百年的研究与发展。
从最初的贝努利大数定律到拉普拉斯和林德勒夫提出的更加精
确的定理,中心极限定理不断得到完善和扩展,成为现代概率论中的重要基石之一。
中心法则的发展历程
中心法则,又称中心极限定理,是统计学中非常重要的一种定理,它描述了当随机变量的样本容量足够大时,随机变量的样本平均值会
越来越接近于其期望值。
中心法则在统计学的应用非常广泛,包括了
样本大量采样时估计总体平均数、估计总体标准偏差和建立置信区间
等等。
中心法则的研究历程可以追溯到18世纪,当时瑞士数学家Jacob Bernoulli通过对大数定律的研究,发现当样本容量足够大时,随机变量的样本平均值会趋于正态分布。
而后在19世纪,高斯将其加以发扬,提出了正态分布理论,使中心法则得到了更为严谨的数学证明。
20世纪初,Kolmogorov进一步发展了中心法则,提出了极限定
理的概念,并将中心法则从正态分布扩展到了更广泛的情况,包括了
泊松分布、二项分布等等。
而后随着计算机技术的快速发展,中心法
则的研究也变得更加深入和精确,比如Monte Carlo方法和蒙特卡洛
模拟等等的应用,使得中心法则在实际应用中更加方便和可靠。
总的来说,中心法则的发展历程是一个不断完善和拓展的过程,
从最初的大数定律、正态分布到现在的极限定理、蒙特卡洛模拟,每
一次的发展都为我们更好地应用中心法则提供了更为广泛和精确的方法。
作为一种重要的统计学理论,中心法则的应用在各个领域都得到
了广泛的关注和应用,推动了统计学的发展。
中心法则的提出及其发展中心法则(Central Limit Theorem)是概率论与数理统计中的一条基本定理,描述了独立同分布随机变量和的极限分布的性质。
中心法则在统计学和概率论中扮演着重要的角色,对于解决各种实际问题具有广泛的应用。
中心法则最早的提出可以追溯到18世纪法国数学家拉普拉斯。
他在1810年的著作《大数定律》中首次提出了类似于中心法则的概念。
然而,真正对中心法则进行系统研究和证明的人是德国数学家莱维(Pierre-Simon Laplace)。
莱维在1820年左右证明了中心法则,但没有对结果进行详细的陈述和解释。
20世纪初,俄罗斯数学家切比雪夫(Pafnuty Chebyshev)对中心法则进行了改进和推广。
他提出了切比雪夫不等式,通过使用方差的概念,更加准确地描述了中心法则。
尽管切比雪夫不等式的结果对于一般分布来说并不精确,但它为后来对中心法则的证明提供了重要的思路。
20世纪20年代,美国数学家菲歇尔(Ronald Fisher)给出了一个更加准确和精确的中心法则的证明。
他使用了数学分析和特征函数的技巧,提出了中心极限定理的一个一般形式。
菲歇尔的证明为后来对中心法则的研究和应用奠定了坚实的基础。
随着时间的推移,中心法则得到了进一步的发展和拓展。
20世纪50年代,英国数学家杰森(Dudley E. G. J. Harris)进一步推广了中心法则的应用范围,提出了极限理论中的中心法则。
随着统计学和概率论领域的发展,中心法则的应用也越来越广泛。
中心法则为统计推断、假设检验、置信区间等提供了有力的工具和方法。
通过使用中心法则,可以对大量数据进行分析和处理,从而得出相对准确和可信的结果。
总之,中心法则是统计学和概率论中的一个重要理论,描述了独立同分布随机变量和的极限分布的性质。
它在18世纪由拉普拉斯首次提出,经过莱维、切比雪夫、菲歇尔等人的研究和改进,逐渐发展成为一个重要的原理,并得到了广泛的应用。
概率论中的极限理论发展概率论是数学中的一个重要分支,研究的是随机事件的发生概率及其规律。
而在概率论的发展历程中,极限理论是其中的一块核心内容。
本文将系统地介绍概率论中的极限理论的发展。
一、大数定律的提出与发展大数定律是概率论中的基础定理之一,它揭示了随机事件的频率稳定性。
其中最早的大数定律要追溯到17世纪,由法国数学家雅各布·伯努利提出。
他证明了当事件重复进行时,事件发生的频率将会稳定在一个固定的概率上。
这个定律对概率论的发展起到了重要的推动作用。
随着时间的推移,不同的数学家对大数定律进行了深入研究,并提出了多个版本的大数定律。
例如,俄国数学家切比雪夫于1867年提出了切比雪夫大数定律,它是大数定律的一个重要推广。
切比雪夫大数定律给出了依概率收敛的条件,并且包含了伯努利大数定律作为特例。
二、中心极限定理的发现与演变中心极限定理是概率论中另一个重要的理论成果,它描述了随机变量序列和近似正态分布之间的关系。
最早的中心极限定理要追溯到18世纪,由法国数学家皮埃尔-西蒙·拉普拉斯提出。
他证明了一类随机变量序列的和服从正态分布,这个发现对于统计学的发展产生了深远的影响。
随着时间的推移,中心极限定理得到了广泛的发展和推广。
20世纪初,列维首次给出了广义中心极限定理,将其推广到了独立非同分布变量的和的情况。
此后,众多学者对中心极限定理进行了进一步的研究,提出了不同的版本和推论,从而丰富了概率论的理论体系。
三、大数定律与中心极限定理的关系大数定律和中心极限定理是概率论中两个相互关联的理论。
从某种程度上来说,大数定律是中心极限定理的一个重要推论。
大数定律表明,当事件重复进行时,随着事件次数的增加,事件发生的频率将会稳定在其概率上。
而中心极限定理则说明,当随机变量序列的个数足够多时,这些随机变量的和近似服从正态分布。
大数定律和中心极限定理的发展为统计学和概率论的相互应用提供了基础。
通过这些理论,我们可以更好地理解和分析复杂的随机现象,为实际问题的解决提供了有效的方法和工具。
概率论中的极限理论发展概率论是一门研究随机现象的数学理论,而极限理论是概率论的重要分支之一。
它研究的是随机变量序列的极限行为,揭示了概率分布的一些重要性质和规律。
在过去的几个世纪里,概率论中的极限理论得到了迅速发展。
本文将对概率论中的极限理论的发展进行探讨,并介绍其中的一些重要成果和应用。
一、初步形成概率论的起源可以追溯到17世纪,而极限理论的雏形则可以追溯到18世纪。
当时,数学家们开始研究大数定律和中心极限定理,为后来的极限理论的发展奠定了基础。
然而,当时的研究还不够系统和完善。
直到19世纪,随机变量和概率分布的概念逐渐被正式引入到概率论中,极限理论才开始逐渐成为一门独立的数学分支。
二、大数定律大数定律是极限理论的重要内容之一,它研究的是在独立随机变量序列下,随着样本量的增加,样本平均值趋于某个确定的常数。
大数定律最早由贝努利提出,并在后来得到了康托尔、切比雪夫和伯努利等数学家的进一步发展。
大数定律的成果为概率论的发展奠定了基础,并且在实际应用中具有重要价值。
三、中心极限定理中心极限定理是极限理论的另一个重要内容,它研究的是在一定条件下,大量独立随机变量之和的极限分布趋近于高斯分布。
中心极限定理最早由莱普尼兹提出,并在后来得到了黎曼、狄利克雷等数学家的推广和完善。
中心极限定理的成果为统计学的发展提供了基础,并且在科学研究和实际应用中得到了广泛的应用。
四、近代发展随着统计理论的进一步发展和计算机技术的日益完善,概率论中的极限理论得到了更深入的研究和应用。
比如,大数定律和中心极限定理的推广和拓展,分布的收敛性、极限分布的计算方法等等,都成为了概率论中的研究热点。
而随机过程、马尔可夫链等新的研究方向也为概率论中的极限理论提供了更广阔的应用领域。
五、应用与展望概率论中的极限理论不仅在概率论和统计学中具有重要意义,而且在各个领域的研究和应用中也发挥着重要作用。
比如,极限理论在金融学中的应用,可以用于对股票价格、汇率等金融变量的预测和分析。
概率论中讨论随机变量序列部分和的分布渐近于 正态分布的一类定理。
1920 年,G.波伊亚称这类定理为中心极限定理。
它是概率论中最重要的一类定理, 有 着广泛的实际背景。
在自然界与生产中,一些现象受到许多相互独立的随机因素 的影响,如果每个因素所产生的影响都很微小时, 总的影响可以看作是服从正态 分布的。
中心极限定理就是从数学上证明了这一现象。
独立随机变量的中心极限定理历史上最初的中心极限定理是讨论 n 重伯努利试验(见 二项分布)中,事 件A 出现的次数卩n 渐近于正态分布的问题。
若记事件 A 出现的概率为P (A )=P , 不出现的概率为q=1-p ,1716年前后,A.棣莫弗对p= 1/2作了讨论,随后,P.-S. 拉普拉斯推广到一般情形,得到:当— % <a vbvu ,有式中是标准正态分布函数,这就是棣莫弗-拉普拉斯定理。
为讨论一般形式的中心极 限定理,A . M .李亚普诺夫改进了 n.八.切比雪夫创立的矩法,给出了独立随机 变量序列{ X n }服从中心极限定理的李亚普诺夫条件,其结论称为李亚普诺夫定-C y _2 = 2L理:记数学期望 宀;:,方差— 二 部分和片 ~ 另心,S ; = £ [X k - (称为Sn 的标准化)。
若存在正数S >0,使当用用一丑| E +砒工+厅、门一Q* ■- ' ■ ■那么当n —X , ■的分布渐近于标准正态分布11H1 P①0)- 0依),随着特征函数(见概率分布)的引入,中心极限定理的研究得到了很快的发 展。
20世纪20年代,Y.W.林德伯格和P.莱维证明了林德伯格—莱维定理:对于 独立同分布的随机变量序列{x n },当Exk=a 及varxk= Z 2有限时,部分和S 的标准化■■- 的分布渐近于标准正态分布。
它在数理统计的大样本理 论中有重要的应用。
1935年,林德伯格和 W 费勒又进一步解决了独立随机变量hm 尸二 Q&), 序列的中心极限定理的一般情形,即林德伯格-费勒定理:(7?Inn max —r- = 0且费勒条件■ ■■ 成立,当且仅当林德伯格条件成立,即对任给正实数n ,式中F k (x)=p(xk <x)。
中心极限定理φ中心极限定理(Central Limit Theorem)是概率论和数理统计学中的一个重要定理,它指出在特定条件下,大量独立同分布的随机变量的和的分布会趋近于一个正态分布。
这个定理的重要性在于它提供了一种近似计算随机现象的方法,不仅在统计学中有广泛应用,也在其他领域中起到了重要作用。
中心极限定理最早由拉普拉斯在19世纪初提出,但直到20世纪初才得到严格的数学证明。
它的基本思想是,当独立同分布的随机变量足够多时,它们的和的分布会趋近于一个正态分布。
也就是说,无论原始随机变量的分布是什么样的,只要满足一定的条件,和的分布都会接近正态分布。
中心极限定理的条件包括:随机变量必须是独立同分布的,且具有有限的均值和方差。
这意味着变量之间的相互影响很小,并且它们的平均值和变化程度是有限的。
中心极限定理的应用非常广泛。
举个例子来说,假设我们有一个骰子,每次掷出的结果是一个1到6之间的整数,这个结果是一个离散的随机变量。
如果我们连续掷100次骰子,并记录每次掷出的点数,那么这100个点数的和就是一个连续的随机变量。
根据中心极限定理,这个和的分布会趋近于一个正态分布。
这意味着当我们统计这100次掷骰子的结果时,大部分情况下和的值会接近于350(6的平均值乘以100),而较极端的值出现的概率会较小。
中心极限定理的另一个应用是在抽样调查中。
假设我们想要了解一个国家的人口平均身高,但是实际上无法对整个国家的人口进行测量。
这时,我们可以从人口中随机抽取一部分样本,并测量他们的身高。
根据中心极限定理,当样本足够大时,样本的平均身高的分布会接近于整个人口的平均身高的分布。
这样,我们就可以通过对样本进行测量,得到对整个人口平均身高的近似估计。
除了上述应用外,中心极限定理还在金融、物理学、工程学等领域中有着广泛的应用。
例如,在金融领域,中心极限定理可以用于研究股票价格的波动情况;在物理学中,中心极限定理可以用于分析粒子的速度分布;在工程学中,中心极限定理可以用于分析信号的噪声特性。
中心极限定理的创立与发展-----杨静邓明立概率论极限理论是概率论的重要组成部分,是概率论的其他分支和数理统计的重要基础。
的概率现象是由于无数的随机因素共同作用的结果---这些因素每一个都起到一点作用,但都没有起到很大的甚至决定性的作用。
而极限定理告诉我们,这类多随机因素作用的现象必然会收敛于某个正态分布的概率模型。
因此,该定理为人们用正态分布来描述和解决大量的概率问题提供了坚实的理论基础。
现实中有许多随机变量都具有上述特点,比如,大炮的射程受到多种因素影响:炮身结构,炮弹外形,炮弹几炮弹内炸药质量,瞄准的误差,风速,风向的干扰,大炮的使用年限等等,其中每种因素的微小差异对总的影响作用都不大,并且可以看作是互相独立的、互相不影响的。
每种因素都会引起一个微小的误差,而炮弹落点的误差就是这许多随机误差的总和所影响的。
由此看出,研究随机变量和的极限对于搞清楚随机现象的本质有着极其的重要价值。
在生产和生活中,有许多随机变量的取值呈现出“中间多,两头少,左右对称”的特点。
例如,一般来说我国北方男性身高在170厘米左右的居多,而高于180厘米和低于160厘米的较少。
或者在生产条件不变的情况下产品的抗压强度、长度、等许多随机变量指标也都存在这样类似的情况。
这样的随机变量所服从的分布就是所谓的“正态分布”。
许多随机变量服从正态分布。
极限理论中的中心极限定理曾是概率论的中心课题。
中心极限定理有很多形式。
凡是关于随机变量的数目无限增多时,其和的分布函数在一定的条件下收敛于正态分布函数的任何论断,都称为中心极限定理。
“中心极限定理”这一名称的来源有两种说法。
波利亚认为这个定理十分重要,在概率论中具有中心地位,所以他加上了“中心”这一名称,于1920年引入这一术语。
另一种说法是,现代法国概率论学派认为极限定理描述了分布函数中心的情况,而不是尾部的情况。
历史上有不少数学家对中心极限定理的研究做出了贡献。
中心极限定理的发展主要分为三个阶段。
创立阶段:1733-----1853年人们通常认为,法国数学家隶莫弗在1733年首次证明了,二项发布近似正态分布。
然而,当时正态发布的概念,隶莫弗并不知道自己本质上证明了“中心极限定理”。
那么,是什么促使隶莫弗研究得到这个定理呢?这要归因于1721年卡明向棣莫弗提出的一个问题:A 、B 二人在某甲赌博。
每局A 获胜的概率为p ,B 获胜的概率为q=1-p.赌N 局,以X 记A 胜局数。
约定:若X>=Np,则A 付给甲X-Np 元;若X<Np,这时N-X>Nq ,则B 付给甲(N-X)-Nq=Np-X 元。
问甲所得到的期望值是多少?棣莫弗在解答和推广这个问题的过程中,得出了一些相关结论。
1725年,卡明把棣莫弗的结果告诉了斯特林,这引起了他的兴趣,并把取得的结果通知了棣莫弗。
这促使棣莫弗在1733年得到了上述重要的结果。
以其为发端,直到1930年代初,独立随机变量和的中心极限定理的研究一直在概率论占据了中心地位。
法国数学家拉普拉斯写了很多论文,想推广棣莫弗的工作。
他意识到需要一种新的数学技巧,并在1785年成功地发明了这个技巧:特征函数的简单形式和反演公式。
拉普拉斯把他的两个主要研究方向结合起来得到了这个方法-----母函数和积分的监禁展开。
通过把母函数中的t 换成it e ,就得到了特征函数。
然而,直到1810年他才发表了特征函数与反演公示的一般理论,并证明了中心极限定理。
他之所以推迟到1810年,有一种解释是,从1786年开始,他就专注于《天体力学》的写作,这本书1805年才完成。
1810年,拉普拉斯证明了中心极限定理,先是服从均匀发布的连续随机变量的情形,接着是服从任意分布的随机变量。
拉普拉斯的证明显然对独立有界的随机变量和成立,证明过程使用了现在所谓的特征函数,或傅里叶变换,即itX Ee (t 为实数)。
在1812年,他先后考虑了对称的、离散的均匀分布,对称的连续分布,任意分布情形。
最后,拉普拉斯在他的名著《概率的分析理论》中对任意的p 证明了如下中心极限定理:due x p np np S P x u n n ⎰∞--∞→=≤--2221))1((lim π泊松完善和推广了拉普拉斯关于中心极限定理的证明。
在所有考虑的情况里,都假设随机变量是独立的。
泊松证明了服从相同分布的随机变量的情况,还推广到服从不同分布的随机变量的情况。
1824年,泊松证明了连续随机变量的中心极限定理,并给出了三个反例,其中包括服从柯西分布的随机变量和,这时中心极限定理不成立。
受当时传统的影响,泊松没有明确阐明中心极限定理成立的条件。
但是,从他的证明和例子中,可以看到,他假设每个变量的方差都是有界的,且不等于零。
其他数学家也做了这方面工作,比如贝塞尔和柯西。
拉普拉斯等人给出证明的前提假设是,和的分布是有限的,因此所有的矩都存在。
他们把结果推广到无限情形,但没有给出证明,并隐含假定了矩的存在。
以现在的观点来看,只要沿着拉普拉斯的方向继续下去,法国数学家们是可以给出中心极限定理的严格证明的,比如柯西,他知道特征函数和稳定率。
可实际上,当时被视为法国领袖概率学家贝特朗和庞加莱都能做这些研究。
虽然贝特朗和庞加莱写了许多概率计算的著作,但是两人似乎都不知道中心极限定理。
从当时环境来看,大约1870年代,概率学家还处于心理上的劣势,苦于自己的研究领域被其他数学家视为一门数学科学,他们的同行不能理解,为什么标准的数学术语还不够,为什么古老的概念被重新命名为“随机变量”和“期望”。
而且,概率书里充满了非数学的概念:骰子、赌场、甲乙等人。
另外,从下面博雷尔的一段话,也可以反观那时一些概率学家对中心极限定理的具体看法。
博雷尔是继庞加莱之后法国的领袖概率学家,他曾在1924年和1950年表达了这样的观点: 通过拉普拉斯理论获得的结果,似乎对维持它们所需的分析而作出的努力没有什么意义.....它可能能证明某些定理,但是不会有什么价值,因为,事实上人们无法证明假设是否满足。
可以说,法国数学家的大部分研究被同代人所忽略,直到20世纪才被重新发现严格证明阶段:1887---1910俄国数学家切比雪夫受到布拉什曼的影响,对概率论产生了兴趣,后来接替布尼亚可夫斯基在圣彼得堡大学讲授概率论。
1866年切比雪夫发表了《论平均数》,讨论了作为大数定律极限值的平均数问题。
1884年,他的学生马尔可夫对矩方法所涉及的切比雪夫不等式给出了证明之后,切比雪夫于1887年发表了《概率论中的两个定理》,开始对随机变量和收敛到正态分布的条件即中心极限定理进行讨论,给出一般随机变量的切比雪夫定理。
这个定理的叙述是不完全正确,而且切比雪夫用“矩法”给出的证明也不完善,他只证明了随机变量的各阶原点矩的极限是标准正态随机变量的相应的原点矩,并未进而说明随机变量的分布函数确实以标准正态分布函数为极限。
不完善之处首先被马尔可夫注意到。
马尔可夫在《关于方程0)/(22=-n x n x dx e d e的解》一文中,对切比雪夫提出的命题给出了精确的陈述与证明,文中所使用的改进后的矩方法后来被人成为“切比雪夫---马尔可夫矩方法”。
1900年前后,马尔可夫的校友李雅普诺夫引入了特征函数来考察中心极限定理,从而避免了矩方法要求高阶矩存在的苛刻条件,并为之一定理进一步精确化准备了条件。
1901年李雅普诺夫把马尔可夫定理的条件大为减弱,并证明了李雅普诺夫定理。
这个定理要求随机变量必须是独立的,但是不必有相同的分布,还要求随机变量(加绝对值)具有某阶的矩,矩的增长速度受李雅普诺夫条件的限制。
李雅普诺夫在证明中利用了特征函数。
从此之后,特征函数成为研究极限定理的强有力的工具。
多年来,马尔科夫力图在概率论在恢复矩方法的地位,最后他创造了一种“截尾术”,即在适当的区域截断随机变量使之有界,从而在不改变它们和的极限分布的前提下保证任意阶的存在。
马尔科夫的创造克服了特征函数过分依赖独立性的弱点,开辟了通向非独立随机变量研究的道路,并为强极限理论的发展提供了有力的手段。
体育李雅普诺夫关于方法论的竞争,极大地丰富了概率论的内容,对这门学科的现代化产生了深远的影响。
新的发展:1919年以后在俄罗斯数学家工作的基础上,芬兰数学家林代贝尔格把李雅普诺夫条件换成了弱一些的条件,于1922年证明了更一般的定理,即林代贝尔格定理。
林代贝尔格条件是相当一般的。
如果一族随机变量序列满足李雅普诺夫条件,则它一定满足林代贝尔格条件;但反之不成立。
以现在的眼光来看,林代贝尔格的证明是简单的。
但在当时对大多数概率论学家而言,林代贝尔格的方法显得错综复杂。
因为那时线性算子的概念还没有成为人们普遍接受的语言,所以林代贝尔格需要几页的篇幅去建立基本事实。
而现在这些可以用一句话来说,但是论证是清楚的,简单易懂的。
因此,林代贝尔格的研究很长时间以来置于人们的视野之外。
若随机变量序列是相互独立同分布的,第一个随机变量的期望和方差都存在,且方差不为0,则不难验证林代贝尔格条件满足,从而林代贝尔格定理成立。
1925年,法国数学家莱维首先指出了这一点(林代贝尔格---莱维定理)。
这个定理是林代贝尔格定理的推论,它表明,不管第一个随机变量的分布函数是怎样的,只要其期望和方差存在,则n 很大时(σμn n s n /)(-近似服从标准正态分布,从而n s 近似服从),(2σμn n N林代贝尔格条件虽然适用范围很广,似乎在林代贝尔格1922年的论文后,或者至少在莱维1925年的书出版后,这方面的研究可以看作是完成了。
然而事情并没有结束,因为所以的定理只是给出了依分布收敛到高斯分布的充分条件,这些还不是中心极限定理成立的必要条件,这一时期下来主要寻找中心极限定理的充要条件,费勒和莱维分别在1935年给出了部分答案。
前面曾经指出过,概率论在1870年代不能被数学家们看作是一门严格的数学专科。
到了1930年代,这一情况并没有太多的好转。
对于一些概率学家而言,概率是否可以作为一门严格的数学专科,这还不是那么清楚,当然对于大多数非概率学家而言更是疑虑重重。
事实上,从他们的著作中可以清楚地看到,许多概率学家对他们的研究感到不安,除非他们的问题可以用非概率的语言重新叙述。
正是这种不安使得费勒在研究中心极限定理时用的是分布函数的卷积的语言,而不是独立随机变量和,因为这种语言看起来更自然。
费勒具有杰出的经典分析背景,因此想出来极为形式化的中心极限定理。
而莱维则不同,他更多的是依赖他的直觉。
莱维是第一个深刻研究样本函数和序列的概率学家之一,却从未完全接受把测度论作为概率论的数学基础。
例如,对莱维而言,条件期望就是概率的要素之一,而不需要形式上的一般定义。
因此他给出的是相当模糊却原则上准确的定理形式,这使得人们认为他的表述含糊不清,令人费解,但掌握后就会发现其实是深刻的、给人启发的。