当前位置：文档之家 › 数理统计学小史09

数理统计学小史09

  • 格式：pdf
  • 大小：175.14 KB
  • 文档页数：8

数理统计学小史9　社会统计(下)陈希孺(中国科技大学研究学院)魁特奈特的正态拟合魁特奈特(A.Quetelet,1796—1874)是19世纪最有影响的统计学家之一。

他的主要贡献,是倡导并身体力行将正态分布用于连续性数据的分析。

他的这一努力使正态分布在19世纪统计应用中大为流行。

有的学者说正态分布统治了19世纪的统计学,并造出了“魁特奈特主义”这个名词。

魁特奈特是比利时天文学家。

在其后半生50年中,他一直是比利时科学界的领袖人物,一生著述很多,他最初专心于纯数学。

1823年去巴黎,向当时科学界的一些大人物学习天文学和气象学,向富立叶和拉普拉斯等大数学家学习数学和概率论。

这对他日后在统计学上的贡献有重要的影响。

他一生主要的职业,是担任布鲁塞尔皇家天文台的天文学家和气象学家,但他在国际科学界的名声,则主要来自他的统计学家和社会学家的身份。

他在一些重要的国际性统计学组织的建立中起了重要的作用,这包括伦敦皇家统计学会,国际统计学大会等。

自1826年起,他成为比利时国家统计局的地区通信员。

因此他早期所做的统计工作,大部和人口调查有关。

有一项工作是将拉普拉斯的方法移用于比利时,以估计该国的人口总数。

拉普拉斯的方法称为“比例法”,是一种根据局部地区调查的结果来估计全国人口的方法。

此方法在概念上很简单:Ξ把全国人口总数与全国过去一段时间内人口出生总数的比值记为r。

一段时间内人口出生数a可以从有关的登记资料中查出,若知道r,则人口总数为ar。

拉普拉斯方法创新之处在于提出用抽查局部地区的方法去估计r。

具体做法是在国内选定若干被认为有代表性的地区,将其人口总数与过去一段时间中人口出生数,通过实地调查定出,以其比作为r的估计。

拉普拉斯提出在国内选择30个左右的地区,要求这些地区尽可能均匀地分布在国内,以使结果不受局部地区的特殊性的影响。

他这种作法现在我们称之为“代表性抽样”。

从这段史实看,有理由把拉普拉斯算作抽样方法的创始人之一。

但这件工作在拉普拉斯一生众多的工作中只是一个孤立的事件,他没有进一步发展或应用这一方法并使之一般化,其工作也没有得到学界的重视。

终19世纪,抽样调查的理论和方法没有发展起来。

直到1895年,挪威统计学家凯尔把代表性抽样作为一个一般方法提出来,才算开辟了这一分支。

故有的学者把1895年作为抽样调查这一重要统计分支诞生的年份。

在1824年,魁特奈特将拉普拉斯的方法用于估计低地国家(荷、比、卢)人口,但他是用的Ξ以下的描述在细节上有些简化。

更仔细的描述,以及拉普拉斯将这个方法用于估计法国人口时的具体数据,可参看冯士雍等编著的《抽样调查的理论与方法》,P.6—7从法国数据估计出的r 。

他同时用出生人数及死亡人数去估计r ,发现由此估得的总人口数有较大的差异,且与实测结果有较大的差异。

这样一个不理想的结果,以及当时某些学者对抽样法所持的反对立场,使他放弃了用抽样方法估计人口数的计划而回到普查。

不过,虽则他在这一工作上没有取得多大成功,但促使他注意数据的同质性问题,而正态分布就是他为解决这个问题而引进的工具。

从这个角度看,可以认为他这一段工作对他日后在统计学上的贡献起了促进的作用。

在当时的一些反对抽样调查的学者中,社会学家开维伯格的意见对魁特奈特有很大的影响。

开维伯格指出,影响人口出生率和死亡率的因素很多,如居住在城市还是乡下,沿海、平原还是山区,高温还是低温地区,人口稠密还是稀疏地区,以及当地文化水平的高低,职业的性质,饮食情况及一般的生活习惯,都对此有影响。

因此他认为,要把这些受到极大数目的因素影响的数据放在一起去处理,理论上不合理,也不可能得出有用的结果。

这一情况使人们必要将区域分得极细,而这会丧失抽查的好处,他的结论是:为得到关于人口的确切知识,舍普查外别无他途。

以今天统计学的知识,我们可以采用随机抽样的方法来解决开维伯格所指出的困难。

但开维伯格等社会学家的反对意见,并非仅针对人口估计这一具体问题,他们意见的主要之点在于:对不同质(non -homogeneous )的数据进行统计分析没有意义。

比方说,把一个城市中的全体大学生和小学生搁在一个总体内考察身高这个指标,看不出有何意义,而与此类似的情况,在社会问题中甚为常见。

科学实验通过对条件的控制保证数据的同质性,但社会问题的数据一般由观察得到,不可能控制且许多时候不了解其异质因素。

这样数据的同质性往往就有疑问,连带其分析结果的解释也出了问题。

虽然有些情况下,有明显的系统性因素存在,这时数据可据此去分别收集,而使分析具有一定的意义。

Ξ于是社会统计工作者就面对一个问题:当他面对一批他对其背影不很了解的数据时,如何根据数据本身去判断其同质性。

在此我们就接触到魁特奈特对19世纪统计学的一项重要贡献———他提出:把一批数据是否能充分好地拟合一个正态分布,作为该批数据是否同质的一个判据。

魁特奈特了解正态分布,是在1823年他访问巴黎期间。

当时拉普拉斯已提出了他的中心极限定理,高斯的正态误差理论也已发表多年。

极有可能,魁特奈特的想法与上述因素的启发有关。

形式上看,他不过是在已有的基础上向前迈出一步———把高斯发现的测量误差分布的规律推广到其他数据。

但在当时,这也需要突破一些观念上的障碍,因为当时人们普遍认为,适用于误差的规律未必一定适用于其他的数据。

为实施这一想法,魁特奈特发明了一种方法,以将一批数据拟合于某一正态分布。

他的方法在概念上基于二项分布逼近正态分布(狄莫弗定理)这个已知的事实,原理上不复杂但实行起来很繁琐。

下面通过他在1846年做的一个例子来说明他的做法,在这个例子中,他将5738个苏格兰士兵的胸围拟合于一个正态分布。

他首先造一个二项分布B (999,1/2)的表以作为正态分布的一个近似(999这个数已很大,应能充分好地逼近正态分布)。

但概率C 999i 2-999的计算很麻烦,他采用了下面这个较巧的方法,记p i =C 999i 2-999,有p i +1=p i ・999-i i +1Ξ例如在美国,当讨论工资、教育、失业和犯罪等等问题对,往往把白人和黑人分开分析,或用其他标准如年令之类暂设p 500=1,由上式依次算出p 501=499/501=0.996008,p 502=0.996008×497503=0.998072,…再利用∑999i =500p i =1/2,将上面计算出的p i 调整到其正确值,结果(部分)列为下表:秩概 率累积概率秩概 率累积概率10.0252250.025225100.0210690.23654820.0251240.050349110.0202430.25679130.0249240.075273120.0193720.27616540.0246270.099900130.0184640.29462750.0242360.124136140.0175280.31215560.0237560.147892150.0165730.33872870.0231930.171085160.0156080.34433580.0225520.195657170.0146400.35897590.0218420.215479180.0136770.372652 “秩”的意义是501-i ,“概率”这栏算出P i 之值,而“累积概率”这栏是不超过该秩的概率之和,累积概率以缓缦的速度超于0.5,魁特奈特原表中算到秩为80的一项。

利用这个表去拟合苏格兰士兵的围数据的计算列在下表中(胸围以为单位,频率以10-4为单位):(1)胸围(2)人数(3)频率(4)累积频率(5)秩(6)调整秩(7)累积概率(8)概率33350.50000.500073418310.49955250.50.49932935811410.496442.542.50.4964110361853220.482333.534.50.4854323374207320.45012626.50.45311323874913050.37691818.50.3799133339107518670.246410.510.50.246618380.0597 2.5 2.50.062840107918820.1285 5.5 5.50.135919874193416280.29131313.50.303416754265811480.40612121.50.41301096433706450.47063029.50.469056044921600.48663537.50.49112214550870.49534145.50.4980694621380.499149.553.50.49961647470.49985661.50.4999348120.50000.500015738 表的第1、2列是各胸围及其相应的人数,第3列是各胸围人数在总人数中的比率。

如胸围为35的有81人,占全部人数5738的1.41%。

第4列为累积频率,由当中往表的上、下两端叠加(此因正态分布关于其中心点对称,两边各有50%的概率)。

为使上、下端各占一半的频率,经检查,需要把胸围40的频率0.1882分成两部分,一部分0.0597算入表的上部,另一部分0.1285算入表的下部。

这样,胸围39一栏累计频率为0.0597+0.1867=0.2464,38一栏累计频率为0.2464+0.1305=0.3769,等等。

下部累计频率的计算相似。

第5列“秩”一栏,是把第4列中的累积频率与前面算出的二项分布表对比得到,必要时作插值。

如胸围38一栏,累积频率0.3769,与二项表中秩18的累积概率0.372652接近,故取18作为“胸围38”一栏的秩。

39一栏的累积频率0.2464在二项表中,介于秩10与秩11相应的概率之间,故取其秩为10.5,等等。

下面有一段推理:如果数据严格符合一个正态分布,则各胸围相应的概率,应接近二项分布所得。

因为胸围33,34,…等取的等距离,累积频率既然接近于二项分布的累积概率,故其相应的秩也应大致保持等距离,这一点可以作为数据是否与正态符合的一个初步检查。

按此处所得的具体秩,往上、下两端,秩的差距依次为10.5-2.5=8, 18-10.5=7., 26-18=8, 33.5-26=7.5,42.5-33.5=9,52-42.5=9.5,13-5.5=7.5,21-13=8,30-21=9,35-30=5,41-35=6,49.5-41=8.5,56-49.5=6.5,它大致接近等距8,但有一些差距。

因此初步可以判断,这批数据与正态符合尚好,但仍有一些偏离。

取8作为秩差距将秩调整,得第6列的“调整秩”。

然后据此调整秩,在二项分布表中查得其累积概率(必要时用插入),得第7行。

合集下载

数理统计学的诞生

数理统计学的诞生

数理统计学的诞生当你漫步在森林公园或在水库边领略自然风光的时候，你是否知道森林中的树有多少棵，水库里到底有多少条鱼?这些都无法具体去数，具体去量。

而当我们必须知道某一无法具体测量的事物的量时，就可以用一种可行的数学方法来计算，那就是数理统计。

从一个总体中抽取样本，将收集来的样本数据加以整理，并从中得出认识总体的结论，这是科学研究工作和日常生活中屡见不鲜的手段。

数理统计是现代数学中一个非常活跃的分支，它在20世纪获得巨大的发展和迅速普及，被认为是数学史上值得提及的大事。

然而它是如何产生的呢?随着生物学发展而产生的数学方法莱尔根据各个地层中的化石种类和现仍在海洋中生活的种类作出百分率，然后定出更新世、上新世、中新世、始新世的名称，并于1830~1833年出版了三卷《地质学原理》。

这些地质学中的名称沿用至今，可是他使用的类似于现在数理统计的方法，却没有引起人们的重视。

生物学家达尔文关于进化论的工作主要是生物统计，他在乘坐“贝格尔”号军舰到美洲的旅途上带着莱尔的上述著作，二者看来不无关系。

从数学上对生物统计进行研究的第一人是英国统计学家皮尔逊。

他曾在伦敦大学学院学习，然后去德国学物理，1881年在剑桥大学获得学士学位，1882年任伦敦大学应用数学力学教授。

1891年，他和剑桥大学的动物学家讨论达尔文自然选择理论，发现他们在区分物种时用的数据有“好”和“比较好”的说法。

于是皮尔逊便开始潜心研究数据的分布理论，他借鉴前人的做法，并大胆创新，其研究成果见诸著作《机遇的法则》，其中提出了“概率”和“相关”的概念。

接着又提出“标准差”、“正态曲线”、“平均变差”、“均方根误差”等一系列数理统计的基本术语。

这些文章都发表在进化论的杂志上。

直至1901年，他创办了杂志《生物统计学》，使得数理统计有了自己的阵地。

这可以说是数学在进入20世纪时最初的重大收获之一。

学科奠基者——费歇尔数理统计作为一个进一步完善的数学学科的奠基者是英国人费歇尔。

数理统计基础知识

数理统计基础知识

容量为 n 的样本空间是 n 维向量空间 Rn 的一个子集。
这里假定所考虑的样本都是简单随机样本，简称为样本。
约定：以大写的英文字母 X i 表示随机变量，而以相应的 小写英文字母 xi 表示随机变量 X i 的观察值。
设总体 X 的分布函数为 F ( x )，则由定义 4.2（P.125知，
样本（X1 ，X2 ，…，Xn ）的分布函数为
因此，在进行统计推断的同时，还必须寻求一些有意义 的指标来衡量推断的正确程度，评价推断过程中所含有的不 确定性。
下面给出数理统计学的一些基本概念。
§4.1 总体与样本
一、总体与总体分布
总体是具有一定共同属性的研究对象的全体。一旦总体确 定了，便称组成总体的每一个个别的成员为个体。总体与个体 的关系，即集合论中集合与元素之间的关系。
2)人们要求样本中的各分量 X1 ，X2 ，…，X n 相互独 立，则表明所得到的每一个观察结果既不影响其它观察结果， 也不受其它观察结果的影响。
定义（P.125） 获取简单随机样本的方法，称为简单随机 抽样。并称样本（X1 ，X2 ，…，X n ）的一组具体的观察值 （x1 ，x2 ，…，x n ）为样本值，全体样本值组成的集合为样 本空间。
定义4.2（P.125） 称（X1 ，X2 ，…，X n ）为总体 X 的简单随机样本，如果 X1 ，X2 ，…，X n 是相互独立、同分 布的随机变量，而且它们都与总体 X 同分布。样本中所含分 量的个数 n ，称为该样本的容量。
1)人们要求样本中的每一个分量 X i （i =1，2，…，n ） 都与总体 X 同分布，表明抽样观察的每一个个体都是从总体 中抽取的，因而它们对总体具有很好的代表性；
解
∵ 总体 X ~ e ( )，
数理统计学小史

数理统计学小史


察值的小的变动, 可以引起距离值的大变动。 当然, 以上这些先驱者的努力, 都没有超出定性式讨论的范围。 当时概率论发展的水平, 也 没有能提供为进行有意义的定量式研究所必须的工具, 认真的努力始于 18 世纪的中期。 辛普森的工作 辛普森 ( T hom a s Sim p son 1710—1761 ) 是一个自学数学成才的人, 对狄莫弗的著作作过 认真的研读。青年时曾沉迷于星相学, 这使他对天文学和数学感兴趣。他早年出版过几种有关 机遇和精算的书, 其关于误差理论的工作则是在 1755 年, 那时他是英国皇家军事学院教授并 被选为皇家学会会员。 他的工作是以一封写给一位勋爵的题为 《在应用天文学中取若干个观察值的平均的好处》 的信件中提出的。 他在信中指出: 在天文学界, 取算术平均的做法并没有为多数人所接受。 他 们认为, 当有多个观测值时, 应选择其中那个 “谨慎地观测” 所得的值, 认为这比平均值可靠。 辛 普森认为这是一件重要的事情, 他表示打算使用数学方法去试试, 看能否对这个问题有所进 展, 以便使取平均这个做法有更大的可信度。 回过头来看, 人们会觉得: 辛普森所指出的当时天文学家对取平均抱怀疑的态度, 也有其
56
数理统计与管理
18 卷 1 期
1999 年 1 月Biblioteka 数理统计学小史陈希孺
( 中国科技大学研究生院, 北京 100039) 6 误差分布: 正态与偏态 ( 上)
上一章我们讲了最小二乘法及其相关的发展, 在那里, 这个方法是纯粹作为一个处理测量 值的代数方法来讨论的, 不涉及有关的统计推断问题, 要研究这个问题, 需要考虑到测量值有 误差。 这种误差 ( 假定量测过程排除了可能的系统性因素的影响) 是随机性的, 它有一定的概率 分布, 对量测数据的统计分析, 就建立在这个分布的基础上。 由此可知, 为把最小二乘法 ( 当然 也包括最小一乘法及其他处理量测数据的方法) 与数理统计学挂上钩, 基础性的工作就是定出 误差分布的形式。 这个问题的研究可远溯到 16 世纪的伟大天文学家伽利略。 18 世纪的伟大科学家拉普拉 斯在这个问题上下了很大的工夫, 但主要的贡献属于伟大的数学家高斯, 他在 19 世纪初建立 了测量误差的正态分布理论, 是统计史上的一座里程碑, 与这些发展有关的细节将在下文作简 单的介绍。 因为最小二乘法是针对数据结合模型而发展起来的 ( 参见第 5 讲) , 这是一种线性模型。 后 来, 这个模型的意义脱出量测数据的意义之外而发展成为一个包罗极广大, 应用极广泛的统计 模型, 现今常用的统计方法, 包括线性相关回归分析、 方差分析等, 都可包容于其内。 有关这个 模型的理论和应用方面的进展, 主要是 20 世纪的事, 但其若干基础性的成果 ( 如作为整个理论 的基础的高斯—马尔科夫定理) , 却是在高斯的正态误差理论确立以后, 在 19 世纪的几十年期 间中建立起来的。 有关的历史情况也准备在本章中介绍一下。 由高斯正态误差理论的影响, 以及如社会统计学家魁特奈特的工作的带动 ( 见第 8 章) , 正 态分布作为一种统计模型, 在 19 世纪极为流行, 一些学者甚至把 19 世纪 ( 的统计学) 称为正态 分布统治的时代。 但在当时, 也有少数学者注意到实际问题中数据不符合正态 ( 称为偏态) 的情 况。 到 19 世纪末至 20 世纪初, 终于引发了一些研究。 其主要成果是卡尔・皮尔逊的分布族。 要注意的是, 对偏态分布的研究是为了一般的统计数据分析的需要, 并非 ( 或主要不是) 针对量 测误差。 因其与正态分布的密切关系, 把这个内容也放在这一章。 早期天文学家的工作 丹麦统计史学家哈尔德 (A nders H a ld ) 在其著作 《1750 年以前概率统计及其应用史》 中, 指出天文学在数理统计学发展中所起的作用。 “天文学自古代至 18 世纪是应用数学中最发达的领域。 观测和数学天文学, 给出了建模及 数据拟合的最初例子, 在这个意义下, 天文学家是最初一代的数理统计学家…天文学的问题逐 渐引导到算术平均, 以及参数模型中的种种估计方法, 以最小二乘法为顶峰” 。 这一段引语也肯定了最小二乘法的显赫地位。 不过, 如我们以前所曾指出的, 这种地位的 确立, 在极大的程度上取决于一个有效的测量误差理论的建立。 缺少这样一个理论, 最小二乘
数理统计学发展史

数理统计学发展史

数理统计学发展史2010-11-22 11:35:39 | 分类：概率类文章[转载]数理统计学是数学的一个分支学科，研究怎样去有效地收集，整理和分析带有随机性的数据，以对所观察的问题作出推断或预测，直至为采取一定的决策和行动提供依据与建议。

众所周知，概率论是数理统计学的理论基础，所以数理统计学是伴随着概率论的发展而发展起来的。

当人们认识到必须把数据看成是来自具有一定概率分布的总体，所研究的对象是这个总体而不能局限于数据本身之日，也就是数理统计学诞生之时。

（确切时间至今难定论）从现有资料看，19世纪中叶以前已出现了若干重要工作，特别是C.F.高斯和A.M.勒让德关于观测数据误差分析和最小二乘法的研究。

到19世纪末，经过包括K.皮尔森在内的一些学者的努力，这门学科已经开始形成。

数理统计学发展成一门成熟的学科，则是20世纪上半叶的事，它很大程度上要归功于K.皮尔森，R.A.费希尔等学者的工作。

特别是费希尔的贡献，对这门学科的建立起了决定性的作用。

1946年，H.克拉默发表的《统计学数学方法》，是第一部严谨且比较系统的数理统计学著作，可以把它作为数理统计学进入成熟阶段的标志。

数理统计学的发展大致可分为三个时期：一. 20世纪以前这个时期又可分为两段（1）萌芽阶段：这一阶段的工作没有超出描述性统计的范围。

不过此时概率论方面有较多的发展，为以后数理统计学的建立作了准备。

某些现在还很常用的统计方法，如直方图法、符号检验法等在这个时期已被使用。

T.贝吐斯在1763年发表的《论有关机遇问题的求解》对后世统计思想起了很大影响。

（2）幼年阶段：高斯等关于观测数据误差分析和最小二乘法的工作，经过以后马尔可夫等学者的发展，成为数理统计学中的一个重要方法。

这个时期的最重要的发展，在于确定了这样一种观点，即数据来自服从一定概率分布的总体，而统计问题就是用数据去推断这个分布中的未知方面。

这种观点加强了推断的地位，而使统计学摆脱了单纯描述的性质。