拟合优度检验及其应用

拟合优度检验及其应用辅修专业：经济学 12级法学1班 201210141419 刘金锋摘要：数理统计的两个主要形式就是参数估计和假设检验，在这里，我们只介绍后者——假设检验，其中又只对假设检验中的拟合优度检验假设作介绍。

假设检验根据样本分布族的数学形式已知与否，可分为参数假设检验和非参数假设检验，作为非参数假设检验之一的拟合优度检验，又是检验理论分布假设的重要方法。

为了帮助我们更好了解拟合优度检验，本文将首先给我们介绍拟合优度检验的数学定义。

其次，重点介绍时下讨论最多的两种拟合优度方法——2Pearsonχ检验和Kolmogorov Smirnov-检验，并穿插具体实例解答来给我们直观的印象，帮助理解。

最后，考虑到检验过程会很复杂，本文在最后一节讲述了这两种检验的软件实现，结合实例，编写运行程序。

关键词：假设检验；非参数假设检验；拟合优度；2Pearsonχ检验；-检验Kolmogorov Smirno内容安排1.拟合优度检验的提出2.几种常用拟合优度检验介绍2.1.2Pearsonχ检验2.1.1.理论分布完全已知情况1.随机变量X是离散型2.理论分布为确定分布2.1.2.理论分布带有未知参数2.2．Kolmogorov Smirnov-检验2.3.2Pearsonχ检验与Kolmogorov Smirnov-检验的比较3.拟合优度检验实例分析4.拟合优度检验的软件实现4.1．2Pearsonχ检验的软件实现4.2.Kolmogorov Smirnov-检验的软件实现5.参考文献1.拟合优度检验的提出[1]假设检验问题就是通过从有关总体中抽取一定容量的样本，利用样本去检验总体分布是否具有某种特性。

假设检验问题大致分为两大类：（1）参数型假设检验：即总体的分布形式已知（如正态、指数、二项分布等），总体分布依赖于未知参数（或参数向量）θ，要检验的是有关未知参数的假设。

例如，总体X ～N (α，2б), α未知，检验0010::H a a H a a =↔≠ 或 0010::H a a H a a ≤↔>.（2）非参数型假设检验：如果总体分布形式未知，此时就需要有一种与总体分布族的具体数学形式无关的统计方法，称为非参数方法。

例如，检验一批数据是否来自某个已知的总体，就属于这类问题。

正如摘要所说，我们在本节只讨论非参数型假设检验问题，常用的非参数假设检验方法有：符号检验、符号秩和检验、秩和检验及Fisher 臵换检验和拟合优度检验。

本文又只对拟合优度检验做深入介绍。

拟合优度检验问题的提法如下：设有一个一维或多维随机变量X ，令1,,n X X …为总体X 中抽取的简单样本，F 是一已知的分布函数。

要利用样本1,,n X X …检验假设0:..H r v X 的分布为F ，（1.1.1） 其中F 常称为理论分布。

导出这种假设检验的想法大致如下：设法提出一个反映实际数据1,,n X X …与理论分布F 偏差的量1(,,;)n D D X X F =…。

如果D 较大，如D C ≥，则认为理论分布F 与数据1,,n X X …不符，因而否定0H 。

然而这种“非此即彼”的提法常显得有点牵强。

因为一般来说，理论和实际没有截然的符合或不符合。

更恰当的提法是实际数据与理论分布符合的程度如何？因此通常对0H 的检验不是以“是”或“否”来回答，而是提供一个介于0和1之间的数字作为回答，即用此数作为符合程度的度量刻画。

就具体样本算出D 之值，记为0d 。

称下列的条件概率：000()()p d P D d H =≥|为在选定的偏离指标D 之下，样本与理论分布的拟合优度。

0()p d 越接近1，表示样本与理论分布拟合的越好，因而原假设越可信。

反之，它越接近0，则原假设0H 越不可信。

如果它低到指定的水平α之下，则就要否定0H 了。

因此，在给定检验水平0<α<1后，根据拟合优度可以给出检验问题的一个检验如下：当0()p d <α时否定0H ，当0()p d ≥α时接受0H 这种类型的检验称为拟合优度检验。

2.几种常用拟合优度检验介绍2.1.2Pearson χ检验[1]2.1.1.理论分布完全已知情况1.随机变量X 是离散型设1,,n X X …为从总体X 中抽取的简单样本，理论分布为1212F:r r a a a p p p ⎛⎫ ⎪⎝⎭其中12,,,r p p p 已知，且11ri i p ==∑，那么根据拟合优度检验的提法，我们所需检验的问题就是0:(),1,2,,i i H P X a p i r ===设样本1,,n X X …中等于i a 的个数记为,1,2,,i v i r =。

则i v 称为i a 的观察频数，显然有1ri i v n ==∑，相应的i np 就称为i a 的理论频数（因为n i v /为1,,n X X …中取值为ia 的频率，频率的极限是i p ，故当n 充分大时有n i v /≈i p ，因此极限情形的理论频数为i np ）。

由此可见，我们可以用21()ri i i i v C p n =-∑作为样本与理论分布偏差的一种度量。

在这里，.K Pearson 告诉我们，若取/i i C n p =，则在0H 成立条件下，211()(,,;)ri i n n n i i v np K K X X F np =-==∑ 的极限分布（当n →∞时）为21r -χ。

因此有了如下定理：定理 2.1.1 设n K =21()ri i i i v np np =-∑，则在0H 成立条件下，当样本容量n →∞时有21n r K F -χ即n K 的分布收敛于自由度为1r -的2χ分布。

按照这一定理，我们可以提出如下检验方法：当n 充分大时，统计量n K 的分布就是21r -χ。

于是所需的检验就是当21()n r K ->χ∂时否定0H ，否则就接受0H正如第一节中所说，对检验问题只给出一个“是”或“否”的结论，有显牵强，常给出一个拟合优度，方法如下：记0k 是用一组具体的样本算出的0k 值，计算概率200010()()()n r p k P K k H P k -=≥|≈χ≥。

其中21r -χ是自由度为1r -的2χ变量。

0()p k 就称为拟合优度，它是度量样本与理论分布偏离程度的量。

若0()p k 较大，表明在0H 成立的前提条件下，出现统计量n K 大于等于0k 是有很大可能的，故可以认为样本数据与理论分布拟合较好。

反之，若0()p k 较小，表明在0H 成立的前提条件下，产生0k 或大于0k 的偏差的可能性是很小的，这是个小概率时间，而我们一般认为在一次抽样中，小概率事件不应该发生，故可以认为样本与理论分布不一致，拟合不好。

2.理论分布为确定分布这一情形包括两种情形：理论分布为离散型随机变量但取可列个值，以及理论分布为连续分布。

设1,,n X X 是从总体X 中抽取的简单样本，要检验0:..H r v X 的分布为F其中F 是一已知分布，思路是这样的：将实数轴(,)-∞+∞分成r 个子区间。

那么1,,n X X 的取值就只能在这r 个区间中取得。

故又可计算落入不同区间的观察频数i v 。

则1ri i v n ==∑，而iv n就是频率。

这又类似于随机变量是离散型且取有限个不同值的情形，具体做法如下： 第一步，取1r -个常数11,,r a a -（11,,r a a -的选取必须不能依赖于样本，即必须事先定好），满足，将实轴(,)-∞+∞分成r （r 选取多大才合适呢，取决于n 大小，一种经验法则认为11,,r a a -的选择应使理论频数i np 和观察频数(1,2,,)i v i r =都不小于5）个子区间。

112121(,),[,),,[,),,j j j r r I a I a a I a a I a --=-∞===+∞。

第二步，计算r 个事件在0H 成立下的概率1()()(),1,2,,j F j j j p P X I F a F a j r -=∈=-=，显然0()0,()1r F a F a ==，则我们需要检验的问题转化为0:(),1,2,,j j H P X I p j r ∈==。

第三步，求出1,,n X X 落入j I ，1,2,,j r =各个区间的观察频数i v 。

计算检验统计量21()ri i n i iv np K np =-=∑ 之后的做法与离散型随机变量相同。

2.1.2. 2Pearson χ检验：理论分布带有未知参数的情况此时要检验的假设是：..r v X 的分布属于一个确定的分布族{}(;)F x θ，令1,,n X X 为从总体X 中抽取的简单样本，要检验假设0:H 存在θ，使X 的分布为(;)F x θ当然，这一假设的检验方法可以由前面一段所讨论的理论分布完全已知情形推广得到。

在这里唯一不同的就是所表示出来的理论频数()i np θ是关于θ的未知量，故不能作为检验统计量。

因此，要按某种方法将θ用样本1,,n X X 估计出来，如1(,,)n X X θθ∧∧=是θ的估计值，用θ∧代替()i np θ中的θ，则可得检验统计量21(())()()ri i nni i v np K K np θθθ∧∧**∧=-==∑Pearson 认为，在0H 成立条件下，则当n →∞时，n K *的分布依然收敛于21r -χ。

但Fisher 后来指出n K *的极限分布的自由度不是Pearson 所认为的1r -，而应是1r s --（其中s 是未知参数个数，这里就是1s =）。

2.2.经验分布的Kolmogorov Smirnov -检验[2]如2.1节所述，不管总体分布是什么类型，2Pearson χ检验都可以用，不过对于理论分布是连续型分布时，本小节介绍的Kolmogorov Smirnov -检验效果将更好些，这是因为2Pearson χ检验需要按某种方式分组，因此统计量之值依赖于把(,)-∞+∞分成r 个子区间的具体划分方法，包括r 的选择和区间的位臵。

设..r v X 的分布函数()F x 未知，1,,n X X 为从F 中抽取的简单随机样本，0()F x 为给定的某个分布函数，来研究下列检验问题：00:()()H F x F x =首先，从样本出发求出()F x 的经验分布函数如下：1()(1)0,(),1,n k k nx X k F x X x X n x X +≤⎧⎪⎪=<≤⎨⎪≥⎪⎩ 1,2,,1k n =- 其中(1)(2)()n X X X ≤≤≤是样本1,,n X X 的次序统计量，令检验统计量为0()()n n x D Sup F x F x -∞<<+∞=-n D 常称为()n F x 与0()F x 之间的柯氏距离。