第二讲 非参数统计检验
- 格式:doc
- 大小:195.50 KB
- 文档页数:8
第一章 绪 论本章主要内容: 1.非参数方法介绍 2.预备知识第一节 非参数方法介绍一. 非参数方法的概念和实例复习参数方法定义:设总体X 的分布函数的形式是已知的,而未知的仅仅是分布函数具体的参数值,用样本对这些未知参数进行估计或进行某种形式的假设检验,这类推断方法称为参数方法。
先来看两个实例。
例1.1 供应商供应的产品是否合格? 某工厂产品的零件由某个供应商供应。
合格零件标准长度为(8.5±0.1)cm 。
这也就是说合格零件长度的中心位置为8.5cm ,允许误差界为0.1cm ,即长度在8.4-8.6cm 之间的零件是合格的。
为评估近年来供应的零件是否合格,随机抽查了n=100个零件,它们的长度数据X 见第一章附表1.1。
解答:根据我们已学过的参数统计的方法,如何根据数据来判断这批零件合格否? 用参数数据分析方法,在参数统计中,运用得最多的是正态分布,所以考虑假设供应商供应的零件长度X 服从正态分布,即X ~),(2σμN其中两个参数均未知,但可用样本均值估计μ,样本方差估计2σ。
由已知的数据计算可得:零件的平均长度,即样本均值为x =8.4958cm ,样本标准差为s=0.1047cm 。
则零件合格的可能性近似等于)/)4.8(()/)6.8(()6.84.8(σμσμ-Φ--Φ=≤≤X P)1047.0/)4958.84.8(()1047.0/)9458.86.8((-Φ--Φ≈%66≈这个说明:约有三分之一的零件不合格,该工厂需要换另一个供销商了。
但这个结论与实际数据符不符合呢?这是我们要思考的问题。
我们可以对数据做一个描述性分析,先对这100个样本数据做一个频率分布。
观察到:在这100个零件中有91个零件的长度在8.4cm ~8.6cm 之间,所以零件合格的比例为91%,超过66%很多!统计分析的结论与数据不吻合的!这是什么原因呢?我们可以作出数据的直方图来分析数据的分布情况。
非参数统计检验及其运用毕业论文非参数统计检验是统计学中的一种方法,它与参数检验有所不同。
参数检验通常假设数据符合某种特定的分布,如正态分布或泊松分布,然后使用参数估计和假设检验来分析数据。
而非参数检验不依赖于数据符合特定的分布,而是通过描述数据的分布情况来进行统计推断。
这种方法对于数据不符合特定分布,或者分布不确定的情况特别有用。
在毕业论文中,非参数统计检验可以应用于以下方面:1.独立样本检验:独立样本检验用于比较两组独立的样本数据,判断它们是否来自同一分布。
这种方法不需要假设数据符合特定的分布,而是通过计算两组数据的秩(即数据在排序中的位置)来进行比较。
独立样本检验可以用于解决诸如“这两组数据的平均值是否有显著差异”之类的问题。
2.配对样本检验:配对样本检验用于比较同一组数据中的两个相关变量。
这种方法也不需要假设数据符合特定的分布,而是通过计算两个变量之间的Spearman或Kendall等级相关系数来进行相关性检验。
配对样本检验可以用于解决诸如“这两个变量是否有显著相关性”之类的问题。
3.游程检验:游程检验用于检验一个随机过程是否符合平稳性。
这种方法通过计算一系列观察值的差异(即游程),然后根据这些差异的分布来判断过程是否平稳。
游程检验可以用于解决诸如“这个随机过程是否稳定”之类的问题。
4.核密度估计:核密度估计用于估计一个随机变量的概率密度函数。
这种方法通过使用核函数来平滑数据,并根据核函数的形状来估计概率密度函数的形状。
核密度估计可以用于解决诸如“这个随机变量的概率密度函数是什么形状”之类的问题。
在应用非参数统计检验时,需要注意以下几点:1.非参数统计检验通常比参数检验更加灵活和强大,但它们也需要更多的数据来进行推断。
因此,在数据量较小的情况下,参数检验可能是更好的选择。
2.非参数统计检验通常对数据的异常值更加敏感。
因此,在应用非参数统计检验之前,应该对数据进行清理和预处理,以减少异常值对结果的影响。
第二讲 非参数检验1. 实验目的1.了解非参数假设检验基本思想;2.会用SAS 软件中的proc npar1way 过程进行非参数假设检验和proc freq 过程进行列联表的独立性检验。
2. 实验要求1.会用SAS 软件建立数据集,并进行统计分析;2.掌握proc npar1way 过程进行非参数假设检验的基本步骤;3.掌握proc freq 过程进行列联表的独立性检验的基本步骤。
3. 实验基本原理3.1 符号检验0:H 两种方法的处理效果无显著性差异令10i i I i ⎧=⎨⎩第个个体中新方法优于对照方法第个个体中新方法劣于对照方法1,2,,i N =统计量1NNi i S I ==∑N S 表示新方法的处理效果优于对照方法的配对组总数。
若新方法的处理效果显著的优于对照方法,则N S 的值应明显偏大。
因此,若对给定的置信水平α,有 {}N P S c α≥<,则拒绝0H 。
0H 为真时,(1)N S 服从二项分布1(,)2b N (),()24N N N NE S Var S ==。
拒绝域为:{}NN SS c >(2)由中心极限定理可知,当2,N N S N -→∞的零分布趋于标准正态分布。
拒绝域为:N S u α⎧⎫⎪⎪⎪⎪>⎨⎬⎪⎪⎪⎪⎩⎭3.2 Wilcoxon 秩和检验 (1)单边假设检验0:H 两种方法的处理效果无显著性差异 as 1:H :新方法优于对照方法。
用于检验0H 的统计量为:1ns i i W I ==∑若对给定的置信水平α,有{}s P W c α≥<,则拒绝0H 。
且s W 的分布列为:0#{;,}{}H s w n m P W w N n ==⎛⎫ ⎪⎝⎭根据观测结果计算s W 的观测值0s W ,计算检验的p 值:00{}{}sH s s H s k w p P W w PW k ≥=≥==∑然后将p 值与显著水平α作比较,若p α<,则拒绝0H ,否则接受0H 。
(2)双边假设检验给定的显著水平21,c c 和α应该满足:ε=≥+≤}{}{2100c W P c W P A H A H仅由上式还不能唯一确定21c c 和,当我们对两种方法谁优谁劣不得而知时,通常取2}{}{2100α=≥=≤c W P c W P A H A H若利用p 值进行检验,设A A W ω的观测值为,计算概率值}{}{00A A H A A H W P W P ωω≤≥或由对称性可知,检验的p 值为上述两概率中小于1/2的那一个的2倍。
例如21W P 0A A H 0}<{ω≥≤则}{20A A H W P p ω≥=。
求出p 值后,若p<a ,拒绝0H ,否则接受。
(3)列联表的独立性检验0:H 方法的处理效果无显著性差异ijk π:表示格子概率,ijk ijk m n π=表示三维列联表中事件发生的理论频数。
将概率用相应的频率频率去估计。
令222111ˆ()~()ˆrstijk ijk i j k ijk n m Q f m χ===-=∑∑∑ 其中:(1)()f rst =--为检验特定独立性所需要独立估计的概率数目将样本数据代入统计量进行检验。
然后将P 与显著水平α作比较,若p α<,拒绝0H ,否则接受0H 。
4. 实验相关SAS 知识(1)独立样本的秩检验——proc npar1way 过程proc npar1way 过程的基本语句形式为 proc npar1way [options];class variables;(proc npar1way 过程不可缺少的语句) exact;(求出检验的精确p 值) var variables;其中“options ”可包含以下选项的部分或全部: ①DATA=数据集名:指定要分析的数据集。
②ANOVA :对原始数据执行标准的单因素方差分析。
③WILCOXON :进行wilcoxon 型秩和检验。
当有两种处理方法时,进行的是wilcoxon 秩和检验;当有多种处理方法时,进行Kruskall-Wallis 检验。
④EDF :进行基于样本经验分布函数的非参数检验,包括Smirnov 检验。
若省略这些选项,SAS 系统将给出所有基于秩以及经验分布函数的非参数检验方法的分析结果。
(2)列联表的独立性检验proc freq 过程的基本语句形式为proc freq [options];tables variable1*variable2*……/options; weight variable;其中“options ”可包含以下选项的部分或全部: ①DATA=数据集名:指定要分析的数据集。
②chisq:要求对生成的每个二维列联表的独立性作2χ检验,并计算依赖于2χ统计量的关联度。
③cellchi2:要求输出每个格子对总2χ统计量的贡献。
④expected:在独立性假定下输出各格子的期望频数。
⑤deviation:要求输出每个格子上的频数与期望频数之差。
⑥nocol:不输出二维列联表各格子的列百分数。
⑦norow: 不输出二维列联表各格子的行百分数。
⑧nofreq:不输出格子频数。
⑨nopercent:不输出各格子的百分数。
⑩noprint:不输出列联表,但允许输出各分析结果。
5. 实验举例5.1 Wilcoxon 秩和检验(单边和双边假设检验)例 1 为了解一种新的术后护理方法和原护理方法相比是否可以显著缩短病人手术后的恢复时间,随机的将做完某种手术的18位病人分为两组,每组9人,按不同方法护理,观测到他们的恢复时间(单位:天)如下: 原方法:20,21,24,30,32,36,40,48,54 新方法:19,22,25,26,28,29,34,37,38在05.0=α下检验新方法是否显著的缩短了病人手术后的恢复时间。
Wilcoxon 秩和单边假设检验SAS 程序如下: data a1;input method $ time@@; cards ;a 20 a 21 a 24 a 30 a 32 a 36 a 40 a 48 a 54b 19 b 22 b 25 b 26 b 28 b 29 b 34 b 37 b 38 ;proc npar1way data =a1 wilcoxon ; class method; exact ; run ;结果显示α>=2181.0p ,故接受原假设0H ,即认为病人手术后采用新旧护理方法对其恢复时间无显著差异。
5.2.Smirnov 检验例2(数据见教材)SAS 程序如下:data a1;input group $ time@@; cards ;a 6.8 a 3.1 a 5.8 a 4.5 a 3.3 a 4.7 a 4.2 a 4.9b 4.4 b 2.5 b 2.8 b 2.1 b 6.6 b 0.0 b 4.8 b 2.3 ;proc npar1way data =a1 edf ; class group; exact ; var time; run ;运行结果显示p=0.0879>0.05,即认为两种止痛药效果无显著差异;但在0.1水平上可认为两者有显著差异。
5.3.Wilcoxon 符号秩检验 例3(见教材例题2.8)SAS 程序如下:data a;input id product1 product2; cards ; 1 459 414 2 367 306 3 303 321 4 392 443 5 310 281 6 342 301 7 421 353 8 446 391 9 430 405 10 412 390 ; data b;set a;diff=product1-product2;proc univariate data=b;var diff;run;运行结果显示:符号秩和检验的p值为0.1094>0.05,故认为两复合肥无显著差异;而Wilcoxon秩和检验的p值为0.0488<0.05,故认为新复合肥能显著提高小麦的产量。
5.4 多种处理方法比较的Kruskal-Wallis检验例4(见教材例题2.10)SAS程序如下:data a;input group $ weight@@;cards;a 164 a 190 a 203 a 205 a 206 a 214 a 228 a 257b 185 b 197 b 201 b 231c 187 c 212 c 215 c 220 c 248 c 265 c 281d 202 d 204 d 207 d 227 d 230 d 276;proc npar1way data=a wilcoxon;class group;(不要加入exact语句,运行非常耗时!)var weight;run;运行结果显示Pr > Chi-Square =0.2394>0.05,故认为四种食谱的营养效果无显著差异。
5.5 Friedman检验例5(见教材例题2.12)SAS程序如下:data a;input person $ emotion $ v@@;cards;p1 e1 23.1 p1 e2 22.7 p1 e3 22.5 p1 e4 22.6p2 e1 57.6 p2 e2 53.2 p2 e3 53.7 p2 e4 53.1p3 e1 10.5 p3 e2 9.7 p3 e3 10.8 p3 e4 8.3p4 e1 23.6 p4 e2 19.6 p4 e3 21.1 p4 e4 21.6p5 e1 11.9 p5 e2 13.8 p5 e3 13.7 p5 e4 13.3p6 e1 54.6 p6 e2 47.4 p6 e3 39.2 p6 e4 37.0p7 e1 21.0 p7 e2 13.6 p7 e3 13.7 p7 e4 14.8p8 e1 20.3 p8 e2 23.6 p8 e3 16.3 p8 e4 14.8;proc freq;tables person*emotion*v/scores=rank cmh noprint;run;运行结果显示p值为0.0917>0.05,故认为在催眠状态下,受试者对4种情绪状态的反应无显著差异。
5.6 列联表的独立性检验例6(数据见教材例题)SAS程序如下:data penalty;input p $ d $ count@@;cards;y w 19 y b 17 n w 141 n b 149;proc freq data=penalty;tables p*d/chisq expected nocol norow nopercent;weight count;run;6. [ 本次实验]为了研究两种化学添加剂对电池寿命的影响,对13个同类型的电池,随机的抽取6个加入甲种添加剂,其余7个加入乙种添加剂,各组电池寿命如下(单位:小时):甲组:18 24 25 27 30 35乙组:20 21 28 32 34 38 40对α=0.10,检验两种添加剂下电池的寿命是否有显著差异。