第二讲-非参数统计检验教学内容
- 格式:doc
- 大小:207.50 KB
- 文档页数:8
第二讲非参数检验1.实验目的1.了解非参数假设检验基本思想;2.会用SAS软件中的proc npar1way过程进行非参数假设检验和proc freq过程进行列联表的独立性检验。
2. 实验要求1.会用SAS软件建立数据集,并进行统计分析;2.掌握proc npar1way过程进行非参数假设检验的基本步骤;3.掌握proc freq过程进行列联表的独立性检验的基本步骤。
3.实验基本原理3.1 符号检验两种方法的处理效果无显著性差异令统计量表示新方法的处理效果优于对照方法的配对组总数。
若新方法的处理效果显著的优于对照方法,则的值应明显偏大。
因此,若对给定的置信水平,有,则拒绝。
为真时,(1)服从二项分布。
拒绝域为:(2)由中心极限定理可知,当的零分布趋于标准正态分布。
拒绝域为:3.2 Wilcoxon秩和检验(1)单边假设检验两种方法的处理效果无显著性差异 as :新方法优于对照方法。
用于检验的统计量为:若对给定的置信水平,有,则拒绝。
且的分布列为:根据观测结果计算的观测值,计算检验的p值:然后将值与显著水平作比较,若,则拒绝,否则接受。
(2)双边假设检验给定的显著水平应该满足:仅由上式还不能唯一确定,当我们对两种方法谁优谁劣不得而知时,通常取若利用p值进行检验,设,计算概率值由对称性可知,检验的p值为上述两概率中小于1/2的那一个的2倍。
例如则。
求出p值后,若p<a,拒绝,否则接受。
(3)列联表的独立性检验方法的处理效果无显著性差异:表示格子概率,表示三维列联表中事件发生的理论频数。
将概率用相应的频率频率去估计。
令其中:将样本数据代入统计量进行检验。
然后将P与显著水平作比较,若,拒绝,否则接受。
4. 实验相关SAS知识(1)独立样本的秩检验——proc npar1way过程proc npar1way过程的基本语句形式为proc npar1way [options];class variables;(proc npar1way过程不可缺少的语句)exact;(求出检验的精确p值)var variables;其中“options”可包含以下选项的部分或全部:①DATA=数据集名:指定要分析的数据集。
非参数统计Non-parametricStatistics一、课程基本信息学时:48(含实验8学时)学分:3考核方式:考试,平时成绩占总成绩30%。
中文简介:非参数统计为有效地分析试验设计及其实际问题中所获得的数据提供了丰富的统计工具。
本课程从问题背景与动机、方法引进、理论基础、计算机实现、应用实例等诸多方面介绍了非参数统计方法,其内容包括:基于二项分布的检验、列联表、秩检验、Ko1mogorov-Smirnov 型统计量等。
本课程在强调实用性的同时,突出了应用方法与理论的结合。
在人才培养体系中,该课程属于选修课程,但建议每个统计学专业的学生必须掌握若干种非参数统计方法,以其作为其他重要统计方法的补充。
特别是针对名义数据分析及有序数据分析时相当有用。
二、教学目的与要求非参数统计是研究随机现象存在的统计规律的学科,其在经济、工农业生产和科学技术等领域有广泛的应用,是一门应用性很强的一门课程。
本课程(1)使学生掌握非参数理论的基本原理和方法,重点掌握单样本,多样本的位置检验和尺度检验,以及相关检验和分布检验。
注意与参数统计的区别;(2)结合实际例子,运用非参数理论,提高学生运用该工具解决实际问题的能力。
(3)使学生进一步掌握具体与抽象、偶然与必然、特殊与一般等辨证关系,培养学生辨证唯物主义观点。
三、教学方法与手段教学中主要采用课堂教学的方法,当中穿插大量的案例,同时预留课堂讨论与练习的时间让学生进行实际的操作。
本课程同时设立计算机上机课程,由老师自编实验指导书详细指导学生进行上机实践,强调动脑与动手相结合,理论与实践相结合。
o五、推荐教材和教学参考资源教材:非参数统计:基于R语言案例分析,柳向东编,暨南大学出版社,2010年12月(第1版)参考资料:1)非参数统计,王星编著,北京:中国人民大学出版社,2(X)5年1月(第一版)2)非参数统计方法,吴喜之等,北京:高等教育出版社,1996年(第1版)3)孙山泽.非参数统计讲义.北京:北京大学出版社,2000。
《非参数统计》课程教学大纲课程代码:090531007课程英文名称:Non-parametric Statistics课程总学时:40 讲课:32 实验:8 上机:0适用专业:应用统计学大纲编写(修订)时间:2017.6一、大纲使用说明(一)课程的地位及教学目标《非参数统计》是应用统计学专业的一门专业基础课,是统计学的一个重要分支。
课程主要研究非参数统计的基本概念、基本方法和基本理论。
本课程在教学内容方面除基本知识、基本理论和基本方法的教学外,着重培养学生的统计思想、统计推断和决策能力。
通过本课程的学习,学生将达到以下要求:1.掌握非参数统计方法原理、方法,具有统计分析问题的能力;2.具有根据具体情况正确选用非参数统计方法,正确运用非参数统计方法处理实际数据资料的能力;3.具有运用统计软件分析问题,对计算结果给出合理解释,从而作出科学的定论的能力;4.了解非参数统计的新发展。
(二)知识、能力及技能方面的基本要求1.基本知识:掌握符号检验、Wilcoxon符号秩检验、Cox-Stuart趋势检验、游程检验、Brown-Mood中位数检验、Wilcoxon秩和检验、Kruskal-Wallis检验、Jonckheere-Terpstra检验、Friedman检验、Page检验、Siegel-Tukey检验、Mood检验、Ansari-Bradley检验、Fligner-Killeen检验等非参数统计方法。
2.基本理论和方法:掌握单样本模型、两样本位置模型、多样本数据模型中的位置参数非参数统计检验方法,掌握检验尺度参数是否相等的各种非参数方法,掌握各种回归的方法,掌握分布检验的各种方法,要求能在真实案例中应用相应的方法。
3.基本技能:掌握非参数统计方法的计算机实现。
(三)实施说明1. 本大纲主要依据应用统计学专业2017版教学计划、应用统计学专业建设和特色发展规划和沈阳理工大学编写本科教学大纲的有关规定并根据我校实际情况进行编写。
非参数统计第二版教学设计一、教学目标本次教学旨在让学生掌握非参数统计方法的基本概念、理论和实践的应用,能够在解决实际问题中进行科学的数据分析,为后续学习和实践埋下坚实的基础。
二、教学内容1.非参数统计基本概念和理论:1.1 非参数统计与参数统计的区别1.2 统计量的定义及其性质1.3 统计分布与假设检验2.非参数统计方法的应用:2.1 单样本非参数检验2.2 多样本非参数检验2.3 非参数回归分析3.非参数统计的实验设计与实践:3.1 实验设计及数据处理3.2 常用非参数统计软件的使用三、教学方法1.讲授法:通过讲解理论知识,帮助学生理解基本概念和理论;2.例题与实操:通过案例分析和实际操作,帮助学生掌握方法的应用;3.讨论与合作:通过小组讨论和合作学习,增强学生对知识的深度理解和记忆;4.课堂演示:通过对常用非参数统计软件的演示,帮助学生了解软件的使用方法。
四、教材与参考资料•教材:《非参数统计》第2版,金\*藕斯基、屈瑞琪;•参考资料:《非参数统计方法在MATLAB中的实现》、《SPSS非参数分析方法》。
五、教学评价1.笔试:理论知识的考核;2.实操:非参数统计方法的应用题,作为衡量学生掌握能力的方面;3.讨论与表述:学生对所学知识的讨论与表述,衡量学生合作能力及对知识的掌握情况。
六、教学安排时间内容方法时间内容方法第1周非参数统计概述讲授第2-3周单样本非参数检验讲授第4-5周多样本非参数检验讲授第6-7周非参数回归分析讲授第8-9周实验设计及数据处理讲授、讨论第10-11周常用非参数统计软件使用讲授、演示第12周课程总结与答疑讲授、讨论。
《-⾮参数统计-》课程教学⼤纲上课讲义《⾮参数统计》课程教学⼤纲Non-parametric statistics课程代码:课程性质:专业⽅向理论课/选修适⽤专业:统计开课学期:5总学时数:32 总学分数:2.0编写年⽉:2007.5 修订年⽉:2007.7执笔:孙琳⼀、课程的性质和⽬的本课程是学习⾮参数统计和了解统计前沿的基本课程。
本课程结合S-Plus 或R 软件来讲解⾮参数统计⽅法的原理与应⽤。
本课程的⽬的是使学⽣认识到⾮参数统计⽅法是统计中最常⽤的推断⽅法之⼀,理解⾮参数统计⽅法和参数统计⽅法的区别,理解⾮参数统计的基本概念,掌握⾮参数统计的基本⽅法,能应⽤⾮参数统计⽅法去解决实际问题。
⼆、课程教学内容及学时分配第⼀章引⾔(2学时)本章内容:统计的概念,⾮参数统计的⽅法,参数统计与⾮参数统计的⽐较,本章要求:了解⾮参数统计的历史,了解⾮参数统计⽅法和参数统计⽅法的区别,认识⾮参数统计⽅法的必要性。
第⼆章 S-Plus基础(6学时)本章内容:S-Plus环境,向量的定义和表⽰,向量的基本操作,向量的基本运算,向量的逻辑运算,S-Plus 的图形功能,本章要求:熟悉在S-Plus命令⾏中S-Plus基本数据处理,掌握在S-Plus命令⾏中进⾏基本数据基本运算,能编写简单的计算函数,会绘制基本图形。
第三章单⼀样本的推断问题(6学时)本章内容:单样本推断问题,中⼼位置推断,符号检验,游程检验,Cox-staut趣势检验,分位数检验,Wilcoxon符号秩检验,分布检验,Kolmogorov-smirnov正态检验,Liliefor正态检验,中位数检验问题、定性数据检验问题和成对数据检验问题,秩和检验。
本章要求:掌握符号检验,能⽤符号检验解中位数检验问题、定性数据检验问题和成对数据检验问题。
由成对数据检验问题引出符号秩和检验。
掌握Wilcoxon秩和检验法,掌握符号秩和检验,能⽤符号秩和检验解对称中⼼的检验问题和成对数据检验问题,初步理解秩的概念。
非参数统计目录⏹第一章绪论⏹第二章S-Plus基础⏹第三章单一样本的推断问题⏹第四章两样本位置和尺度检验⏹第五章多总体的统计检验⏹第六章分类数据的关联分析⏹第七章秩相关分析和秩回归第一章绪论主要内容1. 统计的实践2. 非参数统计方法简介3. 参数统计过程与非参数统计的比较4. 非参数统计的历史5. 必要的准备知识1. 统计的实践我们周围的世界⏹符号和数据就是整个世界。
⏹数据繁衍,信息匮乏:观察数据激增,设计数据细分。
⏹数据的复杂性和不确定性的特点更为突出。
⏹数据分析方法和手段不足。
统计的方法论⏹就方法论而言,统计分析主要解决两方面的问题:–寻找数据内部差异中共同的特征。
–寻找数据之间本质的差异。
⏹统计分析的目标是从数据中发现比数据本身更为有用的知识2. 非参数统计方法简介参数方法⏹定义:样本被视为从分布族的某个参数族抽取出来的总体的代表,而未知的仅仅是总体分布具体的参数值,推断问题就转化为对分布族的若干个未知参数的估计问题,用样本对这些参数做出估计或者进行某种形式的假设检验,这类推断方法称为参数方法。
⏹比如:(1)研究保险公司的索赔请求数时,可能假定索赔请求数来自泊松分布P(a);(2)研究化肥对农作物产量的影响效果时,平均意义之下,每测量单元(可能是)产量服从正态分布N(a,b).一个典型的参数检验过程1. 总体参数Example: Population Mean2. 假定数据的形态为Whole Numbers or FractionsExample: Height in Inches (72, 60.5, 54.7) 3. 有很强的假定Example: 正态分布4. 例子: Z Test, t Test, 2Test一个例子:对两组学生进行语法测试,如何比较两组学生的成绩是否存在差异?RANK of SCORE25.020.015.010.05.00.0HistogramFor GROUP= Group1F r e q u e n c y6543210Std. Dev = 6.28 M ean = 13.0N = 12.00原始数据秩2530293424251332243032379.514.012.021.07.59.52.017.57.514.017.524.04433228473140303335182135282226.019.55.51.027.016.025.014.019.522.53.04.022.511.05.5RANK of SCORE25.020.015.010.05.00.0HistogramFor GROUP= Group2F r e q u e n c y6543210Std. Dev = 9.17 Mean = 14.8N = 15.00非参数检验过程⏹1.不涉及总体的分布–Example: Probability Distributions, Independence⏹2. 数据的形态各异–定量数据–定序数据–Example: Good-Better-Best–名义数据–Example: Male-Female⏹3.例子: Wilcoxon Rank Sum Test/Run TestF, F, F, F, F, F, F, F, M, M, M, M, M, M, MF, M, F, M, F, M, F, M, F, M, F, M, F, M, F3. 参数统计与非参数统计比较非参数检验的优点⏹对总体假定较少,有广泛的适用性,结果稳定性较好。
第二讲 非参数检验1. 实验目的1.了解非参数假设检验基本思想;2.会用SAS 软件中的proc npar1way 过程进行非参数假设检验和proc freq 过程进行列联表的独立性检验。
2. 实验要求1.会用SAS 软件建立数据集,并进行统计分析;2.掌握proc npar1way 过程进行非参数假设检验的基本步骤;3.掌握proc freq 过程进行列联表的独立性检验的基本步骤。
3. 实验基本原理3.1 符号检验0:H 两种方法的处理效果无显著性差异令10i i I i ⎧=⎨⎩第个个体中新方法优于对照方法第个个体中新方法劣于对照方法1,2,,i N =L 统计量1NN i i S I ==∑N S 表示新方法的处理效果优于对照方法的配对组总数。
若新方法的处理效果显著的优于对照方法,则N S 的值应明显偏大。
因此,若对给定的置信水平α,有 {}N P S c α≥<,则拒绝0H 。
0H 为真时,(1)N S 服从二项分布1(,)2b N (),()24N N N N E S Var S ==。
拒绝域为:{}N N S Sc >(2)由中心极限定理可知,当2,1N N S N -→∞的零分布趋于标准正态分布。
拒绝域为:N S u α⎧⎫⎪⎪⎪⎪>⎨⎬⎪⎪⎪⎪⎩⎭3.2 Wilcoxon 秩和检验(1)单边假设检验0:H 两种方法的处理效果无显著性差异 as 1:H :新方法优于对照方法。
用于检验0H 的统计量为:1ns i i W I ==∑若对给定的置信水平α,有 {}s P W c α≥<,则拒绝0H 。
且s W 的分布列为:0#{;,}{}H s w n m P W w N n ==⎛⎫ ⎪⎝⎭根据观测结果计算s W 的观测值0s W ,计算检验的p 值:00{}{}s H s s H s k w p P W w P W k ≥=≥==∑然后将p 值与显著水平α作比较,若p α<,则拒绝0H ,否则接受0H 。
(2)双边假设检验给定的显著水平21,c c 和α应该满足:ε=≥+≤}{}{2100c W P c W P A H A H仅由上式还不能唯一确定21c c 和,当我们对两种方法谁优谁劣不得而知时,通常取2}{}{2100α=≥=≤c W P c W P A H A H若利用p 值进行检验,设A A W ω的观测值为,计算概率值}{}{00A A H A A H W P W P ωω≤≥或由对称性可知,检验的p 值为上述两概率中小于1/2的那一个的2倍。
例如21W P 0A A H 0}<{ω≥≤则}{20A A H W P p ω≥=。
求出p 值后,若p<a ,拒绝0H ,否则接受。
(3)列联表的独立性检验0:H 方法的处理效果无显著性差异ijk π:表示格子概率,ijk ijk m n π=表示三维列联表中事件发生的理论频数。
将概率用相应的频率频率去估计。
令222111ˆ()~()ˆr s tijk ijk i j k ijk n m Q f m χ===-=∑∑∑ 其中:(1)()f rst =--为检验特定独立性所需要独立估计的概率数目 将样本数据代入统计量进行检验。
然后将P 与显著水平α作比较,若p α<,拒绝0H ,否则接受0H 。
4. 实验相关SAS 知识(1)独立样本的秩检验——proc npar1way 过程proc npar1way 过程的基本语句形式为proc npar1way [options];class variables;(proc npar1way 过程不可缺少的语句)exact;(求出检验的精确p 值)var variables;其中“options ”可包含以下选项的部分或全部:①DATA=数据集名:指定要分析的数据集。
②ANOVA :对原始数据执行标准的单因素方差分析。
③WILCOXON :进行wilcoxon 型秩和检验。
当有两种处理方法时,进行的是wilcoxon 秩和检验;当有多种处理方法时,进行Kruskall-Wallis 检验。
④EDF :进行基于样本经验分布函数的非参数检验,包括Smirnov 检验。
若省略这些选项,SAS 系统将给出所有基于秩以及经验分布函数的非参数检验方法的分析结果。
(2)列联表的独立性检验proc freq 过程的基本语句形式为proc freq [options];tables variable1*variable2*……/options;weight variable;其中“options ”可包含以下选项的部分或全部:①DATA=数据集名:指定要分析的数据集。
②chisq:要求对生成的每个二维列联表的独立性作2χ检验,并计算依赖于2χ统计量的关联度。
③cellchi2:要求输出每个格子对总2χ统计量的贡献。
④expected:在独立性假定下输出各格子的期望频数。
⑤deviation:要求输出每个格子上的频数与期望频数之差。
⑥nocol:不输出二维列联表各格子的列百分数。
⑦norow: 不输出二维列联表各格子的行百分数。
⑧nofreq:不输出格子频数。
⑨nopercent:不输出各格子的百分数。
⑩noprint:不输出列联表,但允许输出各分析结果。
5. 实验举例5.1 Wilcoxon 秩和检验(单边和双边假设检验)例 1 为了解一种新的术后护理方法和原护理方法相比是否可以显著缩短病人手术后的恢复时间,随机的将做完某种手术的18位病人分为两组,每组9人,按不同方法护理,观测到他们的恢复时间(单位:天)如下:原方法:20,21,24,30,32,36,40,48,54新方法:19,22,25,26,28,29,34,37,38在05.0=α下检验新方法是否显著的缩短了病人手术后的恢复时间。
Wilcoxon 秩和单边假设检验SAS 程序如下:data a1;input method $ time@@;cards ; a 20 a 21 a 24 a 30 a 32 a 36 a 40 a 48 a 54 b 19 b 22 b 25 b 26 b 28 b 29 b 34 b 37 b 38 ;proc npar1way data =a1 wilcoxon ;class method;exact ;run ;结果显示α>=2181.0p ,故接受原假设0H ,即认为病人手术后采用新旧护理方法对其恢复时间无显著差异。
5.2.Smirnov 检验例2(数据见教材)SAS 程序如下:data a1;input group $ time@@;cards ; a 6.8 a 3.1 a 5.8 a 4.5 a 3.3 a 4.7 a 4.2 a 4.9 b 4.4 b 2.5 b 2.8 b 2.1 b 6.6 b 0.0 b 4.8 b 2.3 ;proc npar1way data =a1 edf ;class group;exact ;var time;run ;运行结果显示p=0.0879>0.05,即认为两种止痛药效果无显著差异;但在0.1水平上可认为两者有显著差异。
5.3.Wilcoxon 符号秩检验例3(见教材例题2.8)SAS 程序如下:data a;input id product1 product2;cards ;1 459 4142 367 3063 303 3214 392 4435 310 2816 342 3017 421 3538 446 3919 430 40510 412 390;data b;set a;diff=product1-product2;proc univariate data=b;var diff;run;运行结果显示:符号秩和检验的p值为0.1094>0.05,故认为两复合肥无显著差异;而Wilcoxon秩和检验的p值为0.0488<0.05,故认为新复合肥能显著提高小麦的产量。
5.4 多种处理方法比较的Kruskal-Wallis检验例4(见教材例题2.10)SAS程序如下:data a;input group $ weight@@;cards;a 164 a 190 a 203 a 205 a 206 a 214 a 228 a 257b 185 b 197 b 201 b 231c 187 c 212 c 215 c 220 c 248 c 265 c 281d 202 d 204 d 207 d 227 d 230 d 276;proc npar1way data=a wilcoxon;class group;(不要加入exact语句,运行非常耗时!)var weight;run;运行结果显示Pr > Chi-Square =0.2394>0.05,故认为四种食谱的营养效果无显著差异。
5.5 Friedman检验例5(见教材例题2.12)SAS程序如下:data a;input person $ emotion $ v@@;cards;p1 e1 23.1 p1 e2 22.7 p1 e3 22.5 p1 e4 22.6p2 e1 57.6 p2 e2 53.2 p2 e3 53.7 p2 e4 53.1p3 e1 10.5 p3 e2 9.7 p3 e3 10.8 p3 e4 8.3p4 e1 23.6 p4 e2 19.6 p4 e3 21.1 p4 e4 21.6p5 e1 11.9 p5 e2 13.8 p5 e3 13.7 p5 e4 13.3p6 e1 54.6 p6 e2 47.4 p6 e3 39.2 p6 e4 37.0p7 e1 21.0 p7 e2 13.6 p7 e3 13.7 p7 e4 14.8p8 e1 20.3 p8 e2 23.6 p8 e3 16.3 p8 e4 14.8;proc freq;tables person*emotion*v/scores=rank cmh noprint;run;运行结果显示p值为0.0917>0.05,故认为在催眠状态下,受试者对4种情绪状态的反应无显著差异。
5.6 列联表的独立性检验例6(数据见教材例题)SAS程序如下:data penalty;input p $ d $ count@@;cards;y w 19 y b 17 n w 141 n b 149;proc freq data=penalty;tables p*d/chisq expected nocol norow nopercent;weight count;run;6. [ 本次实验]为了研究两种化学添加剂对电池寿命的影响,对13个同类型的电池,随机的抽取6个加入甲种添加剂,其余7个加入乙种添加剂,各组电池寿命如下(单位:小时):甲组:18 24 25 27 30 35乙组:20 21 28 32 34 38 40对α=0.10,检验两种添加剂下电池的寿命是否有显著差异。