非参数统计第8章 列联表中的相关性测量
- 格式:doc
- 大小:266.50 KB
- 文档页数:8
《非参数统计》课程教学大纲课程代码:090531007课程英文名称:Non-parametric Statistics课程总学时:40 讲课:32 实验:8 上机:0适用专业:应用统计学大纲编写(修订)时间:2017.6一、大纲使用说明(一)课程的地位及教学目标《非参数统计》是应用统计学专业的一门专业基础课,是统计学的一个重要分支。
课程主要研究非参数统计的基本概念、基本方法和基本理论。
本课程在教学内容方面除基本知识、基本理论和基本方法的教学外,着重培养学生的统计思想、统计推断和决策能力。
通过本课程的学习,学生将达到以下要求:1.掌握非参数统计方法原理、方法,具有统计分析问题的能力;2.具有根据具体情况正确选用非参数统计方法,正确运用非参数统计方法处理实际数据资料的能力;3.具有运用统计软件分析问题,对计算结果给出合理解释,从而作出科学的定论的能力;4.了解非参数统计的新发展。
(二)知识、能力及技能方面的基本要求1.基本知识:掌握符号检验、Wilcoxon符号秩检验、Cox-Stuart趋势检验、游程检验、Brown-Mood中位数检验、Wilcoxon秩和检验、Kruskal-Wallis检验、Jonckheere-Terpstra检验、Friedman检验、Page检验、Siegel-Tukey检验、Mood检验、Ansari-Bradley检验、Fligner-Killeen检验等非参数统计方法。
2.基本理论和方法:掌握单样本模型、两样本位置模型、多样本数据模型中的位置参数非参数统计检验方法,掌握检验尺度参数是否相等的各种非参数方法,掌握各种回归的方法,掌握分布检验的各种方法,要求能在真实案例中应用相应的方法。
3.基本技能:掌握非参数统计方法的计算机实现。
(三)实施说明1. 本大纲主要依据应用统计学专业2017版教学计划、应用统计学专业建设和特色发展规划和沈阳理工大学编写本科教学大纲的有关规定并根据我校实际情况进行编写。
《非参数统计》试卷注意事项:1.本试卷适用于经济统计专业学生使用。
2.本试卷共6 页,满分100分,答题时间120分钟。
题号 一 二 三 四 总分 得分一、 选择题(本大题共10小题,每小题1分,共10分)1、以下对非参数检验的描述,哪一项是错误的( )。
A.非参数检验方法不依赖于总体的分布类型 B.应用非参数检验时不考虑被研究对象的分布类型 C.非参数检验的假定条件比较宽松D.非参数检验比较简便2、秩和检验又叫做( )A 、参数检验B 、Wilcoxon 检验C 、非参数检验D 、近似正态检验 3、( )同分校正后,统计量会变小。
A. Kruskal-Wallis 检验B.弗里德曼(Friedman )检验C. Mann-Whitney 检验D. Spearman 等级相关检验 4、配对比较的秩和检验的基本意思是:如果检验假设成立,则对样本来说( )。
A.正秩和的绝对值小于负秩和的绝对值 B.正秩和的绝对值大于负秩和的绝对值C.正秩和的绝对值与负秩和的绝对值不会相差很大D.正秩和的绝对值与负秩和的绝对值相等5、成组设计多个样本比较的秩和检验,当组数大于3时,统计量H 近似( )分布A 、正态B 、2C 、FD 、二项 6、Wilcoxon 符号秩检验不适用于( )。
A 位置的检验 B 连续总体 C 随机性的检验 D 配对样本的检验7、成组设计两样本比较的秩和检验中,描述不正确的是( )。
A .遇有相同数据,若在同一组,取平均秩次 B .遇有相同数据,若在同一组,按顺序编秩2.本评卷人C .遇有相同数据,若不在同一组,按顺序编秩D .遇有相同数据,若不在同一组,取其秩次平均值8、m=4,n=7,Tx=14的双侧检验,则( ) A. Ty=41,在显著性水平0.05时接受原假设 B. Ty=41,在显著性水平0.05时拒绝原假设 C. Ty=42,在显著性水平0.05时拒绝原假设 D. Ty=42,在显著性水平0.05时接受原假设 9、序列3 5 2 7 9 8 6的一致对数目为( )。
非参数统计》课程教学大纲课程编号:06542 制定单位:统计学院制定人(执笔人):潘文荣审核人:徐海云制定(或修订)时间:2014年2月28日江西财经大学教务处《非参数统计》课程教学大纲、课程总述、教学时数分配三、单元教学目的、教学重难点和内容设置第一章绪论教学目的】理解非参数统计学习目的和内容。
重点难点】学习非参数统计学的应用意义,明确非参数统计的优缺点。
教学内容】第一节测量的层次第二节假设测验的回顾第三节非参数统计方法第二章单个样本的非参数检验【教学目的】了解符号检验、Wilcoxon 检验、正态计分检验、Cox-Start 趋势检验、游程经验的原理和计算方法,并进行上机操作。
【重点难点】符号检验、游程检验、Wilcoxon 检验的原理和计算方法。
【教学内容】第一节符号检验第二节Wilcoxon 检验第三节正态计分检验第四节Cox-Start 趋势检验第五节游程经验第三章两个相关样本的非参数检验【教学目的】了解符号检验、Wilcoxon 检验在两个相关中的检验,并进行上机操作。
【重点难点】在上一章学习的知识进一步应用到相关处理的比较上。
【教学内容】第一节符号检验第二节Wilcoxon 符号秩检验第四章两个独立样本的非参数检验【教学目的】了解Brown-mood 中位数检验的原理及计算方法,并进行上机操作。
【重点难点】秩和检验的原理和方法【教学内容】第一节Brown-mood 中位数检验第二节秩和检验第五章多个相关样本的非参数检验【教学目的】了解Cochran检验、Friedman检验的原理及计算方法,并进行上机操作。
【重点难点】Fiedman 检验的原理和方法【教学内容】第一节Cochran 检验第二节Friedman 检验第六章多个独立样本的非参数检验【教学目的】了解Kruskal-Wallis 检验、正态计分检验的原理及计算方法,并进行上机操作。
【重点难点】独立样本比较的非参数统计方法。
135第八章 相关分析变量之间的相关程度用相关系数度量,最常用的相关系数是Pearson 矩相关系数。
它广泛地用于回归与相关分析问题,但这个相关系数有它的局限性。
下面列举它的两个局限性。
①矩相关系数可用来检验变量之间是否独立,并有检验的临界值表供使用。
事实上,这个检验方法属于参数数据分析方法,它的临界值表是在变量服从正态分布的假设下制作的。
如果正态分布的假设有疑问,其检验结果显然不可信,甚至可能是错的。
所以有必要引入非参数型的度量变量之间相关程度的统计量,以及检验变量之间是否相互独立的非参数方法。
② 关于相关性一般来说有下面两个定义。
第一个定义给出的是线性相关性。
若存在常数α和正常数β,使得ε+β+α=X Y ,其中ε是随机误差(通常假设),0(N ~2σε,或0)(E =ε,2)(D σ=ε),则称变量X 与Y 线性正相关。
若β是负常数,则称变量X 与Y 线性负相关。
第二个定义给出的是通常意义下的相关性。
当X 增加时Y 有增大的趋势,则称变量X 与Y 正相关。
当X 增加时Y 有减少的趋势,则称变量X 与Y 负相关。
显然,若变量X 与Y 线性正相关,则当X 增加时Y 有增大的趋势。
而若X 与Y 线性负相关,则当X 增加时Y 有减少的趋势。
所以线性相关性隐含着相关性。
反之不一定成立。
矩相关系数用来度量变量之间的线性相关性。
当变量X 与Y 的矩相关系数的绝对值比较小的时候,只是说X 与Y 之间没有线性相关关系,并不能说当X 增加时Y 没有增大或减少的趋势。
在X 与Y 的矩相关系数接近0的时候,有可能存在这样一个严格单调上升或下降的函数)(g ⋅,使得()X g 与Y 的矩相关系数接近1或接近1-。
这就是说()X g 与Y 之间有线性相关关系。
所以有可能存在这样一种情况,X 与Y 之间没有线性相关关系,但()X g 与Y 之间有线性相关关系。
这说明在X 与Y 的矩相关系数接近0的时候,当X 增加时Y 仍可能有增大或减少的趋势。
第十章 列联表中的相关性测量 第一节 列联表相关测量的有关问题一、交互分类和列联表抽自某个总体的样本,同时按两个或两个以上的标准进行分类。
分类的资料可以排列成一个行、列交织的表,称为列联表,也叫交互分类表。
如:妇女的教育水平与志愿愿 望(Y)教育水平(X )合计高低 幸福家庭 125 95 220 理想工作 65 105 170 合 计190200390 列联表可以清楚反映在X 变化的条件下,Y 的次数分布情况。
因此,列联表又称为条件次数表。
列和:行边缘次数 行和:列边缘次数表中的次数:条件次数,表示在自变量的每个条件,因变量各个值的数目。
1X 2X … c X 合计 1Y 11f 12f … c f 1 ∙1f 2Y21f22f… c f 2∙2f┇ …r Y1r f 2r f … rc f ∙r f 合计1∙f2∙f…c f ∙∙∙f二、条件频率妇女的教育水平与志愿(%)愿 望(Y)教育水平(X )高低幸福家庭65.79 47.50 理想工作34.21 52.50 ∑100.00 100.00愿望(Y)教育水平(X)∑高低幸福家庭56.82 43.18 100.00理想工作38.24 61.76 100.00第二节 McNmar检验这种检验方法适用于非独立样本的2*2表,即单因素两水平。
Cochran检验是该检验方法在多样本条件下的推广。
例为了评估一位政党候选人竞选活动的效果,由60个选民组成的随机样本在候选人竞选阳朔之前和之后,询问的问题是“对该候选人是投赞成还是反对”受试者演说前演说后受试者演说前演说后受试者演说前演说后1 1 1 21 0 1 41 1 12 1 1 22 1 1 42 0 03 1 0 23 0 0 43 1 14 0 1 24 1 1 44 0 05 0 1 25 0 0 45 1 16 0 0 26 1 1 46 1 17 1 1 27 0 0 47 0 18 0 1 28 1 1 48 0 09 1 1 29 0 0 49 0 110 0 1 30 1 1 50 1 111 0 0 31 1 1 51 0 012 1 1 32 0 0 52 0 113 0 1 33 1 1 53 1 114 1 1 34 0 0 54 0 015 0 1 35 1 1 55 1 116 1 0 36 0 0 56 0 017 0 1 37 1 1 57 0 018 0 1 38 0 1 58 0 019 1 1 39 1 1 59 1 120 0 0 40 0 0 60 0 0后(-) 后(+) 前(+) 2 25 前(-)2013McNmar 检验思路:在竞争演说前后有15个人改变了观点,我们分析的焦点在改变了观点的15个人。
第十章 列联表中的相关性测量 第一节 列联表相关测量的有关问题一、交互分类和列联表抽自某个总体的样本,同时按两个或两个以上的标准进行分类。
分类的资料可以排列成一个行、列交织的表,称为列联表,也叫交互分类表。
如:妇女的教育水平与志愿愿 望(Y)教育水平(X )合计高低 幸福家庭 125 95 220 理想工作 65 105 170 合 计190200390 列联表可以清楚反映在X 变化的条件下,Y 的次数分布情况。
因此,列联表又称为条件次数表。
列和:行边缘次数 行和:列边缘次数表中的次数:条件次数,表示在自变量的每个条件,因变量各个值的数目。
1X 2X … c X 合计 1Y 11f 12f … c f 1 ∙1f 2Y21f22f… c f 2∙2f┇ …r Y1r f 2r f … rc f ∙r f 合计1∙f2∙f…c f ∙∙∙f二、条件频率妇女的教育水平与志愿(%)愿 望(Y)教育水平(X )高低幸福家庭65.79 47.50 理想工作34.21 52.50 ∑100.00 100.00愿望(Y)教育水平(X)∑高低幸福家庭56.82 43.18 100.00理想工作38.24 61.76 100.00第二节 McNmar检验这种检验方法适用于非独立样本的2*2表,即单因素两水平。
Cochran检验是该检验方法在多样本条件下的推广。
例为了评估一位政党候选人竞选活动的效果,由60个选民组成的随机样本在候选人竞选阳朔之前和之后,询问的问题是“对该候选人是投赞成还是反对”受试者演说前演说后受试者演说前演说后受试者演说前演说后1 1 1 21 0 1 41 1 12 1 1 22 1 1 42 0 03 1 0 23 0 0 43 1 14 0 1 24 1 1 44 0 05 0 1 25 0 0 45 1 16 0 0 26 1 1 46 1 17 1 1 27 0 0 47 0 18 0 1 28 1 1 48 0 09 1 1 29 0 0 49 0 110 0 1 30 1 1 50 1 111 0 0 31 1 1 51 0 012 1 1 32 0 0 52 0 113 0 1 33 1 1 53 1 114 1 1 34 0 0 54 0 015 0 1 35 1 1 55 1 116 1 0 36 0 0 56 0 017 0 1 37 1 1 57 0 018 0 1 38 0 1 58 0 019 1 1 39 1 1 59 1 120 0 0 40 0 0 60 0 0后(-) 后(+) 前(+) 2 25 前(-)2013McNmar 检验思路:在竞争演说前后有15个人改变了观点,我们分析的焦点在改变了观点的15个人。
:0H 竞争演说无效应:1H 竞争演说有效应在原假设为真的条件下,认为n 个人改变观点的人是随机的选择“+”或“-”。
可以认为,选择“+”的人数是服从B (n ,0.5)分布。
(n 为前后改变了选择的样本点)。
则检验的p 值:p =∑=--15131515)5.01(5.0i ii i C =0.000488 故拒绝原假设,竞争演说有显著的正效应。
注:当样本容量(改变观点或发生改变)大于50 时,可以将2χ检验用于McNmar 检验。
后(-)后(+) Σ前(+) aba+b 前(-) c dc+d ∑a+cb+da+b+c+d因为 ())1(~)1(2121χp np np a Q --=而 ()())1(121121p n np a np np a Q--+-=()()221212a np n dn np np np ---+=+()()221212a np d np np np --=+在原假设为真时,221d a np np+==,则上式为)1(~22222222χχda d a d da d a a +⎪⎭⎫ ⎝⎛+-++⎪⎭⎫ ⎝⎛+-=等价的公式为())1(~222χχda d a +-=当αχ<+-≥))((22da d a p ,则拒绝原假设。
第三节 列联表中的2χ检验及相关测量一、四格表资料的χ2检验 (两个样本率比较)两因素两水平,两因素是否相互独立。
1、两个样本率资料的四格表形式 x Σya b a+b cd c+d ∑a+cb+da+b+c+d如果x 与y 相互没有关系,有 a ≈[(a+b)(a+c)/(a+b+c+d)]=e 11 b ≈[(a+b)(b+d)/(a+b+c+d)]=e 12 c ≈[(a+c)(c+d)/(a+b+c+d)]=e 21 d ≈[(b+d)(c+d)/(a+b+c+d)]=e 22 故设计统计量)1(~)()()()(222222212211221211211χe e a e e c e e b e e a Q -+-+-+-=))()()(()(2a d d c cb b a bc ad n ++++-=2、χ2检验的基本思想χ2值反映了实际频数和理论频数的吻合程度。
χ2值越小,说明实际频数与理论频数越吻合,χ2值越大,说明实际频数与理论频数差异越大。
如果检验假设成立,则实际频数与理论频数之差一般不会很大,即出现大的χ2值的概率是小的。
若在无效假设下,出现了大的χ2值的概率P ≤α(检验水准),我们就怀疑假设的成立,因此拒绝它。
另外χ2值的大小,还与自由度有关。
故考虑χ2值大小的意义时要同时考虑自由度。
二、 行(r)×列(c)表资料的χ2检验 两因素多水平的情形。
1、如果x 与y 相互独立,则有)/)(/(/N f N f N f i j ij ∙∙≈ iji j ij e N f f f =/∙∙⨯≈[]∑∑==---=ri cj ij ij ijc r e e fQ 1122)1)(1(~/)(χ2. 注1)行×列表χ2检验对理论频数有要求。
一般认为不宜有1/5以上格子数的理论频数小于5,或有1个格子的理论数小于1,否则将导致分析的偏性。
2)多个样本率(或多组构成比)比较的χ2检验,若结论拒绝无效假设,只能认为各总体率(或多组构成比)之间总的来说不同,但不能说明它们彼此之间都不同,或某两者之间有差别。
3)关于单向有序资料(等级资料)的统计处理,宜用秩和检验。
χ2检验只能说明各处理组间效应在构成比上有无差别。
三、基于χ2的相关测量方法 1、ϕ相关系数nQ =ϕ例如 ))()()(()(a d d c c b b a bc ad ++++-=ϕϕ的绝对值最小的为零,为零时说明x 与y 之间无关。
2、列联相关系数Qn Q C +=3、克莱默的V 相关系数)1,1min(--=c r n QV三、三个因素的多水平的情况设有3个因素,每个因素的水平分别为r,c 和l 。
[]∑∑∑===----=r i c j lk ij ikj ijkk c r e e fQ 11212)1)(1)(1(~/)(χ其中nf nf nf n e k j i ijk ....,,⨯⨯⨯=例 对一些交通事故的保险结果表明出事故率和赔保历史与教育程度等因素有关。
有资料如下: 赔保历史教育程度小学以下初中 高中 大学及以上 从未赔过 281 130 50 50 赔过一次 256 90 10 5 赔过两次以上1073064利用该数据你可以得到什么信息。
利用你知道的检验方法进行检验。
赔保历史 * 文化程度 CrosstabulationCount2811305050511256901053611073064147644250665910191.002.003.00赔保历史Total1.002.003.004.00文化程度TotalChi-Square Tests58.368a6.00063.1376.00041.6681.0001019Pearson Chi-Square Likelihood Ratio Linear-by-Linear Association N of Valid CasesValuedfAsymp. Sig.(2-sided)0 cells (.0%) have expected count l e ss than 5. The minimum expected count is 8.51.a.第四节 熵和似然比检验一、熵从统计的观点看,一个事件A 的发生如果给人们带来了信息,则应该认为它是一个随机事件。
显而易见,一件为人们所完全预料的事件(如必然事件),不会给人们带来信息。
假定A 和B 是两个随机事件,有P (A )大于P (B ),人们的常识是概率小的事件带给人们更多的信息。
所以B 事件的信息比 A 事件多。
必然事件的信息为0。
定义熵:一个离散的随机变量ξ,⎪⎪⎭⎫⎝⎛)()()()(n na P a p a p a p a a a a321321定义1()ln()ni i i h P p ξ==-∑为ξ的熵。
i p 是随机变量ξ=a i 的概率,该概率接近1,它的“确定性”程度越大;i p 接近0,它的“确定性”程度就差。
当i p =1,则0)ln(=-i p ,当i p =0,则∞=-)ln(i p ,所以我们用1()ln()ni i i h P p ξ==-∑来反映ξ取值的分散程度,该值越大,不确定的成分越多。
两个随机变量X 和Y 的联合熵:∑∑==-=ri ij cj ijp PY X h 11)ln(),(三个随机变量X ,Y 和Z 的联合熵:∑∑∑===-=ri cj ijk lk ijkp PZ Y X h 111)ln(),,(熵反映随机变量的不确定性。
当随机变量之间相互独立时,则不确定的因素越多,则联合熵较大。
三、 似然比检验似然比是列联表中所涉及的变量相互独立时的似然函数的最大值与不相互独立时的似然函数的最大值之比。
似然比统计量常常用来检验变量间的独立性。
似然比检验的假设是是相互独立的。
和Y X H :0设有两个随机变量X 和Y ,X 取r 个值r a a a ,,,21 ,Y 取c 个值c b b b ,,,21 。
现从中抽取一个容量为n 的样本。
有),(j i b Y a X ==的频数为ij f 。
∑∑===ri cj ij n f 11。
由于当两个随机变量X 和Y 相互独立时,有)()(),(j i j i b Y P a X p b Y a X p =====则两个随机变量X 和Y 相互独立时,),(j i b Y a X p ==的极大似然估计为:nf nf p p pj i j i ij .,..ˆˆˆ⨯==两个随机变量X 和Y 不相互独立时,),(j i b Y a X p ==的极大似然估计为:nf pij ij =ˆ则似然比为: ()()∏∏===Λri cj f ijf j i ijijpp p11..ˆˆˆ似然比统计量为..1111..ˆˆˆ2ln 2ln 2ln ˆˆˆr cr ci j ij ij ij i j i j ij i j p p p f f p p p ====⎛⎫⎛⎫-Λ=-= ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭∑∑∑∑∑∑==⎪⎪⎭⎫⎝⎛=r i cj j i ijij f f nf f 11..2ln 2χ当2χ很大,说明样本更有可能来于X 和Y 相互独立的总体,其似然函数更大,故支持原假设。