专题7__交叉分类和卡方检验
- 格式:doc
- 大小:157.50 KB
- 文档页数:24
常用统计方法:T检验、F检验、卡方检验介绍常用的几种统计分析方法:T检验、F检验、卡方检验一、T检验(一)什么是T检验T检验是一种适合小样本的统计分析方法,通过比较不同数据的均值,研究两组数据是否存在差异。
主要用于样本含量较小(例如n < 30),总体标准差σ未知的正态分布。
(二)T检验有什么用1.单样本T检验用于比较一组数据与一个特定数值之间的差异情况。
样例:难产儿出生数n = 35,体重均值 = 3.42,S = 0.40,一般婴儿出生体重μ0= 3.30(大规模调查获得),问相同否?求解代码:from scipy import statsstats.ttest_1samp(data,sample)检验一列数据的均值与sample的差异是否显著。
(双侧检验)若为单侧检验,则将p值除以22.配对样本的T检验(ABtest)用于检验有一定对应关系的样本之间的差异情况,需要两组样本数相等。
常见的使用场景有:①同一对象处理前后的对比(同一组人员采用同一种减肥方法前后的效果对比);②同一对象采用两种方法检验的结果的对比(同一组人员分别服用两种减肥药后的效果对比);③配对的两个对象分别接受两种处理后的结果对比(两组人员,按照体重进行配对,服用不同的减肥药,对比服药后的两组人员的体重)。
AB测试时互联网运营为了提升用户体验从而获得用户增长而采用的精细化运营手段,简单的说就是分为A版本和B版本哪个更能吸引用户使用。
目的:检验两个独立样本的平均值之差是否等于目标值样例:比较键盘A版本和B版本哪个更好用,衡量标准:谁在规定时间内打错字少,或者两者差异不大求解代码:ttest_rel(data1,data2) (得出的p值是双侧检验的p值)3.独立样本的T检验(要求总体方差齐性)独立样本与配对样本的不同之处在于独立样本T检验两组数据的样本个数可以不等。
样例:比较男生与女生的专业和职业任职得分的均值是否存在显著差异,可采用独立样本T检验进行分析。
专题7__交叉分类和卡⽅检验专题7 交叉分类(列联表)和卡⽅检验(本专题较深⼊的理论和分析可参考Bishop等的《离散多元分析》)(各部分较浅显、直观的说明可参考的资料在各部分列出)变量的测度交叉分类问题Crosstabs过程变量的测度注:1、这⾥是按测度由低级到⾼级排列的,⾼级测度的变量可以看作或转化为低级测度的变量。
2、SPSS中变量定义时,没有Interval Measure,只有ScaleMeasure。
3、社科研究中常常将不专门列出定⽐变量这⼀类,⽽将其包含在定距变量中。
返回交叉分类问题⽐较和对照是进⾏科学研究的基本⼿段。
对于间距测度和⽐例测度的资料,进⾏分组⽐较时可以⽤均数检验、⽅差分析等⽅法。
对于有较多可取值的序次测度资料,进⾏分组⽐较时可以⽤各种秩和检验⽅法。
⽽对于名义测度的资料、有序分类所得的资料(也属序次测度),分组⽐较时需⽤交叉分类进⾏统计描述,交叉分类所得的表格称为“列联表”,统计推断(检验)则要使⽤列联表分析的⽅法------卡⽅检验。
卡⽅分析是⽤来研究两个定类变量间是否独⽴即是否存在某种关联性的最常⽤的⽅法。
例:按“性别”和“肥胖程度”交叉分类所得列联表如下:肥胖程度性别不肥胖轻度肥胖中/重度肥胖Total 男19 9 15 43⼥49 14 43 106Total 68 23 58 149这⾥是按两个变量交叉分类的,该列联表称为两维列联表,若按3个变量交叉分类,所得的列联表称为3维列联表,依次类推。
3维及以上的列联表通常称为“多维列联表”或“⾼维列联表”,⽽⼀维列联表就是频数分布表。
卡⽅分析的⽅法:假设两个变量是相互独⽴,互不关联的。
这在统计上称为原假设;对于调查中得到的两个变量的数据,⽤⼀个表格的形式来表⽰它们的分布(频数和百分数),这⾥的频数叫观测频数,这种表格叫列联表;如果原假设成⽴,在这个前提下,可以计算出上⾯列联表中每个格⼦⾥的频数应该是多少,这叫期望频数;⽐较观测频数与期望频数的差,如果两者的差越⼤,表明实际情况与原假设相去甚远;差越⼩,表明实际情况与原假设越相近。
卡方检验的构造原理解释说明以及概述1. 引言1.1 概述卡方检验,也称为卡方拟合度检验,是一种常用的统计方法,用于判断观察数据与期望数据之间是否存在显著差异。
它是由1880年代英国统计学家皮尔逊(Karl Pearson)提出的,并成为统计学中一项重要的假设检验工具。
1.2 文章结构本文将首先介绍卡方检验的构造原理,包括该方法的背景与发展历程、假设检验基本概念以及构造原理及假设条件。
接着,文章会详细解释说明卡方检验的相关内容,包括检验统计量及其分布、P值的计算方法与判断标准,以及常见误差类型与校正方法。
然后,我们将对卡方检验在不同领域中的应用进行概述:生物医学研究、社会科学和工程技术。
最后,在结论部分总结了卡方检验的重要性和优缺点,并展望了未来在该研究领域可能出现的发展趋势。
1.3 目的本文旨在深入探讨卡方检验这一统计学方法,全面阐述其构造原理、解释说明以及应用领域概述。
希望通过本文的阐述,读者能够更好地理解和运用卡方检验,为相关领域的研究提供参考,并促进该方法在未来的发展与应用。
2. 卡方检验的构造原理2.1 背景与发展历程在统计学中,卡方检验是一种常用的假设检验方法,用于判断观察值与期望值之间的差异是否显著。
卡方检验最早由卡尔·皮尔逊(Karl Pearson)在19世纪末提出,并受到了罗纳德·费舍尔(Ronald Fisher)等人的进一步发展和推广。
2.2 假设检验基本概念在进行卡方检验时,我们需要建立一个原假设(Null Hypothesis,H0)和一个备择假设(Alternative Hypothesis,H1)。
原假设通常表示无关性、随机性或相等性的假设,而备择假设则表明存在相关性、差异或不相等性。
2.3 构造原理及假设条件卡方检验基于观察频数与期望频数之间的差异来判断数据是否遵循某种分布或相互独立。
其构造原理可以简单描述如下:步骤1:收集数据并得到数据表格。
专题7 交叉分类(列联表)和卡方检验(本专题较深入的理论和分析可参考Bishop等的《离散多元分析》)(各部分较浅显、直观的说明可参考的资料在各部分列出)变量的测度交叉分类问题Crosstabs过程变量的测度注:1、这里是按测度由低级到高级排列的,高级测度的变量可以看作或转化为低级测度的变量。
2、SPSS中变量定义时,没有Interval Measure,只有ScaleMeasure。
3、社科研究中常常将不专门列出定比变量这一类,而将其包含在定距变量中。
返回交叉分类问题比较和对照是进行科学研究的基本手段。
对于间距测度和比例测度的资料,进行分组比较时可以用均数检验、方差分析等方法。
对于有较多可取值的序次测度资料,进行分组比较时可以用各种秩和检验方法。
而对于名义测度的资料、有序分类所得的资料(也属序次测度),分组比较时需用交叉分类进行统计描述,交叉分类所得的表格称为“列联表”,统计推断(检验)则要使用列联表分析的方法------卡方检验。
卡方分析是用来研究两个定类变量间是否独立即是否存在某种关联性的最常用的方法。
例:按“性别”和“肥胖程度”交叉分类所得列联表如下:肥胖程度性别不肥胖轻度肥胖中/重度肥胖Total 男19 9 15 43女49 14 43 106Total 68 23 58 149这里是按两个变量交叉分类的,该列联表称为两维列联表,若按3个变量交叉分类,所得的列联表称为3维列联表,依次类推。
3维及以上的列联表通常称为“多维列联表”或“高维列联表”,而一维列联表就是频数分布表。
卡方分析的方法:假设两个变量是相互独立,互不关联的。
这在统计上称为原假设;对于调查中得到的两个变量的数据,用一个表格的形式来表示它们的分布(频数和百分数),这里的频数叫观测频数,这种表格叫列联表;如果原假设成立,在这个前提下,可以计算出上面列联表中每个格子里的频数应该是多少,这叫期望频数;比较观测频数与期望频数的差,如果两者的差越大,表明实际情况与原假设相去甚远;差越小,表明实际情况与原假设越相近。
这种差值用一个卡方统计量来表示;对卡方值进行检验,如果卡方检验的结果不显著,则不能拒绝原假设,即两变量是相互独立、互不关联的,如果卡方检验的结果显著,则拒绝原假设,即两变量间存在某种关联,至于是如何关联的,这要看列联表中数据的分布形态。
应用交叉列联表卡方检验时,应注意以下几个问题:列联表各单元格中频数大小的问题列联表中不应有期望频数小于1的单元格,或不应有大量的期望频数小于5的单元格。
如果交叉列联表中有20%以上的单元格中的期望频数小于5,则一般不宜用卡方检验。
样本量大小的问题卡方值的大小会受到样本量大小的影响,因此卡方检验受样本量的影响很大。
同样两个变量,不同的样本量,可能得出不同的结论。
例如:在某列联表中,若各个单元格的样本数均同比例扩大10倍,卡方值也会随之扩大10倍。
由于自由度和显著度水平未改变,卡方的临界值不变,从而使拒绝原假设的可能性增加。
因此,有必要对Pearson卡方值进行修正,以消除样本量的影响。
可采用列联系数、Phi系数等进行修正。
对变量取值的不同分类的问题对变量取值的不同分类会引起卡方值的改变,有可能得到不同的结论。
所以在分类时不能随意,要有理论或统计上的依据。
特别是对定距或定序变量,要先将变量的取值分组归类,才能使用卡方分析,而且由于分组的方法不同,也会得出不同的结论;同时,对于定距或定序变量用卡方分析,没有充分利用它们的数量信息。
返回Crosstabs过程Crosstabs过程的使用方法☞Crosstabs过程的主界面☞“Cells”按钮☞“Format”按钮☞“Statistics”按钮☞“Exact”按钮返回☞Crosstabs过程的主界面通过菜单项“Analyze→Descriptive Statistics→Crosstabs”可进入如下的Crosstabs过程主界面:其中“Row[s]”矩形框用于放置列联表的行变量,即该变量不同的值对应列联表中不同的行。
“Column[s]”矩形框用于放置列联表的列变量。
行变量和列变量都是必须设置的。
“Layer”矩形框用于放置层变量。
层变量不是必需的,若设置了层变量,则行变量和列变量将针对层变量的每个取值(有多层时为取值组合)分别给出列联表。
SPSS的Crosstabs过程允许最多设置8个层,可以用“Previous”和“Next”按钮在各层之间切换。
“Layer”后面的数字表示当前显示的是总共多少层之中的第几层,如“2 of 3”表示共设置了3层,目前显示的是第2层的层变量。
行变量、列变量、各层的层变量都允许设置多个,SPSS将按照不同的组合逐个处理,相互之间不影响。
Display clustered bar charts复选项:用于确定是否要作交互式直条图。
Suppress table复选项:用于确定是否要抑制列联表的输出。
示例与练习:使用tables.sav 数据文件,以“性别”为行变量、“肥胖程度”为列变量,作频数分布表和直条图。
然后再加上层变量“文化程度”,重作频数分布表。
返回☞“Cells”按钮单击“Cells”按钮将弹出如下对话框:Cells对话框用于选择列联表的单元格中需要计算哪些统计量。
其中各选项含义如下。
●Counts复选框组:用于选择输出何种观察值。
Observed:输出实际观察数,这时默认的选项。
Expected:输出理论观察数(期望值)。
●Percentages复选框组:用于选择输出何种百分数。
Row:输出按行计算的百分数Column:输出按列计算的百分数Total:输出按各行各列合计的百分数●Residuals复选框组:用于选择输出何种残差。
Unstandardized:非标准化残差,即一般的残差(实际数与理论数的差值)。
(定义为观测频数f0—期望频数f e)Standardized:标准化残差(定义为e ef ff,将差值转化为标准正态分布)Adj. Standardized:调整的标准化残差示例与练习:使用tables.sav 数据文件,以“性别”为行变量、“肥胖程度”为列变量,作频数分布表,并在单元格中输出各种统计量。
返回☞“Format”按钮单击“Format”按钮将弹出如下对话框Format对话框用于规定输出的列联表的格式。
其中两个选项的含义如下。
Ascending:各行按升序排列(默认格式)。
Descending:各行按降序排列。
示例与练习:使用tables.sav 数据文件,以“性别”为行变量、“肥胖程度”为列变量,作频数分布表,要求在单元格中输出实际观察值、行百分比,分别使用按行变量升序和降序排列。
返回☞“Statistics”按钮单击“Statistics”按钮将弹出如下对话框:Statistics对话框用于选择除列联表之外,还要计算哪些统计量。
其中各选项的含义如下。
●Chi-square复选框●Correlations复选框●Nominal复选框组●Ordinal复选框组●Eta复选框●Kappa复选框●Risk复选框●McNemanr复选框●Cochran's and Mantel-Haenszel statistics复选框返回●Chi-square复选框:计算χ2值,作χ2检验。
χ2检验(卡方检验)用于检验行变量与列变量是否相互独立,或者是:对于行变量的不同取值,各列变量取值例数的比例是否相同。
对于2×2表也相当于率的检验。
◆SPSS会给出多种χ2值及检验结果,其意义如下:(参艾沃日特的《列联表分析》)Pearson Chi-Square:就是最常用的Pearson卡方检验。
Continuity Correction:进行了连续性修正的卡方检验,仅用于四格表(2×2表)。
Likelihood Ratio:似然比卡方检验(当样本数较大时,似然比卡方与Pearson卡方非常接近)。
Fisher's Exact Test:Fisher的确切概率检验,仅用于四格表。
Linear-by-Linear Association:线性结合趋势的卡方检验。
仅用于行变量、列变量都是序次测度的时候。
(参艾沃日特的《列联表分析》中3.6 节:有序表)使用方面的建议:当样本理论观察数小于5的格子不超过20%,且没有理论观察数小于1,可使用Pearson卡方检验(最普及),否则使用似然比卡方检验(较专业,经研究综合效果最好)。
另外,对于四格表也可作如下处理:当样本理论观察数T小于5的格子不超过20%,且没有理论观察数小于1,且n≥40时可使用Pearson卡方检验。
当样本理论观察数小于5的格子超过20%,但没有理论观察数小于1,且n≥40时可以使用连续性修正的卡方检验。
当有理论观察数小于1的时候或n<40时,使用Fisher的确切概率检验或似然比卡方检验。
示例与练习:使用tables.sav 数据文件,以“性别”为行变量、“肥胖程度”为列变量,作频数分布表和卡方检验,要求在单元格中输出实际观察值、行百分比。
使用tables.sav 数据文件,以“性别”为行变量、“进行运动”为列变量,作频数分布表和卡方检验,要求在单元格中输出实际观察值、行百分比。
返回●Correlations复选框:计算行变量和列变量的Pearson相关系数和Spearman等级相关系数。
仅用于行列变量均是定距型变量或均是定序变量。
示例与练习:使用tables.sav 数据文件,以“文化程度”为行变量、“肥胖程度”为列变量,作卡方检验,要求输出相关系数、抑制列联表。
返回●Nominal复选框组:反映两个名义测度的变量之间关联性的指标。
(计算行变量与列变量间的关联性。
)这些指标对关联性的定义不同,是从不同的角度说明问题的,各有各的用。
引出各种各样的关联性指标这一事实本身就说明了:选出一个可适用于各种场合的关联性指标是困难的。
要真正理解各个关联性指标的作用,必须搞清楚其定义和计算方法。
(这部分内容可参易丹辉的《非参数统计》、艾沃日特的《列联表分析》)Contingency coefficient:即列联系数,根据χ2值计算而得,其值介于0~1之间,注意列联表中行列数应相同。
Phi and Cramer's V:Phi系数(-1~1,仅用于2×2表)和Cramer(克莱姆)的V系数,它们都是校正列联系数。
Lambda:给出λ系数和Goodman and Kruskal 的τ系数(又常记为tau-y)。
它是用于反应自变量对因变量的预测效果,即知道自变量取值时对应因变量的预测有多少改进。
在0~1之间取值,1表示自变量可以很好的预测因变量;0表示两变量独立。