方差分析

方差分析

方差分析

方差分析是比较多个总体的均值是否相等，但本质上它所研究的是变量之间的关系。在研究一个（或多个）分类型自变量与一个数值型因变量之间的关系时，方差分析就是其中的只要方法之一。

一、方差分析引论

假设需要检验4个总体的均值分别为4321,,,，如果用一般假设检验方法，如t检验，一次只能研究两个样本，要检验4个总体的均值是否相等，需要做6次检验，如果在0.05的置信水平下检验，每次检验犯第Ⅰ类错误的概率都是0.05，检验完成时，犯第Ⅰ类错误的概率会大于0.05，即连续作6次检验第Ⅰ类错误的概率为6)1(1=0.265,而置信水平则会降低到0.735（即695.0）。随着增加个体显著性检验的次数，偶然因素导致差别的可能性也会增加（并非均值真的存在差别）。而方差分析方法则是同时考虑所有的样本，因此排除了错误累计的概率，从而避免拒绝一个真实的原假设。

1、方差分析及其有关术语

方差分析：就是通过检验各总体均值是否相等来判断分类型自变量对数值型因变量是否有显著影响。

例1：为了对几个行业的服务质量进行评价，消费者协会在零售业、旅游业、航空公司、家电制造业分别抽取了不同的企业作为样本。其中零售业7家，旅游业抽取6家，航空公司抽取5家，家电制造业抽取5家。最后统计出最近一年中消费者对总共23家企业投诉的次数。如下表所示。

消费者对四个行业的投诉次数

行业

零售业 旅游业 航空业 家电制造业

57 68 31 44

66 39 49 51

49 29 21 65

40 45 34 77

34 56 40 58

53 51

44

要分析四个行业之间的服务质量是否有显著差异，实际上就是要判断“行业”对“投诉次数”是否有显著影响，做出这种判断最终被归结为检验这四个行业被投诉次数的均值是否相等。

在方差分析中，要检验的对象称为因素或因子。因素不同的表现称为水平或处理。每个因子水平下得到的样本数据称为观测值。在例1中，“行业”是要检验的对象，称为“因素”或“因子”；零售业，旅游业，航空公司，家电制造业是行业这一因素的具体表现，称为“水平”或“处理”；在每个行业下得到的样本数据（被投诉次数）称为观测值。由于这里只涉及“行业”一个因素，因此称为单因素4水平的试验。在只有一个因素的方差分析（称为单因素方差分析）中，涉及两个变量：一个是分类型自变量，一个是数值型因变量。在例1中，要研究“行业”对投诉次数是否有显著影响，这里“行业”是自变量，它是一个分类变量。零售业，旅游业，航空公司，家电制造业就是“行业”这个自变量的具体取值。“投诉次数”是因变量，它是一个数值型变量，不同的投诉次数

就是因变量的取值。方差分析要研究的就是“行业”对“投诉次数”是否存在显著影响。

二、方差分析的基本思想和原理

为了分析分类自变量对数值型因变量的影响，需要从数据误差来源的分析入手。

1、图形描述

0102030405060708090012345

从散点图可以看出，不同行业被投诉的次数是有明显差异的，而且即使在同一个行业，不同企业被投诉的次数也明显不同。从图中可以看出，4被投诉的次数较高，而3被投诉的次数较低。这表明行业与被投诉的次数之间有一定的关系。如果行业与被投诉次数之间没有关系，那么它们被投诉的次数的均值应该差不多相同，在散点图上所呈现的模式也就应该很接近。

2、误差分解

通过对数据误差来源分析判断不同总体的均值是否相等，进而分析自变量对因变量是否有显著影响。

来自水平内部的数据误差称为组内误差。在例1中，零售业中所抽取的7家企业被投诉次数之间的误差就是组内误差，它反映了一个样本内部数据的离散程度。显然，组内误差只含有随机误差项。

来自不同的水平间的数据误差称为组间误差。这种误差可能由于抽样本身形成的随机误差，也可能是由于行业本身的系统性误差因素造成的系统误差。因此，组间误差是随机误差和系统误差的总和。在例1中，四个行业被投诉次数之间的误差就是组间误差，它反映了不同样本之间数据的离散程度。

在方差分析中，数据的误差是用平方和来表示的。

反映全部数据误差大小的平方和称为总平方和，记为SST，在例1中，所抽取的全部23家企业被投诉次数之间的误差就是总平方和。它反映了全部观测值的离散情况。

反映组内误差大小的平方和称为组内平方和，也称为误差平方和，或残差平方和，记为SSE，在例1中，每个样本内部的数据平方和加在一起就是组内平方和，它反映了每个样本内各观测值的总离散状况。

反映组间误差大小的平方和称为组间平方和，也称为因素平方和，记为SSA，在例1中，四个行业被投诉次数之间的误差平方和就是组间平方和，它反映了样本均值之间的差异程度。

3、误差分析

如果不同行业对投诉次数没有影响，那么在组间误差中只包含随机误差，而没有系统误差，这时，组间误差与组内误差经过平均后的数值（称为均方或方差）就应该很接近，它们的比值就会接近1；如果有影响，则比值就会显著大于1。因此，判断行业对投诉次数是否有显著影响这一问题，实际上也就是检验被

投诉次数的差异主要是由于什么原因所引起的。如果这种差异主要是系统误差，就认为不同行业对投诉次数有显著影响。

三、方差分析中的基本假定

1、每个总体都应该服从正态分布。在例1中，要求每个行业被投诉的次数必须服从正态分布。

2、各个总体的方差2必须相同。在例1中，要求每个行业被投诉的次数的2必须相同。

3、观测值是独立的。在例1中，要求每个被抽中的企业被投诉的次数都与其他企业被投诉的次数独立。

在上诉假设成立的条件下，要分析自变量对因变量是否有影响，形式上也就转化为检验自变量的各个水平（总体）的均值是否相等。

尽管不知道4个总体的均值，但可以用样本数据来检验它们是否相等。如果4个总体的均值相等，可以期望4个样本的均值也会很接近。事实上，4个样本的均值越接近，推断4个总体均值相等的证据也就越充分；反之，样本均值越不同，推断总体均值不同的证据就越充分。换句话说，样本均值变动越小，越支持原假设；样本均值变动越大，越支持备择假设。

三、单因素方差分析

当方差分析中只涉及一个分类型自变量时称为单因素方差分析。

1、数据结构

观测值 因素(i)

(j) 1A 2A … kA

1 11x 21x … 1kx

2 12x 21x … 2kx

… … … … …

n nx1 nx2 … knx

在单因素方差中，用A表示因素，因素的k个水平（总体）分别用1A,2A,…,kA表示，每个观测值用ijx(njki,...,2,1;,...,2,1)表示，即ijx表示第i个水平（总体）的第j个观测值。

2、分析步骤

方差分析包括提出假设、构造检验的统计量、统计决策等

（1）提出假设

检验因素的k个水平（总体）均值是否相等，需要提出假设：

kiH......:210 自变量对因变量没有显著影响

iH:1（ki,...,2,1）不全相等 自变量对因变量有显著影响

（注意：拒绝0H时，只是表明至少有两个总体的均值不相等，并不意味着所有的均值都不相等）

（2）构造检验的统计量

①计算各样本的均值

假定从第i个总体中抽取一个容量为in的简单随机样本，令ix为第i个总体的样本均值。计算公式：

injijinxxi1 （ki,...,2,1）

②计算全部观测值的总均值

nxnnxxkiiikinjiji111

③计算各误差平方和

总平方和，SST。它是全部观测值ijx与总平均值x的误差平方和，计算公式：

kinjijixxSST112)(

组间平方和，SSA。它是各组平均值ix (ki,...,2,1)与总平均值x的误差平方和，反映了样本均值之间的差异程度。计算公式：

21)(xxnSSAkiii

组内平方和，SSE。它是每个水平或者组的各样本数据与其平均值误差的平方和，反映了每个样本各观测值的离散状况。计算公式：

kinjiijixxSSE112)(

总平方和（SST）=组间平方和（SSA）+组内平方和（SSE）

从上述三个误差平方和可以看出，SSA是对随机误差和系统误差大小的度量，它反映了自变量（行业）对因变量（投诉次数）的影响，也称为自变量效应或因子效应；SSE是对随机误差的大小的度量，它反映了除自变量对因变量的影响之外，其他因素对因变量的总影响，因此SSE也被称为残差变量，它所引起的误差也称为误差效应。

在例1中有：

消费者对四个行业的投诉次数

行业

零售业 旅游业 航空业 家电制造业

57 68 31 44

66 39 49 51

49

29 21 65

40 45 34 77

34 56 40 58

53 51

44

1x=49 2x=48 3x=35 4x=59

1n=7 2n=6 3n=5 4n=5

869565.47235877...6657x

608696.4164)869565.4758(...)869565.4757(22SST

608696.1456)869565.4759(5...)869565.4749(722SSA

零售业：700)4944(...)4957(22SSE

旅游业：924)4851(...)4868(22SSE

航空公司：434)3540(...)3531(22SSE

家电制造业：650)5958(...)5944(22SSE

2708650434924700SSE

④计算统计量

由于各误差平方和的大小与观测值的多少有关，为了消除观测值多少对误差平方和大小的影响，需要用各平方和除以它们所对应的自由度，这一结果称为均方或者方差。三个平方和所对应的自由度分别为：

SST的自由度为n-1,其中n为全部观测值的个数

SSA的自由度为k-1，其中k为因素水平（总体）的个数

SSE的自由度为n-k

由于要比较的是组间均方和组内均方之间的差异，所以通常只计算SSA均方和SSE的均方。SSA的均方也称为组间均方或者组间方差，记为MSA。

MSA=1kSSA自由度组间平方和

根据例1：MSA=536232.48514608696.14561kSSA

SSE的均方，记为MSE, MSE=kSSEn自由度组内平方和

根据例1：MSE=526316.1424-232708nkSSE

构造检验统计量F，MSEMSAF～F(k-1,n-k)

根据例1：406643.3526316.142536232.485MSEMSAF

（3）统计决策

当FF时，拒绝原假设。 当FF时，不能拒绝原假设。

四、方差分析表