异方差性及其检验
- 格式:pdf
- 大小:398.03 KB
- 文档页数:11
实验四异方差性的检验与处理集团标准化工作小组 [Q8QX9QT-X8QQB8Q8-NQ8QJ8-M8QMN]实验四 异方差性的检验及处理(2学时)一、实验目的(1)、掌握异方差检验的基本方法; (2)、掌握异方差的处理方法。
二、实验学时:2学时 三、实验要求(1)掌握用MATLAB 软件实现异方差的检验和处理; (2)掌握异方差的检验和处理的基本步骤。
四、实验原理1、异方差检验的常用方法(1) 用X-Y 的散点图进行判断(2). 22ˆ(,)(,)e x e y 或的图形 ,),x )i i y i i ((e 或(e 的图形)(3) 等级相关系数法(又称Spearman 检验)是一种应用较广的方法,既可以用于大样本,也可与小样本。
检验的三个步骤 ① ˆt t y y=-i e②|i x i i 将e 取绝对值,并把|e 和按递增或递减次序排序,计算Spearman 系数rs ,其中:21ni i d =∑s 26r =1-n(n -1)③ 做等级相关系数的显着性检验。
n>8时,/2(2),t t n α>-反之,若||i i e x 说明与之间存在系统关系,异方差问题存在。
(4) 帕克(Park)检验帕克检验常用的函数形式:若在统计上是显着的,表明存在异方差性。
2、异方差性的处理方法: 加权最小二乘法 如果在检验过程中已经知道:222()()()i i i ji u Var u E u f x σσ===则将原模型变形为:121(i i p pi iy x x uf xβββ=+⋅++⋅+在该模型中:即满足同方差性。
于是可以用OLS估计其参数,得到关于参数12,,,pβββ的无偏、有效估计量。
五、实验举例例101i i iy x u=++若用线性模型,研究不同收入家庭的消费情况,试问原数据有无异方差性如果存在异方差性,应如何处理解:(一)编写程序如下:(1)等级相关系数法(详见文件)%%%%%%%%%%%%%%% 用等级相关系数法来检验异方差性 %%%%%%%%[data,head]=xlsread('');x=data(:,1); %提取第一列数据,即可支配收入xy=data(:,2); %提取第二列数据,即居民消费支出yplot(x,y,'k.'); % 画x和y的散点图xlabel('可支配收入x(千元)') % 对x轴加标签ylabel('居民消费支出y(千元)') % 对y轴加标签%%%%%%%% 调用regres函数进行一元线性回归 %%%%%%%%%%%%xdata=[ones(size(x,1),1),x]; %在x矩阵最左边加一列1,为线性回归做准备[b,bint,r,rint,s]=regress(y,xdata);yhat=xdata*b; %计算估计值y% 定义元胞数组,以元胞数组形式显示系数的估计值和估计值的95%置信区间head1={'系数的估计值','估计值的95%置信下限','估计值的95%置信上限'};[head1;num2cell([b,bint])]% 定义元胞数组,以元胞数组形式显示y的真实值,y的估计值,残差和残差的95%置信区间head2={'y的真实值','y的估计值','残差','残差的95%置信下限','残差的95%置信上限'};[head2;num2cell([y,yhat,r,rint])]% 定义元胞数组,以元胞数组形式显示判定系数,F统计量的观测值,检验的P值和误差方差的估计值head3={'判定系数','F统计量的观测值','检验的P值','误差方差的估计值'};[head3;num2cell(s)]%%%%%%%%%%%%% 残差分析 %%%%%%%%%%%%%%%%%%figure;rcoplot(r,rint) % 按顺序画出各组观测值对应的残差和残差的置信区间%%% 画估计值yhat与残差r的散点图figure;plot(yhat,r,'k.') % 画散点图xlabel('估计值yhat') % 对x轴加标签ylabel('残差r') % 对y轴加标签%%%%%%%%%%%% 调用corr函数计算皮尔曼等级相关系数res=abs(r); % 对残差r取绝对值[rs,p]=corr(x,res,'type','spearman')disp('其中rs为皮尔曼等级相关系数,p为p值');(2)帕克(park)检验法(详见文件)%%%%%%%%%%%%%%% 用帕克(park)检验法来检验异方差性 %%%%%%%[data,head]=xlsread(''); %导入数据x=data(:,1);y=data(:,2);%%%%%% 调用regstats函数进行一元线性回归,linear表带有常数项的线性模型,r表残差ST=regstats(y,x,'linear',{'yhat','r','standres'});scatter(x,.^2) % 画x与残差平方的散点图xlabel('可支配收入(x)') % 对x轴加标签ylabel('残差的平方') %对y轴加标签%%%%%%% 对原数据x和残差平方r^2取对数,并对log(x)和log(r^2)进行一元线性回归ST1=regstats(log(.^2),log(x),'linear',{'r','beta','tstat','fstat'})% 输出参数的估计值% 输出回归系数t检验的P值% 输出回归模型显着性检验的P值(3)加权最小二乘法(详见文件)%%%%%%%%%%% 调用robustfit函数作稳健回归 %%%%%%%%%%%%[data,head]=xlsread(''); % 导入数据x=data(:,1);y=data(:,2);% 调用robustfit函数作稳健回归,返回系数的估计值b和相关统计量stats[b,stats]=robustfit(x,y) %调用函数作稳健回归% 输出模型检验的P值%%% 绘制残差和权重的散点图 %%%%%%%plot,,'o') %绘制残差和权重的散点图xlabel('残差')ylabel('权重'(二)实验结果与分析:第一步::用OLS方法估计参数,并保留残差(1)散点图图可支配收入(x)居民消费支出(y)散点图因每个可支配收入x的值,都有5个居民消费收入y与之对应,所以上述散点图呈现此形状。
异方差性的检验及处理方法异方差性是指随着自变量变化,因变量的方差不保持恒定,即方差存在不均匀的变化趋势。
在统计分析中,如果忽视了异方差性,可能会导致误差的不准确估计,从而影响对因变量的显著性检验和参数估计结果的准确性。
为了避免异方差性给统计分析带来的影响,需要进行异方差性的检验和处理。
下面将介绍几种常用的异方差性检验及处理方法。
一、异方差性的检验方法:1.绘制残差图:绘制因变量的残差(观测值与拟合值之差)与自变量的散点图,观察残差是否随着自变量的变化而存在明显的模式。
如果残差图呈现出锥形或漏斗形状,则表明存在异方差性。
2.帕金森检验:帕金森检验是一种常用的检验异方差性的方法。
该方法的原理是通过对残差进行变换,判断变换后的残差是否与自变量相关。
3. 布罗斯-佩根检验(Breusch-Pagan test):布罗斯-佩根检验是一种常用的检验异方差性的方法。
该方法的原理是通过计算残差与自变量的相关系数,进而判断是否存在异方差性。
4. 品尼曼检验(Leve ne’s test):品尼曼检验是一种非参数的检验方法,可以用于检验不同组别的方差是否存在显著差异。
二、异方差性的处理方法:1.变量转换:通过对因变量和自变量进行变换,可以使数据满足异方差性的假设。
比如可以对因变量进行对数转换或平方根转换,对自变量进行标准化处理等。
2.使用加权最小二乘法(WLS):加权最小二乘法是一种可以处理异方差性的回归分析方法。
该方法的原理是通过对残差进行加权,使得残差的方差与自变量无关。
3.使用广义最小二乘法(GLS):广义最小二乘法是一种可以处理异方差性的回归分析方法。
该方法的原理是通过对残差进行加权,使得残差的方差可以通过自变量的一个线性组合来估计。
4.进行异方差性的鲁棒估计:鲁棒估计是一种对异常值和异方差性具有较好鲁棒性的估计方法。
通过使用鲁棒估计,可以减少异方差性对参数估计的影响。
综上所述,异方差性是统计分析中需要重视的问题。
第1篇一、实验目的1. 掌握异方差性的基本概念和检验方法。
2. 学会运用统计软件进行异方差的检验和修正。
3. 提高对计量经济学模型中异方差性处理能力的实践应用。
二、实验原理1. 异方差性:在回归分析中,若回归模型的误差项(残差)的方差随着自变量或因变量的取值而变化,则称模型存在异方差性。
2. 异方差性的检验方法:图形检验、统计检验(如F检验、Breusch-Pagan检验、White检验等)。
3. 异方差性的修正方法:加权最小二乘法(WLS)、广义最小二乘法(GLS)等。
三、实验步骤1. 数据准备1. 收集实验所需数据,确保数据质量和完整性。
2. 对数据进行初步处理,如剔除异常值、缺失值等。
2. 模型设定1. 根据研究问题,选择合适的回归模型。
2. 利用统计软件(如Eviews、Stata等)进行初步的回归分析。
3. 异方差性检验1. 图形检验:绘制散点图,观察残差与自变量或因变量的关系,初步判断是否存在异方差性。
2. 统计检验:- F检验:检验回归系数的显著性。
- Breusch-Pagan检验:检验残差平方和与自变量或因变量的关系。
- White检验:检验残差平方和与自变量或因变量的多项式关系。
4. 异方差性修正1. 若检验结果表明存在异方差性,则需对模型进行修正。
2. 选择合适的修正方法:- 加权最小二乘法(WLS):根据残差平方与自变量或因变量的关系,计算权重,加权最小二乘法进行回归分析。
- 广义最小二乘法(GLS):根据残差平方与自变量或因变量的关系,选择合适的方差结构,广义最小二乘法进行回归分析。
5. 结果分析1. 对修正后的模型进行回归分析,观察回归系数的显著性、拟合优度等指标。
2. 对实验结果进行分析,解释实验现象,验证研究假设。
6. 实验报告撰写1. 撰写实验报告,包括以下内容:- 实验目的- 实验原理- 实验步骤- 实验结果- 分析与讨论- 结论2. 实验报告应结构清晰、逻辑严谨、语言简洁。
实验四异方差性【实验目的】掌握异方差性的检验及处理方法【实验内容】建立并检验我国制造业利润函数模型【实验步骤】【例1】表1列出了1998年我国主要制造工业销售收入与销售利润的统计资料,请利用统计软件Eviews建立我国制造业利润函数模型。
一、检验异方差性⒈图形分析检验⑴观察销售利润(Y)与销售收入(X)的相关图(图1):SCA T X Y图1 我国制造工业销售利润与销售收入相关图从图中可以看出,随着销售收入的增加,销售利润的平均水平不断提高,但离散程度也逐步扩大。
这说明变量之间可能存在递增的异方差性。
⑵残差分析首先将数据排序(命令格式为:SORT 解释变量),然后建立回归方程。
在方程窗口中点击Resids按钮就可以得到模型的残差分布图(或建立方程后在Eviews工作文件窗口中点击resid对象来观察)。
图2 我国制造业销售利润回归模型残差分布图2显示回归方程的残差分布有明显的扩大趋势,即表明存在异方差性。
⒉Goldfeld-Quant检验⑴将样本按解释变量排序(SORT X)并分成两部分(分别有1到10共11个样本合19到28共10个样本)⑵利用样本1建立回归模型1(回归结果如图3),其残差平方和为2579.587。
SMPL 1 10LS Y C X图3 样本1回归结果⑶利用样本2建立回归模型2(回归结果如图4),其残差平方和为63769.67。
SMPL 19 28LS Y C X图4 样本2回归结果⑷计算F 统计量:12/RSS RSS F ==63769.67/2579.59=24.72,21RSS RSS 和分别是模型1和模型2的残差平方和。
取05.0=α时,查F 分布表得44.3)1110,1110(05.0=----F ,而44.372.2405.0=>=F F ,所以存在异方差性⒊White 检验⑴建立回归模型:LS Y C X ,回归结果如图5。
图5 我国制造业销售利润回归模型⑵在方程窗口上点击View\Residual\Test\White Heteroskedastcity,检验结果如图6。
异方差性的概念类型后果检验及其修正方法异方差性(heteroscedasticity)是指随着自变量的变化,被解释变量的方差不保持恒定,呈现出不同的分散特征。
异方差性可能会导致线性回归模型的参数估计不精确,误差项的标准误差的估计不准确,常见的检验和修正方法包括Breusch-Pagan检验和White检验,同时,还可以采取加权最小二乘法或者转换变量的方法来修正异方差性。
异方差性可以分为条件异方差和非条件异方差两种类型。
条件异方差是指在给定自变量的情况下,被解释变量方差的大小存在差异;非条件异方差则是指被解释变量的方差在整个样本空间内都存在差异。
异方差性的后果是导致参数估计的不准确性和偏误。
当存在异方差性时,OLS(普通最小二乘法)估计的标准误差会低估真实标准误差,从而使得参数显著性以及模型拟合效果可能出现问题。
此外,在存在异方差性的情况下,t检验、F检验等假设检验的结果也会受到影响。
在进行线性回归模型时,常常需要对异方差性进行检验。
一种常用的检验方法是Breusch-Pagan检验,其基本思想是对残差的平方与自变量进行回归,然后通过F检验来判断异方差的存在与否。
另一种常用的检验方法是White检验,它是在一个包含自变量和交互项的扩展模型中对残差的平方与自变量进行回归,通过Wald检验统计量来判断异方差的存在与否。
异方差性可以通过多种修正方法来处理。
其中,一种常用的方法是采用加权最小二乘法(WLS)来估计参数。
WLS的基本思想是将方差不恒定的观测值加权,使得每个观测值的权重与方差的倒数成正比。
另一种常用的方法是通过转换变量,使得原始数据变换成具有恒定方差的形式,例如对数变换、平方根变换等。
下面以一个案例来说明如何检验和修正异方差性。
假设我们研究了城市的房价(被解释变量)与房屋面积和所在地区(自变量)之间的关系。
我们采集了100个样本数据,并构建了线性回归模型进行分析。
1.检验异方差性:使用Breusch-Pagan检验来检验模型的异方差性。
异⽅差性及其检验异⽅差性及其检验I 概念对于多元线性回归模型同⽅差性假设为如果出现即对于不同的样本点,随机⼲扰项的⽅差不再是常数,⽽是互不相同,不具有等同的分散程度,则认为出现了异⽅差(Heteroskedasticity ) II 类型同⽅差性假定是指,回归模型中不可观察的随机误差项i u 以解释变量X 为条件的⽅差是⼀个常数,因此每个i u 的条件⽅差不随X 的变化⽽变化,即有2()i i f X σ=≠常数在异⽅差的情况下,总体中的随机误差项i u 的⽅差 2i σ不再是常数,通常它随解释变量值的变化⽽变化,即异⽅差⼀般可归结为三种类型:01122 1,2,,i i i k ki i Y X X X i n ββββµ=+++++=2(), 1,2,...,i Var i n µσ==2(), 1,2,...,i i Var i nµσ==2()i i f X σ=异⽅差类型图:III来源(1)截⾯数据(不同样本点除解释变量外其他影响差异⼤)(2)时间序列(规模差异)(3)分组数据、异常值等(4)模型函数形式设置不正确和数据变形不正确(5)边错边改学习模型IV影响计量经济学模型⼀旦出现异⽅差,如果仍然⽤普通最⼩⼆乘法估计模型参数,会产⽣⼀系列不良后果。
(1)参数估计量⾮有效(2)OLS估计的随机⼲扰项的⽅差不再是⽆偏的(3)基于OLS估计的各种统计检验⾮有效(4)模型的预测失效V检验异⽅差性,即相对于不同的样本点,也就是相对于不同的解释变量观测值,随机⼲扰项具有不同的⽅差,那么检验异⽅差性,也就是检验随机⼲扰项的⽅差与解释变量观测值之间的相关性。
⼀般检验⽅法如下:(1)图⽰检验法(2)帕克(Park)检验与⼽⾥瑟(Gleiser)检验(3)G-Q(Goldfeld-Quandt)检验(4)F检验(5)拉格朗⽇乘⼦检验(6)怀特检验(具体步骤随后介绍)VI修正⽅法加权最⼩⼆乘法定义:加权最⼩⼆乘法是对原模型加权,使之变成⼀个新的不存在异⽅差性的模型,然后采⽤OLS法估计其参数。
异方差性及其检验
I 概念
对于多元线性回归模型
同方差性假设为 如果出现
即对于不同的样本点,随机干扰项的方差不再是常数,而是互不相同,不具有等同的分散程度,则认为出现了异方差(Heteroskedasticity ) II 类型
同方差性假定是指,回归模型中不可观察的随机误差项i u 以解释变量X 为条件的方差是一个常数,因此每个i u 的条件方差不随X 的变化而变化,即有
2()i i f X σ=≠常数
在异方差的情况下,总体中的随机误差项i u 的方差 2
i σ不再是常数,
通常它随解释变量值的变化而变化,即
异方差一般可归结为三种类型:
01122 1,2,
,i i i k ki i Y X X X i n ββββμ=+++
++=2(), 1,2,...,i Var i n μσ==2(), 1,2,...,i i Var i n
μσ==2()
i i f X σ=
异方差类型图:
III来源
(1)截面数据(不同样本点除解释变量外其他影响差异大)
(2)时间序列(规模差异)
(3)分组数据、异常值等
(4)模型函数形式设置不正确和数据变形不正确
(5)边错边改学习模型
IV影响
计量经济学模型一旦出现异方差,如果仍然用普通最小二乘法估计模型参数,会产生一系列不良后果。
(1)参数估计量非有效
(2)OLS估计的随机干扰项的方差不再是无偏的
(3)基于OLS估计的各种统计检验非有效
(4)模型的预测失效
V检验
异方差性,即相对于不同的样本点,也就是相对于不同的解释变量观测值,随机干扰项具有不同的方差,那么检验异方差性,也就是检验随机干扰项的方差与解释变量观测值之间的相关性。
一般检验方法如下:
(1)图示检验法
(2)帕克(Park)检验与戈里瑟(Gleiser)检验
(3)G-Q(Goldfeld-Quandt)检验
(4)F检验
(5)拉格朗日乘子检验
(6)怀特检验
(具体步骤随后介绍)
VI修正方法
加权最小二乘法
定义:加权最小二乘法是对原模型加权,使之变成一个新的不存在异方差性的模型,然后采用OLS法估计其参数。
基本思想:在采用OLS方法时,对较小的残差平方2ˆ
e赋予较大的权
i
重,对较大的2ˆ
e赋予较小的权重,以对残差提供的信息的重要程度
i
作一番修正,提高参数估计的精确程度。
不同形式的异方差要求用不同的加权方法来处理:
(一) 异方差为已知的解释变量的某一函数形式时的加权最小二乘
估计
(二)异方差形式未知时的估计—可行的加权最小二乘法
一般情况下,异方差形式是未知的,往往直接运用模型估计后的残差项来确定权重,对模型进行修正,即权重为:
i
i e 1w =
检验方法总结
1.图示检验法
2.Goldfeld - Quandt 检验法
基本步骤
(1)将解释变量排序,从中间去掉/4c n =个观测值
(2)分成两个部分,利用样本1 和样本2 分别建立回归模型 (3)根据回归求出各自残差平方和1RSS 和2RSS (4)在同方差假定下,构造F 统计量:
22
11
//RSS v F RSS v =
与21(,)F v v 进行比较
21(,)F F v v ≥,拒绝同方差假设 21(,)F F v v ≤,接受原假设
适用范围:大样本,递增或递减型异方差 注意:(1)该检验的功效取决于c 值,c 值越大,则大小方差的差异越大,检验功效越好
(2)两个回归所用的观测值的个数是否相等并不重要,因为可以通过公式改变自由度和统计量的计算公式来调整
(3)当模型中包含多个解释变量时,应对每个可能引起方差的解释变量都进行检验
3.Park 或Glesjser 检验
基本步骤:
(1) 对原模型进行OLS 回归,得到残差i e
(2) 以i e 或2i e 为解释变量,以原模型中的某一解释变量为解释
变量,建立两者之间的回归方程:
2()i ji i e f X ε==或者 ()i ji i e f X ε=+
(3) 选择j X 的不同函数形式,对方程进行估计并进行显著性检验。
若存在某种函数形式使方程显著成立,则说明原模型中存在异方差
适用范围:各种类型异方差检验 注意:(1)由于方差形式未知,因此需要进行各种测试
(2)该方法不仅检验出了异方差是否存在,同时给出异方差具体形式
4.White检验
基本步骤:
(1)对原模型进行OLS回归,得到残差
e
i
(2)以2
e为被解释变量,以各种解释变量、个解释变量的平方项、
i
解释变量之间两两交叉项为解释变量建立辅助回归方程,并
估计
(3)根据辅助回归方程估计结果构造并计算统计量2
nR,它服从2
分布(自由度为辅助回归式中解释变量个数)
(4)根据临界值判断,若大于临界值,拒绝同方差假定;小于临界值,则接受同方差假定
适用范围:各种类型异方差检验
注意:(1)辅助回归中可引入解释变量的更高次幂
(2)在多元回归中,由于解释变量个数太多,可去掉辅助回归式中解释变量间的交叉项
附:Eviews实际操作
异方差性检验及存在异方差模型估计
检验使用方法:(1)G-Q检验(2)White 检验
模型估计方法:加权最小二乘法(WLS)
下表为2000年中国部分省市城镇居民每个家庭平均年可支配收入(X)与消费性支出(Y)的统计数据:
一、利用Eviews求出线性模型
可得模型:
ˆ272.2250.755
i i
Y X
=+
(1.705) (32.394) R2=0.9832
二、异方差检验
(1)G-Q检验:首先将可支配收入X升序进行排列,然后去掉中间4个样本,将余下的样本分为容量各为8的两个子样本,并分别进行回归。
大样本小样本样本取值较小的Eviews输出结果如下
残差平方和:RSS1=126528.3
样本取值较大的Eviews输出结果如下:
残差平方和:RSS 2=615073.7
因此统计量为: 2
1
4.8611RSS F RSS ==
在5%的显著性水平下,
0.05(6,6) 4.28F =,4.86>4.28,因此拒绝原假设,存在异方差性。
(2)White 检验:在原模型的最小二乘估计窗口上选择“View\Residual Tests\Heteroskedasticity Tests\White ”得到如下结果:
检验统计量值为12.64768,查询2
0.05(2) 5.99x =,因
此12.6478>5.99,因而拒绝原假设,模型存在异方差。
三、估计存在异方差的经济模型
利用加权最小二乘法(WLS )进行估计:首先在对原模型进行估计后,保存残差,步骤如下:①Quick\Generate Series 再输入“e1=resid ”,得到e1
②Quick\Estimte Equation 再输入“Y C X ” ③选择Options,在“Weighted LS/TLS ”输入“1/abs(e1)”(备注:abs 表示绝对值
)
附:Eviews 实际操作
11
醉客天涯之异方差 得到如下结果;
即采用加权最小二乘估计得到的回归方程: ˆ415.480.7290i i Y X =+
(3.55) (32.50)R 2=0.98 加权结果与不加权结果差别很大。