当前位置：文档之家 › 多元线性回归模型的假设检验

多元线性回归模型的假设检验

  • 格式：pdf
  • 大小：929.73 KB
  • 文档页数：15

第4章2－1 第四节 多元线性回归模型的假设检验

根据样本观察值应用最小二乘法对多元线性回归模型进行估计时，与一元线性回归模型一样，必须对

拟合优度（在第二节中已经介绍）、回归系数的显著性以及回归方程的显著性进行一系列的检验,在这一节

将讨论这一系列问题。

一、 关于个别偏回归系数的假设检验

虽然拟合优度2R度量了估计的回归直线与样本观察值之间拟合程度，但是2R本身却不能告诉我们估

计的回归系数是否在统计上是显著的，也就是否显著不为零。如果有的回归系数显著不为零，则其对应的

解释变量对因变量的影响是重要的，否则就是不重要的，应该把这个解释变量从模型中剔出，重心建立更

为简单的模型，因此，必须对回归系数的显著性进行检验。

同一元线性回归模型一样，在多元线性回归模型中，如果随机项

i

和解释变量

iX

满足基本假定的要

求，同样可以证明参数估计量

ib

服从其均值和方差的正态分布。

由于总体方差2

未知，

在第三节中我们已经证明了2

的无偏估计量为 2ˆ

，因此可用2ˆ

代替2，

则OLS估计量

ib

服从自由度为)1(kn的t

分布，而不是正态分布。即

t )1(~

)(

knt

bSBb

iii

（4-4-1）

具体检验步骤如下：

1．提出假设：零假设

0H

：

iB

=0

备则假设

1H

：

iB

≠0

2. 在

0H

成立的条件下,计算t

统计量

t

iii

iii

Cb

bSBb

ˆ)(

 （4-4-2）

3．在给定显著性水平的条件下，查表得临界值)1(

2knt

4．判断

若t≥)1(

2knt

，则拒绝

0H

：

iB

=0，接收

1H

：

iB

≠0。这是因为接收

1H

的概率保证程度很大，

也就是说接收犯错误的概率很小，说明

iB

所对应的解释变量

iX

对因变量

iY

有显著影响。

若t≤)1(

2knt

，则接收

0H

：

iB

=0，即

iB

与0的差异不显著，这种情况下，只有接收

0H

，犯

错误的概率才会小。说明

iB

对应的解释变量

iX

对因变量

iY

没有影响。

对参数的显著性检验，同样可以通过P值来检验。检验方法同一元线性回归模型一样，即如果

iB

的t

检验值的P值都很小，说明

iB

显著异于零，也就是说在拒绝零假设的过程中，犯错误的概率很小。

二、关于总体显著性的假设检验

与一元线性回归模型一样，对于多元线性回归模型的总体显著性检验，同样可以运用F检验的方法

进行显著性检验，也可以运用P

值进行检验。具体方法如下：

1．提出假设 零假设

0H

：0

21

kBBB

备择假设

1H

：

iB),,2,1(ki

不全为0

2．在

0H

成立的前提条件下，由样本观察值计算F

统计量

F

=

1knRSS

kESS

（4-4-3）

=

12



knYXbYY

kYnYXb

（4-4-4）

3．在给定显著性水平

时，查表得临界值)1,(knkF

4．检验，若F

>)1,(knkF

，拒绝

0H

，即回归方程显著成立。 第4章2－2 若F<)1,(knkF

，接收

0H，即回归方程不显著成立。

对于多元线性回归方程总体性的显著性检验，同样可以运用F

统计量的P值进行检验。如果F统计

量的P值很小，说明拒绝零假设犯错误的概率很小，也就是说拒绝零假设的概率保证程度很大。

对根据表5-1得到的国内生产总值与最终消费、资本形成之间的回归模型的总体显著性的检验如下：

根据表5-2得到回归分析运算结果可知：

其中 

=0.05 F=36354.31 45.19)18,2()1,(

05.0FknkF

显然 F>)1,(knkF

 即根据国内生产总值与最终消费、资本形成之间的回归模型的是显著成

立的。

对于总体方程的显著性检验，同样可以运用F

统计量的P值进行检验。得出的结论是相同的。从表

5-2得到的回归分析运算结果表中可知，当F=36354.31时, P=(0.000000),也就是说拒绝零假设，犯错误

的概率几乎没有。

三、对两个回归系数是否相等的检验

在多元线性回归模型中，如：

iiiiiXBXBXBBY

3322110 （4-4-5）

如果式（4-4-5）代表对某商品的需求量的一个线性回归模型，其中：

Y ：某商品的需求量

X

1：该商品的价格

X

2：消费者的收入

X

4：消费者的财富

在这里如果我们要检验这样一个假设，即

1．提出假设 零假设

0H

：

32BB

或 0)(

32BB

备择假设

1H

：

32BB

或 0)(

32BB

即两个斜率系数

2B

和

3B

相等。这个虚拟假设是说，收入系数与财富系数相等。

如何检验这样一个虚拟假设呢？在经典假设的条件下，可以证明：

2．构造t

统计量 )1(~

)()()(

323232



knt

bbSBBbb

t

（4-4-6）

)(2)()()(

323232bbCovbVarbVarbbS

（4-4-7）

由于3k

，在虚拟假设成立的条件下，我们构造的t

统计量为：

),(2)()(

323232

bbCovbVarbVarbb

t



 （4-4-8）

3．给定显著性水平，得到临界值)1(

2knt

。

4

．检验，如果t≥)1(

2knt

，则拒绝

0H

：

32BB

，接受

1H

：

32BB

如果t≤)1(

2knt

，则接收

0H

，即

32BB

对于两个回归系数是否相等的检验，我们同样可以运用t

统计量的P

值进行检验，如果t

统计量的P

值合理的低，就可拒绝虚拟假设。

四、受约束的最小二乘法：线性等式约束的假设检验

经济理论针对某一回归模型中系数提出一些满足线性等式约束的条件。例如，柯布—道格拉斯生

产函数：

iB

iB

iiXXBY

21

210

（4-4-9）

其中 Y ：产出

X

1：劳动力投入

X

2：资本投入 第4章2－3 式（4-4-9）写成对数形式，方程就变为：

iiiiXBXBBY

22110lnlnln

（4-4-10）

经济理论提出，如果规模报酬不变，即每一同比例的投入变化有同比例的产出变化。结合线性等式约束就

是：

1

21BB

（4-4-11）

那么对线性等式约束如何进行检验呢？一般有如下两种方法。

（一）t

检验方法

首先，对式（4-4-10）用OLS法进行参数估计（做无限制或无约束的回归），然后通过t

检验方法对

约束条件进行检验。具体方法如下：

1．提出假设 零假设

0H

：1

21BB

备择假设

1H

： 1

21BB

2．在

0H

成立的假设条件下，构造t

统计量。

)1(~

)()()(

323232



knt

bbSBBbb

t

即

),(2)()(1

323232

bbCovbVarbVarbb

t



 （4-4-12）

3．给定显著性水平，得到临界值)1(

2knt

。

4

．检验，如果t≥)1(

2knt

，则拒绝

0H

：1

21BB

，接受

1H

： 1

21BB

如果t≤)1(

2knt

，则接收

0H

：1

21BB

。

（二）F检验方法

t

检验的方法是在“无约束”回归估计之后，再看线性约束是否被满足。另一种直接的方法就

是一开始便把约束条件式（4-4-11）纳入估计过程中，进而对约束条件进行检验。具体过程如下：

有式（4-4-11）可得：

211BB

（4-4-13）

或

121BB

（4-4-14）

把式（4-4-13）代入式（4-4-10），则柯布—道格拉斯生产函数变为：

iiiiXBXBBY

22120lnln)1(ln

iiiiXXBXB)ln(lnln

12210

或

iiiiiXXBBXY)ln(ln)ln(ln

12201 (4-4-15)

即

iiiiiXXBBXY)ln()ln(

12201 （4-4-16） 其中

iiXY

1和

iiXX

12，两者都是有重大经济意义的经济指标。

如果我们从式（4-4-15）或（4-4-16）中估计出参数

2B

，则参数

1B

就可以从式（4-4-11）中计算出。

显然，这种估计过程保证了所估计的两个投入系数之和等于1。式（4-4-15）或（4-4-16）所描述的程序被

称为受约束的最小二乘法（RLS）。此程序可推广到含有任意多个解释变量，以及有多个线性等式约束的模

型。

怎样比较无约束的和受约束的两个最小二乘回归模型呢？也就是说，我们怎样知道约束（4-4-11）是

否真实？这个问题可以通过以下的F

检验得以完成。具体步骤如下：

1．提出假设

0H

：1

21BB

（受约束）

1H

： 1

21BB

（无约束）

2．在

0H

成立的条件下，构造F

统计量。

合集下载

多元线性回归模型

多元线性回归模型

多元线性回归模型

1 多元线性回归模型 1.1 多元回归模型的构建名称 多元线性回归模型 优先级 高描述 由于经济现象的复杂性,一个被解释变量往往受多个解释变量的影响.多元回归模型就是在方程式中有两个或两个以上自变量的线性回归模型.多元线性回归预测是用多元线性回归模型,对具有线性趋势的税收问题,使用多个影响因素所作的预测.要求

输入 有指标需要进行预测的cube.该cube由实施人员在实施过程中根据客户的具体需要定制,该cube中的各个测量值是相关的,各维度是与预测分析有联系的.处理 由用户选择回归模型分析角度和分析指标(包括因变量和自变量.注意:此处的分析指标是指cube中的测量值,下同),系统进行回归方程的拟合以及假设检验.展示回归方程式及假设检验的结果,并利用回归方程式进行预测.具体操作步骤如下: 分析角度的选取依照以下原则: 1. 选择分析角度和分析指标(包括因变量和自变量). 若对时间序列数据的回归分析,时间维必须在同一层次上,否则,系统给出下列提示信息:"分析角度的选择有误,时间维必须在同一层次上,请做修改!",如果用户不做相应的修改,则回归模型不进行构建.其它的维度原则上只能选取一个成员,若存在选择多个的情况,系统给出相应的警告提示:"分析角度的选择可能有误,请检查!",但允许用户在不进行任何修改的情况下继续回归模型的构建;所选中的时间维成员个数必须多于"自变量的个数+3",否则给出下列提示信息:"数据量太少,不能完成回归模型的构建"; 若进行横截面数据的回归分析,除时间维外的其它维度中必须有一个是选择所有成员的,时间维只能选择一个维成员,否则给出下列出错信息:"不同时间点的横截面数据没有可比性,不适合进行回归分析!" 如果用户不做相应的修改,则回归模型不进行构建.对于选取的所有成员的维度,其成员个数必须多于"自变量的个数+3",否则给出下列提示信息:"数据量太少,不能完成回归模型的构建"; 分析指标(包括自变量和因变量)的选取依照下列原则. 自变量的选择.自变量可以选择了多个分析指标. 因变量的选择.因变量只能选取一个指标,在编码时必须对其进行设置. 2. 回归方程的拟合回归分析原理是利用具有因果关系的经济变量的样本观测量,按照一定的实现原理来建立能够使被解释变量的计算值与实际值误差最小的回归方程,以此作为研究对象总体模型的估计参数.多元线性回归模型的构建就是求出因变量(以y表示)自变量(以 表示,其中M为自变量的个数)的线性关系式: 回归模型的拟合就是利用最小二乘法求出参数 的估计值 (其中i=1,2,…,M).具体求解的过程如下:假设已从cube中读入了因变量(以y表示)的N(N>3)个数据,记为 ,自变量的

多元线性回归模型的估计与解释

多元线性回归模型的估计与解释

多元线性回归模型的估计与解释

多元线性回归是一种广泛应用于统计学和机器学习领域的预测模型。与简单线性回归模型相比，多元线性回归模型允许我们将多个自变量引入到模型中，以更准确地解释因变量的变化。

一、多元线性回归模型的基本原理

多元线性回归模型的基本原理是建立一个包含多个自变量的线性方程，通过对样本数据进行参数估计，求解出各个自变量的系数，从而得到一个可以预测因变量的模型。其数学表达形式为：

Y = β0 + β1X1 + β2X2 + ... + βnXn + ε

其中，Y为因变量，X1、X2、...、Xn为自变量，β0、β1、β2、...、βn为模型的系数，ε为误差项。

二、多元线性回归模型的估计方法

1. 最小二乘法估计

最小二乘法是最常用的多元线性回归模型估计方法。它通过使残差平方和最小化来确定模型的系数。残差即观测值与预测值之间的差异，最小二乘法通过找到使残差平方和最小的系数组合来拟合数据。

2. 矩阵求解方法

多元线性回归模型也可以通过矩阵求解方法进行参数估计。将自变量和因变量分别构成矩阵，利用矩阵运算，可以直接求解出模型的系数。 三、多元线性回归模型的解释

多元线性回归模型可以通过系数估计来解释自变量与因变量之间的关系。系数的符号表示了自变量对因变量的影响方向，而系数的大小则表示了自变量对因变量的影响程度。

此外，多元线性回归模型还可以通过假设检验来验证模型的显著性。假设检验包括对模型整体的显著性检验和对各个自变量的显著性检验。

对于整体的显著性检验，一般采用F检验或R方检验。F检验通过比较回归平方和和残差平方和的比值来判断模型是否显著。

对于各个自变量的显著性检验，一般采用t检验，通过检验系数的置信区间与预先设定的显著性水平进行比较，来判断自变量的系数是否显著不为零。

通过解释模型的系数和做假设检验，我们可以对多元线性回归模型进行全面的解释和评估。

四、多元线性回归模型的应用

多元线性回归模型在实际应用中具有广泛的应用价值。例如，在经济学中，可以利用多元线性回归模型解释不同自变量对经济增长的影响；在医学研究中，可以利用多元线性回归模型解释各种因素对疾病发病率的影响等。

多元线性回归模型 2

多元线性回归模型 2

第三章 多元线性回归模型

基本概念

(1)多元线性回归模型； (2)偏回归系数；

(3)正规方程组； (4)调整的多元可决系数；

(5)多重共线性； (6)假设检验；

练习题

1. 多元线性回归模型的基本假设是什么?试说明在证明最小二乘估计量的无偏性和有效性

的过程中，哪些基本假设起了作用?

2．在多元线性回归分析中，t

检验与F

检验有何不同?在一元线性回归分析中二者是否有等

价的作用?

3．为什么说对模型参数施加约束条件后，其回归的残差平方和一定不比未施加约束的残差

平方和小?在什么样的条件下，受约束回归与无约束回归的结果相同?

4．在一项调查大学生一学期平均成绩(Y

)与每周在学习(

1X

)、睡觉(

2X

)、 娱乐(

3X

)

与其他各种活动(

4X

)所用时间的关系的研究中，建立如下回归模型：

011223344YXXXXu



如果这些活动所用时间的总和为一周的总小时数168。问：保持其他变量不变，而改变其中

一个变量的说法是否有意义?该模型是否有违背基本假设的情况? 如何修改此模型以使其更

加合理?

5.表3-1给出三变量模型的回归结果。

表 3-1

方差来源 平方和(SS) 自由度(d.f.) 平方和的均

值(MSS)

来自回归(ESS)

来自残差(RSS)

来自总离差(TSS) 65965 - -

- - -

66042 14

(1)求样本容量n

，残差平方和RSS，回归平方和ESS及残差平方和RSS的自由度。 (2)求拟合优度2

R

及调整的拟合优度2

R

。

(3)检验假设：

2X

和

3X

对Y

无影响。应采用什么假设检验?为什么?

(4)根据以上信息，你能否确定

3X

和

3X

各自对Y

的影响?

6.某地区通过一个样本容量为722的调查数据得到劳动力受教育的一个回归方程为

12310.360.0940.1310.210YXXX

2

0.214R

其中，Y

为劳动力受教育年数，

1X

为该劳动力家庭中兄弟姐妹的人数，

多元线性回归模型的各种检验方法

多元线性回归模型的各种检验方法

ˆ

ˆ

对多元线性回归模型的各种检验方法

对于形如

Y   0  1 X 1   2 X 2  L L   k X k  u

（1）

的回归模型，我们可能需要对其实施如下的检验中的

一种或几种检验：

一、 对单个总体参数的假设检验：t 检验

在这种检验中，我们需要对模型中的某个（总体）

参数是否满足虚拟假设 H 0 ：  j  a j ，做出具有统计意

义（即带有一定的置信度）的检验，其中 a j 为某个给

定的已知数。特别是，当 a j =0 时，称为参数的（狭义

意义上的）显著性检验。如果拒绝 H 0 ，说明解释变量

X j 对被解释变量 Y 具有显著的线性影响，估计值  j 才

敢使用；反之，说明解释变量 X j 对被解释变量 Y 不具

有显著的线性影响，估计值 

j 对我们就没有意义。具

体检验方法如下：

（1） 给定虚拟假设 H 0 ：  j  a j ；

1 ˆ

ˆ ˆ

ˆ

ˆ ˆ

ˆ

ˆ

（2） 计算统计量

t   j  E (  j )

Se(  j )

  j  a j

Se(  j ) 的数值；

Se(  j )  C jj，其中C jj  (X T X) 1 j 1 j 1

（3） 在给定的显著水平  下（  不能大于 0.1 即

10%，也即我们不能在置信度小于 90%以下的前提下做

结论），查出双尾 t（ n  k  1 ）分布的临界值 t / 2 ；

（4） 如果出现 t  t / 2 的情况，检验结论为拒绝

H 0 ；反之，无法拒绝 H 0 。

t 检验方法的关键是统计量

t   j   j

Se( j )

必须服从已

知的 t 分布函数。什么情况或条件下才会这样呢？这需

要我们建立的模型满足如下的条件（或假定）：

（1） 随机抽样性。我们有一个含 n 次观测的随机