3.3_多元线性回归模型的统计检_...
- 格式：pdf
- 大小：237.07 KB
- 文档页数：25
R 2 = 0.9927 大， R = 0.9949 在例3.2.2中， ，比2.5.1中的
2
应该说这是很好的拟合结果了。
二、方程的显著性检验(F检验)
方程的显著性检验，旨在对模型中被解释变量与解 释变量之间的线性关系在总体上是否显著成立作出推 断。
1、方程显著性的F检验
即检验模型 Yi=β0+β1X1i+β2X2i+ … +βkXki+μi 中的参数βj是否显著不为0。 可提出如下原假设与备择假设： H0： β0=β1=β2= … =βk=0 H1： βj不全为0 i=1,2, …,n
其中，tα/2为显著性水平为α 、自由度为n-k-1的 临界值。
在中国居民人均收入-消费支出二元模型例中, 给定α=0.05，查表得临界值：t0.025(19)=2.093 从回归计算中已得到： β 0 = 120.70 s β = 36.51
0
β 1 = 0.2213 β 2 = 0.4515
根据数理统计学中的知识，在原假设H0成立 的条件下，统计量
ESS / k F= RSS /(n k 1)
(3.3.7)
服从自由度为(k , n-k-1)的F分布 给定显著性水平α，可得到临界值Fα(k,n-k-1)， 由样本求出统计量F的数值，通过 F> Fα(k,n-k-1) 或 F≤Fα(k,n-k-1) 来拒绝或接受原假设H0，以判定原方程总体上的线 性关系是否显著成立。
F检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS
由于回归平方和 ESS = ∑ y i2 是解释变量 X 的联合体对被解
释变量 Y 的线性作用的结果，考虑比值
ESS / RSS = ∑ y i2 ei2 ∑
如果这个比值较大，则X的联合体对Y的解释程度 高，可认为总体存在线性关系，反之总体上可能不存 在线性关系。 因此,可通过该比值的大小对总体线性关系进行推 断。
值得注意的是，置信度的高低与置信区间的大小存 在此消彼涨的关系。置信度越高，在其他情况不变 时，临界值tα/2 越大，置信区间越大；如果要求缩小 置信区间，在其他情况不变时，就必须降低对置信度 的要求。
RSS /( n k 1) R = 1 (3.3.3) TSS /( n 1) 其中：n-k-1为残差平方和的自由度，n-1为总体平 方和的自由度。
2
n 1 R = 1 (1 R ) n k 1
2 2
(3.3.4)
没有绝对的标准，要看具体情况而定，模型的 拟合优度并不是判断模型质量的唯一标砖，有时甚 至为了追求模型的经济意义，可以牺牲一点拟合优度。
§3.3 多元线性回归模型的统计检验
多元线性回归模型的参数估计出来后，即求出样 本回归函数后，还要进一步对该样本回归函数进行统 计检验，以判断估计的可靠性。包括拟合优度检验、 方程总体线性的显著性检验、变量的显著性检验，以 及参数的置信区间估计等方面。
一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
i
< tα ) = 1 α
2
P ( β i t α × sβ < β i < β i + tα × sβ ) = 1 α
2 i 2 i
容易推出：在(1-α)的置信水平下βi的置信区间是
β j tα × S β j , β j + tα × S β j 2 2
(3.3.12)
以cjj表示矩阵(X’X)-1 主对角线上的第j个元素， 于是参数估计量的方差为： 2 (3.3.10) Var ( β j ) = σ c jj j = 1, 2, , k 易知 β j 服从如下的正态分布，即
β j N ( β j ,σ 2c jj )
将 β j 做标准化变换：
zj =
βj - βj σ c jj
对于中国居民人均消费支出的例子： 可以计算得到F=2057.3 给定显著性水平α =0.05，查分布表，得到临界值： Fα(2,19)=3.52 （例中解释变量数目为2，样本容量为22） 显然有 F> Fα(k,n-k-1) 即二个模型的线性关系在95%的水平下显著成立。
2、关于拟合优度检验与方程显著性检验关系 的讨论
ei2 ∑
1 = t2 n 2 ∑ xi2
在中国居民人均收入-消费支出二元模型例中， 由应用软件计算出参数的t值：
t 0 = 3.306
t1 = 3.630
t 2 = 2.651
给定显著性水平α=0.05，查得相应临界值： t0.025(19) =2.093。 可见，计算的所有t值都大于该临界值，所以拒绝 原假设。即:包括常数项在内的3个解释变量都在95% 的水平下显著，都通过了变量显著性检验。
（i=1,2…k）
一方面，t检验与F检验都是对相同的原假设 H0：β1=0 进行检验; 另一方面，两个统计量之间有如下关系：
F=
∑e
y i2 ∑
2 i
( n 2) β
=
∑e
β12 ∑ xi2
2 i
(n 2)
2
=
∑e
2 i
(n 2)∑ x
2
β12
2 i
=
∑e
2 i
= β 1 1 2 (n 2)∑ xi
i i i i
0 i 1 i 1i k i
ki
+ Y ∑ ei
=0
所以有：
) 2 + ∑ (Y Y ) 2 = RSS + ESS TSS = ∑ (Yi Yi i
(3.3.1)
即：总体离差平方和可分解为回归平方和与残差平方和 两部分。
注意：一个有趣的现象
i i i i 2 2
(Y Y ) = (Y Y ) + (Y Y ) (Y Y ) ≠ (Y Y ) + (Y Y ) ∑ (Y Y ) = ∑ (Y Y ) + ∑ (Y Y )
s β = 0.061
1
s β = 0.170
2
计算得参数的置信区间：
β0 ：(44.284, 197.116) β1 ： (0.0937, 0.3489 ) β2 ：(0.0951, 0.8080)
如何才能缩小置信区间？ 增大样本容量n，因为在同样的样本容量下，n越 大，t分布表中的临界值越小，同时，增大样本容 量，还可使样本参数估计量的标准差减小； 提高模型的拟合优度，因为样本参数估计量的标 准差与残差平方和呈正比，模型优度越高，残差 平方和应越小。 提高样本观测值的分散度,一般情况下，样本观测 值越分散，(X’X)-1的分母的|X’X|的值越大，致使 区间缩小。
i 2 i i i 2 2 i i i i
2
回归平方和反映了总体离差平方和中可由样本回归 线解释的部分。它越大，残差平方和越小，表明样本回 归线与样本观测值的拟合程度越高。 因此，可用回归平方和占总离差平方和的比重来衡 量样本回归线对样本观测值的拟合程度：
ESS RSS R = = 1 TSS TSS
拟合优度检验和方程总体线性的显著性检验是从 不同原理出发的两类检验，拟合优度检验是从已经得 到估计的模型出发，检验它对样本观测值的拟合程 度；总体线性的显著性检验是从样本观测值出发检验 模型总体线性关系的显著性；但是两者又是关联的， 模型对样本观测值的拟合优度高，模型总体线性关系 的显著性就强。
RSS /( n k 1) ESS / k 由 R = 1 与 F= TSS /( n 1) RSS /(n k 1)
~ N (0,1)
其中σ2为随机误差项的方差，在实际计算时， 用它的估计量代替:
e ′e σ = = n k 1 n k 1
2
e i2 ∑
当为大样本时，用估计的参数标准误差对 β j 作标准化变换，所得Z统计量仍可视为服从正态分布。 当为小样本时，用估计的参数标准误差对 β j 作标准化变换，所得t 统计量仍可视为服从t分布。 因此，可构造如下t 统计量
t=
β j βj
Sβ
j
=
β j βj
e′e c jj n k 1
t (n k 1)
(3.3.11)
该统计量即为用于变量显著性检验的t统计量。
2、t检验
设计原假设与备择假设： H0：βi=0 H1：βi≠0 给定显著性水平α，可得到临界值tα/2(n-k-1)， 由样本求出统计量t的数值，通过 |t|> tα/2(n-k-1) 或 |t|≤tα/2(n-k-1) 来拒绝或接受原假设H0，从而判定对应的解释变 量是否应包括在模型中。 注意：一元线性回归中，t检验与F检验一致
一、拟合优度检验 1、可决系数与调整的可决系数
总离差平方和的分解
则
TSS = Σ(Yi Y ) 2 = Σ((Yi Yi ) + (Yi Y )) 2 = Σ(Yi Yi ) 2 + 2Σ(Yi Yi )(Yi Y ) + Σ(Yi Y ) 2
由于
∑ (Y Y )(Y Y ) = ∑ e (Y Y ) = β ∑e + β ∑e X + + β ∑e X
2
三、变量的显著性检验（t检验）
方程的总体线性关系显著≠每个解释变量对被 解释变量的影响都是显著的 因此，必须对每个解释变量进行显著性检验，以 决定是否作为解释变量被保留在模型中。 这一检验是由对变量的 t 检验完成的。
1、t统计量
由上一节可知参数估计量的方差为：
) Cov(β = σ 2 ( X′X) 1
2
(3.3.2)
该统计量越接近于1，模型的拟合优度越高。
【问题】 在应用过程中发现，如果在模型中增加一个解释变 量， R2往往增大。 这就给人一个错觉：要使得模型拟合得好，只要增 加解释变量即可。 但是，现实情况往往是，由增加解释变量个数引起 的R2的增大与拟合好坏无关，R2需调整。
2
应该说这是很好的拟合结果了。
二、方程的显著性检验(F检验)
方程的显著性检验，旨在对模型中被解释变量与解 释变量之间的线性关系在总体上是否显著成立作出推 断。
1、方程显著性的F检验
即检验模型 Yi=β0+β1X1i+β2X2i+ … +βkXki+μi 中的参数βj是否显著不为0。 可提出如下原假设与备择假设： H0： β0=β1=β2= … =βk=0 H1： βj不全为0 i=1,2, …,n
其中，tα/2为显著性水平为α 、自由度为n-k-1的 临界值。
在中国居民人均收入-消费支出二元模型例中, 给定α=0.05，查表得临界值：t0.025(19)=2.093 从回归计算中已得到： β 0 = 120.70 s β = 36.51
0
β 1 = 0.2213 β 2 = 0.4515
根据数理统计学中的知识，在原假设H0成立 的条件下，统计量
ESS / k F= RSS /(n k 1)
(3.3.7)
服从自由度为(k , n-k-1)的F分布 给定显著性水平α，可得到临界值Fα(k,n-k-1)， 由样本求出统计量F的数值，通过 F> Fα(k,n-k-1) 或 F≤Fα(k,n-k-1) 来拒绝或接受原假设H0，以判定原方程总体上的线 性关系是否显著成立。
F检验的思想来自于总离差平方和的分解式： TSS=ESS+RSS
由于回归平方和 ESS = ∑ y i2 是解释变量 X 的联合体对被解
释变量 Y 的线性作用的结果，考虑比值
ESS / RSS = ∑ y i2 ei2 ∑
如果这个比值较大，则X的联合体对Y的解释程度 高，可认为总体存在线性关系，反之总体上可能不存 在线性关系。 因此,可通过该比值的大小对总体线性关系进行推 断。
值得注意的是，置信度的高低与置信区间的大小存 在此消彼涨的关系。置信度越高，在其他情况不变 时，临界值tα/2 越大，置信区间越大；如果要求缩小 置信区间，在其他情况不变时，就必须降低对置信度 的要求。
RSS /( n k 1) R = 1 (3.3.3) TSS /( n 1) 其中：n-k-1为残差平方和的自由度，n-1为总体平 方和的自由度。
2
n 1 R = 1 (1 R ) n k 1
2 2
(3.3.4)
没有绝对的标准，要看具体情况而定，模型的 拟合优度并不是判断模型质量的唯一标砖，有时甚 至为了追求模型的经济意义，可以牺牲一点拟合优度。
§3.3 多元线性回归模型的统计检验
多元线性回归模型的参数估计出来后，即求出样 本回归函数后，还要进一步对该样本回归函数进行统 计检验，以判断估计的可靠性。包括拟合优度检验、 方程总体线性的显著性检验、变量的显著性检验，以 及参数的置信区间估计等方面。
一、拟合优度检验 二、方程的显著性检验(F检验) 三、变量的显著性检验（t检验） 四、参数的置信区间
i
< tα ) = 1 α
2
P ( β i t α × sβ < β i < β i + tα × sβ ) = 1 α
2 i 2 i
容易推出：在(1-α)的置信水平下βi的置信区间是
β j tα × S β j , β j + tα × S β j 2 2
(3.3.12)
以cjj表示矩阵(X’X)-1 主对角线上的第j个元素， 于是参数估计量的方差为： 2 (3.3.10) Var ( β j ) = σ c jj j = 1, 2, , k 易知 β j 服从如下的正态分布，即
β j N ( β j ,σ 2c jj )
将 β j 做标准化变换：
zj =
βj - βj σ c jj
对于中国居民人均消费支出的例子： 可以计算得到F=2057.3 给定显著性水平α =0.05，查分布表，得到临界值： Fα(2,19)=3.52 （例中解释变量数目为2，样本容量为22） 显然有 F> Fα(k,n-k-1) 即二个模型的线性关系在95%的水平下显著成立。
2、关于拟合优度检验与方程显著性检验关系 的讨论
ei2 ∑
1 = t2 n 2 ∑ xi2
在中国居民人均收入-消费支出二元模型例中， 由应用软件计算出参数的t值：
t 0 = 3.306
t1 = 3.630
t 2 = 2.651
给定显著性水平α=0.05，查得相应临界值： t0.025(19) =2.093。 可见，计算的所有t值都大于该临界值，所以拒绝 原假设。即:包括常数项在内的3个解释变量都在95% 的水平下显著，都通过了变量显著性检验。
（i=1,2…k）
一方面，t检验与F检验都是对相同的原假设 H0：β1=0 进行检验; 另一方面，两个统计量之间有如下关系：
F=
∑e
y i2 ∑
2 i
( n 2) β
=
∑e
β12 ∑ xi2
2 i
(n 2)
2
=
∑e
2 i
(n 2)∑ x
2
β12
2 i
=
∑e
2 i
= β 1 1 2 (n 2)∑ xi
i i i i
0 i 1 i 1i k i
ki
+ Y ∑ ei
=0
所以有：
) 2 + ∑ (Y Y ) 2 = RSS + ESS TSS = ∑ (Yi Yi i
(3.3.1)
即：总体离差平方和可分解为回归平方和与残差平方和 两部分。
注意：一个有趣的现象
i i i i 2 2
(Y Y ) = (Y Y ) + (Y Y ) (Y Y ) ≠ (Y Y ) + (Y Y ) ∑ (Y Y ) = ∑ (Y Y ) + ∑ (Y Y )
s β = 0.061
1
s β = 0.170
2
计算得参数的置信区间：
β0 ：(44.284, 197.116) β1 ： (0.0937, 0.3489 ) β2 ：(0.0951, 0.8080)
如何才能缩小置信区间？ 增大样本容量n，因为在同样的样本容量下，n越 大，t分布表中的临界值越小，同时，增大样本容 量，还可使样本参数估计量的标准差减小； 提高模型的拟合优度，因为样本参数估计量的标 准差与残差平方和呈正比，模型优度越高，残差 平方和应越小。 提高样本观测值的分散度,一般情况下，样本观测 值越分散，(X’X)-1的分母的|X’X|的值越大，致使 区间缩小。
i 2 i i i 2 2 i i i i
2
回归平方和反映了总体离差平方和中可由样本回归 线解释的部分。它越大，残差平方和越小，表明样本回 归线与样本观测值的拟合程度越高。 因此，可用回归平方和占总离差平方和的比重来衡 量样本回归线对样本观测值的拟合程度：
ESS RSS R = = 1 TSS TSS
拟合优度检验和方程总体线性的显著性检验是从 不同原理出发的两类检验，拟合优度检验是从已经得 到估计的模型出发，检验它对样本观测值的拟合程 度；总体线性的显著性检验是从样本观测值出发检验 模型总体线性关系的显著性；但是两者又是关联的， 模型对样本观测值的拟合优度高，模型总体线性关系 的显著性就强。
RSS /( n k 1) ESS / k 由 R = 1 与 F= TSS /( n 1) RSS /(n k 1)
~ N (0,1)
其中σ2为随机误差项的方差，在实际计算时， 用它的估计量代替:
e ′e σ = = n k 1 n k 1
2
e i2 ∑
当为大样本时，用估计的参数标准误差对 β j 作标准化变换，所得Z统计量仍可视为服从正态分布。 当为小样本时，用估计的参数标准误差对 β j 作标准化变换，所得t 统计量仍可视为服从t分布。 因此，可构造如下t 统计量
t=
β j βj
Sβ
j
=
β j βj
e′e c jj n k 1
t (n k 1)
(3.3.11)
该统计量即为用于变量显著性检验的t统计量。
2、t检验
设计原假设与备择假设： H0：βi=0 H1：βi≠0 给定显著性水平α，可得到临界值tα/2(n-k-1)， 由样本求出统计量t的数值，通过 |t|> tα/2(n-k-1) 或 |t|≤tα/2(n-k-1) 来拒绝或接受原假设H0，从而判定对应的解释变 量是否应包括在模型中。 注意：一元线性回归中，t检验与F检验一致
一、拟合优度检验 1、可决系数与调整的可决系数
总离差平方和的分解
则
TSS = Σ(Yi Y ) 2 = Σ((Yi Yi ) + (Yi Y )) 2 = Σ(Yi Yi ) 2 + 2Σ(Yi Yi )(Yi Y ) + Σ(Yi Y ) 2
由于
∑ (Y Y )(Y Y ) = ∑ e (Y Y ) = β ∑e + β ∑e X + + β ∑e X
2
三、变量的显著性检验（t检验）
方程的总体线性关系显著≠每个解释变量对被 解释变量的影响都是显著的 因此，必须对每个解释变量进行显著性检验，以 决定是否作为解释变量被保留在模型中。 这一检验是由对变量的 t 检验完成的。
1、t统计量
由上一节可知参数估计量的方差为：
) Cov(β = σ 2 ( X′X) 1
2
(3.3.2)
该统计量越接近于1，模型的拟合优度越高。
【问题】 在应用过程中发现，如果在模型中增加一个解释变 量， R2往往增大。 这就给人一个错觉：要使得模型拟合得好，只要增 加解释变量即可。 但是，现实情况往往是，由增加解释变量个数引起 的R2的增大与拟合好坏无关，R2需调整。
