多元线性回归模型PPT优秀课件

❖ 根据矩阵行列式性质，矩阵行列式的值等于
其特征根的连乘积。因此，当行列式| X'X|≈0
时，至少有一个特征根为零，反过来，可以
证明矩阵至少有一个特征根近似为零时，X的
列向量必存在多重共线性，同样也可证明 X ' X
有多少个特征根近似为零矩阵X就有多少个多
重共线性。根据条件数 K i
, m
i
其中 m为最
❖ 首先给出引入变量的显著性水平和剔除变量的显著性水平，然后 筛选变量。
回归变量的选择与逐步回归
回归变量的选择与逐步回归
❖ 逐步回归分析的实施过程是每一步都要对已引入回归方程的变量计算其 偏回归平方和（即贡献），然后选一个偏回归平方和最小的变量，在预 先给定的水平下进行显著性检验，如果显著则该变量不必从回归方程中 剔除，这时方程中其它的几个变量也都不需要剔除（因为其它的几个变 量的偏回归平方和都大于最小的一个更不需要剔除）。相反，如果不显 著，则该变量要剔除，然后按偏回归平方和由小到大地依次对方程中其 它变量进行检验。将对影响不显著的变量全部剔除，保留的都是显著的 。接着再对未引人回归方程中的变量分别计算其偏回归平方和，并选其 中偏回归平方和最大的一个变量，同样在给定水平下作显著性检验，如 果显著则将该变量引入回归方程，这一过程一直继续下去，直到在回归 方程中的变量都不能剔除而又无新变量可以引入时为止，这时逐步回归 过程结束。
多重共线性检验
❖ 检查和解决自变量之间的多重共线性，多多 元线性回归分析来说是很必要和重要的一个 步骤，常用的共线性诊断方法包括：
❖ 直观的判断方法 ❖ 方差扩大因子法(VIF) ❖ 特征根判定法
直观的判断方法
❖ 在自变量 的相关系数矩阵中，有某些自变量 的相关系数值比较大。

YXβ ˆe
Y ˆ Xβ ˆ
4/5/2021
.
17
2 模型的假定
(1) 零均值假设。随机误差项的条件期望为零，即 E(ui)=0 ( i=1,2,…,n)
其矩阵表达形式为:E(U)=0 (2)同方差假设。随机误差项有相同的方差，即
Var(ui)E(ui2) 2 （i=1,2,…,n）
(3)无自相关假设。随机误差项彼此之间不相关，即
（i=1,2,…,n）
上式为多元样本线性回归函数（方程）,简称样本回归函 数（方程）(SRF, Sample Regression Function).
ˆ j (j=0,1,…,k)为根据样本数据所估计得到的参数估计量。
4/5/2021
.
13
(4)多元样本线性回归模型
对应于其样本回归函数（方程）的样本回归模型:
4/5/2021
.
3
教学内容
一、模型的建立及其假定条件 二、多元线性回归模型的参数估计：OLS 三、最小二乘估计量的统计性质 四、拟合优度检验 五、显著性检验与置信区间 六、预测 七、案例分析
4/5/2021
.
4
回顾: 一元线性回归模型
总体回归函数 E (Y i|X i)01X i
总体回归模型 Y i 01Xiui
0 0
2 0 0 2
0
0
0 0 0 2
2I n
4/5/2021
.
u1un
u2un
un2
20
(4)解释变量X1,X2,…,Xk是确定性变量,不是随机 变量,与随机误差项彼此之间不相关,即
Cov(Xji,ui)0 j=1,2…k , i=1,2,….,n

22.
1921 417 147 179 6.033086 4.990433 5.187386
23.
1922 431 161 240 6.066108 5.081404 5.480639
24.
7
变量k , l 与 y 均将 1899 年的取值标准化为100(以 1899 年为指数 的基期)，而ln k , lnl 与ln y 分别为其对数值。
此命令将 lny 的拟合值记为“lny1”。
10
如要计算残差，并记为 e，可输入命令 . predict e,residual 选择项“residual”表示计算残差(默认计算拟合值)。 将 lny 及其拟合值、残差同时列表。 . list lny lny1 e
11
lny
lny1
e
1.
4.60517 4.613595 -.0084246
.0646015
19.
5.42495 5.438601 -.0136506
20. 5.407172 5.475536 -.0683641
5.384495 5.459777 -.0752818
21.
5.442418
5.47152 -.0291027
22.
5.187386
5.25739 -.0700038
23.
5.480639 5.338525
.142114
24.
12
更直观地，将产出对数及其拟合值画在一起(参见图 5.2)： . line lny lny1 year,lpattern(solid dash)
5.4
5.2
5
4.8
4.6
1900
1905
1910 year

F ESS / df ESS /(k 1) RSS / df RSS /(n k)
在原假设H0成立的情况下，服从自由度为(k-1 , n-k)的F分布，并根据样本数据计算F值。
给定显著性水平，得到临界值F(k-1,n-k) 比较 F F(k-1,n-k) 或 FF(k-1,n-k) 来拒绝或接受原假设H0，以判定原模型总体上的 线性关系是否显著成立。
假定2 解释变量X是非随机变量，在重复抽样 中固定在给定水平。
假定3 随机误差项的条件期望为0 即： E(ui | X 2i , X 3i ) 0
第2页/共49页
假定4 随机误差项ui具有同方差性。
Var(ui X2i , X3i ) 2 假定5 随机误差项之间无自相关性/无序列 相关。
cov(ui ,uj ) o i j
第12页/共49页
总体方差的估计
ˆ 2 uˆi2 n3
• 残差平方和的自由度＝样本容量的大小－待估计的参数的个数
第13页/共49页
§5.3 多元线性回归模型的统计检验
一、拟合优度检验 （一）复判定系数R2的计算公式
R2 ESS TSS
yˆi2 ˆ2
yi2
yi x2i ˆ3
yi2
~
F(m, n
kUR
)
案例
第33页/共49页
案例分析
• 教材P250 1960-1982年美国子鸡需求的例子
• 思考问题：
1）如何根据经济理论预测回归系数的符号？
2）如何检验
？
H0 : 4 5 0
第34页/共49页
五、模型的参数稳定性检验－邹至庄检验
当利用时间序列数据进行回归时，因变量和 解释变量之间的关系可能会出现结构变动

回归中因运算近似而导致的误差会比较大。
Beta系数
有时，我们会看见“规范化系数〞或“Beta系数 〞，这些称号有着特殊的意义
运用Beta系数是由于有时我们把y和各个x交换为 规范化版本——也就是，减去均值后除以规范离 差。
系数反映对于一单位x的规范离差的y的规范离差。
Beta系数
样本回归方程的标准形式是
多元回归分析 Multiple Regression Analysis
y = b0 + b1x1 + b2x2 + . . . bkxk + u
4.进一步的问题
本章大纲
数据的测度单位换算对OLS统计量的影响 对函数方式的进一步讨论 拟合优度和回归元选择的进一步讨论 预测和残差分析
课堂提纲PacksFa NhomakorabeaincIntercept
Observations R-squared SSR SER
Table 6.1
(1) bwght
(2)bwghtlbs
-0.4634 (0.0916) --
0.0927 (0.0292) 116.794 (1.049) 8 0.0298 557,485.51 20.063
定义：
y i y 2 to su to a s m flqu Sa S总 rT es平 y ˆi y 2expslu o am sifq nu e Sa d S r解 E es释
u ˆi2 ressiu d om su fqau S la S r残 R es 差平
SST= SSE + SSR
现 在 ， bˆ j 与 ˆ j的 关 系 如 何 ？
Beta系数
可以看到
yˆi
ˆ y

三、多元回归模型的检验
1. 复相关系数检验 检验线性关系密切程度的指标称为相关系数，在多元回 归模型中，由于自变量在两个以上，所以称为复相关系数. 样本复相关系数的计算公式是
2 2 ˆ ˆ y y y y i R 1 i i 2 2 y y y y i i i
(4-32)
复相关系数检验的步骤为：
第一步，计算复相关系数
二元回归方程复相关系数的计算常用其简捷公式
ˆ y ˆ x ˆ x y y y R 1 y n y
2 i 1 i 2 2 i i 1i 2 3 i 2i
(4-33)
三元回归方程R计算常用其简捷公式
x x
i 1 i 1 n
n
x
i 1 n
i1 2 i1
x
n
i2
(4-25)
i1 i 2
x
n yi ni1 ˆ 1 xi1 yi 0 A i1 n xi 2 yi i1
xi1 x
i 1 i 1 n
n
x
i1
i 1 n
2 i1
2
。
第五步，判断。若
，则回归系数 ˆ j与零 |tj | t n p
2
有显著差异，必须保留 x j 在原回归方程中，否则应 去掉 x j 重新建立回归方程。
5.自相关检验—DW检验
（1）DW检验
DW
2 e e i i 1 i 1 n
e
i 1
n
2 i
(4-46)
定义一个校正R2，记为 R 2
2 ˆ y y /( n p ) i i 2 R 1 2 y y /( n 1 ) i

2
2i
k
ki
i
bˆ0
X bˆ
1i
1
X 2 bˆ
1i
2
X X bˆ
2i 1i
k
XX ki 1i
XY 1i i

bˆ0
X bˆ
ki
1
X X bˆ
1i ki
2
X X bˆ
2i ki
k
X2 ki
XY ki i
X 2 ki


bˆk



X
k
Y
ii

2019-8-26
谢谢观赏
12
正规方程
矩阵形式
n

X
X


X 1i

X 1i
X2 1i
X 2i
X X 2i 1i
X ki
X X ki 1i



X 21
X 22
X 2n
X k1
X k2


X kn
u1
U


u

2

u n
2019-8-26
谢谢观赏
8
二. 参数估计(OLS)
参数值估计 参数估计量的性质 偏回归系数的含义 正规方程 样本容量问题
2019-8-26
0
11
22
kk
n个样本观测值(Y , X , X ,, X ) i 1,2,, n
i
1i
2i
ki
得：Y b b X b X b X u

ˆ
2
1 n
n
ei2
i1
这个估计量表面上好象是 2 的一个十分自然的估计量，
但是需要注意到，最小二乘残差并不是母体残差完整的
估计量，这是因为 ei yi xib i xi (b ) ，由于 是未知的，
因此这个估计量可能被扭曲了。
▪ 这说明，所猜想的方差估计量不行，而要寻 找2的无偏估计。
现在假设矩阵 D C (XX)1 X ，则有： Dy b0 b ，因此：
Var[ b0 | X] 2[(D (XX)1 X)][( D (XX)1 X)]
因为 CX I [D (XX)1 X]X ，则有： DX 0 ，因此有：
Var[ b0 | X] 2 (XX) 1 2 DD
其中：
tr(M) tr[In X(XX)1 X] tr(In ) tr[X(XX)1 X] n tr[XX(XX)1] n K
因此，
E[ee | X] (n K) 2
由此可知，上述猜想的方差的“自然估计”ˆ 2 是一个有偏估计，
虽然其偏异随着样本容量增加趋于零。根据上述期望的计算， 可以得到方差参数的无偏估计为：
量未解释的那部分离差的大小。
定理 残差平方和分解定理 对于包含常数项的线性回归模型而言，下述平方和分解公式成立：
SST SSR SSE
这说明整个“离差平方和”等于“回归平方和”加上“残差平方和”。
证明：根据矩阵 M0 的定义，则有： SST (M0y)(M0y) yM0y 其中 y Xb e ，代入得到：
假设X中包含常数项(所有列都是1)和一个回归变量x，
1
则
X
1 1
x1
x2
xn
n2
X X