当前位置：文档之家 › 计量经济学第四章 多元线性回归模型

计量经济学第四章 多元线性回归模型

  • 格式：ppt
  • 大小：673.01 KB
  • 文档页数：104

下载文档原格式

  / 104

合集下载

计量经济学课程第4章(多元回归分析)

计量经济学课程第4章(多元回归分析)
Page 2
§4.1 多元线性回归模型的两个例子
一、例题1：CD生产函数
Qt AKt 1 Lt 2 et
这是一个非线性函数，但取对数可以转变为一个 对参数线性的模型
ln Qt 0 1 ln Kt 2 ln Lt t
t ~ iid(0, 2 )
注意：“线性”的含义是指方程对参数而言是线 性的
R 2 1 RSS /(N K 1) TSS /(N 1)
调整思想： 对 R2 进行自由度调整。
Page 20
基本统计量TSS、RSS、ESS的自由度：
1.
TSS的自由度为N-1。基于样本容量N，TSS

N i1
(Yi
Y
)2
因为线性约束 Y 1 N
Y N
i1 i
而损失一个自由度。
分布的多个独立统计量平方加总，所得到的新统计量就服从
2 分布。
《计量经济学》，高教出版社2011年6月，王少平、杨继生、欧阳志刚等编著
Page 23
双侧检验
概 率 密 度
概率1－
0
2 1 / 2
2 /2
图4.3.1

2
（N-K-1）的双侧临界值
双侧检验：统计值如果落入两尾中的任何一个则拒绝原假设
《计量经济学》，高教出版社2011年6月，王少平、杨继生、欧阳志刚等编著
Page 24
单侧检验
概 率 密 度
概率 概率
0
2 1
2
图4.3.2 （2 N-K-1）的单侧临界值
H0：
2


2，
0
HA :

2


2 0

多元线性回归的计算模型

多元线性回归的计算模型

多元线性回归的计算模型多元线性回归模型的数学表示可以表示为：Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y表示因变量，Xi表示第i个自变量，βi表示第i个自变量的回归系数（即自变量对因变量的影响），ε表示误差项。

1.每个自变量与因变量之间是线性关系。

2.自变量之间相互独立，即不存在多重共线性。

3.误差项ε服从正态分布。

4.误差项ε具有同方差性，即方差相等。

5.误差项ε之间相互独立。

为了估计多元线性回归模型的回归系数，常常使用最小二乘法。

最小二乘法的目标是使得由回归方程预测的值与实际值之间的残差平方和最小化。

具体步骤如下：1.收集数据。

需要收集因变量和多个自变量的数据，并确保数据之间的正确对应关系。

2.建立模型。

根据实际问题和理论知识，确定多元线性回归模型的形式。

3.估计回归系数。

利用最小二乘法估计回归系数，使得预测值与实际值之间的残差平方和最小化。

4.假设检验。

对模型的回归系数进行假设检验，判断自变量对因变量是否显著。

5. 模型评价。

使用统计指标如决定系数（R2）、调整决定系数（adjusted R2）、标准误差（standard error）等对模型进行评价。

6.模型应用与预测。

通过多元线性回归模型，可以对新的自变量值进行预测，并进行决策和提出建议。

多元线性回归模型的计算可以利用统计软件进行，例如R、Python中的statsmodels库、scikit-learn库等。

这些软件包提供了多元线性回归模型的函数和方法，可以方便地进行模型的估计和评价。

在计算过程中，需要注意检验模型的假设前提是否满足，如果不满足可能会影响到模型的可靠性和解释性。

总而言之，多元线性回归模型是一种常用的预测模型，可以分析多个自变量对因变量的影响。

通过最小二乘法估计回归系数，并进行假设检验和模型评价，可以得到一个可靠的模型，并进行预测和决策。

计量经济学-多元回归PPT课件

计量经济学-多元回归PPT课件

. 28
F与t的关系（一元回归模型）
Y i B 1 B 2X 2 u
检验统计:t 量 b2 b2
b2 x2
sb2 ˆ / x2
e2
n2
t2
b22 x 2 e2
yˆ 2 / 1 e2
F
n2
n .2
29
. 5
4.3 多元回归参数的估计
Y i B 1 B 2 X 2 i B 3 X 3 i u i
最小二乘准则： 真实值与拟合值的离差平方和最小。
e n
n
2
i
Yi
2
Yˆi
i1
i1
n
2
Yi b1b2 X2i b3 X3i
i1
. 6
回归系数的OLS估计量
b1Yb2X2b3X3 b2x2i yx i2 2 i xx 3 23 2 ii (x 3 x i2 yiix3 i)x 22ix3i
-------------------------------------------------------------------------------------
y Coef. Std. Err. t P>|t| [95% Conf. Interval]
-------------------------------------------------------------------------------------
educ: 受教育的年数 exper: 工作经历 tenure: 现任职务的任期 当一个人在同一企业多待一年，对工资的影响？
. 19
多元回归的拟合优度R2
多元相关系数（复相关系数）： R 2 ✓ 度量因变量Y与所有解释变量的线性相关程度。 简单相关系数r： ✓ 度量因变量Y与解释变量Xi的线性相关程度。 ✓ 一元回归模型的r2=相关系数r的平方

计量经济学-多元线性回归模型

计量经济学-多元线性回归模型
多元线性回归模型的表达式
Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y为因变 量，X1, X2,..., Xk为自变量，β0, β1,..., βk为回归 系数，ε为随机误差项。
多元线性回归模型的假设条件
包括线性关系假设、误差项独立同分布假设、无 多重共线性假设等。
研究目的与意义
研究目的
政策与其他因素的交互作用
多元线性回归模型可以引入交互项，分析政策与其他因素（如技 术进步、国际贸易等）的交互作用，更全面地评估政策效应。
实例分析：基于多元线性回归模型的实证分析
实例一
预测某国GDP增长率：收集该国历史数据，包括GDP、投资、消费、出口等变量，建立 多元线性回归模型进行预测，并根据预测结果提出政策建议。
最小二乘法原理
最小二乘法是一种数学优化技术，用 于找到最佳函数匹配数据。
残差是观测值与预测值之间的差，即 e=y−(β0+β1x1+⋯+βkxk)e = y (beta_0 + beta_1 x_1 + cdots + beta_k x_k)e=y−(β0+β1x1+⋯+βkxk)。
在多元线性回归中，最小二乘法的目 标是使残差平方和最小。
t检验
用于检验单个解释变量对被解释变量的影响 是否显著。
F检验
用于检验所有解释变量对被解释变量的联合 影响是否显著。
拟合优度检验
通过计算可决系数（R-squared）等指标， 评估模型对数据的拟合程度。
残差诊断
检查残差是否满足独立同分布等假设，以验 证模型的合理性。
04
多元线性回归模型的检验与 诊断

计量经济学(庞浩主编)第四章练习题参考解答

计量经济学(庞浩主编)第四章练习题参考解答

第四章练习题参考解答练习题4.1 假设在模型i i i i u X X Y +++=33221βββ中，32X X 与之间的相关系数为零，于是有人建议你进行如下回归：ii i i i i u X Y u X Y 23311221++=++=γγαα(1)是否存在3322ˆˆˆˆβγβα==且？为什么？ (2)吗？或两者的某个线性组合或会等于111ˆˆˆγαβ (3)是否有()()()()3322ˆvar ˆvar ˆvar ˆvar γβαβ==且？ 4.2在决定一个回归模型的“最优”解释变量集时人们常用逐步回归的方法。

不我待在逐步回归中既可采取每次引进一个解释变量的程序(逐步向前回归)，也可以先把所有可能的解释变量都放在一个多元回归中，然后逐一地将它们剔除(逐步向后回归)。

加进或剔除一个变量，通常是根据F 检验看其对ESS 的贡献而作出决定的。

根据你现在对多重共线性的认识，你赞成任何一种逐步回归的程序吗？为什么？4.3 下表给出了中国商品进口额Y 、国内生产总值GDP 、消费者价格指数CPI 。

资料来源：《中国统计年鉴》，中国统计出版社2000年、20XX 年。

请考虑下列模型：i t t t u CPI GDP Y ++=ln ln ln 321βββ＋ (1)利用表中数据估计此模型的参数。

(2)你认为数据中有多重共线性吗？ (3)进行以下回归：it t i t t i t t v CPI C C GDP v CPI B B Y v GDP A A Y 321221121ln ln ln ln ln ln ++=+=+=＋＋根据这些回归你能对数据中多重共线性的性质说些什么？(4)假设数据有多重共线性，但32ˆˆββ和在5%水平上个别地显著，并且总的F 检验也是显著的。

对这样的情形，我们是否应考虑共线性的问题？4.4 自己找一个经济问题来建立多元线性回归模型，怎样选择变量和构造解释变量数据矩阵X 才可能避免多重共线性的出现？4.5 克莱因与戈德伯格曾用1921-1950年(1942-1944年战争期间略去)美国国内消费Y 和工资收入X1、非工资—非农业收入X2、农业收入X3的时间序列资料，利用OLSE 估计得出了下列回归方程：37.107 95.0 (1.09) (0.66) (0.17) (8.92) 3121.02452.01059.1133.8ˆ2==+++=F R X X X Y (括号中的数据为相应参数估计量的标准误)。

计量经济学多元线性回归ppt课件

计量经济学多元线性回归ppt课件
回归中因运算近似而导致的误差会比较大。
Beta系数
有时，我们会看见“规范化系数〞或“Beta系数 〞，这些称号有着特殊的意义
运用Beta系数是由于有时我们把y和各个x交换为 规范化版本——也就是，减去均值后除以规范离 差。
系数反映对于一单位x的规范离差的y的规范离差。
Beta系数
样本回归方程的标准形式是
多元回归分析 Multiple Regression Analysis
y = b0 + b1x1 + b2x2 + . . . bkxk + u
4.进一步的问题
本章大纲
数据的测度单位换算对OLS统计量的影响 对函数方式的进一步讨论 拟合优度和回归元选择的进一步讨论 预测和残差分析
课堂提纲PacksFa NhomakorabeaincIntercept
Observations R-squared SSR SER
Table 6.1
(1) bwght
(2)bwghtlbs
-0.4634 (0.0916) --
0.0927 (0.0292) 116.794 (1.049) 8 0.0298 557,485.51 20.063
定义：
y i y 2 to su to a s m flqu Sa S总 rT es平 y ˆi y 2expslu o am sifq nu e Sa d S r解 E es释
u ˆi2 ressiu d om su fqau S la S r残 R es 差平
SST= SSE + SSR
现 在 ， bˆ j 与 ˆ j的 关 系 如 何 ？
Beta系数
可以看到
yˆi
ˆ y

第四章 多元线性回归模型(计量经济学,潘省初)

第四章 多元线性回归模型(计量经济学,潘省初)

Y1 β 0 β 1 X 11 β 2 X 21 β 3 X 31 ... β K X K 1 u1 Y2 β 0 β 1 X 12 β 2 X 22 β 3 X 32 ... β K X K 2 u2 ...... Yn β 0 β 1 X 1n β 2 X 2 n β 3 X 3n ... β K X Kn un
ˆ 116.7 0.112 X 0.739 P Y (9.6) (0.003) (0.114)
R 2 0.99
Y和X的计量单位为10亿美元 (按1972不变价格计算).
食品价格平减指数 P 100，（ 1972 100） 总消费支出价格平减指数
3
多元线性回归模型中斜率系数的含义
上述假设条件可用矩阵表示为以下四个条件：
9
(1) E(u)=0 (2)
由于
E (uu) 2 I n
u1 u2 uu u1 u2 ... u n
2
u12 u1u2 ...... u1un 2 u2u1 u2 ...... u2un ... un ................................. 2 unu1 unu2 ...... un
一．假设条件 （1）E(ut)=0, t=1,2,…,n （2）E(ui uj)=0, i≠j （3）E(ut2)=σ2, t=1,2,…,n （4）Xjt是非随机量， j=1,2, … k
t=1,2, … n
8
除上面4条外，在多个解释变量的情况下，还有 两个条件需要满足： （5）（K+1）< n; 即观测值的数目要大于待估计的参数的个数 （要有足够数量的数据来拟合回归线）。 （6）各解释变量之间不存在严格的线性关系。

计量经济学 )多元线性回归模型的统计检验

计量经济学 )多元线性回归模型的统计检验
i i
ˆ) 0 X i1 (Yi Y i
ˆ) 0 X i 2 (Yi Y i
… X (Y Y ˆ) 0 ik i i
所以 从而
ˆ )(Y ˆ Y ) 0 (Y Y
i i
ˆ ) 2 (Y ˆ Y )2 (Y Y ) (Y Y i i i i
解释的那部分离差的大小。
• 那么，TSS、ESS、RSS之间存在的如下关系：
总离差平方和 = 回归平方和 + 残差平方和
TSS
=
ESS
+
RSS
关于TSS=ESS+ RSS的证明过程（教材P73） 证明： 将TSS，即总离差平方和进行分解：
ˆ ) (Y ˆ Y )) 2 TSS (Y Y ) 2 ((Y Y
• 拟合优度检验：检验模型对样本观测值的拟合 程度。
• 在一元回归模型中，拟合优度检验是通过构造 一个可以表征拟合程度的统计量R2来实现。
• 在多元回归模型中，也可以用该统计量来衡量 样本回归线对样本观测值的拟合程度。
总离差平方和、回归平方和及残差平方和
• 定义
TSS (Y Y ) 2
i

2 ˆ y i
y
2 i
1
yi
ei
2 2
检验模型的拟合优度。 R2叫做多重可决系数，也简称为可决系数或判定系数。
毫无疑问，R2越接近于1，模型的拟合优度越高。 但是在应用过程中人们发现，如果在模型中增加一个解释变量， 那么模型的回归平方和随之增大，从而R2也随之增大。 这就给人一个错觉：要使模型拟合得好，就必须增加解释变量。 所以，用来检验拟合优度的统计量必须能够防止这种倾向。
说 明

计量经济学多元线性回归

计量经济学多元线性回归

Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X Ki
i=1,2…n
• 根据最 小二乘原 理，参数 估计值应
该是右列
方程组的 解
ˆ
0
Q
0
ˆ1
Q
0
ˆ
2
Q
0
ˆ k
Q
0
n
n
其
Q ei2 (Yi Yˆi )2
i 1
i 1
中n
2
(Yi (ˆ0 ˆ1 X1i ˆ2 X 2i ˆk X ki ))
可以证明，随机误差项u的方差的无偏估 计量为：
ˆ 2
e
2 i
e e
n k 1 n k 1
2、极大似然估计
• 对于多元线性回归模型
易知 Yi ~ N (Xiβ , 2 )
• Y的随机抽取的n组样本观测值的联合概率
L(βˆ , 2 ) Y1,Y2 ,,Yn )
1
e
1 2
2
(Yi
(
ˆ0
ˆ1
i1
• 于是得到关于待估参数估计值的正规方程组：
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki) ) X 1i )X 2i
Yi Yi Yi
X 1i X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
ei称为残差或剩余项(residuals)，可看成是 总体回归函数中随机扰动项ui的近似替代。
样本回归函数的矩阵表达:
Yˆ Xβˆ
其中：
ˆ0
βˆ
ˆ1
ˆ k

多元线性回归模型计量经济学

多元线性回归模型计量经济学
。
多重共线性诊断
通过计算自变量之间的相关系 数、条件指数等方法诊断是否
存在多重共线性问题。
异方差性检验
通过计算异方差性统计量、图 形化方法等检验误差项是否存
在异方差性。
03
多元线性回归模型的应用
经济数据的收集与整理
原始数据收集
通过调查、统计、实验等方式获取原始数据，确保数据的真实性 和准确性。
数据清洗和整理
在实际应用中，多元线性回归模型可能无法处理 非线性关系和复杂的数据结构，需要进一步探索 其他模型和方法。
随着大数据和人工智能技术的发展，多元线性回 归模型的应用场景将更加广泛和复杂，需要进一 步探索如何利用新技术提高模型的预测能力和解 释能力。
07
参考文献
参考文献
期刊论文
学术期刊是学术研究的重要载体， 提供了大量关于多元线性回归模 型计量经济学的最新研究成果。
学位论文
学位论文是学术研究的重要组成 部分，特别是硕士和博士论文， 对多元线性回归模型计量经济学 进行了深入的研究和探讨会议论文集中反映了多元线性回 归模型计量经济学领域的最新进 展和研究成果。
THANKS
感谢观看
模型定义
多元线性回归模型是一种用于描 述因变量与一个或多个自变量之 间线性关系的统计模型。
假设条件
假设误差项独立同分布，且误差项 的均值为0，方差恒定；自变量与 误差项不相关；自变量之间不存在 完全的多重共线性。
模型参数估计
最小二乘法
01
通过最小化残差平方和来估计模型参数，是一种常用的参数估
计方法。
05
案例分析
案例选择与数据来源
案例选择
选择房地产市场作为案例，研究房价 与影响房价的因素之间的关系。

多元线性回归模型

多元线性回归模型

多元线性回归模型引言：多元线性回归模型是一种常用的统计分析方法，用于确定多个自变量与一个连续型因变量之间的线性关系。

它是简单线性回归模型的扩展，可以更准确地预测因变量的值，并分析各个自变量对因变量的影响程度。

本文旨在介绍多元线性回归模型的原理、假设条件和应用。

一、多元线性回归模型的原理多元线性回归模型基于以下假设：1）自变量与因变量之间的关系是线性的；2）自变量之间相互独立；3）残差项服从正态分布。

多元线性回归模型的数学表达式为：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε其中，Y代表因变量，X1，X2，...，Xn代表自变量，β0，β1，β2，...，βn为待估计的回归系数，ε为随机误差项。

二、多元线性回归模型的估计方法为了确定回归系数的最佳估计值，常采用最小二乘法进行估计。

最小二乘法的原理是使残差平方和最小化，从而得到回归系数的估计值。

具体求解过程包括对模型进行估计、解释回归系数、进行显著性检验和评价模型拟合度等步骤。

三、多元线性回归模型的假设条件为了保证多元线性回归模型的准确性和可靠性，需要满足一定的假设条件。

主要包括线性关系、多元正态分布、自变量之间的独立性、无多重共线性、残差项的独立性和同方差性等。

在实际应用中，我们需要对这些假设条件进行检验，并根据检验结果进行相应的修正。

四、多元线性回归模型的应用多元线性回归模型广泛应用于各个领域的研究和实践中。

在经济学中，可以用于预测国内生产总值和通货膨胀率等经济指标；在市场营销中，可以用于预测销售额和用户满意度等关键指标；在医学研究中，可以用于评估疾病风险因素和预测治疗效果等。

多元线性回归模型的应用可以为决策提供科学依据，并帮助解释变量对因变量的影响程度。

五、多元线性回归模型的优缺点多元线性回归模型具有以下优点：1）能够解释各个自变量对因变量的相对影响；2）提供了一种可靠的预测方法；3）可用于控制变量的效果。

然而，多元线性回归模型也存在一些缺点：1）对于非线性关系无法准确预测；2）对异常值和离群点敏感；3）要求满足一定的假设条件。

计量经济学第二版第四章课后习题答案

计量经济学第二版第四章课后习题答案

4.31)建立经济模型：i t t t CPI GDP Y μβββ+++=ln ln ln 321其中 Y 表示为商品进口额，GDP 表示为国内生产总值，CPI 表示为居民消费价格指数。

模型参数估计结果：t t t CPI GDP Y ln 057053.1ln 656674.1060149.3ln -+-=（0.337427）（0.092206） （0.214647）t= (-9.069059) (17.96703) (-4.924618)992218.02=R 991440.02=RF=1275.093(2)居民消费价格指数的回归系数的符号不能进行合理的经济意义解释，且CPI 与进口之间的简单相关系数呈现正向变动。

可能数据中有多重共线性。

计算相关系数:从上图可知， GDP 与CPI 之间存在较高的线性相关。

3）已知：i t t GDP A A Y 121ln ln μ++= i t t CPI B B Y 221ln ln μ++= i t t CPI C C GDP 321ln ln μ++=对以上三个模型分别进行回归，结果如下：t t GDP Y ln 218573.1090667.4ln +-=（0.384252） (0.035196)t= (-10.64579) (34.62222)982783.02=R 981963.02=R F=1198.698t t CPI Y ln 253662.1442420.5ln +-=（1.253662） (0.228046)t= (-4.341218) (11.68091)866619.02=R 860268.02=R F=136.4437t t CPI GDP 245971.2437984.1ln +-=（0.734328） (0.133577)t= (-1.958231) (16.81400)930855.02=R 927563.02=R F=282.7107单方程拟合效果都很好，回归系数显著，可决系数较高，GDP 和CPI 对进口分别有显著的单一影响，在这两个变量同时引入模型时影响方向发生了改变，这只有通过相关系数的分析才能发现。

计量经济学复习笔记（四）：多元线性回归

计量经济学复习笔记（四）：多元线性回归

计量经济学复习笔记（四）：多元线性回归⼀元线性回归的解释变量只有⼀个，但是实际的模型往往没有这么简单，影响⼀个变量的因素可能有成百上千个。

我们会希望线性回归模型中能够考虑到这些所有的因素，⾃然就不能再⽤⼀元线性回归，⽽应该将其升级为多元线性回归。

但是，有了⼀元线性回归的基础，讨论多元线性回归可以说是轻⽽易举。

另外我们没必要分别讨论⼆元、三元等具体个数变量的回归问题，因为在线性代数的帮助下，我们能够统⼀讨论对任何解释变量个数的回归问题。

1、多元线性回归模型的系数求解多元线性回归模型是⽤k 个解释变量X 1,⋯,X k 对被解释变量Y 进⾏线性拟合的模型，每⼀个解释变量X i 之前有⼀个回归系数βi ，同时还应具有常数项β0，可以视为与常数X 0=1相乘，所以多元线性回归模型为Y =β0X 0+β1X 1+β2X 2+⋯+βk X k +µ,这⾥的µ依然是随机误差项。

从线性回归模型中抽取n 个样本构成n 个观测，排列起来就是Y 1=β0X 10+β1X 11+β2X 12+⋯+βk X 1k +µ1,Y 2=β0X 20+β1X 21+β2X 22+⋯+βk X 2k +µ2,⋮Y n =β0X n 0+β1X n 1+β2X n 2+⋯+βk X nk +µn .其中X 10=X 20=⋯=X n 0=1。

⼤型⽅程组我们会使⽤矩阵表⽰，所以引⼊如下的矩阵记号。

Y =Y 1Y 2⋮Y n,β=β0β1β2⋮βk,µ=µ1µ2⋮µn.X =X 10X 11X 12⋯X 1k X 20X 21X 22⋯X 2k ⋮⋮⋮⋮X n 0X n 1X n 2⋯X nk.在这些矩阵表⽰中注意⼏点：⾸先，Y 和µ在矩阵表⽰式中都是n 维列向量，与样本容量等长，在线性回归模型中Y ,µ是随机变量，⽽在矩阵表⽰中它们是随机向量，尽管我们不在表⽰形式上加以区分，但我们应该根据上下⽂明确它们到底是什么意义；β是k +1维列向量，其长度与Y ,µ没有关系，这是因为β是依赖于变量个数的，并且加上了对应于常数项的系数（截距项）β0；最后，X 是数据矩阵，且第⼀列都是1。

多元线性回归模型实验报告 计量经济学

多元线性回归模型实验报告 计量经济学

多元线性回归模型实验报告计量经济学多元线性回归模型是一种比较常见的经济学建模方法，其可用于对多个自变量和一个因变量之间的关系进行分析和预测。

在本次实验中，我们将使用一个包含多个自变量的数据集，对其进行多元线性回归分析，并对分析结果进行解释。

数据集介绍本次实验使用的数据集来自于UCI Machine Learning Repository，数据集包含有关汽车试验的多个自变量和一个连续因变量。

数据集中包含了204条记录，其中每条记录包含了一辆汽车的14个属性，分别是：MPG（燃油效率），气缸数（Cylinders）、排量（Displacement）、马力（Horsepower）、重量（Weight）、加速度（Acceleration）、模型年（Model Year）、产地（Origin）等。

模型建立在进行多元线性回归分析之前，我们首先需要对数据进行预处理。

为了确保数据的可用性，我们需要先检查数据是否存在缺失值和异常值。

如果有，需要进行相应的处理，以确保因变量和自变量之间的关系受到了正确地分析。

在对数据进行预处理之后，我们可以使用Python中的statsmodels包来对数据进行多元线性回归分析。

具体建模过程如下：```import statsmodels.api as sm# 准备自变量和因变量数据X = data[['Cylinders', 'Displacement', 'Horsepower', 'Weight', 'Acceleration', 'Model Year', 'Origin']]y = data['MPG']# 添加常数项X = sm.add_constant(X)# 拟合线性回归模型model = sm.OLS(y, X).fit()# 输出模型摘要print(model.summary())```在上述代码中，我们首先通过data[['Cylinders', 'Displacement', 'Horsepower', 'Weight', 'Acceleration', 'Model Year', 'Origin']]选择了所有自变量列，用于进行多元线性回归分析；然后，我们又通过`sm.add_constant(X)`，向自变量数据中添加了一列全为1的常数项，用于对截距进行建模；最后，我们使用`sm.OLS(y, X).fit()`来拟合线性回归模型，并使用`model.summary()`输出模型摘要。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

K
=
(X' X)
β
1
X11
...
X
K1
1 ... 1 Y1
X12
...
X1n
Y2
... ... ... ...
XK2
...
X
Kn
Yn
X'
Y
即 (X' X)β X'Y
β(XX)1XY
15
三. 最小二乘估计量 β 的性质
我们的模型为 YXu
估计式为
Yˆ
Xβ
1．β 的均值
β(XX)1XY
因而 ˆ 是线性估计量。
23
现设 *为 的任意一个线性无偏估计量，即 * cY
其中 c 是一个(K+1)*n非随机元素矩阵。则
* c Y c (X u ) c X c u
E( *) E(c X cu) c X cE(u) cX
显然，若要 * 为无偏估计量，即 E(*) ，只有
问题是选择 ˆ0,ˆ1,....ˆ,k ，使得残差平方和最小。
残差为：
et Yt Y ˆt
Yt ˆ0ˆ1X1t ....ˆKXKt
12
要使残差平方和
S e t2 Y t ˆ 0 ˆ 1 X 1 t ... ˆ K X K t2
为最小，则应有：
S ˆ00 , S ˆ10 , ..., ˆ S K0
、 (6) 两 条 即矩阵X的秩 =（K+1)< n 当然，为了后面区间估计和假设检验的需要，还 要加上一条：
（5） u t ～ N(0,2) ，t=1,2,…n
11
二．最小二乘估计
我们的模型是： Y t 0 1 X 1 t 2 X 2 t . . . k X k t u t t=1,2,…n
E X X 1 X u u X X X 1
X X 1 X E u u X X X 1
X X 1 X 2 In X X X 1 X X 1X X X X 1 2
XX12
20
如前所述，我们得到的实际上不仅是β 的方差，而且是
一个方差-协方差矩阵，为了反映这一事实，我们用下面的 符号表示之：
......
......
β0
Xkt β1
Xkt X1t ......βK
XKt 2
XktYt
按矩阵形式，上述方程组可表示为：
14
n
X1t
...
XKt
X1t X1t 2
...
XKtX1t
...
XKt
β
0
...
...
...
X1t XKt
...
XKt2
β 1
..
β
与双变量线性模型相似， 2的无偏估计量是
ˆ2
et 2
n (K 1)
分母是 et2 的自由度，这是因为我们在估计
的过程中，失去了（K+1）个自由。
β0,β1,.
.β.k
4． 高斯-马尔科夫定理
对于 YXβu 以及标准假设条件（1）-（4），
普通最小二乘估计量是最佳线性无偏估计量（BLUE）
22
我们得到如下K+1个方程（即正规方程）：
13
β0 n
β1 X1t ......βK XKt Yt
β0 X1t β1 X1t2 ......βK X1t XKt X1tYt
β0 X2t β1 X2t X1t ......βK X2t XKt X2tYt
......
......
即 IDXI
因而有 DX 0
cc(XX)1XD(XX)1XD (XX)1XDX(XX)1D
(XX)1XX(XX)1(XX)1XD D X(XX)1D D
由 DX 0从而 XD 0，因此上式中间两项为0，我们有
cc(XX)1D D
26
因此
Var ( *) 2 c c
2 ( X X ) 1 D D
cX I ， I 为（K+1）阶单位矩阵。
24
* 的方差为：
Var ( * ) Var (c X cu)
Var (cu) c Var (u) c
2 cc
我们可将 c 写成 c(XX)1XD
从而将 的任意线性无偏估计量 * 与OLS估计量 ˆ 联系
起来。
25
由 cX I 可推出： (X X ) 1X XD XI
1
X
1
...
1
X 11 X 12 ... X 1n
... ... ... ...
X K1
X
K
2
...
X
Kn
0 1
2
,
...
K
u 1
u
u2
... un
注:转“矩阵代数基础”
7
第二节 多元线性回归模型的估计
多元线性回归模型的估计与双变量线性模型类似，仍采用 OLS法。当然，计算要复杂得多，通常要借助计算机。理论 推导需借助矩阵代数。下面给出普通最小二乘法应用于多元 线性回归模型的假设条件、估计结果及所得到的估计量的性 质。
YY YXβ
30
而
Y Y 2 Y 2 n Y 2 Y Y n Y 2
将上述结果代入R2的公式，得到：
R2 1 Ye2Y2
YY2 e2 YY2
YYnY2(YYYXˆ)
YYnY2
YX ˆ nY 2
YY nY 2
这就是决定系数 R2 的矩阵形式。
31
二．修正决定系数：R 2
残差平方和的一个特点是，每当模型增加一个解 释变量，并用改变后的模型重新进行估计，残差平 方和的值会减小。
在这个模型中，Y由X1、X2、X3、… XK所解释， 有K+1个未知参数β0、β1、β2、…βK 。
这里，“斜率”βj的含义是其它变量不变的情况 下，Xj改变一个单位对因变量所产生的影响。
2
例1： Y β 0 β 1X β 2P u
其中，Y=在食品上的总支出 X=个人可支配收入 P=食品价格指数
我们已在上一段中证明了无偏性，下面证明线性和最小方 差性。证明的路子与双变量模型中类似，只不过这里我们采 用矩阵和向量的形式。
由OLS估计量 ˆ 的公式
β(XX)1XY
可知, ˆ 可表示为一个矩阵和因变量观测值向量 Y 的乘积：
ˆ kY
其中 k(XX)1X 是一个 (K+1)*n 非随机元素矩阵。
17
2．β 的方差
为求Var( β )，我们考虑
Eβ ββ β
这是一个（K+1）*(K+1)矩阵，其主对角线上元素即
构成
Var(
β
)，非主对角线元素是相应的协方差，如
下所示：
18
β0β0
E
β1β1
...
β0β0
βKβK
β1β1
...
βKβK
V a(β r 0)
C
o(vβ1,β0)
...
3
多元线性回归模型中斜率系数的含义
上例中斜率系数的含义说明如下： 价格不变的情况下，个人可支配收入每上升10
亿美元（1个billion），食品消费支出增加1.12亿 元（0.112个 billion）。
收入不变的情况下，价格指数每上升一个点， 食品消费支出减少7.39亿元（0.739个billion）
第四章 多元线性回归模型
简单线性回归模型的推广
1
第一节 多元线性回归模型的概念
在许多实际问题中，我们所研究的因变量的变动 可能不仅与一个解释变量有关。因此，有必要考虑线 性模型的更一般形式，即多元线性回归模型：
Y t β 0 β 1 X 1 t β 2 X 2 t . .β k .X k t u t t=1,2,…,n
由此可以推论，决定系数是一个与解释变量的个 数有关的量：
解释变量个数增加 e2 减小 R2 增大
也就是说，人们总是可以通过增加模型中解释变量 的方法来增大 R2 的值。因此，用 R2 来作为拟合优 度的测度，不是十分令人满意的。
Y=α+βX + u
我们有
R2
1
e2 Y Y2
其中， e2 =残差平方和
28
对于多元线性模型
Y 01 X 1 . ..K X K u
我们可用同样的方法定义决定系数：
R2
解释变差 总变差1
e2 Y Y
2
或 R2 ESS1 RSS TSS TSS
为方便计算，我们也可以用矩阵形式表示R2
29
e 我们有：残差
Y Y
其中， Y X β
残差平方和：
et 2 ee
(Y Y)(Y Y) (YXβ)(YXβ)
(YβX)Y (Xβ)
Y Y β X Y Y X β β X X β
Y Y β X Y Y X β β X X (X X ) 1 X Y
Y Y β X Y Y X β β X Y
C
o(vβK,β0)
Co(vβ0,β1)
Va(β r1)
...
Co(vβK,β1)
... Co(vβ0,βK) ... Co(vβ1,βK)
...
...
...
Va(β r K)
下面推导此矩阵的计算公式.
19
由上一段的结果，我们有 因此
ββ(XX)1Xu
E β β β β E X X 1 X uX X 1 X u
一．假设条件 （1）E(ut)=0, t=1,2,…,n （2）E(ui uj)=0, i≠j （3）E(ut2)=σ2, t=1,2,…,n （4）Xjt是非随机量， j=1,2, … k