第二章回归分析基本方法

第⼆章：双变量线性回归分析第三部分初计量经济（13周）经典单⽅程计量经济模型：⼀元线形回归模型经典单⽅程计量经济模型：多元线形回归模型经典单⽅程计量经济模型：放宽基本假定模型第⼀章⼀元线性回归（双变量）（1）回归分析的基本概念（2）前提建设（3）参数估计：OLS的参数估计ML的参数估计（4）统计检验（5）预测（6）时间案例与操作（7）思考与作业§1 经典正态线性回归模型（CNLRM）1、⼀个例⼦注 x 表⽰收⼊，y 表⽰⽀出。

5010015020050100150200250300XYY vs. X5010015020050100150200250300XY 1Y1 vs. X条件分布：以X 取定值为条件的Y 的条件分布条件概率：给定X 的Y 的概率，记为P(Y|X)。

例如，P(Y=55|X=80)=1/5；P （Y=150|X=260）=1/7。

条件期望（conditional Expectation ）：给定X 的Y 的期望值，记为E(Y|X)。

例如，E(Y|X=80)=55×1/5＋60×1/5＋65×1/5＋70×1/5＋75×1/5＝65总体回归曲线（Popular Regression Curve ）（总体回归曲线的⼏何意义）：当解释变量给定值时因变量的条件期望值的轨迹。

总结总体：总体函数：总体⽅程：样本：样本函数：样本⽅程：2、总体回归函数（PRF）E(Y|X i)=f(X i)当PRF的函数形式为线性函数，则有，E(Y|X i)=β1+β2X i其中β1和β2为未知⽽固定的参数，称为回归系数。

β1和β2也分别称为截距和斜率系数。

上述⽅程也称为线性总体回归函数。

3、PRF的随机设定将个别的Y I围绕其期望值的离差(Deviation)表述如下：u i=Y i-E(Y|X i)或Y i=E(Y|X i)+u i其中u i是⼀个不可观测的可正可负的随机变量，称为随机扰动项或随机误差项。

第二章一元线性回归模型一、知识点列表二、关键词1、回归分析基本概念关键词：回归分析在计量经济学中，回归分析方法是研究某一变量关于另一（些）变量间数量依赖关系的一种方法，即通过后者观测值或预设值来估计或预测前者的（总体）均值。

回归的主要作用是用来描述自变量与因变量之间的数量关系，还能够基于自变量的取值变化对因变量的取值变化进行预测，也能够用来揭示自变量与因变量之间的因果关系关键词：解释变量、被解释变量影响被解释变量的因素或因子记为解释变量，结果变量被称为被解释变量。

2、回归模型的设定关键词：随机误差项（随机干扰项）不包含在模型中的解释变量和其他一些随机因素对被解释变量的总影响称为随机误差项。

产生随机误差项的原因主要有：（1）变量选择上的误差；（2）模型设定上的误差；（3）样本数据误差；（4）其他原因造成的误差。

关键词：残差项（residual ）通过样本数据对回归模型中参数估计后，得到样本回归模型。

通过样本回归模型计算得到的样本估计值与样本实际值之差，称为残差项。

也可以认为残差项是随机误差项的估计值。

3、一元线性回归模型中对随机干扰项的假设 关键词：线性回归模型经典假设线性回归模型经典假设有5个，分别为：（1）回归模型的正确设立；（2）解释变量是确定性变量，并能够从样本中重复抽样取得；（3）解释变量的抽取随着样本容量的无限增加，其样本方差趋于非零有限常数；（4）给定被解释变量，随机误差项具有零均值，同方差和无序列相关性。

（5）随机误差项服从零均值、同方差的正态分布。

前四个假设也称为高斯马尔科夫假设。

4、最小二乘估计量的统计性质关键词：普通最小二乘法（Ordinary Least Squares ，OLS ）普通最小二乘法是通过构造合适的样本回归函数，从而使得样本回归线上的点与真实的样本观测值点的“总体误差”最小，即：被解释变量的估计值与实际观测值之差的平方和最小。

ββ==---∑∑∑nn n222i i 01ii=111ˆˆmin =min ()=min ()i i i i u y y y x关键词：无偏性由于未知参数的估计量是一个随机变量，对于不同的样本有不同的估计量。

第二章回归分析中的几个基本概念第一节回归的含义“回归”(Regression)一词最初是由英国生物学家兼统计学家F.Galton(F·高尔顿)在一篇著名的遗传学论文中引入的(1877年)。

他在研究中发现，具有较高身躯的双亲，或具有较矮身躯的双亲尔，其子女的身高表现为退回(即回归)到人的平均身高趋势。

这一回归定律后来被统计学家K·Pearson通过上千个家庭成员身高的实际调查数据进一步得到证实，从而产生了“回归”这一名称。

然而，现代意义上的“回归”比其原始含义要广得多。

一般来说，现代意义上的回归分析是研究一个变量（也称为explained variable或因变量dependent variable）对另一个或多个变量（也称为解释变量explanatory variable或自变量independent variable ）的依赖关系，其目的在于通过解释变量的给定值来预测被解释变量的平均值或某个特定值。

具体而言，回归分析所要解决的问题主要有：（1）确定因变量与自变量之间的回归模型，并依据样本观测值对回归模型中的参数进行估计，给出回归方程。

（2）对回归方程中的参数和方程本身进行显著性检验。

（3）评价自变量对因变量的贡献并对其重要性进行判别。

（4）利用所求得的回归方程，并根据自变量的给定值对因变量进行预测，对自变量进行控制。

第二节统计关系与回归分析一、变量之间的统计关系现象之间的相互联系一般可以分为两种不同的类型：一类为变量间的关系是确定的，称为函数关系；而另一类变量之间的关系是不确定的，称为统计关系。

变量之间的函数关系表达的是变量之间在数量上的确定性关系，即一个或几个变量在数量上的变动就会引起另一个变量在数量上的确定性变动，它们之间的关系可以用函数关系y f x=准确地加以描述，这里x可以是一个向量。

当知道了变量x的值，就可以计算出一()个确切的y值来。

变量之间统计关系，是指一个或几个变量在数量上的变动会引起另一个变量数量上发生变动，但变动的结果不是惟一确定的，亦即变量之间的关系不是一一对应的，因而不能用函数关系进行表达。

第二章 回归分析与相关分析§3 多元线性回归分析在现实地理系统中，任何事物的变化都是多种因素影响的结果，一因多果、一果多因的情况比比皆是。

为了处理一果多因的因果关系问题，我们需要掌握多元线性回归知识。

本节着重讲述二元线性回归分析。

至于三元以上，基本原理可以依此类推。

1 基本模型二元线性回归模型可以表为2211x b x b a y ++=, （3-1）式中a 、b 1、b 2为待定的偏回归参数（partial regression coefficient ）。

理论上的预测模型为i i i x b x b a y2211ˆ++=. （3-2） 原则上讲，式（3-2）中的参数a 、b 1、b 2与式（3-1）中的a 、b 1、b 2是有区别的：式（3-1）的是真实的系数值，式（3-2）的是计算的系数值。

但为了方便起见，我们不作符号上的区分。

实测数据的模型可以表作d yd x b x b a y i i i i i ±=±++=ˆ2211, （3-3） 从而i i i i i i x b x b a y yy d 2211ˆ---=-=. （3-4） 令min )(12221112→---==∑∑==ni i i i n i i x b x b a y d S . （3-5）为求极值，分别对a 、b 1、b 2求偏导，并令其为零，可得0)(22211=---=∂∂∑ii i i x b x b a y a S, （3-6） 0)(2122111=---=∂∂∑i ii i i x x b x b a y b S, （3-7）0)(2222111=---=∂∂∑i ii i i x x b x b a y b S. （3-8） 上面三式可以化为正规方程形式⎪⎪⎩⎪⎪⎨⎧=++=++=++∑∑∑∑∑∑∑∑∑∑∑i i i i i ii i i i i i i i i y x x b x x b x a y x x x b x b x a y x b x b an 22222112121221112211. （3-9） 根据线性代数的有关原理，可令∑∑∑∑∑∑∑∑∑=222122121121iiiiiiiiiii i i x x x y x xx x y x xx y A , ∑∑∑∑∑∑∑∑=2222211121ii iiiiiii i i x y x xx x y x x x y nB ,∑∑∑∑∑∑∑∑=iiiiii iiii i yx x x x yx x x yx n B 2212121112, ∑∑∑∑∑∑∑∑=222122121121iiiiiiii i i xx x xx x x x x x nC .借助Cramer 法则容易得到C Aa =，C B b 11=，CB b 12=. （3-10） 2 回归结果的检验检验的类型与一元线性回归相似，包括相关系数检验、标准误差检验、F 检验、t 检验和DW 检验。

计量经济学第二章一元线性回归模型第二章一元线性回归模型第一节一元线性回归模型及其古典假定第二节参数估计第三节最小二乘估计量的统计特性第四节统计显著性检验第五节预测与控制第一节回归模型的一般描述（1）确定性关系或函数关系：变量之间有唯一确定性的函数关系。

其一般表现形式为：一、回归模型的一般形式变量间的关系经济变量之间的关系，大体可分为两类：（2.1)（2）统计关系或相关关系：变量之间为非确定性依赖关系。

其一般表现形式为：(2.2)例如：函数关系：圆面积S =统计依赖关系/统计相关关系：若x和y之间确有因果关系，则称(2.2)为总体回归模型，x(一个或几个）为自变量（或解释变量或外生变量），y为因变量（或被解释变量或内生变量），u为随机项，是没有包含在模型中的自变量和其他一些随机因素对y的总影响。

一般说来，随机项来自以下几个方面：1、变量的省略。

由于人们认识的局限不能穷尽所有的影响因素或由于受时间、费用、数据质量等制约而没有引入模型之中的对被解释变量有一定影响的自变量。

2、统计误差。

数据搜集中由于计量、计算、记录等导致的登记误差；或由样本信息推断总体信息时产生的代表性误差。

3、模型的设定误差。

如在模型构造时，非线性关系用线性模型描述了；复杂关系用简单模型描述了；此非线性关系用彼非线性模型描述了等等。

4、随机误差。

被解释变量还受一些不可控制的众多的、细小的偶然因素的影响。

若相互依赖的变量间没有因果关系，则称其有相关关系。

对变量间统计关系的分析主要是通过相关分析、方差分析或回归分析(regression analysis)来完成的。

他们各有特点、职责和分析范围。

相关分析和方差分析本身虽然可以独立的进行某些方面的数量分析，但在大多数情况下，则是和回归分析结合在一起，进行综合分析，作为回归分析方法的补充。

回归分析(regression analysis)是研究一个变量关于另一个（些）变量的具体依赖关系的计算方法和理论。

第二章回归分析中的几个基本概念1. 回归模型（Regression Model）：回归模型是回归分析的基础，用来描述两个或多个变量之间的关系。

回归模型通常包括一个或多个自变量和一个或多个因变量。

常用的回归模型有线性回归模型和非线性回归模型。

线性回归模型是最简单的回归模型，其中自变量和因变量之间的关系可以用一条直线来表示。

线性回归模型的表达式为：Y=β0+β1*X1+β2*X2+...+βn*Xn+ε其中，Y表示因变量，X1、X2、…、Xn表示自变量，β0、β1、β2、…、βn表示回归系数，ε表示误差项。

2. 回归系数（Regression Coefficients）：回归系数是回归模型中自变量的系数，用来描述自变量对因变量的影响程度。

回归系数可以通过最小二乘法估计得到，最小二乘法试图找到一组系数，使得模型的预测值和实际观测值的误差平方和最小。

回归系数的符号表示了自变量与因变量之间的方向关系。

如果回归系数为正，表示自变量的增加会使因变量增加，即存在正向关系；如果回归系数为负，表示自变量的增加会使因变量减少，即存在负向关系。

3. 拟合优度（Goodness-of-fit）：拟合优度是用来评估回归模型对样本数据的拟合程度。

通常使用R方（R-squared）来度量拟合优度。

R 方的取值范围在0到1之间，越接近1表示模型对数据的拟合程度越好。

R方的解释是，回归模型中自变量的变异能够解释因变量的变异的比例。

例如，如果R方为0.8，表示模型中自变量解释了因变量80%的变异，剩下的20%可能由其他未考虑的因素引起。

4. 显著性检验（Significance Test）：显著性检验用于判断回归模型中自变量的系数是否显著不为零，即自变量是否对因变量有显著影响。

常用的方法是计算t值和p值进行检验。

t值是回归系数除以其标准误得到的统计量。

p值是t值对应的双侧检验的概率。

如果p值小于给定的显著性水平（通常是0.05），则可以拒绝原假设，即认为回归系数显著不为零，即自变量对因变量有显著影响。

第二章 回归分析概要第三节 一元线性回归模型的统计检验根据第一章第二节里，我们讲过的计量经济学模型检验规则可知，在利用OLS 法估计了一元线性回归模型的参数，并确定了样本回归线后，首先要根据经济理论及实际问题中X 和Y 的对应关系，对回归系数的符号、大小及相互关系进行直观判断，如果上述检验通过的话，还须对估计值进行统计学检验。

回归分析是要通过样本所估计的参数来代替总体的真实参数，或者说是用样本回归线来替代总体回归线。

尽管，从统计性质上已知，如果有足够多的重复抽样，参数的估计值的期望（均值）就等于总体的参数真值，但是，在一次抽样中，估计值不一定就等于该真值。

那么，在一次抽样中，参数的估计值与真值的差异有多大，是否显著，这就需要进一步进行统计检验，主要包括拟合优度检验、变量的显著性检验以及参数检验的置信区间估计。

一、拟合优度检验拟合优度检验，顾名思义，是检验模型对样本观测值的拟合程度（即回归直线对观测值的拟合程度）。

显然，若样本观测值离回归直线越近，则拟合优度越好，X 对Y 的解释程度越强；反之，则拟合优度差，X 对Y 的解释程度弱。

（参看课本44页图3.2.3）因为样本值太多，分别考察每一个离差是不切实际的，又为了克服绝对值符号在计算上带来的不便，因此，常使用离差平方和来考察总离差（推导过程课本44页）。

被解释变量的总离差平方和TSS可解释平方和（回归平方和）ESS 残差平方和RSS 因此，显然，ESS 在TSS 的构成中所占比例越大，RSS 在TSS 中所占的比例就越小，说明回归参数估计值的显著性越强，即样本回归线与真实回归线的拟合优度就越好。

因此，可以用ESS 在TSS 中所占的比例表示样本回归线与总体回归线的拟合程度。

二、变量的显著性检验 1. 相关系数的检验样本相关系数定义公式：)ˆ()ˆ(t t t t y y y y y y -+-=-RSS ESS TSS uRSS y yESS y y TSS t t t +==-=-=∑∑∑222)ˆ()ˆ()(100,01)()ˆ(22222≤≤∴≤≤≤≤-=--==∑∑R TSS ESS TSS RSS TSSRSS R y y y y TSS ESS R t t样本相关系数的性质：（1） r 的取值介于-1和1之间。