当前位置：文档之家 › jsy2 一元线性回归模型

jsy2 一元线性回归模型

  • 格式：ppt
  • 大小：1.36 MB
  • 文档页数：137

下载文档原格式

  / 137

合集下载

一元线性回归模型

一元线性回归模型

1．高尔顿普遍回归定律。高尔顿的目 的在于发现为什么人口的身高分布有一种
稳定性。在现代，我们并不关心这种解释，
我们关心的是：在给定父辈身高的情形下，
找到儿辈平均身高的变化规律。
就是说，我们如果知道了父辈的身高，
就可预测儿辈的平均身高。假设我们得
到了一组父亲、儿子身高的数据，制成
如下的散点图。图中按统计分组的方法 将父亲身高分为若干组。
在经典物理学中，给定电阻Ω,电流I
和电压V 之间的关系即为函数关系，即
V I Ω
。这种典型的变量关系就是确
定性关系。
在经济系统中， 这种变量之间的函数关
系或确定性关系就很少见 。常见的是变量
之间是一种不确定的关系，既使变量X 是
变量Y 的原因， 给定变量X 的值也不能具
体确定变量Y的值， 而只能确定变量Y 的
（4.2）
其中，1 和 2 为未知而固定的参数， 称为回归系数； 1 为截距系数， 2 为斜 率系数。式（4.2）为线性总体回归函数 。
三、线性的含义
1．对变量为线性 对线性的第一种解释是指Y 的条件期望是 Xi 的线性函数，例如式（4.2）就是线性回归
函数，该回归线是一条直线。
按这种解释 E (Y / X i ) 1 2 X
统计特征，通常称变量X 与Y 之间的这种
关系为统计关系。
例如，企业总产出Y 与企业的资本投入
K 、劳动力投入L 之间的关系就是统计关 系。虽然资本K 和劳动力L 是影响产出Y 的两大核心要素，但是给定K 、L 的值并 不能确定产出Y 的值。因为，总产出Y 除 了受资本投入K、劳动力投入L 的影响外
对于Y 的每一条件分布，我们能计算 出它的条件期望，记为E（Y/X=Xi），即 在X取特定Xi 值时Y 的期望值。例如， X=1000时，Y 的期望值为：

第02章 一元线性回归模型(讲稿)

第02章 一元线性回归模型(讲稿)

第2章一元线性回归模型§2.1 模型的建立及其假定条件1. 回归分析的概念回归分析是处理变量与变量之间关系的一种数学方法。

1）关系分类（1）确定的函数关系。

例如某企业的销售收入Y i等于产品价格P与销售量X i的乘积，用数学表达式表示为：Y i = P X i（2）非确定的依赖关系。

例如某企业资金的投人X i与产出Y i，一般来讲，资金投入越多，产出也相应提高。

但是由于生产过程中各种条件的变化，使得不同时间内同样的资金投入会有不同的产出。

这些造成了资金的投入与产出之间关系的不确定性，因而不能给出类似于函数的精确表达式。

用u i表示其他影响因素，将这两个变量之间非确定的依赖关系表示成下列形式：Y i = f(X i )+ u i（3）回归分析。

为了分析和利用变量之间非确定的依赖关系，人们建立了各种统计分析方法，其中回归分析方法是最常用的经典方法之一。

回归分析的理论和方法是计量经济模型估计理论和估计方法的主要内容。

2．一元线性回归模型1）概念。

为了说明一元线性回归模型，举一个某商品需求函数的例子。

为了研究某市城镇每年鲜蛋的需求量，首先考察消费者年人均可支配收入对年人均鲜蛋需求量的影响。

由经济理论知，当人均可支配收入提高时，鲜蛋需求量也相应增加。

但是，鲜蛋需求量除受消费者可支配收入影响外，还要受到其自身价格、人们的消费习惯及其他一些随机因素的影响。

为了表示鲜蛋需求量与消费者可支配收入之间非确定的依赖关系，设Y i为鲜蛋需求量，X i为可支配收入，我们将影响鲜蛋需求量的其他因素归并到随机变量吨中，建立这两个变量之间的数学模型：Y i = β0 + β1 X i + u i (2.1)其中Y i——称作被解释变量；X i——称作解释变量；u i——随机误差项(随机扰动项或随机项、误差项)；β0 、β1——回归系数(待定系数或待定参数)。

在数学模型(2.1)式中，当X i发生变化时，按照一定规律影响另一变量Y i，而Y i的变化并不影响X i 。

计量经济学第二章--一元线性回归模型

计量经济学第二章--一元线性回归模型

2 、同方差假定：每一个随机误差项的方差为常数，即:
经 济
Var(Yi ) Var(i ) 2 (常数)
学
该假定表明：给定X对应的每个条件
分布都是同方差的，每个Y值以相同
的分布方式在它的期望值E(Y)附近波
动
10
3、无自相关假定：任意两个随机误差项之间不相关，用数学
形式表示为：
Cov(i, j ) E (i E(i ))( j E( j )) 0
)
xiYi Y xi2
xi
xi 0
bˆ1
xiYi xi2
(bˆi
x12
x1Y1 x22
xn2
x12
x2Y2 x22
xn2
...
x12
xnYn x22
xn2
)
19
令
ki
xi xi2
则
bˆi
kiYi
(1) k i
(
xi xi2
)
xi xi2
0
计 量 经 ki的性质 济 学
2 n
2k1k21 2
2kn1kn n1 n
)
量
经
k12
E
(12
)
k22
E
(
2 2
)
kn2
E
(
2 n
)
2k1k2
E
(1
2
)
2kn
1kn
E
(
n1
n
)
济
学 由古典线性回归模型的假定可知，对每一个随机变量，有
E(i2) 2, E(i j ) 0(当i j时)
Var(bˆ1)
k12 E (12

第二章一元线性回归模型PPT课件

第二章一元线性回归模型PPT课件

参数估计值 ˆ 的分布称为 ˆ 的抽样分布，密度函
数记为 f ( ˆ )
如果 E(ˆ) ，称 ˆ 是参数 的无偏估计式，否
n
XiYi Xi2(
Xi Yi Xi)2
^ 0
Xi2 Yi Xi XiYi n Xi2 * ( Xi)2
16
用离差表现的OLS估计式
为表达得更简洁，或者用离差形式OLS估计式：
__
__
^
1
(Xi
X)(Yi Y)
__
(Xi X)2
xiyi xi2
^
0
__
Y
ˆ1
X
注意其中： xi Xi X
Cov(Xi,ei)0
●解释变量 Y ˆ i 与剩余项 e i 不相关
Cov(Yˆi,ei)0
*
19
第三节、最小二乘估计量的统计性质 (一)参数估计式的评价标准
1. 线性性 估计量 ˆ 0 , ˆ1 是 Y i 的线性组合
*
20
2. 无偏性
前提：重复抽样中估计方法固定、样本数不变、经
重复抽样的观测值，可得一系列参数估计值
yi Yi Y
而且样本回归函数可写为 * yˆi ˆ1xi
17
二、几个常用的结果
可以证明：
●回归线通过样本均值
Y
Y ˆ0 ˆ1X
Y
●估际计观值测值Y ˆ i
的均值等于实
Y i 的均值
Yˆi Y
n
X
X
*
18
●剩余项 e i 的均值为零
e ei 0
n
●因变量估计值 X i 与剩余项 e i 不相关
e
i
可正可负，所以可以取

第二讲 一元线性回归模型

第二讲 一元线性回归模型

E(i Xi ) 0, i 1,2,, n
• （2）同方差假设。 Var( X ) 2 , i 1, 2,, n i i • （3）序列不相关假设。
Cov(i , j ) 0, i, j 1, 2,, n, i j

（4）正态性假设。 一般假设随机项服从正态分布。
3、可决系数R2统计量
ESS RSS R 1 TSS TSS
2
• 是一个非负的统计量。取值范围：[0，1] • 越接近1，说明实际观测点离回归线越近， 拟合优度越高。
• 拟合优度越高，说明回归结果越好。
二、变量的显著性检验
T检验(检验单个回归系数是否显著不为零)
二、变量的显著性检验：T检验(检验 单个变量的回归系数是否显著不为零)
ˆ ˆ yt 0 1xt et MinQ (Y Y ) 2 e2 ˆ i i i
n n
ˆ ˆ ˆ yt 0 1xt
1
1
ˆ X )) 2 (Yi ( 0 ˆ1 i
1
n
2、正规方程组
Q 0 0 Q 1 0
第二章 经典单方程计量经济学模型： 一元线性回归模型 The Classical Single Equation Econometric Model: Simple Regression Model
本章内容
• §2.1一元线性回归模型的设定与古典假
设
• §2.2一元线性回归模型的参数估计 • §2.3一元线性回归模型的检验 • §2.4一元线性回归模型的预测
二、经典线性回归模型的基本假设 The Basic Assumptions of Classical Linear Regression Model(CLRM)

02第二章一元线性回归模型

02第二章一元线性回归模型
假设4. 服从零均值、同方差、零协方差的正 态分布 i~N(0, 2 ) i=1,2, …,n
④相关分析对称地对待任何（两个）变量，两 个变量都被看作是随机的。回归分析对变量 的处理方法存在不对称性，即区分应变量 （被解释变量）和自变量（解释变量）：前 者是随机变量，后者不是。
2. 回归分析的基本概念
• 回归分析(regression analysis)是研究一个变量 关于另一个（些）变量的具体依赖关系的计 算方法和理论。
• 相应的函数：
E(Y|Xi)f(Xi)
称为（双变量）总体回归函数（population regression function, PRF）。
• 含义：回归函数（PRF）说明被解释变量Y的平 均状态（总体条件期望）随解释变量X变化的 规律。
• 函数形式：可以是线性或非线性的。
• 例2.1中，将居民消费支出看成是其可支配收入 的线性函数时:
第二章 经典单方程计量经济学模型： 一元线性回归模型
• 回归分析概述 • 一元线性回归模型的参数估计 • 一元线性回归模型检验 • 一元线性回归模型预测 • 实例
§2.1 回归分析概述
一、变量间的关系及回归分析的基本概念 二、总体回归函数（PRF） 三、随机扰动项 四、样本回归函数（SRF）
一、变量间的关系及回归分析的基本概念
Yi 01Xii i=1,2,…,n
Y为被解释变量，X为解释变量，0与1为待估 参数， 为随机干扰项
• 回归分析的主要目的是要通过样本回归函数（模型） SRF尽可能准确地估计总体回归函数（模型）PRF。
• 问题：寻求一种规则和方法使其得到的SRF的参数B1和 B2更可能“接近”总体回归函数中的参数B1和B2的真 实值
E (Y |X i)01 X i 总体回归方程

第二章 一元线性回归模型(本科生计量经济学)

第二章 一元线性回归模型(本科生计量经济学)

即：正规方程组揭示的是残差的性质。
26
普通最小二乘估计有关 的其他性质（课后习题）
Y Y

^
e Y e y
i ^ i
^
i
0 0
27
i
2、由普通最小二乘估计系数的性质可证
得普通最小二乘估计与参数的关系如下：
1 1 k i u i
^
0 0 wi ui
（ 1） （ 2）
（ 1）
0 Y 1 X
^

^

Y

1 n
Y , X X
i 1 i 1 n i 1
n

n
i
18
参数的普通最小二乘估计量
ˆ ˆ X )0 (Yi 0 1 i ˆ ˆ X )X 0 ( Y i 0 1 i i
^
33
三、一元线性回归模型参数的最大似 然法(Maximum Likehood,ML)估计
• 基本原理：似然原理
• 一元线性回归模型ML使用的条件：已知随机扰动 项的分布。
34
Y1 , Y2 ,...,Yn
1 f (Yi ) e 2
1 2
1 2
2
Yi ~ N (0 1 X i , 2 )
w 1
i
22
普通最小二乘估计的例
年份
1991 1992 1993 1994
ED(X)
708 793 958 1278
FI(Y)
3149 3483 4349 5218
ed(x)
-551 -466 -301 19
fi(y)
-2351 -2017 -1151 -282

计量经济学第二篇一元线性回归模型

计量经济学第二篇一元线性回归模型

第二章 一元线性回归模型2.1 一元线性回归模型的基本假定有一元线性回归模型（统计模型）如下， y t = β0 + β1 x t + u t上式表示变量y t 和x t 之间的真实关系。

其中y t 称被解释变量（因变量），x t 称解释变量（自变量），u t 称随机误差项，β0称常数项，β1称回归系数（通常未知）。

上模型可以分为两部分。

（1）回归函数部分，E(y t ) = β0 + β1 x t ,（2）随机部分，u t 。

图2.1 真实的回归直线这种模型可以赋予各种实际意义，居民收入与支出的关系；商品价格与供给量的关系；企业产量与库存的关系；身高与体重的关系等。

以收入与支出的关系为例。

假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。

但实际上数据来自各个家庭，来自同一收入水平的家庭，受其他条件的影响，如家庭子女的多少、消费习惯等等，其出也不尽相同。

所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。

“线性”一词在这里有两重含义。

它一方面指被解释变量Y 与解释变量X 之间为线性关系，即另一方面也指被解释变量与参数0β、1β之间的线性关系，即。

1ty x β∂=∂，221ty β∂=∂0 ，1ty β∂=∂，2200ty β∂=∂2.1.2 随机误差项的性质随机误差项u t 中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。

所以在经济问题上“控制其他因素不变”是不可能的。

随机误差项u t 正是计量模型与其它模型的区别所在，也是其优势所在，今后咱们的很多内容，都是围绕随机误差项u t 进行了。

回归模型的随机误差项中一般包括如下几项内容： （1）非重要解释变量的省略，（2）数学模型形式欠妥， （3）测量误差等，（4）随机误差（自然灾害、经济危机、人的偶然行为等）。

2.1.3 一元线性回归模型的基本假定通常线性回归函数E(y t ) = β0 + β1 x t 是观察不到的，利用样本得到的只是对E(y t ) =β0 + β1 x t 的估计，即对β0和β1的估计。

一元回归线性模型

一元回归线性模型

一元回归线性模型
一元线性回归模型，又称为简单线性回归模型，是机器学习中常
用的回归模型，它是利用一个自变量X来预测因变量Y的结果。

一元
线性回归模型将样本数据映射为一条直线，如y=ax+b，其中a是斜率，b是截距，也就是说，一元线性回归模型中的参数是斜率和截距，而拟
合的直线就是根据样本数据估计出来的最佳拟合直线。

目标函数是求解参数 a 和 b，使得误差平方和最小，具体来说，
目标函数的表达式为：J（a,b）=Σi(yi-f(xi))^2,其中f（x）=ax+b，yi为观测值，xi为观测值对应的自变量。

对于一元线性回归模型，求解参数 a 和 b 的最优方法要么是直
接用梯度下降法求解，要么是用最小二乘法求解。

梯度下降法求解时，需构造损失函数，使用梯度下降法迭代更新参数，直到获得最优结果；而最小二乘法求解时，通过求解参数关于损失函数的导数，便可解出
模型参数，从而得到最优结果。

一元线性回归模型在实际应用中有很多优点，其中最重要的就是
它易于拟合和解释，它求解简单，可以很大程度上减少了计算复杂度，而且可以很好地预测因变量的值，也可以用来检验变量之间的关系。

一元线性回归模型(计量经济学)

一元线性回归模型(计量经济学)

回归分析是一种统计方法，用于研究变量之间的关系。它基于最小二乘法，寻找最合适的直线来描述变 量间的线性关系。通过回归分析，我们可以理解变量之间的因果关系和预测未知数据。
一元线性回归模型的假设
1 线性关系
2 独立误差
一元线性回归模型假设自变量和因变量之 间存在线性关系。
模型的残差项是独立的，不受其他因素的 影响。
3 常数方差
4 正态分布
模型的残差项具有恒定的方差，即方差齐 性。
模型的残差项服从正态分布。
一元线性回归模型的估计和推断
1
模型估计
使用最小二乘法估计模型的回归系数。
2
参数推断
进行参数估计的显著性检验和置信区间估计。
3
模型拟合程度
使用残差分析和R平方评估模型的拟合程度。
模型评估和解释结果
通过残差分析和R平方等指标评估模型的拟合程度，并解释模型中回归系数的 含义。了解如何正确使用模型的结果，并识别异常值和离群点对模型的影响。
一元线性回归模型(计量 经济学)
在本节中，我们将介绍一元线性回归模型，探讨回归分析的基本概念和原理， 了解一元线性回归模型所做的假设，并学习模型的估计和推断方法。我们还 将探讨模型评估和解释结果的技巧，并通过实例应用和案例分析进一步加深 对该模型的理解。最后，我们将总结和得出结论。
回归分析的基本概念和原理
实例应用和案例分析
汽车价格预测Байду номын сангаас
使用一元线性回归模型预 测汽车价格，考虑车龄、 里程等因素。
销售趋势分析
通过一元线性回归模型分 析产品销售的趋势，并预 测未来销售。
学术成绩预测
应用一元线性回归模型预 测学生的学术成绩，考虑 学习时间、背景等因素。

一元线性回归模型

一元线性回归模型
E(Y | X i ) f (X i )
称为（双变量）总体回归函数（population regression function, PRF）。
第19页/共117页
• 含义：回归函数（PRF）说明被解释变量Y的 平均状态（总体条件期望）随解释变量X变化 的规律。
• 函数形式：可以是线性或非线性的。
从变量相关关系变化的方向看
正相关——变量同方向变化 ➢例：生产率提高，产品产量增加 负相关——变量反方向变化 ➢例：价格上升，产品需求量下降
25
20
15
10
5
0
0
2
4
6
8
10
12
25
20
15
10
5
0
0
2
4
6
8
10
12
35 30 25 20 15 10
5 0
0
5
10
15
第6页/共117页
●总体相关系数
统计依赖关系
正相关 线性相关 不相关 相关系数：
负相关 1 XY 1
正相关 非线性相关 不相关
负相关
有因果关系 回归分析 无因果关系 相关分析
第9页/共117页
2. 回归分析的基本概念
• 回归分析(regression analysis)是研究一 个变量关于另一个（些）变量的具体依赖关 系的计算方法和理论。
第2页/共117页
二者在一定条件下可以相互转换 函数关系 考虑对变量的测量误差 相关关系 相关关系 考虑全部影响因素 函数关 系
第3页/共117页
相关关系的种类
从涉及的变量（或因素）数量看 （1）单相关——又称一元相关，指两个变 量之间的相关关系。

一元线性回归模型参数估计

一元线性回归模型参数估计
ˆ ˆ (Yi 0 1 X i ) 2 0 ˆ 0 ˆ ˆ (Y X ) 2 0 i 0 1 i ˆ 1
解得模型的参数估计量为：
X i2 Yi X i Yi X i ˆ 0 2 2 n X i X i ˆ n Yi X i Yi X i 2 1 2 n X i X i
1 ˆ ˆ ˆ (Yi 0 1 X i )2 n
2
ei2 n
关于参数估计量的离差形式(deviation form)：
记
1 X Xi, n xi X i X ,
1 Y Yi n yi Yi Y
上述参数估计量可以写成： ˆ xi y i 1 x i2 Y X ˆ ˆ 1 0 称为OLS估计量的离差形式（deviation form）。
i=1,2, …,n
n
i 1
i≠j i, j= 1,2, …,n i=1,2, …,n
假设3：随机误差项与解释变量X之间不相关： 假设4：服从零均值、同方差、零协方差的正态分布
i ~N(0, 2 )
i=1,2, …,n
注意： •如果假设1和2满足，则假设3也满足； •如果假设4 满足，则假设2 也满足。 假设1-4假设也称为线性回归模型的经典假 设或高斯(Gauss)假设，满足该假设的线性回 归模型称为经典线性回归模型(Classical Linear Regression Model, CLRM) 。
Yi e
Yi
1 2 X i i (1)
1 1 e
1 2 X i i
(2)
→
1 Yi ln( ) 1 2 X i i Yi

第2章 一元线性回归模型

第2章 一元线性回归模型

(regression analysis)来完成的
2020/2/6
中山学院经济与管理系
4
2.1 模型的建立及其假定条件
2 回归分析的概念 回归分析研究一个变量关于另一个（些）变量的
具体依赖关系的计算方法和理论。
其用意：在于通过后者的已知或设定值，去估计 （或）预测前者的（总体）均值。
2020/2/6
中山学院经济与管理系
5
2.1 模型的建立及其假定条件
回归分析的基本思想和方法以及“回归”名称的由来 英国统计学家高尔顿（F.Ｇalton，1822－1911）和他
的学生皮尔逊（Ｋ.Pearson，1856－1936）在研究父母身高 与其子女身高的遗传问题时，观察了1078对夫妇，以每对 夫妇的平均身高作为自变量，而取他们的一个成年儿子的 身高作为因变量，将结果在平面直角坐标系上绘成散点图 ，发现趋势近乎一条直线，计算出的回归直线方程为：
二乘法（Ordinary least squares, OLS）给出的
判断标准是：二者之差的平方和最小
n
n
Q (Yi Yˆi )2 (Yi (ˆ0 ˆ1 X i )) 2
1
1
即在给定样本观测值之下，选择出 ˆ0、ˆ1能使 yi
， 之y?i差的平方和最小（即为使残差平方和最小）
（4）被解释变量的样本平均值等于其估计值的平均值
2020/2/6
中山学院经济与管理系
26
2.2 一元线性回归模型的参数估计
4 截距为零的一元线性回归模型的参数估计 截距为零的一元线性回归模型的一般形式为：
yi xi ui
这个模型只有一个参数 需要估计，其最小二乘估
计量的表达式为

一元线性回归模型及参数估计

一元线性回归模型及参数估计

步骤：收集数据、建立模型、 计算参数、评估模型
优点：简单易行，适用于线 性回归模型
最大似然估计法
定义：最大似然 估计法是一种基 于概率的参数估 计方法，通过最 大化样本数据的 似然函数来估计
参数。
原理：利用已知 样本数据和概率 分布函数，计算 出样本数据出现 的概率，然后选 择使得概率最大 的参数值作为估
参数估计的性质
无偏性
定义：参数估计量是 无偏估计时，其期望 值等于参数的真实值。
性质：无偏性是线性 回归模型参数估计的 最基本性质之一，是 评价估计量优劣的重 要标准。
证明：可以通过数学 推导证明无偏性，具 体过程可以参考相关 教材或论文。
应用：在回归分析中， 无偏性可以保证估计 的参数具有最小误差， 从而提高预测的准确 性和可靠性。
计值。
优点：简单易行， 适用于多种分布 类型的数据，具
有一致性。
局限：对样本数 据的要求较高， 当样本数据量较 小或分布不均时， 估计结果可能不
准确。
最小绝对误差准则
定义：最小化预测值与实际值之间的绝对误差
优点：对异常值不敏感，能够更好地处理数据中的噪声和异常值
缺点：可能导致模型过于复杂，过拟合数据 应用场景：适用于预测连续变量，尤其是当因变量和自变量之间的关系是 非线性的情况
行处理。
处理方法：包括 删除不必要的自 变量、合并相关 性较高的自变量、 使用其他模型等
方法。
模型预测与决策应用
预测未来趋势
利用一元线性回 归模型预测未来 趋势
模型参数估计的 方法和步骤
预测结果的解读 与决策应用
模型预测的局限 性及改进方法
制定决策依据
利用回归方程进行 预测
ห้องสมุดไป่ตู้
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

二、参数的普通最小二乘估计（OLS）
最小二乘法的思路
• 1．为了精确地描述Y与X之间的关系，必须使用这两 个变量的每一对观察值，才不至于以偏概全。 • 2．Y与X之间是否是直线关系（协方差或相关系数）？ 若是，将用一条直线描述它们之间的关系。 • 3．在Y与X的散点图上画出直线的方法很多。 • 4. 我们的任务？——找出一条能够最好地描述Y与X （代表所有点）之间的直线。 • 5．什么是最好？—找出判断“最好”的原则。 • 最好指的是找一条直线使得这些散点到该直线的纵向 距离的和（平方和）最小。
农作物产量 f 气温, 降雨量, 阳光, 施肥量
• 对变量间统计依赖关系的考察主要是通过相关 分析(correlation analysis)或回归分析 (rearession analysis)来完成的
正相关 线性相关 统计依赖关系 不相关 相关系数： 有因果关系 无因果关系 回归分析 相关分析 负相关 1 XY 1 正相关 非线性相关 不相关 负相关
儿子们的身高向着平均身高“回归”以保持种族的稳定
250
200
174
150 系列1 100
50
0 0 50 100 150
174 200
250
第1代到第2代的身高变化(横轴为第1代)
从图上可看出，个子高的父亲确有生出个子高的儿子的 倾向，同样地，个子低的父亲确有生出个子低的儿子的 倾向。高尔顿对上图中的散点运用最小二乘法得到的具 体规律如下：
假设4. 服从零均值、同方差、零协方 差的正态分布 i~N(0, 2 ) i=1,2, …,n
注意：
1. 2. 如果假设1、2满足，则假设3也满足; 如果假设4满足，则假设2也满足。
以上假设也称为线性回归模型的经典假 设或高斯（Gauss）假设，满足该假设的线性 回归模型，也称为经典线性回归模型 （Classical Linear Rearession Model, CLRM）。
例：父亲们的身高与儿子们的身高之间 关系的研究
• 传统认为身高受遗传影响，高爸爸生高儿子，矮爸爸 生矮儿子(我国民间也有“爹矮矮一个，妈矮矮一窝” 的说法)。如果高者越高，矮者越矮，那么经过漫长的 岁月后，高的应该伸进了天，低的应该贴到了地。然 而实际上各人种的平均身高都是相当稳定的。难道传 统看法有误，其实人和豌豆是一样的？ • 1889年F.Gallton和他的朋友K.Pearson收集了上千个家 庭的身高、臂长和腿长的记录； • 企图寻找出儿子们身高与父亲们身高之间关系的具体 表现形式； • 下图是根据1078个家庭的调查所作的散点图（简图）
可暂时不讲 • 回归分析关心的是根据解释变量的已知或
给定值，考量所有可能的对应值的平均值。
回归分析是关于研究一个叫做因变量的变量对另一个或多个叫 做解释变量的变量的依赖关系，其用意在于通过后者(在重复抽 样中)的已知或设定值，去估计和(或)预测前者的(总体)均值。 回归分析：用以估计随机变量数学期望（它是自变量的函数） 的分析程序，称之为回归分析。 相关分析：用以测定随机变量与其影响因素之间关系的密切程 度的分析程序，称为相关分析。
200
150
100
50
0 0 2 4 6 8 10
15个家族各代的身高变化(横轴为世代数)
二、变量间的关系及回归分析的基本概念
1. 变量间的关系
（1）确定性关系或函数关系：研究的是确定现 象非随机变量间的关系。
圆面积 f , 半径 半径2
（2）统计依赖或相关关系：研究的是非确定现 象随机变量间的关系。
2 i 2 2 i
ˆ xi y i 1 x i2 上述参数估计量可以写成： ˆ ˆ 0 Y 1 X 称为OLS估计量的离差形式（deviation form）。
由于参数的估计结果是通过最小二乘法得到 的，故称为普通最小二乘估计量（ordinary least squares estimators）。
父代与子代的关系：回归
1875年，Galton 利用豌豆实验来确定尺寸的遗传规律。 他挑选了7组不同尺寸的豌豆，并说服他在英国的不同地区 的朋友每一组种植10粒种子，最后把原始的豌豆种子（父代） 与新长的豌豆种子（子代）进行尺寸比较。当结果被绘制出 来之后，他发现并非每一个子代与父代一样，有趣的是尺寸 小的豌豆会得到更大的子代，而尺寸大的豌豆会得到较小的 子代。高尔顿把这一现象叫做“返祖”现象（趋向于祖先的 某种平均类型），后来又称之为“向平均回归” （rearession toward the mean） 。一个总体中在某一时期具 有某一极端特征（低于或高于总体均值）的个体在未来的一 段时期将减弱它的极端性（或者是单个个体或者是整个子 代），这一趋势现在被称作“回归”效应。
最小二乘法的数学原理
• 纵向距离是Y的实际值Y与拟合值Ŷ之差，差异 大拟合不好，差异小拟合好，所以又称为拟合 误差或残差。 • 将所有纵向距离平方后相加，即得误差平方和， “最好”直线就是使误差平方和最小的直线。 • 于是可以运用求极值的原理，将求最好拟合直 线问题转换为求误差平方和最小。
参数的普通最小二乘估计（OLS）
第二章 经典单方程计量经济学模型： 一元线性回归模型
• • • • • 回归分析概述 一元线性回归模型的参数估计 一元线性回归模型检验 一元线性回归模型预测 实例
§2.1
回归分析概述
一、高尔顿与回归分析方法 二、变量间的关系及回归分析的基本概念
一、高尔顿与回归分析方法
高尔顿生于英格兰伯明翰一个显赫的银行家家庭， 达尔文(1809-1882)是其表哥。高尔顿对人类学、优生 学、地理学、气象学、统计学、心理学和遗传学等方 面均有研究，还是位发明家和热带探险家。 高尔顿一生中发表了超过340篇的报告和书籍。 他在1883年率先使用“优生学”（euaenics）一词。 在他于1869年的著作《遗传的天才》（Hereditary 高尔顿(1822-1911) Genius）中，高尔顿主张人类的才能是能够透过遗传 延续的。 高尔顿对统计学的最大贡献是相关性概念的提出和回归分析方法 的建立，被誉为现代回归和相关分析技术的创始人。 1877年他发表 了关于种子的研究结果，指出回归到平均值现象的存在，这个概念与 现代统计学中的“回归”并不相同，但是却是“回归”一词的起源。 在此后的研究中，高尔顿第一次使用了相关系数（correlation coefficient）的概念。他使用字母“r”来表示相关系数，这个传统一 直延续至今。
250 200 150 100 50 0 0 50 100 150 200 250
第2代 第3代 第4代 第5代 第6代 第7代 第8代 第9代
祖宗八代的身高变化(横轴为第1代)
250 系列1 系列2 系列3 系列4 系列5 系列6 系列7 系列8 系列9 系列10 系列11 系列12 系列13 系列14 系列15
随机干扰项主要包括下列因素： –在解释变量中被忽略的因素的影响；
–变量观测值的观测误差的影响；
–模型关系的设定误差的影响；
–其他随机因素的影响。
• 产生并设计随机误差项的主要原因：
–理论的含糊性；
–数据的欠缺； –节省原则。
• 回归分析的主要目的是要通过样本回归函数 （样本回归方程）尽可能准确地估计回归模型。 • 估计方法有多种，其中最广泛使用的是普通最 小二乘法（ordinary least squares, OLS）。 • 为保证参数估计量具有良好的性质，通常对模 型提出若干基本假设。 • 实际这些假设与所采用的估计方法紧密相关。
给定一组样本观测值（Xi, Yi）（i=1,2,…n）要 求样本回归函数尽可能好地拟合这组值.
普通最小二乘法（Ordinary least squares, OLS） 给出的判断标准是：二者之差的平方和
ˆ ˆ X )) 2 ˆ ) 2 (Y ( Q (Yi Y i i 0 1 i
三种距离
y
纵向距离 ei
A
i i
ˆ y a b x yy
i i i
i
x , y 横向距离
距离
纵 向 距 离
B
x , y ˆ
i i
A为实际点，B为拟 合直线上与之对应 的点
x
距离是度量实际值与拟合值 是否相符的有效手段
• 点到直线的距离——点到直线的垂直线的长度。 • 横向距离——点沿（平行）X轴方向到直线的 距离。 • 纵向距离——点沿（平行）Y轴方向到直线的 距离。也就是实际观察点的Y坐标减去根据直 线方程计算出来的Y的拟合值Ŷ。 • 这个差数就是前面曾提到的 ei ——残差。
一、线性回归模型的基本假设
假设 1. 解释变量 X 是确定性变量，不是随机变 量；
假设2. 随机误差项具有零均值、同方差和不序 列相关性：
E(i)=0 Var (i)=2 Cov(i, j)=0 i=1,2, …,n i=1,2, …,n i≠j i,j= 1,2, …,n
假设3. 随机误差项与解释变量X之间不 相关： Cov(Xi, i)=0 i=1,2, …,n
注意
①不线性相关并不意味着不相关。
②有相关关系并不意味着一定有因果关系(如肺癌患病率 与吸烟的关系就是相关关系而非因果关系)。
③相关分析和回归分析都是研究随机变量的统计依赖关 系的，都能测度线性依赖程度大小。
④相关分析主要研究随机变量间的相关形式及相关程度， 而无需考虑二者间是否有因果关系，因此变量的地位 是对称的。回归分析则关注于有统计相关性的变量间 的因果关系分析，对变量的处理方法存在不对称性， 即区分应变量（被解释变量）和自变量（解释变量）： 前者是随机变量，后者不是。
2. 回归分析的基本概念
• 回归分析(rearession analysis)是研究一个 变量关于另一个（些）变量的具体依赖关系 的计算方法和理论。 • 其目的在于通过后者的已知或设定值，去估 计和（或）预测前者的（总体）均值。