2.2 一元线性回归

假设零均值同方差 E( )=0
无序列相关性
i
假设零均值同方差 无序列相关性
Var( i)= 2
E(Yi )= 0 1 X i
Var(Yi /X i )= 2
假设零均值同方差 Cov( i , j)=0 Cov(Yi , Y j)=0
无序列相关性
二、普通最小二乘法
给定一元线性回归模型
回归函数（方程）
E（Y
X
）＝
i
0 1X i
估计
回归模型
估计
Yi 0 1 X i i
样本（实际） Yˆi ˆ0 ˆ1Xi Yi ˆ0 ˆ1Xi ei
2.2 一元线性回归模型的参数估计
一元线性回归模型是最简单的线性回归模型，在模型中只有 一个自变量，其参数估计方法普通最小二乘法也是最普 遍使用的。
n
X
2 i

(
X i )( Yi ) Xi )2
将ˆ1代入正规方程组，令 X
ˆ0 Y ˆ1 X
Xi n
，Y

Yi
n
，得ˆ0表达式
令
xi
差
Xi X
，则
，
ˆ0
yi Yi Y ，即分别代表样本值与其平均值的离 、ˆ1表达式可简写为


ˆ1


质，即最小二乘估计量还具有一致性：当样本容量趋于无 穷时，估计量收敛于总体参数真值。
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
2、无偏性，即估计量ˆ0 、 ˆ1 的均值（期望）等于总体回归

i i 2 i
β 0 = Y β1 X
例2.2.1：在上述家庭可支配收入-消费支出例中，对 ：在上述家庭可支配收入-消费支出例中， 于所抽出的一组样本数， 于所抽出的一组样本数，参数估计的计算可通过下面的 进行。 表2.2.1进行。 进行
表 2.2.1 数 计 计 参 估 的 算表
Xi
Yi
xi
1
的样本方差： 2 = σ 2 x 2 / n ( x x )2 ∑ i ∑ i β0 Sβ
0
β1 =
∑x y ∑x
i 2 i
i
5769300 = = 0.777 7425000
β 0 = Y β 0 X = 1567 0.777 × 2150 = 103.172
因此，由该样本估计的回归方程为：
Yi = 103.172 + 0.777 X i
三、最小二乘估计量的性质
（1）线性性，即它是否是另一随机变量的线性 ）线性性， 函数； 函数； （2）无偏性，即它的均值或期望值是否等于总 ）无偏性， 体的真实值； 体的真实值； （3）有效性，即它是否在所有线性无偏估计量 ）有效性， 中具有最小方差。 中具有最小方差。
中，最小二乘估计量 β 0 、 β1 具有最小方差。
（2）证明最小方差性
β 1* 是其他估计方法得到的关于β1 的线性无偏估计量： 假设
β 1* = ∑ ci Yi
其中，ci=ki+di，di为不全为零的常数 则容易证明
var(β 1* ) ≥ var(β 1 )
同理，可证明β0 的最小二乘估计量 β 0 具有最的小方差
-973 1314090 1822500 947508 640000 352836 -929 975870 1102500 863784 1210000 407044 -445 334050 562500 198381 1960000 1258884 -412 185580 202500 170074 2890000 1334025 -159 23910 22500 25408 4000000 1982464 28 4140 22500 762 5290000 2544025 402 180720 202500 161283 6760000 3876961 511 382950 562500 260712 8410000 4318084 1018 1068480 1102500 1035510 10240000 6682225 963 1299510 1822500 926599 12250000 6400900 5769300 7425000 4590020 53650000 29157448

ˆ β1 ~ N ( β1 ,
∑x
σ2
2 i
)
ˆ β 0 ~ N (β 0 ,
∑ n∑ x
X i2
2 i
σ 2)
22
随机误差项u的方差σ 随机误差项 的方差σ2的估计 的方差
σ2又称为总体方差 总体方差。 总体方差
23
由于随机项ui不可观测，只能利用残差ei (ui的 估计)的样本方差，来估计ui的总体方差σ2 。 样本方差？ 样本方差？ 可以证明，σ2的最小二乘估计量 最小二乘估计量为: 可以证明 最小二乘估计量
= β1 + P lim(∑ xi µ i / n) P lim(∑ xi2 / n)
xi µ i
2 i
∑x
)
样本协方差？ 样本协方差？
Cov ( X , µ ) 0 = β1 + = β1 + = β1 Q Q
21
四、参数估计量的抽样分布及随机项方 差的估计
ˆ ˆ 、 1、参数估计量 β 0 和 β 1 的概率分布
Yi = β0 + β1 X i + ui
i=1
Y为被解释变量，X为解释变量，β0与β1为待估 待估 参数， 随机项。 参数 u为随机项。 随机项
2
回归分析的主要目的是要通过样本回归函数 回归分析的主要目的 （模型）SRF尽可能准确地估计总体回归函数 （模型）PRF。 估计方法有多种，其中最广泛使用的是普通最 普通最 估计方法 小二乘法（ordinary least squares, OLS）。 小二乘法 为保证参数估计量具有良好的性质，通常对模 型提出若干基本假设。 实际这些假设与所采用的估计方法紧密相关。
2
1 X2 = + n ∑ x2 i

01-2-28
重庆商学院经济系
总体分布
200
150
Y
100 50 50
100
150 X
200
250
300
01-2-28
重庆商学院经济系
8
总体回归曲线 （Popular Regression Curve）

条件分布：以X取定值为条件的Y的条件分布 条件概率：给定X的Y的概率，记为P(Y|X)。 例如，P(Y=55|X=80)=1/5；P（Y=150|X=260）=1/7。 条件期望（conditional Expectation）：给定X的Y的 期望值，记为E(Y|X)。 例如，E(Y|X=80)=55×1/5＋60×1/5＋65×1/5＋ 70×1/5＋75×1/5＝65 （总体回归曲线的几何意义）：当解释变量给定值时 因变量的条件期望值的轨迹。
重庆商学院经济系 2
01-2-28
§2.1 线性回归模型概述
一、 线性回归模型的特征 二、 线性回归的普遍性 三、 线性回归模型的基本假设
01-2-28
重庆商学院经济系
3
单方程回归模型概述

单方程回归模型分为；线性和非线性 线性模型（按变量划分）；变量以1次的形式出现 线性模型（按参数划分）；参数以1次的形式出现 线性回归模型是线性模型的一种，参数以1次形式出现， 通常可以通过一些变换，将非1次的变量化为1次。 线性回归模型的数学基础；回归分析，企图通过回归 模型的形式揭示变量之间的因果关系 线性回归模型是是一类最为普遍的计量经济模型
展开泰勒级数，得到一个线性近似公式
01-2-28
重庆商学院经济系
22
三、线性回归模型的基本假定