《概率论与数理统计》第八章 回归分析

lxx
n
lxx (xi x)2
其中
i1
n
lxy (xi x) ( yi y)
i1
即，最小二乘估计所得回归方程为： yˆ aˆ bˆx
从参数估计过程可见，回归方程的基本性质
1 2
Q ( y yˆ)2 最小 ( y yˆ) 0
3 回 归直线通过点 (x, y)
1
n
第八章 回归分析
• 一元线性回归 • 回归效果的检验 • 一元非线性回归 • 预测与控制 • 多元线性回归
回归：从一组样本数据出发，确定变量之间的数学关 系式 检验：对这些关系式的可信程度进行统计检验，从影 响某一特定变量的诸多变量中，找出哪些变量的影响显著， 哪些不显著 预测和控制：利用求得的关系式，根据一个或几个变 量的取值来预测或控制另一个特定变量的取值，并给出这 种预测或控制的精确程度
ε
i
~N (0,σ 2)
n
bˆ lxy lxx
( xi x ) yi
i1 n
( xi x )2
i1
aˆ y bˆx
D(bˆ) σ 2
lxx
D(aˆ) σ 2 ( 1 x 2 )
n lxx
D( yi ) σ 2
3、直线回归的变异来源
根据回归方程作回归直线， 可以发现，并不是所有散
点都恰好落在回归直线上，说明用 yˆ去估计 y 有偏差。
（1）( y y) 的分解
从左图可以看出：
(y y) (yˆ y) (y yˆ)
( y y) ( yˆ y) ( y yˆ)
上式两端平方，然后对所有n个点求和，有
( y y)2 [( yˆ y) ( y yˆ)]2
（2）
称 R2 = SSR / SST 为判定系数，它度量了经验回归方程 对观测数据的拟和程度。
0≤R2≤1，R2越大，因变量与自变量之间的相关性越强。
（2）线性回归的自由度
n
n
n
( yi y)2 ( ˆyi y )2 ( yi ˆyi )2
i 1
i 1
i 1
总平方和 = 回归平方和 + 剩余平方和
一、一元回归分析模型
例： 某市场在t 时刻黄瓜销量数据如下, 其中qt 表示t 时 刻的黄瓜销量， pt表示t 时刻的销售价格
pt：元 2.5 2.0 1.5 1.0 0.5 0
qt：斤 1 3 5 7 9 11
这是一个确定性关系: qt 11 4 pt
厦门大学经济学院-2012春季学期
若x、y之间的关系是随机的，例如
SST = SSR + SSE
与上面等式对应，y 的总自由 度d fy 划分为 回归自由度 dfR 与 差残自由度 dfE ，即
df y dfR dfE
df y dfR dfE
线性回归中 ,
（4）
回归自由度 dfR = 自变量个数，dfR 1 总自由度 dfy n 1
残差自由度 dfE n 2
如图
从散点图 可看出以下问题：
① 两个变量间有关或无关？若有关，两个变量间关系类 型，是直线型还是曲线型？
② 两个变量间直线关系的性质，正相关还是负相关？相 关程度密切还是不密切？ 散点图直观地、定性地表示了两个变量之间的关系。 为了探讨它们之间的规律性，还必须根据观测值将关
系定量地表达出来。
若散点呈直线趋势，又由于因变量y的实际观测值总有 随机误差， y 与 x的关系可用一元线性回归模型描述
0
Q b
n
2 [ yi
i1Biblioteka (a bxi )]xi0
na nxb ny
n
正规方程组
nxa ( xi2 )b
i1
n
xi yi i1
n nx
D
nx
xi 2 n(
n
xi 2 nx 2 ) n (xi x)2 0
i 1
所以，方程组有解：
aˆ
bˆ
y
bˆx lxy
线性组合，根据正态分布的性质，它们也一定是正态的。
aˆ y bˆx bˆ lxy
lxx
n
lxy (xi x) ( yi y) i1
n
(xi x) yi i1
n
lxx (xi x)2 i1
厦门大学经济学院-2012春季学期
2．a, b 点估计的方差 yi a bxi εi
pt
qt
0
2.5
1
2
2
2.0
3
4
…
…
10
0
11
12
这时，方程的形式为
qt 11 4 pt ε t
概率 0.25 0.50 0.25 0.25 0.50 0.25 … 0.25 0.50 0.25
厦门大学经济学院-2012春季学期
qt 11 4 pt
t
其中，ε t 为随机变量。
t
概率
-1
0．25
n i1
yˆi
1 n
n i1
(aˆ bˆxi )
aˆ bˆ 1 n
n i1
xi
aˆ bˆx y
例 某市场连续12天白菜的价格和销量调查数据如下：
价格 （元/斤）xi
1.00 0.90 0.80 0.70 0.70 0.70 0.70 0.65 0.60 0.60 0.55 0.50
销量 Y（斤） yi
因此 ,
回归均方 MSE SSE / dfR
残差均方 MSR SSR / dfE
（2） y =a + b x + ε ，ε～N(0,σ2) 中 σ2的估计值。
剩余平方和 Q ( y yˆ)2 的大小表示了实测点
与回归直线偏离的程度。
由于 Q 的自由度为 n-2 。 剩余均方为： MSR SSR / dfE
对可选的几个回归方程形式，常用比选准则有：
1. 可决系数
R2 1 SSE , R2 1 ， SST
R2 大，表示观测值， yi 与拟合值 yˆi 比较靠近，
也就意味着从整体上看， n个点的散布离曲线较近，
因此选 R2 较大的方程为好。
2. 剩余标准差 s SSE /(n 2)
s 是一元线性回归方程中对 的估计,将S 看成
55 70 90 100 90 105 80 110 125 115 130 130
试求：白菜销量对价格的回归方程.
厦门大学经济学院-2012春季学期
二、回归的估计效果
1．a, b 的点估计 yˆ aˆ bˆx
（1）估计量 aˆ ,bˆ 分别是a,b的无偏估计量；
（2）由于 aˆ ,bˆ 均为相互独立的正态变量 y1, y2,, yn 的
b
SSxy
b2
SSx
SSxy SSx
SSxy
SSxy SSx
2
SSx
=0
所以， ( y y)2 ( yˆ y)2 ( y yˆ)2 （1）
( y y)2 反映 y 的总变异程度，称为总离差平方和，记
为SST；
( yˆ y)2反映y 与x 的直线关系引起的 y的变异程度，即
回归自变量变差的贡献，称为回归离差平方和，记为SSR；
性 关
产量和施肥量
系 商品价格和需求量
实变量
变量取值 非确定
Y
随机变量
如果对于任何已知的x值,变量y按某个概率取某些特殊 的值,则x和y之间的关系为随机的
回归基本思想
(x, y)
采集样本信息(xi,yi)
回归分析 散点图
回归方程的 显著性检验
回归方程
对现实进行预测与控制
厦门大学经济学院-2012春季学期
是σ2的无偏估计值。
即便x和y不存在线性关系， 但根据 n 对观测值（xi，yi）
总可求得一个回归方程 yˆ = a + bx
显然，这样的回归方程，反应的线性关系并不真实。
线性回归方程所反应的变量间的线性关系是否真实？ 取决于变量 x 与 y 间是否存在直线关系。
以下，作出统计推断和检验。
二. 回归方程的检验方法
把所有直线中最接近散点图中全部散点的直线用来
表示x 与y 的直线关系，这条直线称为回归直线。
n
n
对于 Q(a,b) εi2 [ yi (a bxi )]2
i1
i1
二元函数Q(a,b) 的最小值点 (aˆ,bˆ) 称为a，b
的最小二乘估计(简记为OLSE )
Q
a
n
2
i1
( yi
(a
bxi ))
E ( y y)2 - E(bˆ2 (xi x)2 )
E(
lyy)
-
E(bˆ2lxx)
(n
1)σ
2
b2lxx
-
σ
(
2
b2 )lxx)
lxx
(n 2) σ 2
E(Q（/ n 2）) σ 2
作业 习题 8.1：4
对于方程 y =a + b x + ε ，ε~N (0, σ2 ) ， Q /(n -2)
厦门大学经济学院-2012春季学期
3. t检验
(1) 提出原假设和备择假设
H0: b = 0; H1: b ≠ 0
(2) 选择检验统计量，
前一节已经证明： D(bˆ) σ 2
Z
bˆ b Sbˆ
bˆ Sbˆ
lxx
~
t(n
2)
(
H
成立时）
0
(3) 对于给定的显著性水平α, 当 P{| t(n 2) || Z |}
厦门大学经济学院-2012春季学期
一个自变量
一元回归
回归模型
两个及两个以上 自变量