线性回归的经验公式与最小二乘法

  • 格式:ppt
  • 大小:1.34 MB
  • 文档页数:16

下载文档原格式

  / 16
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

nxa
(
i
n 1
xi2 )b
n i 1
——
xi yi
称为正规方程组
其中
x
1 n
n i 1
xi
,
y
1 n
n i 1
yi
11
na nxb ny
nxa
n
(
i 1
xi2 )b
ຫໍສະໝຸດ Baidu
n i 1
xi
yi
系数行列式
n D nx
nx
n
n
n
xi2
n(
x
2 i
nx
2
)
n
(xi x)2,
i 1
i 1

x
1 10
10 i 1
xi
8
,
1 10 y 10 i1 yi 50 ,
10
10
lxx
(xi x)2
x
2 i
10x 2
210
,
i 1
i 1
10
10
l xy ( xi x )2 xi yi 10xy 1350 ,
i 1
i 1
14
10
10
lxx
(xi x)2
x
线性回归方程. 通常记为
yˆ a bx
由样本对a, b 进行估计,得到aˆ 及 bˆ, 称 a 为回归常数, b为回归系数 .
7
求 a,b 估计值的方法:
(一) 作图法:简单方便,但精度差,局限性大; (二) 参数估计法:
最大似然估计法; 矩估计法; 最小二乘估计法(常用).
8
皮肌炎图片——皮肌炎的症状表现
第七章
1
变量之间的关系大致有 两种,一是 函数 关系, 是确定性的,如 s = v t ; 另一种是相关关系,是不 确定的.
在社会经济领域,更多的是相关关系. 如投入与 产出、价格与需求的关系等等.
回归分析方法是处理变量间相互关系的有力工 具.
2
第一节
3
一、散点图与回归直线
将n对观察结果作为直角平面上的点,这样得到 的图形称为散点图.散点图可以帮助我们粗略地看 出 x 与 y 的相关关系的形式.
i 1 n
i1 n
.
xi2 nx 2
(xi x)2
i 1
i 1
n
n
记 lxx
(xi x)2
x
2 i
nx 2
,
i 1
i 1
n
n
l yy ( yi y)2 yi2 ny2 ,
i 1
i 1
n
n
lxy ( xi x)( yi y) xi yi nxy ,
i 1
i 1
4
例1 价格与供给量的观察数据见下表:
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110
散点图
120 100
80
60
40 20
0
0
5
10
15
20
图1
由图1可以看出,x 与 y 之间存在一定的相关关系, 且这种关系是线性关系.
5
其他可能的相关关系见下图:
y
o
x
y
o
x
y
o
x
y
o
x
6
图 1的10个点虽然不在一直线上,但大致散布于一 条直线周围,我们把其表示为:
y a bx
~ N (0, 2 )
即对每一个x值, y ~ N (a bx, 2 ) , 其中 a, b及 2都是
不依赖于x 的未知参数. 称上述方程为 y 关于 x 的一元
a,b的方法称为最小二乘法. LSE (Least Square Estimation)
10
n
a, b 的求解: Q(a, b) [ yi (a bxi )]2
i 1
Q
n
a
Q
b
2 2
i 1 n
i 1
[ [
yi yi
(a (a
bxi bxi
)] )]xi
0 0
na nxb ny

bˆ lxy , l xx
aˆ y bˆx .
显然回归直线经过散点图
的几何中心 ( x, y) . 13
例2 价格与供给量的观察数据见下表:
x (元) 2 3 4 5 6 8 10 12 14 16 y (吨) 15 20 25 30 35 45 60 80 80 110
求 y 对 x 的回归方程.
• 皮肌炎是一种引起皮肤、肌肉、 心、肺、肾等多脏器严重损害的, 全身性疾病,而且不少患者同时 伴有恶性肿瘤。它的1症状表现如 下:
• 1、早期皮肌炎患者,还往往伴 有全身不适症状,如-全身肌肉酸 痛,软弱无力,上楼梯时感觉两 腿费力;举手梳理头发时,举高 手臂很吃力;抬头转头缓慢而费 力。
二、最小二乘法
2 i
10x 2
210
,
i 1
i 1
10
10
l xy ( xi x )2 xi yi 10xy 1350 ,
i 1
i 1
bˆ lxy 6.4286 , aˆ y bˆx 1.4288 , l xx
所以所求回归方程为
yˆ 1.4288 6.4286x .
15
练习:
P240 习题七
i 1
由于
xi
不全相等,
n
D
0
,
所以方程组有唯一解
n

y bˆx , bˆ
xi yi nxy
i 1 n
(xi x)( yi y)
i 1 n
.
xi2 nx 2
(xi x)2
i 1
i 1
12
aˆ y bˆx ,
n
n
xi yi nxy
(xi x)( yi y)

根据上述假设,对 i 1,2,n,
yi a bxi i
n
如 a, b 的值能使 | i |为最小,则该直线是较理想的选择.
n
i1 n
由于
| i |最小与
2 i
最小一致,故问题成为求
a,
b
,使
i 1
i 1
n
Q(a, b) [ yi (a bxi )]2
i 1
达到最小. 上述原则即称为最小二乘原则,由此估计
16