当前位置：文档之家 › 第二章：一元线性回归模型理论与方法(第二部分)

第二章：一元线性回归模型理论与方法(第二部分)

  • 格式：ppt
  • 大小：3.33 MB
  • 文档页数：93

下载文档原格式

  / 93

合集下载

02一元线性回归模型ppt课件

02一元线性回归模型ppt课件

xi (xi X) xi2
xi2 xi2
X
xi xi2
1
故： ˆ1 1 kii
E(ˆ1) E(1 kii ) 1 ki E(i ) 1
ˆ0 wiYi wi(0 1Xi i)0 wi 1 wiXi wii
由于：wi (1/nXki)1Xki 1
wiXi
二、普通最小二乘法〔OLS）
普通最小二乘法是一种参数估计方法，确定估计参数的 准则是使全部观察值的残差平方和最小，即 ei2 min, 由 此得出选择回归参数 b0 , b1 的最小二乘估计式。
（谁提出的呢？） Y
e3 e1 e2
e5 e6
e4
X1 X2 X3
X4
X5 X6
X
（C F Gauss, 1777-1855）
▪ 回归模型存在两个特点。 ▪ （1〕回归函数不能百分之百地再现所研究的经济
过程。 ▪ （2〕也正是由于这些假定与抽象，才使我们能够
透过复杂的经济现象，深刻认识到该经济过程的 本质。
总体回归方程随机形式 总体回归方程
Y i E Y iX i i 0 1 X i i
系统变 化部分
非系统 变化部分
C F Gauss 1809年提出OLS估计方法。
残差平方和
n ei2 n (YiYˆ)2 n Yi(o1Xi)2
i1
i1
i1
使偏导数为零
( e oi2)2 (Yi o1Xi)0 ( e 1i2)2 (Yio1X i)X i0
得正规方程
Yi = nβo + β 1 Xi XiYi = β o Xi + β 1 Xi2
其中，ci ki di ，di 为不全为零的常数。 E(ˆ1* ) E( ciYi ) ci E(Yi ) ci ( 0 1 X i ) 0 ci 1 ci X i

第02章 一元线性回归模型(讲稿)

第02章 一元线性回归模型(讲稿)

第2章一元线性回归模型§2.1 模型的建立及其假定条件1. 回归分析的概念回归分析是处理变量与变量之间关系的一种数学方法。

1）关系分类（1）确定的函数关系。

例如某企业的销售收入Y i等于产品价格P与销售量X i的乘积，用数学表达式表示为：Y i = P X i（2）非确定的依赖关系。

例如某企业资金的投人X i与产出Y i，一般来讲，资金投入越多，产出也相应提高。

但是由于生产过程中各种条件的变化，使得不同时间内同样的资金投入会有不同的产出。

这些造成了资金的投入与产出之间关系的不确定性，因而不能给出类似于函数的精确表达式。

用u i表示其他影响因素，将这两个变量之间非确定的依赖关系表示成下列形式：Y i = f(X i )+ u i（3）回归分析。

为了分析和利用变量之间非确定的依赖关系，人们建立了各种统计分析方法，其中回归分析方法是最常用的经典方法之一。

回归分析的理论和方法是计量经济模型估计理论和估计方法的主要内容。

2．一元线性回归模型1）概念。

为了说明一元线性回归模型，举一个某商品需求函数的例子。

为了研究某市城镇每年鲜蛋的需求量，首先考察消费者年人均可支配收入对年人均鲜蛋需求量的影响。

由经济理论知，当人均可支配收入提高时，鲜蛋需求量也相应增加。

但是，鲜蛋需求量除受消费者可支配收入影响外，还要受到其自身价格、人们的消费习惯及其他一些随机因素的影响。

为了表示鲜蛋需求量与消费者可支配收入之间非确定的依赖关系，设Y i为鲜蛋需求量，X i为可支配收入，我们将影响鲜蛋需求量的其他因素归并到随机变量吨中，建立这两个变量之间的数学模型：Y i = β0 + β1 X i + u i (2.1)其中Y i——称作被解释变量；X i——称作解释变量；u i——随机误差项(随机扰动项或随机项、误差项)；β0 、β1——回归系数(待定系数或待定参数)。

在数学模型(2.1)式中，当X i发生变化时，按照一定规律影响另一变量Y i，而Y i的变化并不影响X i 。

计量经济学第二章--一元线性回归模型

计量经济学第二章--一元线性回归模型

2 、同方差假定：每一个随机误差项的方差为常数，即:
经 济
Var(Yi ) Var(i ) 2 (常数)
学
该假定表明：给定X对应的每个条件
分布都是同方差的，每个Y值以相同
的分布方式在它的期望值E(Y)附近波
动
10
3、无自相关假定：任意两个随机误差项之间不相关，用数学
形式表示为：
Cov(i, j ) E (i E(i ))( j E( j )) 0
)
xiYi Y xi2
xi
xi 0
bˆ1
xiYi xi2
(bˆi
x12
x1Y1 x22
xn2
x12
x2Y2 x22
xn2
...
x12
xnYn x22
xn2
)
19
令
ki
xi xi2
则
bˆi
kiYi
(1) k i
(
xi xi2
)
xi xi2
0
计 量 经 ki的性质 济 学
2 n
2k1k21 2
2kn1kn n1 n
)
量
经
k12
E
(12
)
k22
E
(
2 2
)
kn2
E
(
2 n
)
2k1k2
E
(1
2
)
2kn
1kn
E
(
n1
n
)
济
学 由古典线性回归模型的假定可知，对每一个随机变量，有
E(i2) 2, E(i j ) 0(当i j时)
Var(bˆ1)
k12 E (12

第二章一元线性回归模型PPT课件

第二章一元线性回归模型PPT课件

参数估计值 ˆ 的分布称为 ˆ 的抽样分布，密度函
数记为 f ( ˆ )
如果 E(ˆ) ，称 ˆ 是参数 的无偏估计式，否
n
XiYi Xi2(
Xi Yi Xi)2
^ 0
Xi2 Yi Xi XiYi n Xi2 * ( Xi)2
16
用离差表现的OLS估计式
为表达得更简洁，或者用离差形式OLS估计式：
__
__
^
1
(Xi
X)(Yi Y)
__
(Xi X)2
xiyi xi2
^
0
__
Y
ˆ1
X
注意其中： xi Xi X
Cov(Xi,ei)0
●解释变量 Y ˆ i 与剩余项 e i 不相关
Cov(Yˆi,ei)0
*
19
第三节、最小二乘估计量的统计性质 (一)参数估计式的评价标准
1. 线性性 估计量 ˆ 0 , ˆ1 是 Y i 的线性组合
*
20
2. 无偏性
前提：重复抽样中估计方法固定、样本数不变、经
重复抽样的观测值，可得一系列参数估计值
yi Yi Y
而且样本回归函数可写为 * yˆi ˆ1xi
17
二、几个常用的结果
可以证明：
●回归线通过样本均值
Y
Y ˆ0 ˆ1X
Y
●估际计观值测值Y ˆ i
的均值等于实
Y i 的均值
Yˆi Y
n
X
X
*
18
●剩余项 e i 的均值为零
e ei 0
n
●因变量估计值 X i 与剩余项 e i 不相关
e
i
可正可负，所以可以取

第二章二计量经济学-一元线性回归分析.ppt课件

第二章二计量经济学-一元线性回归分析.ppt课件

2
1 n
2 n
X
ki X 2
xi
x
2 i
2
2
1 n
X2
x
2 i
2
x
2 i
nX
2
2
X
2 i
2
n
x
2 i
n
x
2 i
(2.2.11)
精选
34
（2）证明最小方差性
假设ˆ1* 是其他方法得到的关于1 的线性无偏估计量： ˆ1* ciYi
其中，ci ki di ，di 为不全为零的常数。 E(ˆ1* ) E( ciYi ) ci E(Yi ) ci (0 1 X i ) 0 ci 1 ci X i
由ˆ1* 的无偏性，即E(ˆ1* ) 1 可知： 0 ci 1 ci X i 1
从而有： ci 0 ，ci Xi 1
精选
35
的 ˆ
* 1
方
差
var(
ˆ
* 1
)
var(
ciYi )
c
2 i
var(
Yi)
c
2 i
var(
i)
c
2 i
2
= ( k i d i ) 2 2
变量置换得到
Z 0 1 X 1 2 X 2 3 X 3
精选
9
结论：
• 实际经济活动中的许多问题，都可以最终化为线 性问题，所以，线性回归模型有其普遍意义。
• 即使对于无法采取任何变换方法使之变成线性 的非线性模型，目前使用得较多的参数估计方 法——非线性最小二乘法，其原理仍然是以线 性估计方法为基础。
(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘

第二讲 一元线性回归模型

第二讲 一元线性回归模型

E(i Xi ) 0, i 1,2,, n
• （2）同方差假设。 Var( X ) 2 , i 1, 2,, n i i • （3）序列不相关假设。
Cov(i , j ) 0, i, j 1, 2,, n, i j

（4）正态性假设。 一般假设随机项服从正态分布。
3、可决系数R2统计量
ESS RSS R 1 TSS TSS
2
• 是一个非负的统计量。取值范围：[0，1] • 越接近1，说明实际观测点离回归线越近， 拟合优度越高。
• 拟合优度越高，说明回归结果越好。
二、变量的显著性检验
T检验(检验单个回归系数是否显著不为零)
二、变量的显著性检验：T检验(检验 单个变量的回归系数是否显著不为零)
ˆ ˆ yt 0 1xt et MinQ (Y Y ) 2 e2 ˆ i i i
n n
ˆ ˆ ˆ yt 0 1xt
1
1
ˆ X )) 2 (Yi ( 0 ˆ1 i
1
n
2、正规方程组
Q 0 0 Q 1 0
第二章 经典单方程计量经济学模型： 一元线性回归模型 The Classical Single Equation Econometric Model: Simple Regression Model
本章内容
• §2.1一元线性回归模型的设定与古典假
设
• §2.2一元线性回归模型的参数估计 • §2.3一元线性回归模型的检验 • §2.4一元线性回归模型的预测
二、经典线性回归模型的基本假设 The Basic Assumptions of Classical Linear Regression Model(CLRM)

第二章：一元线性回归模型理论与方法(第二部分)


最小二乘法的数学原理
• 纵向距离是Y的实际值与拟合值之差，差异 大拟合不好，差异小拟合好，所以又称为 拟合误差或残差。 • 将所有纵向距离平方后相加，即得误差平 方和，“最好”直线就是使误差平方和最 小的直线。 • 于是可以运用求极值的原理，将求最好拟 合直线问题转换为求误差平方和最小。
普通最小二乘法（OLS）
这三个准则也称作估计量的小样本性质。
拥有这类性质的估计量称为最佳线性无偏估计 量（best liner unbiased estimator, BLUE）。
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
ˆ , ˆ 的均 2、无偏性，即以X的所有样本值为条件，估计量 0 1 0与1 。 值（期望）等于总体回归参数真值
ˆ X i2 Yi X i Yi X i 0 nX i2 (X i ) 2 ˆ nYi X i Yi X i 1 2 2 n X ( X ) i i
对数似然函 数极大化的 一阶条件
结构参数的 ML估计量
最大似然法与普通最小二乘法讨论

已知一组样本观测值（Yi，Xi）(i=1,2, …,n)， 要求样本回归函数尽可能好地拟合这组值，即 样本回归线上的点Y ˆi 与真实观测点Yi的“总体” 误差尽可能地小。在技术处理上我们一般采用 “最小二乘法”。

最小二乘原则：由于估计值和实测值之差可正 可负，简单求和可能将很大的误差抵消掉，因 此，只有平方和才能反映二者在总体上的接近 程度。
n 1
证残差与 Yˆ 的样本协方差为0，即证： i
eiYˆ i
0
ห้องสมุดไป่ตู้

第二章 一元线性回归模型(本科生计量经济学)


即：正规方程组揭示的是残差的性质。
26
普通最小二乘估计有关 的其他性质（课后习题）
Y Y

^
e Y e y
i ^ i
^
i
0 0
27
i
2、由普通最小二乘估计系数的性质可证
得普通最小二乘估计与参数的关系如下：
1 1 k i u i
^
0 0 wi ui
（ 1） （ 2）
（ 1）
0 Y 1 X
^

^

Y

1 n
Y , X X
i 1 i 1 n i 1
n

n
i
18
参数的普通最小二乘估计量
ˆ ˆ X )0 (Yi 0 1 i ˆ ˆ X )X 0 ( Y i 0 1 i i
^
33
三、一元线性回归模型参数的最大似 然法(Maximum Likehood,ML)估计
• 基本原理：似然原理
• 一元线性回归模型ML使用的条件：已知随机扰动 项的分布。
34
Y1 , Y2 ,...,Yn
1 f (Yi ) e 2
1 2
1 2
2
Yi ~ N (0 1 X i , 2 )
w 1
i
22
普通最小二乘估计的例
年份
1991 1992 1993 1994
ED(X)
708 793 958 1278
FI(Y)
3149 3483 4349 5218
ed(x)
-551 -466 -301 19
fi(y)
-2351 -2017 -1151 -282

第2章 一元线性回归模型 演示文稿


般来说,在一定限度内施肥量适当增加,产量就会相应增
加 . 但即使施肥量相同 , 产量并不能由施肥量唯一确定 , 而可能有不同的值 .在该例中 , 施肥量是 自变量 ( 解释变 量),是可以控制的,是确定性变量.而产量受各种偶然因 素的影响,是 不可控制的随机变量 ,是因变量( 被解释变
量).
7
2.1.1 回归分析的内涵
第2章 一元(两变量)线性回归分析
2.1 一元线性回归模型 2.2 一元线性回归模型的参数估计 2.3 古典假设的内涵与参数估计量的性质
！
2.4 拟合优度评价 、回归显著性检验(F检验)
2.5 一元线性回归系数的检验(t检验)
2.6 预测
##
#
1
2.1 一元线性回归模型
2.1.1 回归分析的内涵 2.1.2 一元线性回归模型的有关概念 2.1.3 有关随机扰动项μi 的古典模型假设
27
2.1.3 有关随机扰动项μi 的古典模型假设
数据是世界运动变化留下的轨迹，是客
体间错综复杂关系的表征。因此，数据背后
存在着某种规律。
由于随机性的存在，事物间的本质联系
（必然性、规律）往往被偶然性所遮蔽，有
待人们用特殊方法去认识与探索。
28
2.1.3 有关随机扰动项μi 的古典模型假设
数据的集合称为变量（变数），这些数据是
155
165 175 189 － 966
175
178 180 185 191
1211
10
散点图
11
2.1.2 一元线性回归模型
一些基本概念 条件分布：以X取定值为条件的Y的条件分布 条件概率：给定X的Y的概率，记为P(Y|X)。 例如，P(Y=55|X=80)=1/5；P（Y=150|X=260）=1/7。 条件期望（conditional Expectation）：给定X的Y的期望值， 记为E(Y|X)。 例如，E(Y|X=80)=55×1/5＋60×1/5＋65×1/5＋70×1/5＋ 75×1/5＝65 总体回归曲线（Popular Regression Curve）（总体回归曲 线的几何意义）：当解释变量给定值时因变量的条件期望 值的轨迹。

计量经济学第二篇一元线性回归模型

第二章 一元线性回归模型2.1 一元线性回归模型的基本假定有一元线性回归模型（统计模型）如下， y t = β0 + β1 x t + u t上式表示变量y t 和x t 之间的真实关系。

其中y t 称被解释变量（因变量），x t 称解释变量（自变量），u t 称随机误差项，β0称常数项，β1称回归系数（通常未知）。

上模型可以分为两部分。

（1）回归函数部分，E(y t ) = β0 + β1 x t ,（2）随机部分，u t 。

图2.1 真实的回归直线这种模型可以赋予各种实际意义，居民收入与支出的关系；商品价格与供给量的关系；企业产量与库存的关系；身高与体重的关系等。

以收入与支出的关系为例。

假设固定对一个家庭进行观察，随着收入水平的不同，与支出呈线性函数关系。

但实际上数据来自各个家庭，来自同一收入水平的家庭，受其他条件的影响，如家庭子女的多少、消费习惯等等，其出也不尽相同。

所以由数据得到的散点图不在一条直线上（不呈函数关系），而是散在直线周围，服从统计关系。

“线性”一词在这里有两重含义。

它一方面指被解释变量Y 与解释变量X 之间为线性关系，即另一方面也指被解释变量与参数0β、1β之间的线性关系，即。

1ty x β∂=∂，221ty β∂=∂0 ，1ty β∂=∂，2200ty β∂=∂2.1.2 随机误差项的性质随机误差项u t 中可能包括家庭人口数不同，消费习惯不同，不同地域的消费指数不同，不同家庭的外来收入不同等因素。

所以在经济问题上“控制其他因素不变”是不可能的。

随机误差项u t 正是计量模型与其它模型的区别所在，也是其优势所在，今后咱们的很多内容，都是围绕随机误差项u t 进行了。

回归模型的随机误差项中一般包括如下几项内容： （1）非重要解释变量的省略，（2）数学模型形式欠妥， （3）测量误差等，（4）随机误差（自然灾害、经济危机、人的偶然行为等）。

2.1.3 一元线性回归模型的基本假定通常线性回归函数E(y t ) = β0 + β1 x t 是观察不到的，利用样本得到的只是对E(y t ) =β0 + β1 x t 的估计，即对β0和β1的估计。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

最小二乘法给出的判断标准是：二者之
差的平方和最小。即：
Q
e i
1

n
2 i

(Yi i
1
n
Yi )

2
最小。也就是说在给定样本观测值之下， 选择出
、
0

1
ˆ 之差的平 能使得Yi与Y
i
方和最小。
用最小二乘法估计
Q

n


0
和 ：
1

2 ( Y Y ) i i
最小二乘法的思路





1．为了精确地描述Y与X之间的关系，必须使用 这两个变量的每一对观察值，才不至于以点概面 （作到全面）。 2．Y与X之间是否是直线关系（协方差或相关系 数）？若是，将用一条直线描述它们之间的关系。 3．在Y与X的散点图上画出直线的方法很多。 任务？——找出一条能够最好地描述Y与X（代表 所有点）之间的直线。 4．什么是最好？—找出判断“最好”的原则。 最好指的是找一条直线使得这些点到该直线的纵 向距离的和（平方和）最小。
最小二乘法的数学原理
• 纵向距离是Y的实际值与拟合值之差，差异 大拟合不好，差异小拟合好，所以又称为 拟合误差或残差。 • 将所有纵向距离平方后相加，即得误差平 方和，“最好”直线就是使误差平方和最 小的直线。 • 于是可以运用求极值的原理，将求最好拟 合直线问题转换为求误差平方和最小。
普通最小二乘法（OLS）
xi(xi X ) xi xi xi
2
2
X xi 1 2 xi
ˆ | X ) E(( E( 1 1

可知：
(Y
n 1
i
( X )) 0
0 1 i
即：
e
i
0
所以， e 1
n
ei
0
即残差 ei 的均值为零。
（4）残差 ei 与Xi不相关。
Cov(ei ,X i )
(X i
X )(ei e )
n 1

ei X i
n 1
X ei
注：“估计量”（estimator）和“估计值”
(estimate)的区别
• 如果给出的参数估计结果是由一个具体样本资料 计算出来的，它是一个“估计值”，或者“点估 计”，是参数估计量的一个具体数值； • 如果把上式看成参数估计的一个表达式，那么， 则是Yi的函数，而Yi是随机变量，所以参数估计 也是随机变量，在这个角度上，称之为“估计 量”。
Y的所有样 本观测值的 联合概率— 似然函数
L* ln(L) n ln( 2 ) 1 2
2
ˆ ˆ X )2 (Yi 0 1 i
对数似然 函数
ˆ ˆ X )2 0 ( Y i 0 1 i ˆ 0 ˆ ˆ X )2 0 (Yi 0 1 i ˆ 1
ˆ X i2 Yi X i Yi X i 0 nX i2 (X i ) 2 ˆ nYi X i Yi X i 1 2 2 n X ( X ) i i
对数似然函 数极大化的 一阶条件
结构参数的 ML估计量
最大似然法与普通最小二乘法讨论
• OLS估计
x y i i ˆ = xi
1 2
0.6700
ˆ Y ˆ X 142.4 0 1 因此，由该样本估计的回归方程为 Yˆ 142.4 0.67X
i i
3、样本回归线SRF的性质
⑴ 样本回归线通过Y和X的样本均值。 证明：因为

Y X
ˆ k Y k ( X ) i i i 0 1 i i 0 k i 1 k i X i k i i 1 证：
易知 kiFra bibliotekki X i



xi 2 x1
xi X i 2 xi
xi xi
2
0
2
故
ˆ k i i 1 1

已知一组样本观测值（Yi，Xi）(i=1,2, …,n)， 要求样本回归函数尽可能好地拟合这组值，即 样本回归线上的点Y ˆi 与真实观测点Yi的“总体” 误差尽可能地小。在技术处理上我们一般采用 “最小二乘法”。

最小二乘原则：由于估计值和实测值之差可正 可负，简单求和可能将很大的误差抵消掉，因 此，只有平方和才能反映二者在总体上的接近 程度。
三种距离
y
纵向距离 ui
A
x , y 横向距离
i i
ˆ y a b x yy
i i i
i
纵 向 距 离
B
距离
x , y ˆ
i i
A为实际点，B为拟 合直线上与之对应 的点
x
距离是度量实际值与拟合值是否相符的 有效手段之一
• 点到直线的距离——点到直线的垂直线的长 度。 • 横向距离——点沿（平行）X轴方向到直线的 距离。 • 纵向距离——点沿（平行）Y轴方向到直线的 距离。也就是实际观察点的Y坐标减去根据直 线方程计算出来的Y的拟合值。 • 这个差数以后称为误差——残差（剩余）。

i 1 n
2 ( Y ( X )) i 0 1 i


i 1
是
、
0


1
的二次非负函数，故该函数存在

极小值。根据微积分方法，当Q对 、
0

1
的一阶偏导数为0（二阶导数大于0）时，Q 达到最小。
即：
Q ˆ 0 Q ˆ 1

由于解释变量Xi是外生变量，随机误 差项 i 是未包含在模型中的对被解释变量 有影响的诸多因素的集合体，是随机变量， 被解释变量Yi是随机变量，且其分布（特征） 与 i相同。
四、一元线性回归模型的参数估计： 普通最小二乘法（OLS）
1、普通最小二乘法OLS 2、参数估计的离差形式 3、样本回归线SRF的性质
这三个准则也称作估计量的小样本性质。
拥有这类性质的估计量称为最佳线性无偏估计 量（best liner unbiased estimator, BLUE）。
高斯—马尔可夫定理(Gauss-Markov theorem)
在给定经典线性回归的假定下，最小二乘估计 量是具有最小方差的线性无偏估计量。
ˆ , ˆ 的均 2、无偏性，即以X的所有样本值为条件，估计量 0 1 0与1 。 值（期望）等于总体回归参数真值
2 i
2、参数估计的离差形式 (deviation form)
记
1 X X n x X X
i i i
1 Y Y n y Y Y
i i i
则xi、yi分别表示对各自均值的离差。
记
xi2 (X i X ) 2 X i2
1 X i 2 n
xi yi ( X i X )(Yi Y ) X iYi
ˆ Y 顺便指出 ，记 y ˆi Y i
则有
ˆ ˆ X ) ( ˆ ˆ X e) ˆi ( y 0 1 i 0 1 ˆ (X X ) 1 e 1 i n i
可得
ˆx ˆi y 1 i
（**）
（**）式也称为样本回归函数的离差形式。
注意：
在计量经济学中，往往以小写字母表示对均值 的离差。
证残差与Xi的的样本协方差为零，即证：
eiX i
(Yi
1
0
由正规方程组的第二个方程，
n
ˆ ˆX ) Xi 0 0 1 i
可得
eiX i
0
（5）残差 ei 和估计的Yi不相关。
Cov(ei ,Yˆ ) i
Y )(ei (Yˆ i e)
n 1

Y ei eiYˆ i
0 1 0 1
即：
Y X
故，样本回归线通过Y和X的样本均值。 或者说，点(X ,Y ) 在样本回归线上。
⑵
ˆ 等于实测的Y的均值 Y 估计的Y的均值 Y i
证明：
Y X
i 0 1 1



i
(Y X ) X
1
i
Y (X X )
最大似然法：简介
• 最大似然法(Maximum Likelihood,ML)，也 称最大或然法，是不同于最小二乘法的另一种 参数估计方法，是从最大或然原理出发发展起 来的其它估计方法的基础。
• 基本原理：当从模型总体随机抽取n组样本观 测值后，最合理的参数估计量应该使得从模型 中抽取该n组样本观测值的概率最大。
或
ˆ ˆ Y n X i 0 1 i 2 ˆ ˆ Y X X X 0 i 1 i i i
该方程组称为正规方程组（normal equations）
解上述二元一次方程组得：
ˆ X Yi X i Yi X i 0 2 2 nX i (X i ) n Y X Y X i i i i ˆ 1 2 2 nX i (X i )
1 i
由于

(X
i
i
X) 0
1
则有，
1 1 Y Y (Y ( X X )) n n 1 Y Y n
i i
ˆ 与实测的Y的均值 Y 即估计的Y的均值 Y i
相等。
ei 的均值为零。 由正则方程组： n ˆ ˆ
（3）残差
(Yi 0 1X i ) 0 1 n (Y ˆ ˆ X )X 0 i 0 1 i i 1