最小二乘法OLS和线性回归

在满足基本假设条件下，对一元线性回归模型：
Yi 0 1 X i i
随机抽取n组样本观测值（Xi, Yi）（i=1,2,…n）。
假如模型的参数估计量已经求得，为 那么Yi服从如下的正态分布： 于是，Y的概率函数为
2 ˆ ˆ Yi ~ N ( 0 1 X i , )
② 用最小二乘法拟合的直线来代表 x 与 y 之间的 关系与实际数据的误差比其他任何直线都小
2. 正规方程和估计量
取偏导数并令其为0，可得正规方程 ( ei2 ) ˆ ˆ X )0 2 (Yi 1 2 i ˆ
( ei2 ) ˆ ˆ X )X 0 2 (Yi 1 2 i i ˆ
普通最小二乘法（OLS） （Ｏrdinary Least Squares) 高斯被认为是历史上 最重要的数学家之一，并 享有“数学王子”之称。 高斯和阿基米德、牛顿并 列为世界三大数学家。一 生成就极为丰硕，以他名 字“高斯”命名的成果达 110个，属数学家中之最。
C.F.Gauss 1777－1855
解得模型的参数估计量为：
ˆ X i2 Yi X i Yi X i 0 nX i2 (X i ) 2 ˆ nYi X i Yi X i 1 2 2 n X ( X ) i i
可见，在满足一系列基本假设的情况下，模型 结构参数的 最大或然估计量 与 普通最小
6
在家庭可支配收入-消费支出例中，对于所抽出的一组样 本数，参数估计的计算可通过下面的表进行。
表 2.2.1 参数估计的计算表
Xi
Yi
xi
yi
xi y i
xi2
y i2
X i2
Yi 2

ols、固定效应和随机效应解释变量的回归结果下载提示：该文档是本店铺精心编制而成的，希望大家下载后，能够帮助大家解决实际问题。

文档下载后可定制修改，请根据实际需要进行调整和使用，谢谢!本店铺为大家提供各种类型的实用资料，如教育随笔、日记赏析、句子摘抄、古诗大全、经典美文、话题作文、工作总结、词语解析、文案摘录、其他资料等等，想了解不同资料格式和写法，敬请关注!Download tips: This document is carefully compiled by this editor. I hope that after you download it, it can help you solve practical problems. The document can be customized and modified after downloading, please adjust and use it according to actual needs, thank you! In addition, this shop provides you with various types of practical materials, such as educational essays, diary appreciation, sentence excerpts, ancient poems, classic articles, topic composition, work summary, word parsing, copy excerpts, other materials and so on, want to know different data formats and writing methods, please pay attention!OLS、固定效应和随机效应解释变量的回归结果1. 引言线性回归是统计学中常用的一种方法，用于探究自变量与因变量之间的关系。

FGLS估计—
异方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5.1 4.5.2 4.5.3 产生原因 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 异方差 . . . . . . . . . . . . . . . . . . . . . . . 估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 X 2. limn →∞ n
(4.1)
是一个正定对角矩阵；
X = Q∗ ，其中， Q∗ 正定、有限。
假设 1 是我们本章考虑的重点，我们将干扰项的方差-协方差矩阵从经典 OLS 回归模型中 的 σ 2 I 一般化为非均齐方差 σ 2 。这是一般化线性回归模型的根本特点。利用该假设，我们可
以捕捉单个干扰项的方差，即， V ar (ε) 对角线上的元素的差异（这就是我们后面将要提到的异 方差问题）；同时也可以捕捉两个干扰项之间的同期相关性，即， V ar (ε) 非对角线上的元素不 为零（如后面提到的自相关和 SURE 模型）。处理一般化模型的基本思路是通过一些变换，使 其满足经典 OLS 回归模型中的基本假设，然后采用 OLS 进行估计即可。 假设 2 也是一个新加的假设条件。它限制了样本矩阵 X 和方差-协方差矩阵 σ 2 的关系，
谢所有耐心读完这份笔记的同学，希望你们把发现的错误和不妥之处E-mail 给我以便于我做进 一步的修改。

协方差矩阵Var( | X )的非主对角线元素都为0，不同个体的扰动 项之间无“自相关”(autocorrelation)；反之，则存在自相关。
8
3.2 OLS 的代数推导 对于 的任意假想值 ，记个体i 的拟合误差(即残差，residual)
为ei yi xi 。 将所有个体的残差叠放，可得残差向量e (e1 e2 en ) y X 。
( A ) 2
( A K
)
2
A
类似于对二次函数求导。
12
使用向量微分规则，可得最小化的一阶条件：
(SSR)
2X y
2X
X
0
最小二乘估计量 b 满足：
( X X )KK bK1 X K n yn1 (正规方程组，K 个方程，K 个未知数)
X y ( X X )b 0
(移项)
X (y Xb) 0
(1) 线性性：OLS 估计量b ( X X )1 X y 为 y 的线性组合。
(2) 无偏性：E(b | X ) ，即b不会系统地高估或低估 。
证明：抽样误差(sampling error)为
b ( X X )1 X y ( X X )1 X ( X ) ( X X )1 X A
b
矩阵”(projection matrix)。 用 P 左乘任何向量，就得到该向量在超平面 X 上的投影。
由于e y yˆ y Py (In P) y My ，故 M In P 称为“消灭 矩阵”(annihilator matrix)。
用消灭矩阵 M 左乘任何向量，就得到该向量对超平面 X 投影后 的残差向量。
0
6
假定 3.3 不存在“严格多重共线性”(strict multicolinearity)， 即数据矩阵 X 满列秩，rank( X ) K ，其中“rank”表示矩阵的秩。