第一讲 普通最小二乘法的代数一、 问题假定y 与x 具有近似的线性关系：01y x ββε=++，其中ε是随机误差项。
我们对01ββ、这两个参数的值一无所知。
我们的任务是利用样本数据去猜测01ββ、的取值。
现在，我们手中就有一个样本容量为N 的样本，其观测值是：1122(,),(,),...,(,)N N y x y x y x 。
问题是，如何利用该样本来猜测01ββ、的取值？为了回答上述问题，我们可以首先画出这些观察值的散点图（横轴x ，纵轴y ）。
既然y 与x 具有近似的线性关系，那么我们就在图中拟合一条直线：1ˆˆˆyx ββ=+。
该直线是对y 与x 的真实关系的近似，而01ˆˆ,ββ分别是对01,ββ的猜测（估计）。
问题是，如何确定0ˆβ与1ˆβ，以使我们的猜测看起来是合理的呢？笔记：1、为什么要假定y 与x 的关系是01y x ββε=++呢？一种合理的解释是，某一经济学理论认为x 与y 具有线性的因果关系。
该理论在讨论x 与y 的关系时认为影响y 的其他因素是不重要的，这些因素对y 的影响即为模型中的误差项。
2、01y x ββε=++被称为总体回归模型。
由该模型有：01E()E()y x x x ββε=++。
既然ε代表其他不重要因素对y的影响，因此标准假定是：E()0x ε=。
故进而有：01E()y x x ββ=+，这被称为总体回归方程（函数），而01ˆˆˆy x ββ=+相应地被称为样本回归方程。
由样本回归方程确定的ˆy与y 是有差异的，ˆy y -被称为残差ˆε。
进而有：01ˆˆˆy x ββε=++，这被称为样本回归模型。
二、 两种思考方法法一：12(,,...,)N y y y '与12ˆˆˆ(,,...,)N yy y '是N 维空间的两点，0ˆβ与1ˆβ的选择应该是这两点的距离最短。
这可以归结为求解一个数学问题：01012201ˆˆˆˆ,,11ˆˆˆ()()NNi i i i i i Min y y Min y x ββββββ==-=--∑∑ 由于ˆi i y y -是残差ˆi ε的定义，因此上述获得0ˆβ与1ˆβ的方法即是0ˆβ与1ˆβ的值应该使残差平方和最小。
