2.2一元线性回归模型的参数估计

§2.2 一元线性回归模型的参数估计单方程计量经济学模型分为线性模型和非线性模型两大类。

在线性模型中，变量之间的关系呈线性关系；在非线性模型中，变量之间的关系呈非线性关系。

线性回归模型是线性模型的一种，它的数学基础是回归分析，即用回归分析方法建立的线性模型，用以揭示经济现象中的因果关系。

一元线性回归模型是最简单的计量经济学模型，在模型中只有一个解释变量，其一般形式是：i i i X Y μββ++=10 i=1,2,…n （2.2.1） 其中，Y 为被解释变量，X 为解释变量，0β与1β为待估参数，μ为随机干扰项。

一、一元线性回归模型的基本假设回归分析的主要目的是要通过样本回归函数（模型）SRF 尽可能准确地估计总体回归函数（模型）PRF 。

估计方法有多种，其种最广泛使用的是普通最小二乘法（ordinary least squares, OLS ）。

为保证参数估计量具有良好的性质，通常对模型提出若干基本假设。

如果实际模型满足这些基本假设，普通最小二乘法就是一种适用的估计方法；如果实际模型不满足这些基本假设，普通最小二乘法就不再适用，而要发展其它方法来估计模型。

所以，严格地说，下面的基本假设并不是针对模型的，而是针对普通最小二乘法的。

对模型（2.2.1），基本假设包括对解释变量X 的假设，以及对随机扰动项μ的假设： 假设1：解释变量X 是确定性变量，不是随机变量，而且在重复抽样中取固定值。

假设2：随机误差项μ具有０均值、同方差及不序列相关性。

即 )(i E μ=0 i=1,2,…n )(i Var μ=2σ i=1,2,…n),(j i Cov μμ=0 i ≠j i,j=1,2,…n假设3：随机误差项与解释变量之间不相关。

即),(i i X C o v μ=0 i=1,2,…n假设4：随机误差项服从０均值、同方差、零协方差的正态分布。

即),0(~2σμN i i=1,2,…n需注意的是，如果假设1、2成立，则假设3成立，因为这时显然有),(i i X Cov μ= 0)]([)(())]())(([(=--=--i i i i i i i i E E X E X E X E X E μμμμ；另外，如果假设4成立，则假设2成立，因为对两正态分布变量来说，零协方差就意味着两变量相互独立。

以上假设也称为线性回归模型的经典假设或高斯（Gauss ）假设，满足该假设的线性回归模型，也称为经典线性回归模型（Classical Linear Regression Model, CLRM ）。

另外，在进行模型回归时，还有两个暗含的假设：假设5：随着样本容量的无限增加，解释变量X 的样本方差趋于一有限常数。

即∞→→-∑n Q n X Xi,/)(2假设6：回归模型是正确设定的。

假设5旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生所谓的伪回归问题（spurious regression problem ）。

关于伪回归的确切含义将在第九章中讨论。

假设6也被称为模型没有设定偏误（specification error ），它的确切含义将在第五章中讨论。

在实际建立模型的过程中，除了随机误差项的正态假设外，对模型是否满足其他假设都要进行检验。

这就是“建立计量经济学模型步骤”中“计量经济学检验”的任务。

对于随机误差项的正态假设，根据中心极限定理，当样本容量趋于无穷大时，都是满足的。

二、参数的普通最小二乘估计（OLS ）已知一组样本观测值（i i X Y ,），（i=1,2,…n ），要求样本回归函数尽可能好地拟合这组值，即样本回归线上的点iY ˆ与真实观测点i Y 的“总体误差”尽可能地小，或者说被解释变量的估计值与观测值应该在总体上最为接近，最小二乘法（Ordinary least squares, OLS ）给出的判断标准是：二者之差的平方和21)ˆ(in i Y Y Q -=∑=2101))ˆˆ((i ni X Y ββ+-∑ （2.2.2） 最小。

即在给定样本观测值之下，选择出0ˆβ、1ˆβ能使i Y 与i Y ˆ之差的平方和最小。

为什么用平方和？因为样本回归线上的点iY ˆ与真实观测点i Y 之差可正可负，简单求和可能将很大的误差抵消掉，只有平方和才能反映二者在总体上的接近程度。

这就是最小二乘原理。

根据微积分学的运算，当Q 对 β0、 β1的一阶偏导数为0时，Q 达到最小。

即 ∂∂β∂∂βQQ 0100⎧⎨⎪⎪⎩⎪⎪==可推得用于估计0ˆβ、1ˆβ的下列方程组： ⎪⎩⎪⎨⎧=--=--∑∑0)ˆˆ(0)ˆˆ(1010i i i ii X X Y X Y ββββ (2.2.3）或 ⎩⎨⎧∑+∑=∑∑+=∑21010ˆˆˆˆii i i ii X X X Y X n Y ββββ (2.2.4) 解得：⎪⎪⎩⎪⎪⎨⎧∑-∑∑∑-∑=∑-∑∑∑-∑∑=2212220)(ˆ)(ˆi i i i i i i i i i i i i X X n X Y X Y n X X n X Y X Y X ββ (2.2.5）方程组（2.2.3）或（2.2.4）称为正规方程组（normal equations ）。

记()22221)(∑∑∑∑-=-=i i i i X nX X X x ∑∑∑∑∑-=--=i i i i i i i i Y X nY X Y Y X X y x 1))(((2. 2.5)的参数估计量可以写成：⎪⎩⎪⎨⎧-=∑∑=XY x y x i i i 1021ˆˆˆβββ (2.2.6)称为OLS 估计量的离差形式（deviation form ）。

在计量经济学中，往往以小写字母表示对均值的离差。

由于0ˆβ、1ˆβ的估计结果是从最小二乘原理得到的，故称为普通最小二乘估计量（ordinary least squares estimators ）。

顺便指出，记Y Y y ii -=ˆˆ，则有 ∑--=++-+=in i i i e X X e X X y 111010)(ˆ)ˆˆ()ˆˆ(ˆβββββ可得ii x y 1ˆˆβ= （2.2.7） 其中，用到了正规方程组的第一个方程∑∑=+-=0))ˆˆ((10iiiX Y e ββ。

（2.2.7）式也称为样本回归函数的离差形式。

在结束普通最小二乘估计的时候，需要交代一个重要的概念，即“估计量”（estimator ）和“估计值”(estimate)的区别。

由（2.2.5）式或（2.2.6）式给出的参数估计结果是由一个具体样本资料计算出来的，它是一个“估计值”，或者“点估计”，是参数估计量 β0和 β1的一个具体数值；但从另一个角度，仅仅把（2.2.5）或（2.2.6）看成 β0和 β1的一个表达式，那么，则是i Y 的函数，而i Y 是随机变量，所以 β0和 β1也是随机变量，在这个角度上，称之为“估计量”。

在本章后续内容中，有时把 β0和 β1作为随机变量，有时又把 β0和 β1作为确定的数值，道理就在于此。

三、参数估计的最大或然法(ML)最大或然法(Maximum Likelihood, ML)，也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。

虽然其应用没有最小二乘法普遍，但在计量经济学理论上占据很重要的地位，因为最大或然原理比最小二乘原理更本质地揭示了通过样本估计母体参数的内在机理，计量经济学理论的发展，更多地是以最大或然原理为基础的，对于一些特殊的计量经济学模型，只有最大或然方法才是很成功的估计方法。

对于最小二乘法，当从模型总体随机抽取n 组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据。

而对于最大或然法，当从模型总体随机抽取n 组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n 组样本观测值的概率最大。

显然，这是从不同原理出发的两种参数估计方法。

从总体中经过n 次随机抽取得到样本容量为n 的样本观测值，在任一次随机抽取中，样本观测值都以一定的概率出现，如果已经知道总体的参数，当然由变量的频率函数可以计算其概率。

如果只知道总体服从某种分布，但不知道其分布参数，通过随机样本可以求出总体的参数估计量。

以正态分布的总体为例。

每个总体都有自己的分布参数期望和方差，如果已经得到n 组样本观测值，在这些可供选择的总体中，哪个总体最可能产生已经得到的n 组样本观测值呢？显然，要对每个可能的正态总体估计取得n 组样本观测值的联合概率，然后选择其参数能使观测值的联合概率为最大的那个总体。

将样本观测值联合概率函数称为变量的或然函数。

在已经取得样本观测值的情况下，使或然函数取极大值的总体分布参数所代表的总体具有最大的概率取得这些样本观测值，该总体参数即是所要求的参数。

通过或然函数极大化以求得总体参数估计量的方法被称为极大或然法。

在满足基本假设条件下，对一元线性回归模型：i i i X Y μββ++=10 i=1,2,…n随机抽取n 组样本观测值i i X Y ,（i=1,2,…n ），假如模型的参数估计量已经求得到，为 β0和 β1，那么i Y 服从如下的正态分布：i Y ～),ˆˆ(210σββiX N + 于是，i Y 的概率函数为 2102)ˆˆ(2121)(ii X Y i eY P ββσπσ---=i=1,2,…,n因为i Y 是相互独立的，所以Y 的所有样本观测值的联合概率，也即或然函数为：),,,(),ˆ,ˆ(21210nY Y Y P L ⋅⋅⋅=σββ 21022)ˆˆ(21)2(1ii nX Y neββσσπ--∑-=(2.2.8)将该或然函数极大化，即可求得模型参数的极大或然估计量。

由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下：2102*)ˆˆ(21)2l n ()l n (ii X Y n L L ββσσπ--∑--== (2.2.9) 对L *求极大值，等价于对210)ˆˆ(i i X Y ββ--∑ 求极小值。

210)ˆˆ(ii X Y ββ--∑极小值的条件为：⎪⎪⎩⎪⎪⎨⎧=--∑=--∑0)ˆˆ(ˆ0)ˆˆ(ˆ21012100i i i i X Y X Y βββ∂∂βββ∂∂解得模型的参数估计量为：⎪⎪⎩⎪⎪⎨⎧∑-∑∑∑-∑=∑-∑∑∑-∑∑=2212220)(ˆ)(ˆi i i i i i i i i i i i i X X n X Y X Y n X X n X Y X Y X ββ可见，在满足一系列基本假设的情况下，模型结构参数的最大或然估计量与普通最小二乘估计量是相同的。