当前位置：文档之家 › (多元线性回归的向量表述)

(多元线性回归的向量表述)

  • 格式：ppt
  • 大小：2.76 MB
  • 文档页数：33

下载文档原格式

  / 33

合集下载

(整理)第四章 多元线性回归模型

(整理)第四章 多元线性回归模型

第四章 多元线性回归模型在一元线性回归模型中，解释变量只有一个。

但在实际问题中，影响因变量的变量可能不止一个，比如根据经济学理论，人们对某种商品的需求不仅受该商品市场价格的影响，而且受其它商品价格以及人们可支配收入水平的制约；影响劳动力劳动供给意愿（用劳动参与率度量）的因素不仅包括经济形势（用失业率度量），而且包括劳动实际工资；根据凯恩斯的流动性偏好理论，影响人们货币需求的因素不仅包括人们的收入水平，而且包括利率水平等。

当解释变量的个数由一个扩展到两个或两个以上时，一元线性回归模型就扩展为多元线性回归模型。

本章在理论分析中以二元线性回归模型为例进行。

一、预备知识（一）相关概念对于一个三变量总体，若由基础理论，变量21,x x 和变量y 之间存在因果关系，或21,x x 的变异可用来解释y 的变异。

为检验变量21,x x 和变量y 之间因果关系是否存在、度量变量21,x x 对变量y 影响的强弱与显著性、以及利用解释变量21,x x 去预测因变量y ，引入多元回归分析这一工具。

将给定i i x x 21,条件下i y 的均值i i i i i x x x x y E 2211021),|(βββ++= （4.1） 定义为总体回归函数（Population Regression Function,PRF ）。

定义),|(21i i i i x x y E y -为误差项（error term ）,记为i μ，即),|(21i i i i i x x y E y -=μ，这样i i i i i x x y E y μ+=),|(21，或i i i i x x y μβββ+++=22110 （4.2）（4.2）式称为总体回归模型或者随机总体回归函数。

其中，21,x x 称为解释变量（explanatory variable ）或自变量（independent variable ）；y 称为被解释变量（explained variable ）或因变量（dependent variable ）；误差项μ解释了因变量的变动中不能完全被自变量所解释的部分。

多元线性回归Wald检验

多元线性回归Wald检验
X2
X3
R-squared
Mean dependent var
Adjusted R-squared
. dependent var
. of regression
Akaike info criterion
Sum squared resid
Schwarz criterion
Log likelihood
Hannan-Quinn criter.
F-statistic
Durbin-Watson stat
Prob(F-statistic)
3.利用命令计算随机干扰项的方差 ，并计算 的方差-协方差矩阵和相应的t统计量，并在5%的显着性水平下做参数的显着性检验；
(1)输入scalar deltahat2=eq01.@ssr/(22-4)
输入scalar deltahat=@sqrt(deltahat2)
P值为0拒绝为假设，所以c(2)不等于0，c(3)也不等于0
实验结果与分析：
讨论与心得：
成绩评定
评阅教师
评阅时间
实验内容：
1.如何利用命令，建立X和Y矩阵；
(1)选择X1,X2,X3,Yas groupname group01
(2)输入matrix mat_ystom(y,mat_y)，stom(group01,mat_x)
2.如何运用多元线性回归的估计公式进行回归的OLS估计；
(1)输入LS Y C X1 X2 X3name eq01
输入matrix var_cov_B=eq01.@coefcov
or在回归方程中点击viewCovariance matrix
(2)输入vector ttt=eq01.@tstats

5、计量经济学【多元线性回归模型】

5、计量经济学【多元线性回归模型】

二、多元线性回归模型的参数估计
2、最小二乘估计量的性质 当 ˆ0, ˆ1, ˆ2, , ˆk 为表达式形式时，为随机变量， 这时最小二乘估计量 ˆ0, ˆ1, ˆ2, , ˆk 经过证明同样也 具有线性性、无偏性和最小方差性（有效性）。 也就是说，在模型满足那几条基本假定的前提 下，OLS估计量具有线性性、无偏性和最小方差性 （有效性）这样优良的性质， 即最小二乘估计量
用残差平方和 ei2 最小的准则： i
二、多元线性回归模型的参数估计
1、参数的普通最小二乘估计法（OLS） 即：
min ei2 min (Yi Yˆi )2 min Yi (ˆ0 ˆ1X1i ˆ2 X 2i ˆk X ki )2
同样的道理，根据微积分知识，要使上式最小，只 需求上式分别对 ˆj ( j 0,1, k) 的一阶偏导数，并令 一阶偏导数为 0，就可得到一个包含 k 1 个方程的正 规方程组，这个正规方程组中有 k 1个未知参数 ˆ0, ˆ1, ˆ2, , ˆk ；解这个正规方程组即可得到这 k 1 个参数 ˆ0, ˆ1, ˆ2, , ˆk 的表达式，即得到了参数的最小 二乘估计量；将样本数据代入到这些表达式中，即可 计算出参数的最小二乘估计值。
该样本回归模型与总体回归模型相对应，其中残差 ei Yi Yˆi 可看成是总体回归模型中随机误差项 i 的 估计值。
2、多元线性回归模型的几种形式： 上述几种形式的矩阵表达式： 将多元线性总体回归模型 (3.1) 式表示的 n 个随机方 程写成方程组的形式，有：
Y1 0 1 X11 2 X 21 .Y.2.........0.......1.X...1.2........2.X...2.2. Yn 0 1 X1n 2 X 2n
ˆ0, ˆ1, ˆ2, , ˆk 是总体参数真值的最佳线性无偏估计 量（ BLUE ）；即高斯—马尔可夫定理 (GaussMarkov theorem)。

多元线性回归

多元线性回归

多元线性回归模型一、多元线性回归模型的一般形式设随机变量y 与一般变量p x x x ,,,21 的线性回归模型为：εββββ+++++=p p x x x y 22110 写成矩阵形式为：εβ+=X y其中：⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n y y y y 21 ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=np n n p p x x x x x x x x x X 212222********* ⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=p ββββ 10 ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n εεεε 21 二、多元线性回归模型的基本假定1、解释变量p x x x ,,,21 是确定性变量，不是随机变量，且要求n p X r a n k <+=1)(。

这里的n p X rank <+=1)(表明设计矩阵X 中自变量列之间不相关，样本容量的个数应大于解释变量的个数，X 是一满秩矩阵。

2、随机误差项具有0均值和等方差，即：⎪⎩⎪⎨⎧⎩⎨⎧=≠====),,2,1,(,,0,),cov(,,2,1,0)(2n j i j i j i n i E j i i σεεε 0)(=i E ε，即假设观测值没有系统误差，随机误差i ε的平均值为0，随机误差i ε的协方差为0表明随机误差项在不同的样本点之间是不相关的（在正态假定下即为独立），不存在序列相关，并且具有相同的精度。

3、正态分布的假定条件为：⎩⎨⎧=相互独立n i n i N εεεσε ,,,,2,1),,0(~212，矩阵表示：),0(~2n I N σε,由该假定和多元正态分布的性质可知，随机变量y 服从n 维正态分布，回归模型的期望向量为：βX y E =)(；n I y 2)var(σ= 因此有),(~2n I X N y σβ 三、多元线性回归方程的解释对于一般情况含有p 个自变量的回归方程p p x x x y E ββββ++++= 22110)(的解释，每个回归系数i β表示在回归方程中其他自变量保持不变的情况下，自变量i x 每增加一个单位时因变量y 的平均增加程度。

多元线性回归分析简介

多元线性回归分析简介
ˆ j 表示 j , j 0,1, , p 的估计值。
称
y ˆ0 ˆ1x1 ˆp xp
为 y 关于 x 的多元线性经验回归方程（函数），它表示 p+1 维空间中的一个超平面（经验回归平面）。
文档仅供参考，如有不当之处，请联系改正。
引进矩阵的形式：
设
y
y1
y2
，
X
1
1
x11 x21
有平方和分解公式 SS=SSR+SSE
文档仅供参考，如有不当之处，请联系改正。
定理 4.5＇在 p 元回归分析问题中， SSR 与 SSE 相互独立，
且1
2
SSE
~
2(n
p
1)
；在原假设 H0 成立时，有
12ຫໍສະໝຸດ SSR~2(p)
。
因此取检验统计量 F=
SSR / p
H0成立时
F(p,n-p-1)
SSE / n p 1
（ xi1, , xip , yi ）（ i 1,2,, n ）到回归平面
y ˆ0 ˆ1x1 ˆp xp 的距离的大小。
文档仅供参考，如有不当之处，请联系改正。
一元回归分析中旳结论全部能够推广到多 元旳情形中来。
文档仅供参考，如有不当之处，请联系改正。
定理 4.2＇ 在 p 元回归分析问题中，（1） ˆ 服从 p+1 维正态分
min
0 ,1 , , p
Q(0,
1,
,p)
文档仅供参考，如有不当之处，请联系改正。
定理 4.1＇在 p 元回归分析问题中， 的最小
二乘估计量为 ˆ X X 1 X Y 。
文档仅供参考，如有不当之处，请联系改正。
误差方差的估计：

7-2 多元线性回归

7-2 多元线性回归

Rank( X ) = k
方阵
X X
满秩
Rank( X X )= k
-1 意义：X X 可逆， (X X) 存在
多元线性回归模型的基本假设
在多元回归中除了要求一元回归中的基 本假设条件外，还需要假设自变量之 间不存在完全的多重共线性，否则无 法估计回归模型。

完全的多重共线性：一个自变量可以表 示为其他自变量和常数项的线性函数， 例如x1 = 2x2 +x3 +5。
在多元回归中可以证明
ˆ ) E( j j
2 ˆ Var ( j ) c jj
H0
其中：
c jj 是矩阵 (XX)1 第 j 行第 j 列的元素。
：
因为 2 未知，故 Var ( ˆ ) 也未知。现用 j
代替 2 ，可构造统计量
t
ˆ j j ˆ C jj
F检验的方法
F检验：在 H 0 成立的条件下，统计量
ESS (k 1) F ~ F (k 1, n k ) RSS (n k )
F服从自由度为 k-1 和 n-k 的 F 分布。
H : 0
给定显著性水平，在F分布表中查出自由度为k-1和n-k 的临界值 F (k 1, n k ) ▲若 F F (k 1, n k ) ，则拒绝 H0 : 1 2 k 0 ，
i 表示假定其他变量不变，当 xi 每变动一 个单位时，y 的平均变动值
二元回归方程的直观解释
二元线性回归模型 y
y 0 1 x1 2 x2
(观察到的y)
0
回归面
}
i
x2 (x1,x2) x1
E ( y) 0 1 x1 2 x2

第五章多元线性回归模型

第五章 多元线性回归模型在第四章中,我们讨论只有一个解释变量影响被解释变量的情况,但在实际生活中,往往是多个解释变量同时影响着被解释变量。

需要我们建立多元线性回归模型.一、多元线性模型及其假定 多元线性回归模型的一般形式是i iK K i i i x x x y εβββ++++= 2211令列向量x 是变量x k ,k =1,2,的n 个观测值，并用这些数据组成一个n ×K 数据矩阵X ，在多数情况下，X 的第一列假定为一列1,则β1就是模型中的常数项。

最后,令y 是n 个观测值y 1， y 2， …， y n 组成的列向量,现在可将模型写为：εββ++=K K x x y 11构成多元线性回归模型的一组基本假设为 假定1。

εβ+=X y我们主要兴趣在于对参数向量β进行估计和推断.假定2. ,0][][][][21=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n E E E E εεεε 假定3。

n I E 2][σεε=' 假定4. 0]|[=X E ε我们假定X 中不包含ε的任何信息，由于)],|(,[],[X E X Cov X Cov εε= （1）所以假定4暗示着0],[=εX Cov .（1)式成立是因为,对于任何的双变量X ，Y,有E(XY)=E(XE(Y ｜X)），而且])')|()([(])')((),(EY X Y E EX X E EY Y EX X E Y X Cov --=--=))|(,(X Y E X Cov =这也暗示 βX X y E =]|[假定5 X 是秩为K 的n ×K 随机矩阵 这意味着X 列满秩，X 的各列是线性无关的。

在需要作假设检验和统计推断时，我们总是假定： 假定6 ],0[~2I N σε 二、最小二乘回归 1、最小二乘向量系数采用最小二乘法寻找未知参数β的估计量βˆ,它要求β的估计βˆ满足下面的条件 22min ˆ)ˆ(ββββX y X y S -=-∆ （2)其中()()∑∑==-'-=⎪⎪⎭⎫ ⎝⎛-∆-nj Kj j ij i X y X y x y X y 1212ββββ，min 是对所有的m 维向量β取极小值.也即 ∑∑==-=n i mj j ij i X y S 112)ˆ()ˆ(ββ∑∑==-=n i mj i ijiXy m112,)(min1βββ （3）满足（2）式或（3)式的估计量⎪⎪⎪⎭⎫ ⎝⎛=m Lβββˆˆˆ1 称为β的最小二乘估计,这种求估计量的方法称为最小二乘法（OLS ）. 展开上式得βββββX X X y y X y y S ''+'-''-'=)(或ββββX X y X y y S ''+''-'=2)(最小值的必要条件是022)(='+'-=∂∂βββX X y X S 设b 是解，则b 满足正则方程组y X Xb X '='这正是我们曾分析的最小二乘正则方程组。

多元线性回归模型

多元线性回归模型多元线性回归模型是一种广泛应用于统计学和机器学习领域的预测模型。

它通过使用多个自变量来建立与因变量之间的线性关系，从而进行预测和分析。

在本文中，我们将介绍多元线性回归模型的基本概念、应用场景以及建模过程。

【第一部分：多元线性回归模型的基本概念】多元线性回归模型是基于自变量与因变量之间的线性关系进行建模和预测的模型。

它假设自变量之间相互独立，并且与因变量之间存在线性关系。

多元线性回归模型的数学表达式如下：Y = β0 + β1X1 + β2X2 + … + βnXn + ε其中，Y表示因变量，X1、X2、…、Xn表示自变量，β0、β1、β2、…、βn表示回归系数，ε表示误差项。

回归系数表示自变量对因变量的影响程度，误差项表示模型无法解释的部分。

【第二部分：多元线性回归模型的应用场景】多元线性回归模型可以应用于各种预测和分析场景。

以下是一些常见的应用场景：1. 经济学：多元线性回归模型可以用于预测GDP增长率、失业率等经济指标，揭示不同自变量对经济变量的影响。

2. 医学研究：多元线性回归模型可以用于预测患者的生存时间、治疗效果等医学相关指标，帮助医生做出决策。

3. 市场研究：多元线性回归模型可以用于预测产品销量、市场份额等市场相关指标，帮助企业制定营销策略。

4. 社会科学：多元线性回归模型可以用于研究教育水平对收入的影响、家庭背景对孩子成绩的影响等社会科学问题。

【第三部分：多元线性回归模型的建模过程】建立多元线性回归模型的过程包括以下几个步骤：1. 数据收集：收集自变量和因变量的数据，确保数据的准确性和完整性。

2. 数据清洗：处理缺失值、异常值和离群点，保证数据的可靠性和一致性。

3. 特征选择：根据自变量与因变量之间的相关性，选择最相关的自变量作为模型的输入特征。

4. 模型训练：使用收集到的数据，利用最小二乘法等统计方法估计回归系数。

5. 模型评估：使用误差指标（如均方误差、决定系数等）评估模型的拟合程度和预测性能。

多元线性回归


多元线性回归模型的估计
对上式去期望，可得： 它是解释变量的多元线性函数，称为多元线性总体回归方程 多元线性样本回归方程：
它是总体回归方程的估计，其中bˆj ( j=0,1,2,…,k)是对总体回归 参数bj 的估计。
由样本回归方程得到的因变量估计值yˆt 与实际观测值yt 之间 通常存在偏差，这一偏差就是残差 et
2．修正的决定系数
在应用过程中人们发现，随着模型中解释变量的增多，多重决定 系数R2 的值往往会变大，从而增加了模型的解释功能。但是， 在样本容量一定的情况下，增加解释变量必定使得待估参数的个 数增加，从而损失自由度，而且在实际应用中，有时所增加的解 释变量并非必要。
引入修正的样本决定系数R2 的作用：①用自由度调整后，可以消除拟 合优度评价中解释变量多少对决定系数计算的影响；②对于包含的解 释变量个数不同的模型，可以用调整后的决定系数直接比较它们的拟 合优度的高低，但不能用原来未调整的决定系数来比较
解释变量的实际值与估计值的平均误差程度的指标。σ^越
大，回归直线的精度越低，σ^越小，回归直线的精度越高。
当σ^ =0 时，表示所有样本点都落在回归直线上。
多元线性回归模型的检验
模型检验： 理论检验(经济意义检验)就是依据经济理论来判断估计
参数的正负号是否合理、大小是否适当。经济意义检验是第 一位的，如果模型不能通过经济意义检验，则必须寻找原 因，修正模型或重新估计模型。如果通过了经济意义检验， 则进行下一步的统计准则检验。统计准则检验就是根据统计 学理论，确定参数估计值的统计可靠性。统计准则检验主要 包括：回归方程标准差的评价、拟合优度检验( R2 检验)、 回归模型的总体显著性检验(F 检验)和回归系数的显著性检验
在实际应用中，我们往往希望所建模型的R2 或 越大越好。但应 注意，决定系数只是对模型拟合优度的度量，R2 和 越大，只说 明列入模型中的解释变量对因变量整体影响程度越大，并非说明模 型中各个解释变量对因变量的影响程度显著。在回归分析中，不仅 要模型的拟合度高，而且还要得到总体回归系数的可靠估计量

第二节多元线性回归

第二节 多元线性回归在许多实际问题中， 常常会遇到要研究一个随机变量与多个变量之间的相关关系，例如，某种产品的销售额不仅受到投入的广告费用的影响，通常还与产品的价格、消费者的收入状况以及其它可替代产品的价格等诸多因素有关系. 研究这种一个随机变量同其他多个变量之间的关系的主要方法是运用多元回归分析. 多元线性回归分析是一元线性回归分析的自然推广形式，两者在参数估计、显著性检验等方面非常相似. 本节只简单介绍多元线性回归的数学模型及其最小二乘估计.一、多元线性回归模型设影响因变量Y 的自变量个数为P ，并分别记为,21,,,p x x x 所谓多元线性模型是指这些自变量对Y 的影响是线性的，即p p x x x Y 22110，),0(~2 N其中p ,,,,210 ，2 是与p x x x ,,,21 无关的未知参数，称Y 为对自变量,21,,,p x x x 的线性回归函数.记n 组样本分别是),,,,(21i ip i i y x x x ),,2,1(n i ，则有n np p n n n p p p p x x x y x x x y x x x y 2211022222211021112211101, 其中n ,,,21 相互独立，且),0(~2 N i ，n i ,,2,1 ，这个模型称为多元线性回归的数学模型. 令Y =n y y y21, X =np n n p p x x x x x x x x x212222*********,p 10,n 21 则上述数学模型可用矩阵形式表示为 X Y其中 是n 维随机向量，它的分量相互独立。

X 称为设计矩阵或资料矩阵。

二、多元线性回归模型的基本假定1.解释变量是确定性的变量，不是随机变量，设计矩阵中要求列向量不能有密切的线性相关性，也称为多重共线性；2. 随机误差项具有0均值和同方差，且随机误差项相互独立，即：j i j i n i E j i i 0),cov(,2,10)(2 3.正态分布条件： 2(0,)N I :，其中I 表示单位矩阵。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
M I X ( X ' X )1 X '
M2 M
矩阵 是对称的幂等矩阵，幂等矩阵是指自身相乘后 ' ˆ 'u ˆ u' M 仍等于自身的矩阵，即 。 Qu Mu u ' Mu 因此残差平方和可以表示为：
E(Q) E[u' ( I X ' ( X ' X )1 X )u]
这个模型相应的矩阵表达式简记为
Y X
其中：
1 X 11 Y 1 X 1 12 Y Y2 , X Y n n1 1 X 1n X 21 X 22 X 2n 0 X k1 1 1 Xk2 , 2 , 2 X kn n( k 1) n n1 k ( k 1)1
ˆ = (X 'X)-1X 'Y
' 高斯 — 马尔可夫定理：若前述假定条件成立， OLS X 0 ,只要模型及样本数 注：OLS估计量中隐含了一个假设条件 X 估计量是 ˆ 最佳线性无偏估计量。 据满足第四章的假定 7具有无偏性，最小方差特性，一致性。 ，则 X ' X 0 一定成立。
10
6.3 最小二乘（OLS）估计量的性质
一、OLS估计量的有限样本性质
在满足基本假设的情况下，其结构参数 的普通最小二乘估计 (OLS) 具有：线性性、无偏性、有效性。同时，随着样本容量增加， 参数估计量具有：一致性、渐近正态性。 1、线性性
ˆ ( X X) 1 X Y CY β
把线性方程组写成矩阵的形式：
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
3
1 X 11 Y1 1 X 12 Y 2 Yn 1 X 1n
X 21 X 22 X 2n
X k1 0 1 1 Xk2 2 2 X kn n k
则：
ˆ ) E[( ˆ )( ˆ )' ] var( E{[( X ' X )1 X 'u ][( X ' X ) 1 X 'u ] } ( X ' X )1 X ' E (uu ' ) X ( X ' X )1 2 ( X ' X )1
'
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
n k+1
因为，无多重共线性要求：秩(X)=k+1
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
15
2、满足基本要求的样本容量
从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定 一般经验认为: 当n30或者至少n3(k+1)时，才能说满足模型估计的基本要求。 模型的良好性质只有在大样本下才能得到理论上的证明。
两边求期望得：
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。 8
随机误差项的方差 的估计
2
由于残差的平方和是标量(Scalar)，可以采用迹(Trace)，即：
E(Q) E{tr[u ' ( I X ' ( X ' X )1 X )u]}
根据迹运算的性质tr(AB)=tr(BA),上式为：
ˆ 'u ˆ Q u E( ) E( ) 2 N K 1 N K 1
即：
所以 2 的无偏估计量是：
ˆ2 Q RSS N K 1 N K 1
9
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
OLS估计量 ˆ 的方差-协方差估计
因为：
ˆ ( X ' X )1 X 'Y ( X ' X )1 X ' ( X u) ( X ' X )1 X 'u
ˆ 个单位； 他变量保持不变的情况下，X1 增加一个单位，Y 平均增加 1
ˆ 的数值表明，当其他变量保持不变时， X 增加一个单位，Y平均增 2 2 ˆ 个单位，以此类推。 加 2
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。 2
第6章 多元线性回归的向量表述
6.1 多元线性回归模型的向量表述
Yi 0 1x1i 2 x2i
k xki i
i 1, 2,
n
上式是由n个方程，k+1个未知参数组成的一个线性方程组，即：
Y1 0 1 x11 2 x21 k xk1 1 Y x x x 2 0 1 12 2 22 k k2 2 Yn 0 1 x1n 2 x2 n k xkn n
S ˆ=0 = - 2X 'Y + 2X 'X ˆ
ˆ X 'Y = X 'X
' 因为 因此，回归参数的 (X 'X) 是一个非退化矩阵（假定（ 5 ） ） ，所以有 OLS估计量为：
ˆ ( X X )1 X 'Y
ˆ = (X 'X)-1 X 'Y
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。 6
为了满足无偏性，AX=I必须成立，I是单位矩阵。
C A ( X ' X )1 X '
ˆ ，所以： 上式可以得到CX=0，同时意味着 CY C( X u) Cu
ˆ )( ˆ )' ] E[( X ' X ) 1 X 'uu 'C ' ] E[( 2 ( X ' X ) 1 X ' C ' 0
11
3、有效性（最小方差性）
所谓有效性是指在所有线性无偏估计量中，OLS估计量具有 最小方差。为了证明OLS估计量的有效性，现假设有另一任意的 线性无偏估计量：
1 AY ( X ' X ) X ' C Y
其中矩阵A和C是与X矩阵有关的(K+1)×N阶矩阵，上式：
AY A( X u) AX Au
模型的一般形式如下：
Yi 0 1 X 1i 2 X 2 i k X ki i
其中：K为解释变量个数；K+1为未知参数个数
i=1,2,…,n (2.3.1)
其中：k 为解释变量的数目；
ˆ 的数值结果表明，当其 模型中的未知参数 称为偏回归系数， 1
一致估计量是指对于回归参数的真实值
ˆ 估计量记为 N
，样本容量为N时的OLS
，随着样本容量N的逐步增大， 即：
ˆ ) p lim( N
N
2.OLS估计量的正态性 正态性是指，在大样本下， OLS 估计量的分布收敛到正态分布。
1 (N X ' X ) 1 Q 1 设 Nlim
ˆ ，估计的回归模型写为 求出
ˆ +u ˆ +u ˆ =Y ˆ Y=X
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
7
随机误差项的方差 2 的估计
因为残差可以表示为：
ˆ Y X (( X ' X ) 1 X 'Y ) ˆ Y X u ( I X ( X ' X ) 1 X ' )Y ( I X ( X ' X ) 1 X ' )( X u ) ( I X ( X ' X ) 1 X ' )u Mu
5
6.2 OLS估计量的向量表述
最小二乘 (OLS) 法的原理是求残差平方和最小。代数上是求极值问题。
ˆ )' (Y - X ˆ ) = Y 'Y - ˆ 'X 'Y - Y ' X ˆ + ˆ 'X 'X ˆ minS = (Y - X ˆ 'X 'Y + ˆ 'X 'X ˆ = Y 'Y - 2 ˆ 是一个标量，所以有 Y 'X ˆ = ˆ 'X 'Y。上式的一阶条件为： 因为 Y 'X
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
4
多元线性回归模型的四种向量表述

真实的回归模型：Y X

估计的回归模型：
ˆ ˆ Y X
Y X

真实的回归线：
ˆ ˆ X Y

样本回归线：
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
ˆ 是所有无偏估计
总结：
高斯—马尔可夫定理(Gauss-Markov theorem) 在给定经典线性回归的假定下，最小二乘估计量是 具有最小方差的线性无偏估计量,即OLS估计量是BLUE估 计量。
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。
13
二、OLS估计量的渐近性质
1.OLS估计量是一致估计量
第6章 多元线性回归的向量表述
多元线性回归模型的向量形式 最小二乘法（OLS）的向量表述 最小二乘估计量的性质 LR、Wald和LM检验 案例分析
《计量经济学》，高教出版社，王 少平、杨继生、欧阳志刚等编著。1ຫໍສະໝຸດ 多元线性回归模型的一般形式
在实际经济问题中，一个变量往往受到多个原因变量的影 响，在线性回归模型中则表现为有多个解释变量，这样的模型被称 为多元线性回归模型。
，则：
d ˆ ) N ( N (0, 2Q1 )