第三章 回归模型的估计 概论(高级计量经济学-清华大学 潘文清)
- 格式:ppt
- 大小:466.50 KB
- 文档页数:45
第三章 多元线性回归与最小二乘估计3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理1、多元线性回归模型:y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量(因变量),x t j 是解释变量(自变量),u t 是随机误差项,βi , i = 0, 1, … , k - 1是回归参数(通常未知)。
对经济问题的实际意义:y t 与x t j 存在线性关系,x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。
u t 代表众多影响y t 变化的微小因素。
使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。
当给定一个样本(y t , x t 1, x t 2 ,…, x t k -1), t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1,y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ………..y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T经济意义:x t j 是y t 的重要解释变量。
代数意义:y t 与x t j 存在线性关系。
几何意义:y t 表示一个多维平面。
此时y t 与x t i 已知,βj 与 u t 未知。
)1(21)1(110)(111222111111)1(21111⨯⨯-⨯---⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡T T k k k T k T TjT k j k jT T u u u x x x x x x x x x y y yβββ (3.3) Y = X β + u (3.4)2假定条件为保证得到最优估计量,回归模型(3.4)应满足如下假定条件。
第三章 多元线性回归模型一、名词解释1、多元线性回归模型:在现实经济活动中往往存在一个变量受到其他多个变量影响的现象,表现在线性回归模型中有多个解释变量,这样的模型被称做多元线性回归模型,多元是指多个解释变量2、调整的可决系数2R :又叫调整的决定系数,是一个用于描述多个解释变量对被解释变量的联合影响程度的统计量,克服了2R 随解释变量的增加而增大的缺陷,与2R 的关系为2211(1)1n R R n k -=----。
3、偏回归系数:在多元回归模型中,每一个解释变量前的参数即为偏回归系数,它测度了当其他解释变量保持不变时,该变量增加1单位对被解释变量带来的平均影响程度。
4、正规方程组:采用OLS 方法估计线性回归模型时,对残差平方和关于各参数求偏导,并令偏导数为0后得到的方程组,其矩阵形式为ˆX X X Y β''=。
5、方程显著性检验:是针对所有解释变量对被解释变量的联合影响是否显著所作的检验,旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出判断。
二、单项选择题1、C :F 统计量的意义2、A :F 统计量的定义3、B :随机误差项方差的估计值1ˆ22--=∑k n e iσ4、A :书上P92和P93公式5、C :A 参看导论部分内容;B 在判断多重共线等问题的时候,很有必要;D 在相同解释变量情况下可以衡量6、C :书上P99,比较F 统计量和可决系数的公式即可7、A :书P818、D :A 截距项可以不管它;B 不考虑beta0;C 相关关系与因果关系的辨析 9、B :注意!只是在服从基本假设的前提下,统计量才服从相应的分布10、D :AB 不能简单通过可决系数判断模型好坏,还要考虑样本量、异方差等问题;三、多项选择题1、ACDE :概念性2、BD :概念性3、BCD :总体显著,则至少一个参数不为04、BC :参考可决系数和F 统计量的公式5、AD :考虑极端情况,ESS=0,可发现CE 错四、判断题、 1、√2、√3、×4、×:调整的可决系数5、√五、简答题 1、 答:多元线性回归模型与一元线性回归模型的区别表现在如下几个方面:一是解释变量的个数不同;二是模型的经典假设不同,多元线性回归模型比一元线性回归模型多了个“解释变量之间不存在线性相关关系”的假定;三是多元线性回归模型的参数估计式的表达更为复杂。
第三章 多元线性回归与最小二乘估计3.1 假定条件、最小二乘估计量和高斯—马尔可夫定理1、多元线性回归模型:y t = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 + u t (3.1) 其中y t 是被解释变量(因变量),x t j 是解释变量(自变量),u t 是随机误差项,βi , i = 0, 1, … , k - 1是回归参数(通常未知)。
对经济问题的实际意义:y t 与x t j 存在线性关系,x t j , j = 0, 1, … , k - 1, 是y t 的重要解释变量。
u t 代表众多影响y t 变化的微小因素。
使y t 的变化偏离了E( y t ) = β0 +β1x t 1 + β2x t 2 +…+ βk - 1x t k -1 决定的k 维空间平面。
当给定一个样本(y t , x t 1, x t 2 ,…, x t k -1), t = 1, 2, …, T 时, 上述模型表示为 y 1 = β0 +β1x 11 + β2x 12 +…+ βk - 1x 1 k -1 + u 1,y 2 = β0 +β1x 21 + β2x 22 +…+ βk - 1x 2 k -1 + u 2, (3.2) ………..y T = β0 +β1x T 1 + β2x T 2 +…+ βk - 1x T k -1 + u T经济意义:x t j 是y t 的重要解释变量。
代数意义:y t 与x t j 存在线性关系。
几何意义:y t 表示一个多维平面。
此时y t 与x t i 已知,βj 与 u t 未知。
)1(21)1(110)(111222111111)1(21111⨯⨯-⨯---⨯⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡+⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡T T k k k T k T TjT k j k jT T u u u x x x x x x x x x y y yβββ (3.3) Y = X β + u (3.4)2假定条件为保证得到最优估计量,回归模型(3.4)应满足如下假定条件。
第3章 最小二乘法和最小二乘估计Chapter 3 Least Squares线性模型中的参数估计有多种方法,其中最小二乘法是最为著名的。
即使已经发现其他方法比较优越,但是最小二乘法仍然是线性模型估计的基础方法,最小二乘估计的性质已经得到了广泛应用。
§3.1 最小二乘回归(least squares regression)随机线性关系i i i y ε+'=βx 中的未知系数是我们考虑的重点,也是我们进行估计的主要目标。
这时我们有必要区分母体变量(例如β和i ε)和它们的样本估计,对应地表示为b 和i e 。
母体回归方程可以表示为:βx x i i i y E '=]|[它的估计表示为:b x i i y '=ˆ (3.1) 与第i 个数据点相关的扰动项可以表示为:βx i i i y '-=ε (3.2) 如果获得了回归系数的估计,则可以利用回归方程的残差来估计随机扰动项,即 b x i i i y e '-= (3.3) 根据这些定义和表示,可以得到:i i i i i e y +'=+'=b x βx ε (3.4)母体量β是每个i y 的概率分布中的未知系数,我们希望利用样本数据),(i i y x 来估计这些参数。
虽然这是一个统计推断问题,但是我们仍然可以直观地认为应该选取向量b ,使得拟合直线b x i '尽量地靠近数据点。
如果描述这种靠近性,需要一定的拟合准则,其中最为广泛使用的是最小二乘法。
§3.1.1 最小二乘系数向量可以通过极小化下述残差平方和来获得最小二乘系数向量。
∑∑=='-=n i i n i i y e120120)(b x (3.5) 其中0b 表示系数向量的选择。
利用矩阵形式表示上述残差平方和:)()()(Minminze 000000Xb y Xb y e e b b -'-='=S (3.6) 将上述目标函数展开得到(注意利用标量的转置不变的性质):0000002)(Xb X b Xb y y y e e b ''+'-'='=S (3.7)极小化的一阶条件为(相当于对向量求导数,要么利用向量展开,要么利用向量求导公式):022)(000='+'-=∂∂Xb X y X b b S (3.8) 假设b 是最小二乘的解,则它必须满足最小二乘正规方程(least square normal equations): y X Xb X '=' (3.9) 如果解释变量矩阵的满秩条件满足,则有:K rank rank K n K K =='⨯⨯)()(X X X这说明矩阵K K ⨯')(X X 是可逆矩阵,因此正规方程的唯一解为:y X X X b ''=-1)( (3.10) 注意到上述条件只是极小化问题的必要条件,为了判断充分性,我们需要求出目标函数的Hessian 矩阵:X X bb b '='∂∂∂2)(2S (3.11) 如果这个Hessian 矩阵是正定的,则可以判断所得到的解是唯一的最小二乘解。