当前位置：文档之家 › 多元线性回归与最小二乘估计

多元线性回归与最小二乘估计

  • 格式：doc
  • 大小：2.45 MB
  • 文档页数：22

多元线性回归与最小二乘估计 1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型： yt = β0 +β1xt1 +β2xt2 +…+βk- 1xt k -1 + ut (1.1) 其中yt是被解释变量（因变量），xt j是解释变量（自变量），ut是随机误差项，βi, i = 0, 1, … , k - 1是回归参数（通常未知）。

对经济问题的实际意义：yt与xt j存在线性关系，xt j, j = 0, 1, … , k - 1, 是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E( yt) =多元线性回归与最小二乘估计

1．假定条件、最小二乘估计量和高斯—马尔可夫定理 多元线性回归模型： yt = β0 +β1xt1 +β2xt2 +…+βk- 1xt k -1 + ut (1.1) 其中yt是被解释变量（因变量），xt j是解释变量（自变量），ut是随机误差项，βi, i = 0, 1, … , k - 1是回归参数（通常未知）。 对经济问题的实际意义：yt与xt j存在线性关系，xt j, j = 0, 1, … , k - 1, 是yt的重要解释变量。ut代表众多影响yt变化的微小因素。使yt的变化偏离了E( yt) =β0 +β1xt1 +β2xt2 +…+βk- 1xt k -1决定的k维空间平面。 当给定一个样本（yt , xt1, xt2 ,…, xt k -1）, t = 1, 2, …, T时, 上述模型表示为

y1 =β0 +β1x11 +β2x12 +…+βk- 1x1 k -1 + u1, 经济意义：xt j是yt的重要解释变量。 y2 =β0 +β1x21 +β2x22 +…+βk- 1x2 k -1 + u2, 代数意义：yt与xt j存在线性关系。 ……….. 几何意义：yt表示一个多维平面。 yT =β0 +β1x T 1 +β2x T 2 +…+βk- 1x T k -1 + uT, (1.2)

此时yt与x t i已知，βj与 ut未知。 jkjk

TTjTkTkT

(T)(k)(T(Tk)xxxyuxxxyuxxxyu111111012122121211111111)1

(1.3) Y = Xβ+ u , (1.4)

为保证得到最优估计量，回归模型（1.4）应满足如下假定条件。 假定 ⑴ 随机误差项ut是非自相关的，每一误差项都满足均值为零，方差 2相同且为有限值，即

E(u) = 0 = 00, Var (u) = E(uˆuˆ' ) =σ2I = σ210000001. 假定 ⑵ 解释变量与误差项相互独立，即 E(X 'u) = 0. 假定 ⑶ 解释变量之间线性无关。 rk(X 'X) = rk(X) = k . 其中rk()表示矩阵的秩。 假定⑷ 解释变量是非随机的，且当T → ∞ 时 T– 1X 'X → Q . 其中Q是一个有限值的非退化矩阵。 最小二乘 (OLS) 法的原理是求残差（误差项的估计值）平方和最小。代数上是求极值问题。

minS = (Y - Xˆ)' (Y - Xˆ) = Y 'Y -ˆ'X 'Y - Y ' Xˆ +ˆ'X 'Xˆ

= Y 'Y - 2ˆ'X 'Y + ˆ'X 'Xˆ. (1.5) 因为Y 'Xˆ是一个标量，所以有Y 'Xˆ = ˆ'X 'Y。(1.5) 的一阶条件为：

ˆS= - 2X 'Y + 2X 'Xˆ= 0 (1.6)

化简得 X 'Y = X 'Xˆ 因为 (X 'X) 是一个非退化矩阵（见假定⑶），所以有 ˆ= (X 'X)-1 X 'Y （1.7）

因为（1.5）的二阶条件

ˆˆ2S

= 2 X 'X  0 (1.8)

得到满足，所以 (1.7) 是 (1.5) 的解 。 因为X的元素是非随机的，(X 'X) -1X是一个常数矩阵，则ˆ是Y的线性组合，为线性估计量。 求出ˆ，估计的回归模型写为

Y = Xˆ+ uˆ (1.9) 其中ˆ= (0ˆ 1ˆ … kˆ1)' 是β的估计值列向量，uˆ= (Y - Xˆ) 称为残差列向量。因为 uˆ = Y - Xˆ= Y - X (X 'X)-1X 'Y = [I - X (X 'X)-1 X ' ]Y (1.10)

所以uˆ也是Y的线性组合。ˆ的期望和方差是 E(ˆ) = E[(X 'X)-1 X 'Y ] = E[(X 'X)-1X '(Xβ+ u)] =β+ (X 'X)-1X ' E(u) =β (1.11) Var(ˆ) = E[(ˆ–β) (ˆ–β)']= E[(X 'X)-1X ' u u' X (X 'X)-1]

= E[(X 'X)-1X '  2I X (X 'X)-1] = σ 2 (X 'X)-1 . (1.12) 高斯—马尔可夫定理：若前述假定条件成立，OLS估计量是最佳线性无偏估计量。ˆ具有无偏性。ˆ具有最小方差特性。ˆ具有一致性，渐近无偏性和渐近有效性。 2. 残差的方差 s2 = uˆ'uˆ/ (T - k) (1.13) s 2是σ2 的无偏估计量，E(s 2 ) =σ2。ˆ的估计的方差协方差矩阵是

Var(ˆ) = s (X 'X)-1 (1.14)

3. 多重确定系数（多重可决系数） Y = Xˆ+ uˆ=Yˆ + uˆ (1.15) 总平方和 SST = Ttt(yy)21= Y 'Y - T2y, (1.16)

其中y是yt 的样本平均数，定义为y= Ttt(y)/T1。回归平方和为 SSR = Tttˆ(yy)21 = Yˆ'Yˆ- T2y (1.17) 其中y的定义同上。残差平方和为 SSE = Ttttˆ(yy)21 = Tttˆu21 = uˆ'uˆ (1.18) 则有如下关系存在， SST = SSR + SSE (1.19)

R2 = 2ˆˆSSRTySST2TyY'YYY- (1.20) 显然有0 < R 2 < 1。R 2 1，拟合优度越好。 4. 调整的多重确定系数 当解释变量的个数增加时，通常R2不下降，而是上升。为调整因自由度减小带来的损失，又定义调整的多重确定系数2R如下：

2R = 1 - SSE/(Tk)TSSTSSR()()SST/(T)TkSST111 = 1 - T(R)Tk211 (1.21)

5. OLS估计量的分布 若u ~ N (0,σ 2I ) ，则每个ut都服从正态分布。于是有 Y ~ N (Xβ, σ 2I ) (1.22) 因ˆ也是u的线性组合（见公式1.7），依据（1.11）和（1.12）有 ˆ~N (β, σ 2 (X 'X)-1 ) (1.23)

6. 方差分析与F检验 与SST相对应，自由度T-1也被分解为两部分，

（T-1）= (k -1) + (T- k) (1.24)

回归均方定义为MSR = SSRk1，误差均方定义为MSE = SSETk 表1.1 方差分析表 方差来源 平方和 自由度 均方 回归 SSR =Yˆ'Yˆ-Ty2 k-1 MSR = SSR / (k-1)

误差 SSE = uˆ'uˆ T-k MSE = SSE / (T-k) 总和 SST= Y 'Y - Ty2 T-1

H0: β1=β2 = … =βk-1 = 0; H1: βj不全为零

F = MSEMSR = SSR/(k)SSE/(Tk)1 ~ F(k-1,T-k) (1.25)

设检验水平为，则检验规则是，若 F F (k-1,T-k) , 拒绝H0。

0 F (k-1, T-k) -t(T-k) 0 t(T-k) F检验示意图 t检验示意图 7．t检验 H 0：βj = 0, (j = 1, 2, …, k-1), H 1：j  0

t = jjjjjjˆˆˆˆVar()s(')ˆs()2111XX t(T-k) (1.26) 判别规则：若 t  tk 接受H 0；若 t > tk 拒绝H 0。

8．βi的置信区间 （1） 全部i的联合置信区间接受

F = k1(β-ˆ)' (X 'X) (β-ˆ) / s2  F (k, T-k) (1.27) (β-ˆ)' (X 'X ) (β-ˆ) （2） 单个βi的置信区间 βi = iˆ±jv1s tk . (1.29) 9．预测 （1）点预测 C = (1 xT+1 1 xT+1 2 … xT+1 k-1 ) (1.30)

则T + 1期被解释变量yT+1的点预测式是，

1ˆTy= Cˆ=ˆ0 +ˆ1 xT+1 1 + … +ˆ k-1 xT+1 k-1 (1.31) （2）E(yT+1) 的置信区间预测 首先求点预测式Cˆ的抽样分布 E(1ˆTy) = E(Cˆ) = C (1.32) Var(1ˆTy) = Var(Cˆ) = E[(Cˆ- C ) (Cˆ- C ) ' ]

= E[C (ˆ-  ) [C (ˆ-  )] ' ]= C E[(ˆ-  ) (ˆ-  ) ' ]C '

= C Var(ˆ)C '= C 2 (X 'X )-1C ' = 2 C (X 'X )-1C ' , (1.33) 因为ˆ服从多元正态分布，所以Cˆ也是一个多元正态分布变量，即 1ˆTy = Cˆ~ N (C, 2C (X 'X ) -1C ') (1.34) 构成 t 分布统计量如下

t =TTˆˆyE(y)s(')'111CXXC=ˆs(')'1CCCXXC  t (T-k) (1.35) 置信区间 Cˆ t/2 (1, T-k) s')'(1CXXC (1.36) (3) 单个yT+1的置信区间预测 yT+1值与点预测值Tˆy1有以下关系

yT+1 = Tˆy1+ uT+1 (1.37) 其中uT+1是随机误差项。因为 E( yT+1) = E(1ˆTy+ uT+1) = Cβ (1.38)

Var( yT+1) = Var(Tˆy1) + Var(uT+1) =  2 C (X 'X)-1C ' + σ 2 =σ2 (C (X 'X)-1C ' + 1) (1.39) 因为ˆ服从多元正态分布，所以yT+1也是一个多元正态分布变量，即

合集下载

多元线性回归——模型、估计、检验与预测

多元线性回归——模型、估计、检验与预测

多元线性回归——模型、估计、检验与预测⼀、模型假设传统多元线性回归模型最重要的假设的原理为：1. ⾃变量和因变量之间存在多元线性关系，因变量y能够被x1,x2….x{k}完全地线性解释；2.不能被解释的部分则为纯粹的⽆法观测到的误差其它假设主要为：1.模型线性，设定正确；2.⽆多重共线性；3.⽆内⽣性；4.随机误差项具有条件零均值、同⽅差、以及⽆⾃相关；5.随机误差项正态分布具体见另⼀篇⽂章：回归模型的基本假设⼆、估计⽅法⽬标：估计出多元回归模型的参数注：下⽂皆为矩阵表述，X为⾃变量矩阵(n*k维)，y为因变量向量（n*1维）OLS（普通最⼩⼆乘估计）思想：多元回归模型的参数应当能够使得，因变量y的样本向量在由⾃变量X的样本所构成的线性空间G（x）的投影（即y’= xb）为向量y 在线性空间G(x)上的正交投影。

直⽩⼀点说，就是要使得(y-y’)’(y-y’)最⼩化，从⽽能够使y的预测值与y的真实值之间的差距最⼩。

使⽤凸优化⽅法，可以求得参数的估计值为：b = (x’x)^(-1)x’y最⼤似然估计既然已经在假设中假设了随机误差项的分布为正态分布，那么⾃变量y的分布也可以由线性模型推算出来（其分布的具体函数包括参数b在内）。

进⼀步的既然已经抽取到了y的样本，那么使得y的样本出现概率（联合概率密度）最⼤的参数即为所求最终结果与OLS估计的结果是⼀致的矩估计思想：通过寻找总体矩条件(模型设定时已经有的假设，即⽆内⽣性)，在总体矩条件中有参数的存在，然后⽤样本矩形条件来进⾏推导未知参数的解。

在多元回归中有外⽣性假设：对应的样本矩为：最终估计结果与OLS⽅法也是⼀样的。

三、模型检验1.拟合优度检验（1）因变量y是随机变量，⽽估计出来的y’却不是随机变量；（2）拟合优度表⽰的是模型的估计值y’能够在多⼤程度上解释因变量样本y的变动。

（3）y’的变动解释y的变动能⼒越强，则说明模型拟合的越好y-y’就越接近与假设的随机误差（4）⽽因变量的变动是由其⽅差来描述的。

最小二乘估计原理

最小二乘估计原理

最小二乘估计原理最小二乘估计原理是一种常用的参数估计方法，它在统计学和经济学等领域有着广泛的应用。

最小二乘估计原理的核心思想是通过最小化观测值与估计值之间的残差平方和来确定参数的估计值，从而使得模型拟合数据的效果最佳。

在本文中，我们将详细介绍最小二乘估计原理的基本概念、应用场景以及具体的计算方法。

最小二乘估计原理的基本概念。

最小二乘估计原理的基本思想是通过最小化残差平方和来确定参数的估计值。

在线性回归模型中，我们通常假设因变量与自变量之间存在线性关系，即Y = β0 + β1X + ε，其中Y表示因变量，X表示自变量，β0和β1分别表示截距和斜率，ε表示误差项。

最小二乘估计原理要求通过最小化观测值与估计值之间的残差平方和来确定参数的估计值，即使得残差平方和达到最小值时，参数的估计值即为最小二乘估计值。

最小二乘估计原理的应用场景。

最小二乘估计原理广泛应用于线性回归模型的参数估计中。

在实际应用中，我们经常需要根据样本数据来估计模型的参数，从而进行预测或者推断。

最小二乘估计原理可以帮助我们确定最优的参数估计值，使得模型能够最好地拟合观测数据。

除了线性回归模型，最小二乘估计原理还可以应用于其他类型的模型参数估计中，例如非线性模型、多元回归模型等。

最小二乘估计的具体计算方法。

在实际应用中，最小二乘估计的具体计算方法通常包括以下几个步骤，首先，建立模型，确定自变量和因变量之间的关系；其次，利用样本数据来估计模型的参数，即通过最小化残差平方和来确定参数的估计值；最后，进行参数估计的检验，判断参数的估计结果是否显著。

在具体计算过程中，通常需要利用计量经济学中的相关工具和方法，例如OLS（Ordinary Least Squares）估计方法、假设检验、置信区间估计等。

最小二乘估计原理的优缺点。

最小二乘估计原理作为一种常用的参数估计方法，具有以下优点，首先，计算简单，易于理解和应用；其次，具有较好的数学性质和统计性质，例如无偏性、有效性等；最后，适用范围广泛，可以应用于各种类型的模型参数估计中。

多元线性回归分析估计

多元线性回归分析估计

• 4. OLS估计量的方差 The Variance of the OLS Estimators
• 5. OLS的有效性：高斯－马尔科夫定理 Efficiency of OLS: The Gauss-Markov Theorem
2
本课大纲
• 1. 多元回归模型的结构 • 2. 为什么使用多元回归 • 3.多元回归模型中的零值条件期望假定 • 4.多元回归模型的OLS 估计及代数性质 • 5.解释多元回归模型参数 • 6. 简单回归模型与多元回归模型的比较
• 多元回归模型能容许很多解释变量，而这些变量可以是相关的。 • 在使用非实验数据时，多元回归模型对推断y与解释变量x间的因
果关系很重要。
11
为什么使用多元回归？ 2. 更好地预测
• 一个变量y的变化，不仅与一种因素有关，可能 决定于许多因素。
• 预测一个变量的变化，往往需要尽可能多地知道 影响该变量变化的因素。
• 因此，多元线性回归模型，是实证分析中 应用最广泛的分析工具。
13
为什么使用多元回归模型？ 例1: 教育对工资的影响
• 教育educ对工资wage的影响 • 一个简单回归模型:
Wage= 0 + 1 • uc +u
• 然而，上述工资方程中，许多影响工资，同时又与教 育年限相关的变量，被包含于误差项u中，如劳动力 市场经验等。一方面，他们影响工资，但又不同于教 育，故包含于u中。另一方面，他们又与教育相关。 如教育年限越长，则参与劳动市场的时间就相对越短。 因此，零值条件期望假定不成立，会导致OLS估计量
• 4. Unites of Measurement and Functional Form 测量单位和函数形式
• 5. Expected Values and Variances of the OLS estimators OLS估计量的期望值和方差
偏最小二乘回归方法(PLS)

偏最小二乘回归方法(PLS)

偏最小二乘回归方法1 偏最小二乘回归方法(PLS)背景介绍在经济管理、教育学、农业、社会科学、工程技术、医学和生物学中，多元线性回归分析是一种普遍应用的统计分析与预测技术。

多元线性回归中，一般采用最小二乘方法(Ordinary Least Squares :OLS)估计回归系数，以使残差平方和达到最小，但当自变量之间存在多重相关性时，最小二乘估计方法往往失效。

而这种变量之间多重相关性问题在多元线性回归分析中危害非常严重，但又普遍存在。

为消除这种影响，常采用主成分分析(principal Components Analysis :PCA)的方法，但采用主成分分析提取的主成分，虽然能较好地概括自变量系统中的信息，却带进了许多无用的噪声，从而对因变量缺乏解释能力。

最小偏二乘回归方法(Partial Least Squares Regression：PLS)就是应这种实际需要而产生和发展的一种有广泛适用性的多元统计分析方法。

它于1983年由S.Wold和C.Albano等人首次提出并成功地应用在化学领域。

近十年来，偏最小二乘回归方法在理论、方法和应用方面都得到了迅速的发展，己经广泛地应用在许多领域，如生物信息学、机器学习和文本分类等领域。

偏最小二乘回归方法主要的研究焦点是多因变量对多自变量的回归建模，它与普通多元回归方法在思路上的主要区别是它在回归建模过程中采用了信息综合与筛选技术。

它不再是直接考虑因变量集合与自变量集合的回归建模，而是在变量系统中提取若干对系统具有最佳解释能力的新综合变量(又称成分)，然后对它们进行回归建模。

偏最小二乘回归可以将建模类型的预测分析方法与非模型式的数据内涵分析方法有机地结合起来，可以同时实现回归建模、数据结构简化(主成分分析)以及两组变量间的相关性分析(典型性关分析)，即集多元线性回归分析、典型相关分析和主成分分析的基本功能为一体。

下面将简单地叙述偏最小二乘回归的基本原理。