当前位置：文档之家 › 3 多元线性回归模型参数估计

3 多元线性回归模型参数估计

  • 格式：ppt
  • 大小：976.50 KB
  • 文档页数：39

下载文档原格式

  / 39

合集下载

多元线性回归模型参数的最小二乘估计

多元线性回归模型参数的最小二乘估计

x
2 ki
yi
x1i
yi
X
Y
xki yi
ˆ0
ˆ1
ˆ
ˆ k
于是正规方程组的矩阵形式为
( X X )ˆ X Y
（3.2.5）
于是有 ˆ ( X X )1 X Y （3.2.6）
二、中心化模型的参数最小二乘估计 我们已经知道，总体线性回归模型可以表示为
yi 0 1 x1i 2 x2i k xki ui （3.2.7）
u1
U
u2
un
残差平方和
1
2
n
2 i
(Y
Xˆ )(Y
Xˆ )
YY 2ˆ X Y ˆ X Xˆ
其中用到 Y Xˆ 是标量的性质。
（3.2.15）
将残差平方和（3.2.15）对 ˆ 求导，并令其为零：
( ˆ
)
2 X
Y
2 X
Xˆ
0
整理得正规方程组
X Xˆ X Y
（3.2.16）
这里 =0，可以看作是对参数施加一个限制条件。
其中心化模型
yi 1 x1i 2 x2i k xki ui （3.2.11）
yi ˆ1 x1i ˆ2 x2i ˆk xki i （3.2.12）
（i =1,2,…，n）
将它们写成矩阵形式：
Y X U
（3.2.13）
Y Xˆ
ˆ0 xki ˆ1 x1i xki ˆ2 x2i xki ˆk xk2i xki yi
由（3.2.3）第一个方程，可以得到：
y ˆ0 ˆ1 x1 ˆ2 x2 ˆk xk
（3.2.4）
将正规方程组写成矩阵形式：
n x1i xki

计量经济学-多元线性回归模型

计量经济学-多元线性回归模型
多元线性回归模型的表达式
Y=β0+β1X1+β2X2+...+βkXk+ε，其中Y为因变 量，X1, X2,..., Xk为自变量，β0, β1,..., βk为回归 系数，ε为随机误差项。
多元线性回归模型的假设条件
包括线性关系假设、误差项独立同分布假设、无 多重共线性假设等。
研究目的与意义
研究目的
政策与其他因素的交互作用
多元线性回归模型可以引入交互项，分析政策与其他因素（如技 术进步、国际贸易等）的交互作用，更全面地评估政策效应。
实例分析：基于多元线性回归模型的实证分析
实例一
预测某国GDP增长率：收集该国历史数据，包括GDP、投资、消费、出口等变量，建立 多元线性回归模型进行预测，并根据预测结果提出政策建议。
最小二乘法原理
最小二乘法是一种数学优化技术，用 于找到最佳函数匹配数据。
残差是观测值与预测值之间的差，即 e=y−(β0+β1x1+⋯+βkxk)e = y (beta_0 + beta_1 x_1 + cdots + beta_k x_k)e=y−(β0+β1x1+⋯+βkxk)。
在多元线性回归中，最小二乘法的目 标是使残差平方和最小。
t检验
用于检验单个解释变量对被解释变量的影响 是否显著。
F检验
用于检验所有解释变量对被解释变量的联合 影响是否显著。
拟合优度检验
通过计算可决系数（R-squared）等指标， 评估模型对数据的拟合程度。
残差诊断
检查残差是否满足独立同分布等假设，以验 证模型的合理性。
04
多元线性回归模型的检验与 诊断

多元线性回归模型参数估计

多元线性回归模型参数估计

多元线性回归模型参数估计Y=β0+β1X1+β2X2+...+βnXn+ε其中，Y是因变量，X1,X2,...,Xn是自变量，β0,β1,β2,...,βn 是待求的模型参数，ε是偏差项。

参数估计的目标是找到具有最小残差平方和（RSS）的模型参数。

残差是观测值与模型预测值之间的差异，残差平方和则是所有观测值的残差平方的和。

对于参数估计，常用的方法是最小二乘法。

最小二乘法的思想是最小化残差平方和以找到最佳的模型参数。

最小二乘法的步骤如下：1.假设自变量X和因变量Y之间存在线性关系。

2. 对每一个自变量Xj（j = 1, 2, ... , n），计算Xj的均值（记作xj_mean）和标准差（记作xj_std）。

3. 对每一个自变量Xj，将Xj进行标准化处理（Z-score标准化），即将Xj减去其均值后除以其标准差。

4. 根据标准化的自变量Xj，计算其相关系数（记作rj）与因变量Y 的相关系数（记作ry）。

相关系数表示两个变量之间的线性关系的强度和方向。

相关系数的取值范围为-1到1，接近-1表示负相关，接近1表示正相关，接近0表示无相关。

5. 对每个自变量Xj，计算其回归系数（记作bj）等于ry乘以xj_std除以rj。

6. 计算截距项（记作b0）等于Y的均值减去所有回归系数bj与自变量Xj的均值相乘的和。

7.得到完整的多元线性回归模型。

在进行参数估计时，需要注意以下几点：1.数据的准备：确保数据符合多元线性回归模型的假设，包括自变量与因变量的线性关系、多重共线性等。

2.异常值的处理：需要检测和处理可能存在的异常值，以避免对参数估计的干扰。

3.模型的评估：通过评估模型的适应度指标（如决定系数R^2、调整决定系数等）来判断模型的拟合优度，并对模型进行修正。

4.参数的解释：对于得到的参数估计结果，需要解释其含义和影响，以便进行预测和决策。

总之，多元线性回归模型的参数估计是通过最小二乘法等方法来找到最佳的模型参数，以拟合数据并进行预测。

3多元线性回归模型参数估计

3多元线性回归模型参数估计

3多元线性回归模型参数估计多元线性回归是一种用于预测多个自变量与因变量之间关系的统计模型。

其模型形式为：Y=β0+β1X1+β2X2+...+βnXn+ε，其中Y是因变量，X1、X2、..、Xn是自变量，β0、β1、β2、..、βn是模型的参数，ε是误差项。

多元线性回归模型参数的估计可以使用最小二乘法（Ordinary Least Squares,OLS）来进行。

最小二乘法的基本思想是找到一组参数估计值，使得模型预测值与实际观测值之间的平方差最小。

参数估计过程如下：1.根据已有数据收集或实验，获取因变量Y和自变量X1、X2、..、Xn的观测值。

2.假设模型为线性关系，即Y=β0+β1X1+β2X2+...+βnXn+ε。

3.使用最小二乘法，计算参数估计值β0、β1、β2、..、βn：对于任意一组参数估计值β0、β1、β2、..、βn，计算出模型对于所有观测值的预测值Y'=β0+β1X1+β2X2+...+βnXn。

计算观测值Y与预测值Y'之间的平方差的和，即残差平方和（RSS，Residual Sum of Squares）。

寻找使得RSS最小的参数估计值β0、β1、β2、..、βn。

4.使用统计方法计算参数估计值的显著性：计算回归平方和（Total Sum of Squares, TSS）和残差平方和（Residual Sum of Squares, RSS）。

计算决定系数（Coefficient of Determination, R^2）：R^2 = (TSS - RSS) / TSS。

计算F统计量：F=(R^2/k)/((1-R^2)/(n-k-1))，其中k为自变量的个数，n为观测值的个数。

根据F统计量的显著性，判断多元线性回归模型是否合理。

多元线性回归模型参数估计的准确性和显著性可以使用统计假设检验来判断。

常见的参数估计的显著性检验方法包括t检验和F检验。

t检验用于判断单个参数是否显著，F检验用于判断整个回归模型是否显著。

多元线性回归模型参数估计

多元线性回归模型参数估计

多元线性回归模型参数估计多元线性回归是一种用于建立自变量与因变量之间关系的统计模型。

它可以被视为一种预测模型，通过对多个自变量进行线性加权组合，来预测因变量的值。

多元线性回归模型的参数估计是指利用已知的数据，通过最小化误差的平方和来估计回归模型中未知参数的过程。

本文将介绍多元线性回归模型参数估计的基本原理和方法。

Y=β0+β1X1+β2X2+...+βpXp+ε其中，Y是因变量，X1、X2、..、Xp是自变量，β0、β1、β2、..、βp是回归系数，ε是残差项。

参数估计的目标是找到使得误差的平方和最小的回归系数。

最常用的方法是最小二乘法（Ordinary Least Squares, OLS）。

最小二乘法通过最小化残差的平方和来确定回归系数的值。

残差是观测值与回归模型预测值之间的差异。

为了进行最小二乘法参数估计，需要计算回归模型的预测值。

预测值可以表示为：Y^=β0+β1X1+β2X2+...+βpXp其中，Y^是因变量的预测值。

参数估计的目标可以表示为：argmin(∑(Y - Y^)²)通过对目标函数进行求导，可以得到参数的估计值：β=(X^TX)^-1X^TY其中，X是自变量的矩阵，Y是因变量的向量，^T表示矩阵的转置，^-1表示矩阵的逆。

然而，在实际应用中，数据往往存在噪声和异常值，这可能导致参数估计的不准确性。

为了解决这个问题，可以采用正则化方法，如岭回归（Ridge Regression）和LASSO回归（Least Absolute Shrinkage and Selection Operator Regression）。

这些方法通过在目标函数中引入正则化项，可以降低估计结果对噪声和异常值的敏感性。

岭回归通过在目标函数中引入L2范数，可以限制回归系数的幅度。

LASSO回归通过引入L1范数，可以使得一些回归系数等于零，从而实现变量选择。

这些正则化方法可以平衡模型的拟合能力与泛化能力，提高参数估计的准确性。

多元线性回归模型的参数估计

多元线性回归模型的参数估计
加权最小二乘法（WLS）
在最小二乘法基础上，对不同的观测值赋予不同的权重，以调整其 对回归参数估计的影响。
广义最小二乘法（GLS）
考虑自变量之间的相关性，通过转换自变量和因变量来消除自变量 之间的多重共线性影响。
03
参数估计的方法
普通最小二乘法
最小二乘法是一种常用的参数估计方法，通过最小化误差 平方和来估计参数。在多元线性回归模型中，普通最小二 乘法通过求解线性方程组来得到参数的估计值。
模型选择
选择多元线性回归模型作 为预测模型，以商品价格 和用户评价作为自变量， 销量作为因变量。
参数估计
使用最小二乘法进行参数 估计，通过最小化误差平 方和来求解回归系数。
模型检验
对模型进行假设检验，确 保满足线性回归的前提假 设。
结果解释与模型评估
结果解释
根据回归系数的大小和符号，解释各自变量对因变量 的影响程度和方向。
05
参数估计的实例分析
数据来源与预处理
数据来源
数据来源于某大型电商平台的销售数据，包括商 品价格、销量、用户评价等。
数据清洗
对原始数据进行清洗，去除异常值、缺失值和重 复值，确保数据质量。
数据转换
对连续变量进行离散化处理，对分类变量进行独 热编码，以便进行回归分析。
模型建立与参数估计
01
02
03
THANKS
感谢观看
04
参数估计的步骤
确定模型形式
确定自变量和因变
量
首先需要确定回归模型中的自变 量和因变量，通常因变量是研究 的响应变量，自变量是对响应变 量有影响的预测变量。
确定模型的形式
根据自变量和因变量的关系，选 择合适的回归模型形式，如线性 回归、多项式回归等。

3多元线性回归模型参数估计

3多元线性回归模型参数估计多元线性回归是一种回归分析方法，用于建立多个自变量和一个因变量之间的关系模型。

多元线性回归模型可以表示为：Y=β0+β1X1+β2X2+…+βnXn+ε其中，Y表示因变量，X1,X2,…,Xn表示自变量，β0,β1,β2,…,βn表示模型参数，ε表示误差项。

多元线性回归模型的目标是估计出模型参数β0,β1,β2,…,βn，使得实际观测值与模型预测值之间的误差最小化。

参数估计的方法有很多，下面介绍两种常用的方法：最小二乘法和梯度下降法。

1. 最小二乘法（Ordinary Least Squares, OLS）：最小二乘法是最常用的多元线性回归参数估计方法。

它的基本思想是找到一组参数估计值，使得模型预测值与实际观测值之间的残差平方和最小化。

首先，我们定义残差为每个观测值的实际值与模型预测值之间的差异：εi = Yi - (β0 + β1X1i + β2X2i + … + βnXni)其中，εi表示第i个观测值的残差，Yi表示第i个观测值的实际值，X1i, X2i, …, Xni表示第i个观测值的自变量，β0, β1, β2, …,βn表示参数估计值。

然后，我们定义残差平方和为所有观测值的残差平方的总和：RSS = ∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2我们的目标是找到一组参数估计值β0,β1,β2,…,βn，使得残差平方和最小化。

最小二乘法通过数学推导和求导等方法，可以得到参数估计值的解析解。

2. 梯度下降法（Gradient Descent）：梯度下降法是一种迭代优化算法，可以用于估计多元线性回归模型的参数。

它的基本思想是通过迭代调整参数的值，使得目标函数逐渐收敛到最小值。

首先，我们定义目标函数为残差平方和：J(β) = 1/2m∑(Yi - (β0 + β1X1i + β2X2i + … + βnXni))^2其中，m表示样本数量。

多元线性回归模型的参数估计

n (2)
n 2

1 ቤተ መጻሕፍቲ ባይዱ
2
e

x x x ))2 ( yi ( 0 1 1i 2 2i k ki

1
n (2)
n 2
1
e
2
)(Y X) 2 (Y X


• 对数或然函数为
* L L nL ()
1 ' n L n (2 ) ( Y X )( Y X ) 2 2
1 T E ( NN ) E n
1

12 n E n 1
1 n n2
2 0

0 2I 2
标量符号 4、 （为了假设检验） ，随机扰动项服从正态分布
i ~ N(0, 2 )
i 1,2,, n
矩阵符号 4、向量 N 为一多维正态分布，即
N ~ N(0, 2 I )
二、多元线性回归模型的参数估计
1、普通最小二乘估计
• 普通最小二乘估计
随 机 抽 取 被 解 释 变 量 和 解 释 变 量 的 n 组 样 本 观 测 值 ：
且x的秩1??kx?此时xxt也是满秩的标量符号2随机误差项具有零均值同方差及不序列相关0?ie?ni21??22?????iievarni21??0??jijiecov????ji?矩阵符号2innenet20???011???????????????????????nneeene?????????????????????????????nntenne??????11???????????21121nnne???????????i22200????????????????????标量符号3解释变量与随机项不相关0?ijixcov?ni21??矩阵符号30?nxet即011????????????????????????????????????ikiiiiikiiiiexexexxe????????标量符号4为了假设检验随机扰动项服从正态分布02??nini21??矩阵符号4向量n为一多维正态分布即02inn?二多元线性回归模型的参数估计11普通最小二乘估计?普通最小二乘估计随机抽取被解释变量和解释变量的n组样本观测值

第三章多元线性回归模型的参数估计

第三章多元线性回归模型的参数估计多元线性回归模型的参数估计是指通过给定的数据样本，使用其中一种方法来计算出回归模型的参数值。

在多元线性回归模型中，我们有多个自变量与一个因变量之间的关系，因此需要估计出每个自变量的系数。

参数估计是回归模型的核心内容之一，它能够通过对样本数据的分析和处理，得到模型中的参数值，从而建立起模型与实际数据之间的映射关系。

常用的多元线性回归模型的参数估计方法有最小二乘法和最大似然估计法。

最小二乘法是一种最常用的参数估计方法。

它的基本思想是通过最小化因变量的观测值与模型预测值之间的平方误差，来确定模型参数的最佳估计值。

最小二乘法的优点是数学上简单且易于计算，但对于异常值的敏感性较强。

最大似然估计法是另一种常用的参数估计方法。

它的基本思想是找到最能使观测数据发生的概率最大的模型参数，从而得到最优的参数估计值。

最大似然估计法具有较好的统计性质，但它的计算复杂度较高，需要对似然函数进行极大化求解。

在实际应用中，我们需要根据实际情况选择合适的参数估计方法。

通常情况下，最小二乘法是首选的方法，因为它具有简单和直观的优点，适用于大多数情况。

但当样本数据存在异常值或者数据分布不符合正态分布假设时，最大似然估计法可能是更好的选择。

无论是最小二乘法还是最大似然估计法，其核心问题都是通过最优化方法找到使得模型和观测数据之间的误差最小的参数值。

这一过程需要使用数学工具和计算方法进行求解，可以使用迭代算法，如牛顿法或梯度下降法，来逐步逼近最优解。

参数估计的结果可以告诉我们每个自变量对因变量的贡献程度。

因此，一个良好的参数估计能够帮助我们更好地理解数据，预测因变量，以及识别自变量之间是否存在相互影响。

总而言之，多元线性回归模型的参数估计是通过最小化模型与观测数据之间的误差，找到最佳的模型参数值的过程。

合理选择参数估计方法，并进行有效的数学计算，能够为我们提供有关数据和模型之间的重要信息，并为进一步的分析和应用提供基础。

第三章多元线性回归模型

第三章 多元线性回归模型一、名词解释1、多元线性回归模型：在现实经济活动中往往存在一个变量受到其他多个变量影响的现象，表现在线性回归模型中有多个解释变量，这样的模型被称做多元线性回归模型，多元是指多个解释变量2、调整的可决系数2R ：又叫调整的决定系数，是一个用于描述多个解释变量对被解释变量的联合影响程度的统计量，克服了2R 随解释变量的增加而增大的缺陷，与2R 的关系为2211(1)1n R R n k -=----。

3、偏回归系数：在多元回归模型中，每一个解释变量前的参数即为偏回归系数，它测度了当其他解释变量保持不变时，该变量增加1单位对被解释变量带来的平均影响程度。

4、正规方程组：采用OLS 方法估计线性回归模型时，对残差平方和关于各参数求偏导，并令偏导数为0后得到的方程组，其矩阵形式为ˆX X X Y β''=。

5、方程显著性检验：是针对所有解释变量对被解释变量的联合影响是否显著所作的检验，旨在对模型中被解释变量与解释变量之间的线性关系在总体上是否显著成立作出判断。

二、单项选择题1、C ：F 统计量的意义2、A ：F 统计量的定义3、B ：随机误差项方差的估计值1ˆ22--=∑k n e iσ4、A ：书上P92和P93公式5、C ：A 参看导论部分内容；B 在判断多重共线等问题的时候，很有必要；D 在相同解释变量情况下可以衡量6、C ：书上P99，比较F 统计量和可决系数的公式即可7、A ：书P818、D ：A 截距项可以不管它；B 不考虑beta0；C 相关关系与因果关系的辨析 9、B ：注意！只是在服从基本假设的前提下，统计量才服从相应的分布10、D ：AB 不能简单通过可决系数判断模型好坏，还要考虑样本量、异方差等问题；三、多项选择题1、ACDE ：概念性2、BD ：概念性3、BCD ：总体显著，则至少一个参数不为04、BC ：参考可决系数和F 统计量的公式5、AD ：考虑极端情况，ESS=0，可发现CE 错四、判断题、 1、√2、√3、×4、×：调整的可决系数5、√五、简答题 1、 答：多元线性回归模型与一元线性回归模型的区别表现在如下几个方面：一是解释变量的个数不同；二是模型的经典假设不同，多元线性回归模型比一元线性回归模型多了个“解释变量之间不存在线性相关关系”的假定；三是多元线性回归模型的参数估计式的表达更为复杂。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2 1 n E n 1
1n
2 n
var( 1 ) cov( n , 1 )
cov( 1 , n ) 2 var( n ) 0
0 2 I 2
得到：
于是：
ˆ ( X X )1 X Y
样本回归函数的离差形式:
ˆ ˆ x ˆx yi 0 1 1i 2 2i
其矩阵形式为
ˆ x e k ki i
x21
(i 1,2,..., n)
ˆ e y x
其中 ：
ˆ xk 1 1 ˆ x22 xk 2 ˆ 2 x2 n xkn ˆ k 在离差形式下，参数的最小二乘估计结果 为 1 ˆ y1 x11 y x 2 12 y x y n x1n
j也被称为偏回归系数。
总体回归模型n个随机方程的矩阵表达式为
Y X
其中
Y1 1 X 11 Y 1 X 12 Y 2 X Y n n1 1 X 1n
X 21 X 22 X 2n X k1 Xk2 X kn n ( k 1)
0 1 2 k ( k 1)1
1 2 n n1
样本回归函数：用来估计总体回归函数 ˆ ˆ X ˆ X ˆX ˆ Y
i 0 1 1i 2 2i k ki
其中：
ˆ 0 ˆ ˆ 1 ˆ k
e1 e 2 e en
2.多元线性回归模型的基本假定
假设1，解释变量是非随机的。
假设2，随机误差项具有零均值、同方差及不序列 相关性。 E ( ) 0
其随机表示式: ˆ ˆ X ˆX Yi 0 1 1i 2 2i
ˆ X e k ki i
ei称为残差或剩余项(residuals)，可看成是总 体回归模型中随机扰动项i的近似替代。 样本回归函数和样本回归模型的矩阵表达: ˆ ˆ e ˆ X 或 Y Y X

N (0, 2 I )
假设5 ，n(k+1)矩阵X 的秩 =k+1，即X 满秩。
例：测度教育的回报问题 wage 0 1educ 2exper u wage: 小时工资(元)，educ: 受教育的年数，exper: 以 年数计的工作经历。 其他非观测因素：天生能力、职业道德等。 • E(μ|educ,exper) = 0 影响wage的其它因素与educ和exper无关。比如，如果 μ是天生能力，这个假定就是要求，员工总体中受教育 和工作经历的各种组合，其平均能力都相同。 • Var(μ|educ,exper) =σ2，Var(wage|educ,exper)=σ2， 如果这个方差随着两个解释变量中的任何一个变化， 就出现了异方差。

假设3，E(X′)= 0，即
i E ( i ) X 1i i X 1i E ( i ) E 0 X ki i X ki E ( i )
假设4，向量 有一多维正态分布，即
( x x ) x ˆ Y ˆX 0 1 1
ˆ X k k
2、最大似然估计
Y 的随机抽取的n 组样本观测值的联合概率
2 ˆ L( , ) P(Y1, Y2 ,
, Yn ) e
n 1 2 2 ˆ ˆ X ˆ X ( Y ( i 0 1 1 i 2 2i 2 2 1 ˆ X )2 k ki
ˆ 0 ˆ 1 ˆ 2 ˆ k Q0 Q0 Q0 Q0
ˆ )2 其中Q e (Yi Y i
i 1
n
n
2 i
n
i 1
ˆ ˆ X ˆ X ˆ X )) (Yi ( 0 1 1i 2 2i k ki
ln cons 0 1 ln inc 2 ln inc
2
一个问题：在什么情况下由多元线性模型估计得 到的偏回归系数与仅用该变量作为解释变量构成 的一元回归模型的估计结果是相同的？
重要提示：



几乎没有哪个实际问题能够同时满足所有基本假定； 通过模型理论方法的发展，可以克服违背基本假设带 来的问题； 违背基本假设的处理构成了线性单方程计量经济学理 论方法的主要内容。 异方差问题 （违背同方差假设） 序列相关性 （违背序列不相关假设） 共线性问题 （违背解释变量之间不相关假设） 随机解释变量问题 （违背了解释变量和随机误差项 之间不相关假设） 零均值、正态性假定是由模型的数理统计理论决定。
在线性回归模型中解释变量有多个，这样的模型 被称为多元线性回归模型。

多元线性回归模型的一般形式：
Yi 0 1 X 1i 2 X 2 i k X ki i
i =1,2…, n
其中: k 为解释变量的数目，j 称为回归系 数（regression coefficient）。
i 1
2
ˆ ˆ X ˆ X Q (Yi ( 0 1 1i 2 2i
i 1
n
ˆ X ))2 k ki
于是得到关于待估参数估计值的正规方程组：
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2 2i k ki 1i i 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
二、多元线性回归模型的估计

普通最小二乘法


最大似然法
矩估计方法
1、普通最小二乘估计 2 ˆ ˆ 估计目标：结构参数 j 及随机误差项的方差
对于随机抽取的n组观测值： (Yi , X ji ), i 1,2, , n, j 0,1,2, , k 如果样本函数的参数估计值已经得到，则有： ˆ ˆ X ˆ X ˆX ˆ Y (i 1,..., n) i 0 1 1i 2 2i k ki 根据最小二乘原理，参数估计值应该是下列方程组的解
1 X 12 X k2
1 Y1 X 1n Y2 Y X kn n
即
ˆ X Y ( X X )
由于Xʹ X满秩，故有
ˆ ( X X )1 X Y
将上述过程用矩阵表示如下：
ˆ 使得残差平方和最小 寻找一组参数估计值 ˆ )(Y X ˆ) Q ei2 ee = (Y X
正规方程组的矩阵形式:
n X 1i X ki
X X

ki
1i 2 1i

X X X
ki
X
X 1i
ˆ 1 0 ˆ X 11 1i ki 1 2 ˆ X ki k X k1
i ~ N ( 0, 2 )
假设5，解释变量之间不存在严格的线性关系， 即不存在完全共线性。
上述假设的矩阵符号表示式： 假设2， 1 E ( 1 ) 0 E( ) E n E ( n )
E ( ) E 1 n 1
习惯上：把常数项看成为一个虚变量的系 数，该虚变量的样本观测值始终取1。这样： 模型中解释变量的数目为（k +1）。
总体回归函数的随机表达形式:
Yi 0 1 X 1i 2 X 2 i k X ki i
总体回归函数的非随机表达式:
E(Yi | X 1i , X 2i , X ki ) 0 1 X 1i 2 X 2i k X ki
解得( k 1)个方程组成的线性代数方程组,即可得到 ˆ , j 0,1,2, , k ( k 1)个待估参数的估计值
j
ˆ ˆ X ˆ X ˆ X ) Y ( 0 1 1i 2 2i k ki i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X 1i Yi X 1i ˆ ˆ X ˆ X ˆ X ) X Y X ( 0 1 1i 2i 2i k ki 2i i 2i ˆ ˆ ˆ ˆ ( 0 1 X 1i 2 X 2 i k X ki ) X ki Yi X ki
“无完全共线性假定”的说明
cons 0 1 inc 2 inc2
ln cons 0 1 ln inc 2 ln inc2
cons: 消费，inc: 收入 cons 1 2 2inc inc
§2.3 多元线性回归模型的 参数估计
一、多元线性回归模型概述 二、多元线性回归模型的参数估计 三、OLS估计量的统计性质 四、参数估计量的方差、协方差矩阵 和随机误差项方差的估计 五、样本容量问题 六、多元线性回归模型的实例
一、多元线性回归模型
1. 多元线性回归模型的形式

由于： 在实际经济问题中，一个变量往往受到多个 原因变量的影响； 从一般到简单的建模思路；

1
2
1
n 2

2
n 2