最小二乘法估计量的性质(高斯—马尔可夫定理的初步证明)
- 格式:doc
- 大小:160.00 KB
- 文档页数:3
《计量经济学》试题及答案第一章绪论一、填空题:1.计量经济学是以揭示经济活动中客观存在的___数量关系_______为内容的分支学科,挪威经济学家弗里希,将计量经济学定义为______经济理论____、______统计学____、___数学_______三者的结合。
2.数理经济模型揭示经济活动中各个因素之间的____理论______关系,用______确定____性的数学方程加以描述,计量经济模型揭示经济活动中各因素之间的____定量_____关系,用_____随机_____性的数学方程加以描述。
3.经济数学模型是用___数学方法_______描述经济活动。
第一章绪论4.计量经济学根据研究对象和内容侧重面不同,可以分为___理论_______计量经济学和___应用_______计量经济学。
5.计量经济学模型包括____单方程模型______和___联立方程模型_______两大类。
6.建模过程中理论模型的设计主要包括三部分工作,即选择变量、确定变量之间的数学关系、拟定模型中待估计参数的取值范围。
7.确定理论模型中所包含的变量,主要指确定__解释变量________。
8.可以作为解释变量的几类变量有_外生经济_变量、_外生条件_变量、_外生政策_变量和_滞后被解释_变量。
9.选择模型数学形式的主要依据是_经济行为理论_。
10.研究经济问题时,一般要处理三种类型的数据:_时间序列_数据、_截面_数据和_虚变量_数据。
11.样本数据的质量包括四个方面_完整性_、_可比性_、_准确性_、_一致性_。
12.模型参数的估计包括_对模型进行识别_、_估计方法的选择_和软件的应用等内容。
13.计量经济学模型用于预测前必须通过的检验分别是_经济意义检验、_统计检验、_计量经济学检验和_预测检验。
14.计量经济模型的计量经济检验通常包括随机误差项的_异方差_检验、_序列相关_检验、解释变量的_多重共线性_检验。
15.计量经济学模型的应用可以概括为四个方面,即_结构分析_、_经济预测_、_政策评价_、_检验和发展经济理论_。
gauss markov定理
高斯-马尔可夫定理是统计学中的一个基本原理,它断言在最小二乘意义下,正态误差的线性回归模型的最佳估计 (即:最小方差无偏估计) 是回归系数的线性无偏估计。
该定理是由高斯和马尔可夫独立提出的,因此被称为高斯-马尔可夫定理。
它的核心思想是:如果我们要对一个线性回归模型进行回归分析,并且假设误差项是独立、正态分布的,那么最小二乘估计得到的回归系数是无偏估计,并且具有最小方差。
因此,高斯-马尔可夫定理是线性回归模型中最优估计理论的基石。
高斯—马尔可夫定理:若一元线性模型满足计量经济基本假设,则参数的最小二乘估计(OLS)是最小方差的线性无偏估计。
(BLUE )最小二乘法估计量OLS 的性质(高斯—马尔可夫定理的初步证明)1.线性性:0ˆβ和1ˆβ都是i y 的线性函数证明:ini nj j i n j jni iiy x x x x x x y x x∑∑∑∑====--=--=1121211)()()()(ˆβΘ ;令∑=--=nj ji i x xx x k 12)()(则有i ni i y k ∑==11ˆβ ,且有=∑ik,1=∑ii xk ,∑∑=-=ni ii x xk 122)(1从而1ˆβ是i y 的线性函数;同理,0ˆβ==-x y 1ˆβi i i i n i i y k x n y k x y n ∑∑∑⎪⎭⎫⎝⎛-=-=111令i i k x nw ⋅-=1,则有:i i y w ∑=0ˆβ,即0ˆβ也是iy 的线性函数。
另有:1=∑iw ,0=∑ii xw2. 无偏性:0ˆβ和1ˆβ都是0β、1β的无偏估计量; 即有:(),ˆ0ββ=E ()11ˆββ=E证明:先证()11ˆββ=EΘ ()i i i i n i i u x k y k ++==∑∑=1011ˆβββ, 又Θ0=∑ik,1=∑i i x k()∑∑∑=++===i i i i i ni i k u x k y k 01011ˆββββ+∑∑+i i i i u k x k 1β =∑+i i u k 1β()()1101ˆββββ=++⋅=∑∑∑i i i i i u E k x k k E(因为:0=∑ik,1=∑i i x k )同理,利用1=∑i w 和0=∑i i x w 可证得(),ˆ00ββ=E3. 最优性或最小方差性:在所有的线性无偏估计中,0ˆβ和1ˆβ分别是0β、1β的方差最小的有效估计量 证明:若1~β是原值1β的一个线性无偏估计(方差条件不限),且记∑=i i y c 1~β(∵线性估计),再根据无偏估计的特性,有:∑∑==1,0i i ix c c。
第二章 简单线性回归模型、单项选择题:1、回归分析中定义的(B )C 、解释变量和被解释变量都为非随机变量D 解释变量为随机变量,被解释变量为非随机变量 &下面哪一个必定是错误的( C )。
A Y?=30+0.2X i ,以丫 =0.8B 、= —75 + 1.5X i ,気=0.91 C 2.1X i , r XY =0.78 D 、 Y? = —12 —3.5X i , r XY = —0.969、 产量(X ,台)与单位产品成本(Y ,元/台)之间的回归方程为Y? = 356 -1.5X ,这说明(D 。
A 产量每增加一台,单位产品成本增加356元B 、产量每增加一台,单位产品成本减少1.5元C 、产量每增加一台,单位产品成本平均增加 356元D 、产量每增加一台,单位产品成本平均减少1.5元10、 回归模型Yi 八。
「X i , i = 1 ,…,25中,总体方差未知,检验H 。
: r =0时,所用的检验 统计量 —L 服从(D 。
S目A 2(n -2)B 、t (n-1)C 、2(n")D 、t (n-2)11、 对下列模型进行经济意义检验,哪一个模型通常被认为没有实际价值的( B )。
A 、Ci (消费)=500弋.8^ (收入)B 、Qdi (商品需求)=10・0.81[(收入)0.9Pi (价格)CQ si (商品供给)二20(价格)D Y (产出量)765K 役(资本)L :"(劳动)12、进行相关分析时,假定相关的两个变量(A )。
A 、解释变量和被解释变量都是随机变量2、 A 3最小二乘准则是指使( D n Z (Y t -Y ) B 下图中“{”所指的距离是( )达到最小值的原则确定样本回归方程。
nE Y -Y? C 、max Y r -Y Dt -1n、' (Y t -Y?)2t 丄 5、 6、 线性 B 、无偏性 C、有效性 D参数-的估计量?具备有效性是指(B )Var ( ?) =0 B 、Var ( ?)为最小 C 亠0反映由模型中解释变量所解释的那部分离差大小的是 总体平方和 B 、回归平方和 C 、残差平方和7、 (B )。
第三节 最小二乘估计量的性质三大性质:线性特性、无偏性和最小偏差性 一、 线性特性的含义线性特性是指参数估计值1ˆβ和2ˆβ分别是观测值t Y 或者是扰动项t μ的线性组合,或者叫线性函数,也可以称之为可以用t Y 或者是t μ来表示。
1、2ˆβ的线性特征证明 (1)由2ˆβ的计算公式可得: 222222()ˆt tttt ttttttt tt tt x y x Y x Y xxx xx x x x β--===⎛⎫== ⎪ ⎪⎝⎭∑∑∑∑∑∑∑∑∑∑∑Y Y Y Y需要指出的是,这里用到了因为t x 不全为零,可设2tt tx b x =∑,从而,t b 不全为零,故2ˆt t b β=∑Y 。
这说明2ˆβ是t Y 的线性组合。
(2)因为12t t t Y X ββμ=++,所以有()212122ˆt t t t t t t t t t t tb b X b b X b b βββμββμβμ==++=++=+∑∑∑∑∑∑Y这说明2ˆβ是t μ的线性组合。
需要指出的是,这里用到了220t t t t t x x b x x ===∑∑∑∑∑以及 ()2222222201t t tt t t tt ttttttttx x X x b X X x x x x X x X x x x x x⎛⎫+⎪== ⎪⎝⎭++==+=∑∑∑∑∑∑∑∑∑∑∑∑∑2、1ˆβ的线性特征证明 (1)因为12ˆˆY X ββ=-,所以有 ()121ˆˆ1t t t t tY X Y X b nXb n ββ=-=-⎛⎫=- ⎪⎝⎭∑∑∑Y Y这里,令1a Xb n=-,则有1ˆt a β=∑Y 这说明1ˆβ是t Y 的线性组合。
(2)因为回归模型为12t t t Y X ββμ=++,所以()11212ˆt t t t t t t t t ta a X a a X a βββμββμ==++=++∑∑∑∑∑Y因为111t t t a Xb X b nn⎛⎫=-=-=⎪⎝⎭∑∑∑∑。
最小二乘法的原理
最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。
根据样本数据,采用最小二乘估计式可以得到简单线性回归模型参数的估计量。
但是估计量参数与总体真实参数的接近程度如何,是否存在更好的其它估计式,这就涉及到最小二乘估计式或估计量的最小方差(或最佳)(Best)性、线性(Linear)及无偏(Unbiased)性,简称为BLU特性。
这就是广泛应用普通最小二乘法估计经济计量模型的主要原因。
下面证明普通最小二乘估计量具有上述三特
性 [10] 。
1、线性特性
所谓线性特性,是指估计量分别是样本观测值的线性函数,亦即估计量和观测值的线性组合。
2、无偏性
无偏性,是指参数估计量的期望值分别等于总体真实参
数 [10] 。
3、最小方差性
所谓最小方差性,是指估计量与用其它方法求得的估计量比较,其方差最小,即最佳。
最小方差性又称有效性。
这一性质就是著名的高斯一马尔可夫(Gauss-Markov)定理。
这个定理阐明了普通最小二乘估计量与用其它方法求得的任何线性无偏估计量相比,它是最佳的。
计量经济学计量经济学是一门()学科。
[单选题]A.数学B.经济(正确答案)C.统计D.测量狭义计量经济模型是指()。
[单选题]A.投入产出模型B.数学规划模型C.包含随机方程的经济数学模型(正确答案)D.模糊数学模型计量经济模型分为单方程模型和()。
[单选题]A.随机方程模型B.行为方程模型C.联立方程模型(正确答案)D.非随机方程模型建立计量经济学模型的主要步骤包括()。
[单选题]A.设定模型,检验模型,估计模型,改进模型B.设定模型,估计参数,检验模型,应用模型(正确答案)C.估计模型,应用模型,检验模型,改进模型D.搜集资料,设定模型,估计参数,应用模型同一统计指标按时间顺序记录的数据列称为()。
[单选题]A.横截面数据B.时间序列数据(正确答案)C.面板数据D.平行数据样本数据的质量问题,可以概括为完整性、准确性、可比性和()。
[单选题]A.时效性B.一致性(正确答案)C.广泛性D.系统性有人采用全国大中型煤炭企业的截面数据,估计生产函数模型,然后用该模型预测未来煤炭行业的产出量,这是违反了数据的()原则。
[单选题]A.一致性B.准确性C.可比性(正确答案)D.完整性对下列模型进行经济意义检验,哪一个模型通常被认为没有实际价值的()。
[单选题]A.B.(正确答案)C.D.下面属于横截面数据的是()。
[单选题]A.1991-2003年各年某地区20个乡镇企业的平均工业产值B.1991-2003年各年某地区20个乡镇企业各镇的工业产值C.某年某地区20个乡镇工业产值的合计数D.某年某地区20个乡镇各镇的工业产值(正确答案)统计检验包括()。
[单选题]A.经济学检验B.拟合优度检验(正确答案)C.异方差检验D.以上都包括计量经济学的检验不包括()。
[单选题]A.共线性检验B.拟合优度检验(正确答案)C.序列相关检验D.异方差检验可以作为单方程计量经济学模型解释变量的有以下几类变量()。
常用算法分析——最小二乘法目录1.引言2.普通最小二乘法(OLS)3.OLS实现4.广义最小二乘法(GLS)简介1、引言最小二乘法应该是我们最早接触的一种数值估计算法。
它的特殊形式,一元线性回归,被广泛地应用于多种数值统计分析场合。
例如,在验证欧姆定律(U = IR)时,通常的实验方法是分别测量出多个不同电压Ui下,通过电阻的电流值Ii,然后将这些(Ui, Ii)观测点,代入到一元最小二乘公式(1-1)中,便可计算出\hat{R}。
\begin{cases}a&=&\frac{\sum{xy}-\frac{1}{N}\sum{x}\sum{y}}{\sum{x^2}-\frac{1}{N}(\sum{x})^2}\\b&=&\frac{1}{N}\sum{y}-\frac{a}{N}\sum{x}\end{cases} (1-1)由此可得出线性拟合式(1-2)\hat{y}=a\hat{x}+b (1-2)其中,\hat{y}=\hat{U},\ \hat{x}=\hat{I},\ a=\hat{R},\ b 是残差。
通过此方法将观测点及拟合曲线绘制在同一个直角坐标系中,正常情况下可以直观地看到,观测点会均匀分布在直线附近,且每个点的残差平方和(即方差)最小。
“最小二乘法”由此得名。
2、普通最小二乘法(OLS)最小二乘法显然不只是一元线性回归那么简单,它还可以应用于多元参数的拟合。
本节将对普通最小二乘法(Ordinary Least Squares)的原理进行简单的推导和证明。
2.1、高斯—马尔可夫定理高斯—马尔可夫定理(the Gauss–Markov theorem,简称G-M定理)在给定经典线性回归的假定下,最小二乘估计量是具有最小方差的线性无偏估计量(即Best Linear Unbiased Estimator,简称BLUE)。
G-M定理共对OLS普通线性方程提出5个假设:假设1(线性关系):要求所有的母集团参数(population parameters)为常数,用来保证模型为线性关系。
一、填空题1.计量经济学是以揭示经济活动中客观存在的数量关系为内容的分支学科,挪威经济学家弗里希,将计量经济学定义为经济理论、统计学、数学三者的结合。
2.数理经济模型揭示经济活动中各个因素之间的理论关系,用确定性的数学方程加以描述,计量经济模型揭示经济活动中各因素之间的定量关系,用随机性的数学方程加以描述。
3.经济数学模型是用数学方法描述经济活动。
4.计量经济学根据研究对象和内容侧重面不同,可以分为理论计量经济学和应用计量经济学。
5.计量经济学模型包括单方程模型和联立方程模型两大类。
6.建模过程中理论模型的设计主要包括三部分工作,即选择变量、确定变量之间的数学关系、拟定模型中待估计参数的取值范围。
7.确定理论模型中所包含的变量,主要指确定解释变量。
8.可以作为解释变量的几类变量有外生经济变量、外生条件变量、外生政策变量和滞后被解释变量。
9.选择模型数学形式的主要依据是经济行为理论。
10.研究经济问题时,一般要处理三种类型的数据:时间序列数据、截面_数据和虚变量数据。
11.样本数据的质量包括四个方面完整性、可比性、准确性、一致性。
12.模型参数的估计包括对模型进行识别、估计方法的选择和软件的应用等内容。
13.计量经济学模型用于预测前必须通过的检验分别是经济意义检验、统计检验、计量经济学检验和预测检验。
14.计量经济模型的计量经济检验通常包括随机误差项的序列相关检验、异方差性检验、解释变量的多重共线性检验。
15.计量经济学模型的应用可以概括为四个方面,即结构分析、经济预测、政策评价、检验和发展经济理论。
16.结构分析所采用的主要方法是弹性分析、乘数分析和比较静力分析。
1.与数学中的函数关系相比,计量经济模型的显著特点是引入随机误差项u , u 包含了丰富的内容,主要包括四方面在解释变量中被忽略掉的因素的影响、变量观测值的观测误差的影响、模型关系的设定误差的影响、其他随机因素的影响。
2.计量经济模型普通最小二乘法的基本假定有零均值、同方差、无自相关、解释变量与随机误差项相互独立(或者解释变量为非随机变量)。
高斯—马尔可夫定理:
若一元线性模型满足计量经济基本假设,则参数的最小二乘估计(OLS)是最小方差的线性无偏估计。
(BLUE )
最小二乘法估计量OLS 的性质(高斯—马尔可夫定理的初步证明)
1.线性性:0
ˆβ和1ˆβ都是i y 的线性函数
证明:
i n i n j j i n
j j n i i i y x x x x x x y x x ∑∑∑∑====--=--=1121211)()()()(ˆβΘ ; 令∑=--=
n j j i i x x
x x k 12)
()(
则有 i n i i y k ∑==1
1
ˆβ ,且有0=∑i k ,1=∑i i x k ,∑∑=-=
n i i i x x k 12
2)(1 从而1ˆβ是
i y 的线性函数;
同理, 0ˆβ==-x y 1ˆβi i i i n i i y k x n y k x y n ∑∑∑⎪⎭
⎫ ⎝⎛-=-=111
令i i k x n
w ⋅-=1,则有:i i y w ∑=0ˆβ,即0ˆβ也是i y 的线性函数。
另有:
1=∑i w ,
0=∑i i x w 2. 无偏性:0ˆβ和1ˆβ都是0β、1β的无偏估计量; 即有:(),ˆ00ββ=E
()11ˆββ=E 证明:先证()11ˆββ=E
Θ ()i i i i n
i i u x k y k ++==∑∑=1011
ˆβββ, 又Θ
0=∑i k ,1=∑i i x k ()∑∑∑=++===i i i i i n i i k u x k y k 0101
1
ˆββββ+∑∑+i i i i u k x k 1β =∑+i i u k 1
β ()()1101ˆββββ=++⋅=∑∑∑i i i i i u E k x k k E (因为: 0=∑i k ,1=∑i i x k )
同理,利用
1=∑i w 和0=∑i i x w 可证得()
,ˆ00ββ=E
3. 最优性或最小方差性:在所有的线性无偏估计中,0
ˆβ和1ˆβ分别是0β、1β的方差最小的有效估计量
证明:
若1~β是原值1β的一个线性无偏估计(方差条件不限),且记∑=i i y c 1~β(∵。