一元线性回归模型与多元线性回归模型对比

线性统计模型知识点总结一、线性回归模型1. 线性回归模型的基本思想线性回归模型是一种用于建立自变量和因变量之间线性关系的统计模型。

它的基本思想是假设自变量与因变量之间存在线性关系，通过对数据进行拟合和预测，以找到最佳拟合直线来描述这种关系。

2. 线性回归模型的假设线性回归模型有一些假设条件，包括：自变量与因变量之间存在线性关系、误差项服从正态分布、误差项的方差是常数、自变量之间不存在多重共线性等。

3. 线性回归模型的公式线性回归模型可以用如下的数学公式来表示：Y = β0 + β1X1 + β2X2 + ... + βnXn + ε，其中Y 是因变量，X是自变量，β是模型的系数，ε是误差项。

4. 线性回归模型的参数估计线性回归模型的参数估计通常使用最小二乘法来进行。

最小二乘法的目标是通过最小化残差平方和来寻找到最佳的模型系数。

5. 线性回归模型的模型评估线性回归模型的好坏可以通过很多指标来进行评价，如R-squared（R^2）、调整后的R-squared、残差标准差、F统计量等。

6. 线性回归模型的应用线性回归模型广泛应用于经济学、金融学、市场营销、社会科学等领域，用以解释变量之间的关系并进行预测。

二、一般线性模型（GLM）1. 一般线性模型的基本概念一般线性模型是一种用于探索因变量与自变量之间关系的统计模型。

它是线性回归模型的一种推广形式，可以处理更为复杂的数据情况。

2. 一般线性模型的模型构建一般线性模型与线性回归模型相似，只是在因变量和自变量之间的联系上，进行了更为灵活的变化。

除了线性模型，一般线性模型还可以包括对数线性模型、逻辑斯蒂回归模型等。

3. 一般线性模型的假设一般线性模型与线性回归模型一样，也有一些假设条件需要满足，如误差项的正态分布、误差项方差的齐性等。

4. 一般线性模型的模型评估一般线性模型的模型评估通常涉及到对应的似然函数、AIC、BIC、残差分析等指标。

5. 一般线性模型的应用一般线性模型可以应用于各种不同的领域，包括医学、生物学、社会科学等，用以研究因变量与自变量之间的关系。

线性回归模型的经典假定及检验、修正一、线性回归模型的基本假定1、一元线性回归模型一元线性回归模型是最简单的计量经济学模型，在模型中只有一个解释变量，其一般形式是Y =β0+β1X 1+μ其中，Y 为被解释变量，X 为解释变量，β0与β1为待估参数，μ为随机干扰项。

回归分析的主要目的是要通过样本回归函数（模型）尽可能准确地估计总体回归函数（模型）。

为保证函数估计量具有良好的性质，通常对模型提出若干基本假设。

假设1：回归模型是正确设定的。

模型的正确设定主要包括两个方面的内容：（1）模型选择了正确的变量，即未遗漏重要变量，也不含无关变量；（2）模型选择了正确的函数形式，即当被解释变量与解释变量间呈现某种函数形式时，我们所设定的总体回归方程恰为该函数形式。

假设2：解释变量X 是确定性变量，而不是随机变量，在重复抽样中取固定值。

这里假定解释变量为非随机的，可以简化对参数估计性质的讨论。

假设3：解释变量X 在所抽取的样本中具有变异性，而且随着样本容量的无限增加，解释变量X 的样本方差趋于一个非零的有限常数，即∑(X i −X ̅)2n i=1n→Q,n →∞ 在以因果关系为基础的回归分析中，往往就是通过解释变量X 的变化来解释被解释变量Y 的变化的，因此，解释变量X 要有足够的变异性。

对其样本方差的极限为非零有限常数的假设，旨在排除时间序列数据出现持续上升或下降的变量作为解释变量，因为这类数据不仅使大样本统计推断变得无效，而且往往产生伪回归问题。

假设4：随机误差项μ具有给定X 条件下的零均值、同方差以及无序列相关性，即E(μi|X i)=0Var(μi|X i)=σ2Cov(μi,μj|X i,X j)=0, i≠j随机误差项μ的条件零均值假设意味着μ的期望不依赖于X的变化而变化，且总为常数零。

该假设表明μ与X不存在任何形式的相关性，因此该假设成立时也往往称X为外生性解释变量随机误差项μ的条件同方差假设意味着μ的方差不依赖于X的变化而变化，且总为常数σ2。

第二章经典单方程计量经济学模型：一元线性回归模型一、内容提要本章介绍了回归分析的基本思想与基本方法。

首先，本章从总体回归模型与总体回归函数、样本回归模型与样本回归函数这两组概念开始，建立了回归分析的基本思想。

总体回归函数是对总体变量间关系的定量表述，由总体回归模型在若干基本假设下得到，但它只是建立在理论之上，在现实中只能先从总体中抽取一个样本，获得样本回归函数，并用它对总体回归函数做出统计推断。

本章的一个重点是如何获取线性的样本回归函数，主要涉及到普通最小二乘法（OLS）的学习与掌握。

同时，也介绍了极大似然估计法（ML）以及矩估计法（MM）。

本章的另一个重点是对样本回归函数能否代表总体回归函数进行统计推断，即进行所谓的统计检验。

统计检验包括两个方面，一是先检验样本回归函数与样本点的“拟合优度”，第二是检验样本回归函数与总体回归函数的“接近”程度。

后者又包括两个层次：第一，检验解释变量对被解释变量是否存在着显著的线性影响关系，通过变量的t检验完成；第二，检验回归函数与总体回归函数的“接近”程度，通过参数估计值的“区间检验”完成。

本章还有三方面的内容不容忽视。

其一，若干基本假设。

样本回归函数参数的估计以及对参数估计量的统计性质的分析以及所进行的统计推断都是建立在这些基本假设之上的。

其二，参数估计量统计性质的分析，包括小样本性质与大样本性质，尤其是无偏性、有效性与一致性构成了对样本估计量优劣的最主要的衡量准则。

Goss-markov定理表明OLS估计量是最佳线性无偏估计量。

其三，运用样本回归函数进行预测，包括被解释变量条件均值与个值的预测，以及预测置信区间的计算及其变化特征。

二、典型例题分析例1、令kids表示一名妇女生育孩子的数目，educ表示该妇女接受过教育的年数。

生育率对教育年数的简单回归模型为β+μβkids=educ+1（1）随机扰动项μ包含什么样的因素？它们可能与教育水平相关吗？（2）上述简单回归分析能够揭示教育对生育率在其他条件不变下的影响吗？请解释。

第二章 一元线性回归模型1.随机误差项形成的原因：① 在解释变量中被忽略的因素 ② 变量观测值的观测误差 ③ 模型的关系误差或设定误差 ④ 其他随机因素的影响。

2.总体回归方程和样本回归方程的区别和联系：总体回归方程是对总体变量间关系的定量表述,条件均值E(Y|X=x)是x 的一个函数 ,记作:E(Y|X=x)=f(x),其中,f(x)为x 的某个函数 ,它表明在X=x 下,Y 的条件均值与x 之间的关系。

但实际中往往不可能得到总体的全部资料 ,只能先从总体中抽取一个样本,获得样本回归方程 ,并用它对总体回归方程做出统计推断。

通过样本回归方程按照一定的准则近似地估计总体回归方程 ,但由于样本回归方程随着样本的不同而有所不同,所以这种高估或低估是不可避免的。

3.随机误差项的假定条件：（1）零均值：随机误差项具有零均值，即E( )=0，i=1，2，… （2）随机误差项具有同方差： 即每个 对应的随机误差项 具有相同的常数方差。

Var( )=Var( )= ，i=1,2，… （3）无序列相关：即任意两个 和 所对应的随机误差项 、 是不相关的。

Cov( , )=E( )=0,i j,i,j=1,2,… （4）解释变量X 是确定性变量，与随机误差项不相关。

Cov( , )=E( )=0，此假定保证解释变量X 是非随机变量。

（5） 服从正态分布， ～N(0, )4.为什么用决定系数 评价拟合优度，而不用残差平方和作为评价标准？判定系数 = = 1- ，含义为由解释变量引起的被解释变量的变化占被解释变量总变化的比重,用来判定回归直线拟合的优劣。

该值越大说明拟合得越好。

而残差平方和值的大小受变量值大小的影响,不适合具有不同量纲的模型的比较。

5.可决系数 说明了什么？在简单线性回归中它与斜率系数的t 检验的关系是什么？可决系数 是对模型拟合优度的综合度量 ,其值越大,说明在Y 的总变差中由模型作出了解释的部分占得比重越大 ,模 型的拟合优度越高 ,模型总体线性关系的显著性越强。

第二部分：多元线性回归模型一、内容提要本章将一元回归模型拓展到了多元回归模型，其基本的建模思想与建模方法与一元的情形相同。

主要内容仍然包括模型的基本假定、模型的估计、模型的检验以及模型在预测方面的应用等方面。

只不过为了多元建模的需要，在基本假设方面以及检验方面有所扩充。

本章仍重点介绍了多元线性回归模型的基本假设、估计方法以及检验程序。

与一元回归分析相比，多元回归分析的基本假设中引入了多个解释变量间不存在（完全）多重共线性这一假设；在检验部分，一方面引入了修正的可决系数，另一方面引入了对多个解释变量是否对被解释变量有显著线性影响关系的联合性F检验，并讨论了F检验与拟合优度检验的内在联系。

本章的另一个重点是将线性回归模型拓展到非线性回归模型，主要学习非线性模型如何转化为线性回归模型的常见类型与方法。

这里需要注意各回归参数的具体经济含义。

本章第三个学习重点是关于模型的约束性检验问题，包括参数的线性约束与非线性约束检验。

参数的线性约束检验包括对参数线性约束的检验、对模型增加或减少解释变量的检验以及参数的稳定性检验三方面的内容，其中参数稳定性检验又包括邹氏参数稳定性检验与邹氏预测检验两种类型的检验。

检验都是以F检验为主要检验工具，以受约束模型与无约束模型是否有显著差异为检验基点。

参数的非线性约束检验主要包括最大似然比检验、沃尔德检验与拉格朗日乘数检验。

它们仍以估计无约束模型与受约束模型为基础，但以最大似然χ分布为检验统计原理进行估计，且都适用于大样本情形，都以约束条件个数为自由度的2量的分布特征。

非线性约束检验中的拉格朗日乘数检验在后面的章节中多次使用。

二、典型例题分析例1．某地区通过一个样本容量为722的调查数据得到劳动力受教育的一个回归方程为36.0.+=-10+094medufedu.0sibsedu210131.0R2=0.214式中，edu为劳动力受教育年数，sibs为该劳动力家庭中兄弟姐妹的个数，medu与fedu分别为母亲与父亲受到教育的年数。

一、单选题1、多元线性回归模型和一元线性回归模型相比，显著不同的基本假设是？（）A.随机误差项具有同方差B.解释变量之间互不相关C.随机误差项具有零均值D.随机误差项无序列相关性正确答案：B2、用矩阵表示多元线性回归模型OLS估计的正规方程组，X的第1列或第1行的元素是什么？（）A.1B.变量观测值C.0D.取值不能确定的常数正确答案：A3、多元线性回归模型中，发现各参数估计量的t值都不显著，但模型的拟合优度很大， F值很显著，这说明模型存在（）。

A.自相关B.设定偏误C.异方差D.多重共线性正确答案：D4、如果把常数项看成是一个虚变量的系数，该虚变量的样本观测值为（）。

A.取值不能确定的常数B.1C.随样本而变的变量D.0正确答案：B5、从统计检验的角度，样本容量要大于多少，Z检验才能应用？（）A.40B.20C.30D.10正确答案：C二、多选题1、在一定程度上表征多元线性回归模型整体拟合优度的指标是哪些？（）A.SCB.调整可决系数C.AICD.t正确答案：A、B、C2、多元线性回归模型的基本检验包括哪些？（）A.方程整体检验：可决系数、调整可决系数、F检验B.预测检验：给定解释变量，被解释变量的观测值，与被解释变量的真实值进行对比C.单参数检验：系数T检验D.经济学含义检验：系数正负是否符合经济逻辑以及经济现实正确答案：A、B、C、D3、估计多元线性回归参数的方法有（）。

A.普通最小二乘估计OLSB.最大似然估计C.矩估计GMMD.最大方差法正确答案：A、B、C4、下列说法不正确的是（）。

A.RSS=TSS x ESSB.RSS=TSS/ESSC.RSS=TSS - ESSD.RSS=TSS + ESS正确答案：A、B、D5、运用F统计量检验约束回归，下列不正确的说法是（）。

A.可以检查一个解释变量的作用是否显著B.可以检查一批解释变量的作用是否显著C.可以判断一个回归参数是否足够大D.可以检查一个多元线性回归方程是否有经济意义正确答案：A、C、D三、判断题1、多元线性回归模型中某个解释变量系数的含义是其他解释变量保持不变，该解释变量变化1个单位，被解释变量的条件均值变化的数量。

多元线性回归模型的检验1多元性回归模型与一元线性回归模型一样,在得到参数的最小二乘法的估计值之后,也需要进行必要的检验与评价,以决定模型是否可以应用;1、拟合程度的测定;与一元线性回归中可决系数r2相对应,多元线性回归中也有多重可决系数r2,它是在因变量的总变化中,由回归方程解释的变动回归平方和所占的比重,R2越大,回归方各对样本数据点拟合的程度越强,所有自变量与因变量的关系越密切;计算公式为：其中,2.估计标准误差估计标准误差,即因变量y的实际值与回归方程求出的估计值之间的标准误差,估计标准误差越小,回归方程拟合程度越程;其中,k为多元线性回归方程中的自变量的个数;3.回归方程的显著性检验回归方程的显著性检验,即检验整个回归方程的显著性,或者说评价所有自变量与因变量的线性关系是否密切;能常采用F检验,F统计量的计算公式为：根据给定的显著水平a,自由度k,n-k-1查F分布表,得到相应的临界值Fa,若F > Fa,则回归方程具有显著意义,回归效果显著；F < Fa,则回归方程无显著意义,回归效果不显著;4.回归系数的显著性检验在一元线性回归中,回归系数显著性检验t检验与回归方程的显著性检验F检验是等价的,但在多元线性回归中,这个等价不成立;t检验是分别检验回归模型中各个回归系数是否具有显著性,以便使模型中只保留那些对因变量有显著影响的因素;检验时先计算统计量ti；然后根据给定的显著水平a,自由度n-k-1查t分布表,得临界值ta或ta / 2,t > t − a或ta / 2,则回归系数bi与0有显著关异,反之,则与0无显著差异;统计量t的计算公式为：其中,Cij是多元线性回归方程中求解回归系数矩阵的逆矩阵x'x − 1的主对角线上的第j 个元素;对二元线性回归而言,可用下列公式计算：其中,5.多重共线性判别若某个回归系数的t检验通不过,可能是这个系数相对应的自变量对因变量的影平不显著所致,此时,应从回归模型中剔除这个自变量,重新建立更为简单的回归模型或更换自变量;也可能是自变量之间有共线性所致,此时应设法降低共线性的影响;多重共线性是指在多元线性回归方程中,自变量之彰有较强的线性关系,这种关系若超过了因变量与自变量的线性关系,则回归模型的稳定性受到破坏,回归系数估计不准确;需要指出的是,在多元回归模型中,多重共线性的难以避免的,只要多重共线性不太严重就行了;判别多元线性回归方程是否存在严惩的多重共线性,可分别计算每两个自变量之间的可决系数r2,若r2 > R2或接近于R2,则应设法降低多重线性的影响;亦可计算自变量间的相关系数矩阵的特征值的条件数k = λ1 / λpλ1为最大特征值,λp为最小特征值,k<100,则不存在多重点共线性；若100≤k≤1000,则自变量间存在较强的多重共线性,若k>1000,则自变量间存在严重的多重共线性;降低多重共线性的办法主要是转换自变量的取值,如变绝对数为相对数或平均数,或者更换其他的自变量;检验当回归模型是根据动态数据建立的,则误差项e也是一个时间序列,若误差序列诸项之间相互独立,则误差序列各项之间没有相关关系,若误差序列之间存在密切的相关关系,则建立的回归模型就不能表述自变量与因变量之间的真实变动关系;检验就是误差序列的自相关检验;检验的方法与一元线性回归相同;。

第4章 多元回归：估计与假设检验一、名词解释1. 多元线性回归模型：2. 偏回归系数：3. 偏相关系数:4. 多重决定系数：5. 调整后的决定系数：6. 联合假设检验：7. 受约束回归：8. 无约束回归：二、单项选择题1. 下面哪一表述是正确的（ ）A 线性回归模型i i i X Y µββ++=10的零均值假设是指011=∑=ni i n µB 对模型i i i i X X Y µβββ+++=22110进行方程显著性检验（即F 检验），检验的零假设是02100===βββ：HC 相关系数较大意味着两个变量存在较强的因果关系D 当随机误差项的方差估计量等于零时，说明被解释变量与解释变量之间为函数关系2. 下列样本模型中，哪一个模型通常是无效的（ ） A i C （消费）=500+0.8 i I （收入）B d i Q （商品需求）=10+0.8 i I （收入）+0.9 i P （价格）C s i Q （商品供给）=20+0.75 i P （价格）D i Y （产出量）=0.65 0.6i L （劳动）0.4iK （资本）3. 在二元线性回归模型i i i i u X X Y +++=22110βββ中，1β表示（ ） A 当X2不变时，X1每变动一个单位Y 的平均变动 B 当X1不变时，X2每变动一个单位Y 的平均变动 C 当X1和X2都保持不变时，Y 的平均变动 D 当X1和X2都变动一个单位时，Y 的平均变动4. 已知含有截距项的三元线性回归模型估计的残差平方和为8002=∑te，估计用样本容量为24=n ，则随机误差项t u 的方差估计量为（ ）A 33.33B 40C 38.09D 36.365. 已知不含．．截距项的三元线性回归模型估计的残差平方和为8002=∑te，估计用样本容量为24=n ，则随机误差项t u 的方差估计量为（ ） A 33.33 B 40 C 38.09 D 36.366.线性回归模型的参数估计量βˆ是随机变量iY 的函数，所以βˆ是（ ） A 随机变量B 非随机变量C 确定性变量D 常量7. 由 01ˆˆˆYX ββ=+可以得到被解释变量的估计值，由于模型中参数估计量的不确定性及随机误差项的影响，可知ˆY是（ ） A 确定性变量B 非随机变量C 随机变量D 常量8. 根据可决系数R 2与F 统计量的关系可知，当R 2=1时有（ ） A F=1 B F=－1 C F →+∞ D F=09. 在由30n =的一组样本估计的、包含3个解释变量的线性回归模型中，计算得多重决定系数为0.8500，则调整后的多重决定系数为（ ） A 0.8603 B 0.8389 C 0.8655 D 0.832710. 调整的判定系数2R 与多重判定系数2R 之间有如下关系（ ）A 2211n R R n k −=−−B 22111n R R n k −=−−−C 2211(1)1n R R n k −=−+−−D 2211(1)1n R R n k −=−−−−11. 下列说法中正确的是（ ）A 如果模型的2R 很高，我们可以认为此模型的质量较好B 如果模型的2R 较低，我们可以认为此模型的质量较差C 如果某一参数不能通过显著性检验，我们应该剔除该解释变量D 如果某一参数不能通过显著性检验，我们不应该随便剔除该解释变量12. 最常用的统计检验准则包括拟合优度检验、变量的显著性检验和（ ） A 方程的显著性检验 B 多重共线性检验 C 异方差性检验 D 预测检验13. 用一组有30个观测值的样本估计模型01122t t t t y b b x b x u =+++后，在0.05的显著性水平上对1b 的显著性作t 检验，则1b 显著地不等于零的条件是其统计量t 大于等于（ ） A B C D14. 线性回归模型01122......t t t k kt t y b b x b x b x u =+++++ 中， 检验0:0(0,1,2,...)t H b i k ==时，所用的统计量t =服从（ ）A t(n-k+1)B t(n-k-2)C t(n-k-1)D t(n-k+2))30(05.0t )28(025.0t )27(025.0t )28,1(025.0F15. 在多元线性回归模型中对样本容量的基本要求是(k 为解释变量个数)（ ） A n ≥k+1 B n<k+1C n ≥30 或n ≥3（k+1）D n ≥3016. 设为回归模型中的参数个数（包括截距项），n 为样本容量，ESS 为残差平方和，RSS 为回归平方和，则对总体回归模型进行显著性检验时构造的F 统计量为（ ）ABCD17. 对于122331(1)ˆˆˆˆˆ...i i i k k i i Y X X X u ββββ++=+++++，统计量22ˆ()/ˆ()/(1)i i i Y Y k Y Y n k Σ−Σ−−−服从（ ） A (,)F k n k − B (1,1)F k n k −−− C (1,)F k n k −− D (,1)F k n k −−三、多项选择题1. 对于模型12ˆ8300.00.24 1.12t t tY X X =−+，下列错误的陈述有（ ） A Y 与1X 一定呈负相关B Y 对2X 的变化要比Y 对1X 的变化更加敏感C 2X 变化一单位，Y 将平均变化1.12个单位D 若该模型的方程整体显著性检验通过了，则变量的显著性检验必然能够通过E 模型修正的可决系数（2R ）一定小于可决系数（2R ）k )/()1/(k n ESS k RSS F −−=)/()1/(1k n ESS k RSS F −−−=ESS RSS F =RSS ESS F =2. 设k 为回归模型中的参数个数（包括截距项），则调整后的多重可决系数2R 的正确表达式有（ ）A ∑∑−−−−−)()()1(122k n Y Y n Y Y iii）（ B ∑∑−−−−−)1()()(ˆ122n Y Yk n Y Y i iii）（C k n n R −−−−1)1(12 D 1)1(12−−−−n kn R E 1)1(12−−+−n kn R3. 设k 为回归模型中的参数个数（包括截距项），则总体线性回归模型进行显著性检验时所用的F 统计量可表示为（ ） A)1()()ˆ(22−∑−−∑k e k n Y Y iiB )()1()ˆ(22k n e k Y Y i i−∑−−∑ C)()1()1(22k n R k R −−− D )1()(122−−−k R k n R ）（ E)1()1()(22−−−k R k n R4. 在多元线性回归分析中，修正的可决系数2R 与可决系数2R 之间（ ） A 2R <2R B 2R ≥2R C 2R 只能大于零 D 2R 可能为负值5.对模型01122i i i i Y X X u βββ=+++进行总体显著性检验，如果检验结果总体线性关系显著，则有（ ） A 120ββ== B 10β≠，20β= C 10β=，20β≠ D 10β≠，20β≠ E 120ββ=≠6. ˆY 表示OLS 估计回归值，iu 表示随机误差项，如果Y 与X 为线性相关关系，则下列哪些是正确的（ ） A 12i i Y X ββ=+ B 12i i i Y X u ββ=++C 12ˆˆi i i Y X u ββ=++D 12ˆˆˆi i i Y X u ββ=++E 12ˆˆˆiiY X ββ=+7. 对于二元样本回归模型12233ˆˆˆi i ii Y X X e βββ=+++，下列各式成立的有（ ） A 0i e Σ= B 20i i e X Σ= C 30i i e X Σ= D 0i i e Y Σ= E 230i i X X Σ=8. 当被解释变量的观测值i Y 与回归值ˆiY 完全一致时（ ）A 判定系数r 2等于1B 判定系数r 2等于0C 估计标准误差s 等于1D 估计标准误差s 等于0E 相关系数等于0四、简答题1. 给定二元回归模型：，请叙述模型的古典假定。