一元回归线性模型
- 格式:docx
- 大小:12.46 KB
- 文档页数:1
第三章一元线性回归模型第一节一元线性回归模型及其基本假设一元线性回归模型第二章回归分析的基本思想指出,由于总体实际上是未知的,必须根据样本回归模型估计总体回归模型,回归分析的目的就是尽量使得样本回归模型接近总体回归模型,那么采取什么方法估计样本回归模型才使得估计出的样本回归模型是总体回归模型的一个较好估计值呢?这里包括两个问题:一是采用什么方法估计样本回归模型;二是怎样验证估计出的样本回归模型是总体回归模型的一个较好估计值。
这些将在接下来的内容中讲到。
这一章介绍最简单的一元线性回归模型,下一章再扩展到多元线性回归模型。
一元线性回归模型及其基本假设一、一元线性回归模型的定义一元线性回归模型是最简单的计量经济学模型,在该一元模型中,仅仅只含有一个自变量,其一般形式为:yi = β0 + β1xi + μi(3.1.1)其中yi是因变量,xi是自变量,β0、β1是回归参数,μi是随机项。
由于式(3.1.1)是对总体而言的,也称为总体回归模型。
随机项μ代表未被考虑到模型中而又对被解释变量y有影响的所有因素产生的总效应。
二、一元线性回归模型的基本假设由于模型中随机项的存在使得参数β0和β1的数值不可能严格计算出来,而只能进行估计,在计量经济学中,有很多方法可以估计出这些参数值,但采用什么方法能够尽可能准确地估计出这些参数值,取决于随机项μ和自变量x的性质。
因此,对随机项μ和自变量x的统计假定以及检验这些假定是否满足的方法,在计量经济学中占有重要的地位。
估计方法中用得最多的是普通最小二乘法(Ordinary Least Squares),同样为了保证利用普通最小二乘法估计出的参数估计量具有良好的性质,也需要对模型的随机项μ和自变量x 提出若干种假设。
当模型中的随机项μ和自变量x满足这些假设时,普通最小二乘法就是适合的估计方法;当模型中的随机项μ和自变量x不满足这些假设时,普通最小二乘法就不是适合的方法,这时需要利用其他的方法来估计模型。
一元线性回归模型1.一元线性回归模型有一元线性回归模型(统计模型)如下,y t = β0 + β1 x t + u t上式表示变量y t 和x t之间的真实关系。
其中y t 称被解释变量(因变量),x t称解释变量(自变量),u t称随机误差项,β0称常数项,β1称回归系数(通常未知)。
上模型可以分为两部分。
(1)回归函数部分,E(y t) = β0 + β1 x t,(2)随机部分,u t。
图2.1 真实的回归直线这种模型可以赋予各种实际意义,收入与支出的关系;如脉搏与血压的关系;商品价格与供给量的关系;文件容量与保存时间的关系;林区木材采伐量与木材剩余物的关系;身高与体重的关系等。
以收入与支出的关系为例。
假设固定对一个家庭进行观察,随着收入水平的不同,与支出呈线性函数关系。
但实际上数据来自各个家庭,来自各个不同收入水平,使其他条件不变成为不可能,所以由数据得到的散点图不在一条直线上(不呈函数关系),而是散在直线周围,服从统计关系。
随机误差项u t中可能包括家庭人口数不同,消费习惯不同,不同地域的消费指数不同,不同家庭的外来收入不同等因素。
所以在经济问题上“控制其他因素不变”是不可能的。
回归模型的随机误差项中一般包括如下几项内容,(1)非重要解释变量的省略,(2)人的随机行为,(3)数学模型形式欠妥,(4)归并误差(粮食的归并)(5)测量误差等。
回归模型存在两个特点。
(1)建立在某些假定条件不变前提下抽象出来的回归函数不能百分之百地再现所研究的经济过程。
(2)也正是由于这些假定与抽象,才使我们能够透过复杂的经济现象,深刻认识到该经济过程的本质。
通常线性回归函数E(y t) = β0 + β1 x t是观察不到的,利用样本得到的只是对E(y t) = β0 + β1 x t 的估计,即对β0和β1的估计。
在对回归函数进行估计之前应该对随机误差项u t做出如下假定。
(1) u t 是一个随机变量,u t 的取值服从概率分布。
一元回归线性模型
一元线性回归模型,又称为简单线性回归模型,是机器学习中常
用的回归模型,它是利用一个自变量X来预测因变量Y的结果。
一元
线性回归模型将样本数据映射为一条直线,如y=ax+b,其中a是斜率,b是截距,也就是说,一元线性回归模型中的参数是斜率和截距,而拟
合的直线就是根据样本数据估计出来的最佳拟合直线。
目标函数是求解参数 a 和 b,使得误差平方和最小,具体来说,
目标函数的表达式为:J(a,b)=Σi(yi-f(xi))^2,其中f(x)=ax+b,yi为观测值,xi为观测值对应的自变量。
对于一元线性回归模型,求解参数 a 和 b 的最优方法要么是直
接用梯度下降法求解,要么是用最小二乘法求解。
梯度下降法求解时,需构造损失函数,使用梯度下降法迭代更新参数,直到获得最优结果;而最小二乘法求解时,通过求解参数关于损失函数的导数,便可解出
模型参数,从而得到最优结果。
一元线性回归模型在实际应用中有很多优点,其中最重要的就是
它易于拟合和解释,它求解简单,可以很大程度上减少了计算复杂度,而且可以很好地预测因变量的值,也可以用来检验变量之间的关系。