下载文档原格式
8.2.1一元线性回归模型1.生活经验告诉我们,儿子的身高与父亲的身高相关.一般来说,父亲的身高较高时，儿子的身高通常也较高.为了进一步研究两者之间的关系，有人调查了14名男大学生的身高及其父亲的身高，得到的数据如表1所示.编号1234567891011121314父亲身高/cm 174 170 173 169 182 172 180 172 168 166 182 173 164 180 儿子身高/cm 176 176 170 170 185 176 178 174 170 168 178 172 165 182从图上看，散点大致分布在一条直线附近根据我们学过的整理数据的方法:相关系数r =0.886．父亲身高/cm180 175 170 165 160160 165 170 175180 185 190 ·· ·· · · · 儿子身高/cm· · · · ·185 1).问题1:可以得到什么结论？由散点图的分布趋势表明儿子的身高与父亲的身高线性相关，通过相关系数可知儿子的身高与父亲的身高正线性相关，且相关程度较高．2).问题2:是否可以用函数模型来刻画？不能，因为不符合函数的定义.这其中还受其它因素的影响.3).问题3:那么影响儿子身高的其他因素是什么？影响儿子身高的因素除父亲的身外,还有母亲的身高、生活的环境、饮食习惯、营养水平、体育锻炼等随机的因素，儿子身高是父亲身高的函数的原因是存在这些随机的因素.4).问题4: 你能否考虑到这些随机因素的作用，用类似于函数的表达式,表示儿子身高与父亲身高的关系吗?用x表示父亲身高，Y表示儿子的身高,用e表示各种其它随机因素影响之和，称e为随机误差, 由于儿子身高与父亲身高线性相关，所以Y=bx+a.考虑随机误差后，儿子的身高可以表示为：Y=bx+a+e由于随机误差表示大量已知和未知的各种影响之和，它们会相互抵消，为使问题简洁，可假设随机误差e的均值为0，方差为与父亲身高无关的定值 . 2σ2即E e D eσ:()0,().==我们称①式为Y 关于x 的一元线性回归模型，其中，Y 称为因变量或响应变量，x 称为自变量或解释变量 . a 称为截距参数，b 称为斜率参数；e 是Y 与bx+a 之间的随机误差．2,()0,().Y bx a e E e D e σ=++⎧⎨==⎩① 2、一元线性回归模型如果用x 表示父亲身高，Y 表示儿子的身高,e 表示随机误差.假定随机误差e 的均值为0，方差为与父亲身高无关的定值 ，则它们之间的关系可以表示为2σ4.问题5:你能结合具体实例解释产生模型①中随机误差项的原因吗?产生随机误差e的原因有：(1)除父亲身高外，其他可能影响儿子身高的因素,比如母亲身高、生活环境、饮食习惯和锻炼时间等.(2)在测量儿子身高时，由于测量工具、测量精度所产生的测量误差.(3)实际问题中,我们不知道儿子身高和父亲身高的相关关系是什么，可以利用一元线性回归模型来近似这种关系,这种近似关系也是产生随机误差e的原因.8.2.2一元线性回归模型参数的最小二乘法估计二、自主探究问题1.为了研究两个变量之间的相关关系， 我们建立了一元线性回归模型表达式 刻画的是变量Y 与变量x 之间的线性相关关系，其中参数a 和b 未知，我们如何通过样本数据估计参数a 和b?2,()0,().Y bx a e E e D e σ=++⎧⎨==⎩问题2.我们怎样寻找一条“最好”的直线，使得表示成对样本数据的这些散点在整体上与这条直线最“接近”？从成对样本数据出发，用数学的方法刻画“从整体上看，各散点与蓝色直线最接近”利用点到直线y=bx+a 的“距离”来刻画散点与该直线的接近程度，然后用所有“距离”之和刻画所有样本观测数据与该直线的接近程度.父亲身高/cm180 175 170 165 160160 165 170 175180 185 190 ·· ·· · · · 儿子身高/cm· · · · ·185 父亲身高/cm180 175 170 165 160160 165 170 175 180 185 190·· ·· · · · 儿子身高/cm· · · · ·185设满足一元线性回归模型的两个变量的n 对样本数据为(x 1,y 1)，(x 2，y 2），…，(x n ，y n )父亲身高/cm180 175170165 160160165 170 175 180 185 190·· · · · · · 儿子身高/cm· ·· · · 185()()(1,2,3,,-).i i i i i i i i i i i y bx a e i n y bx a e e x y x bx a =++=⋅⋅⋅+=+由），得(显然越小，表示点，与点，的距离越小，()0,.i i i x y =即样本数据点离直线y=bx+a 的竖直距离越小，如上图特别地，当e 时，表示点在这条直线上1-)ni i i y bx a =+∑因此可用(来刻画各样本观测数据与直线y=bx+a 的整体接近程度.()iix y ，y=bx+a()i i x bx a +，·[]21(,)()ni i i Q a b y bx a ==-+∑残差平方和： 即求a ，b 的值，使Q ( a ，b )最小残差：实际值与估计值之间的差值，即 使Q 取得最小值，当且仅当b 的取值为121()()()nii i nii xx y y b xx ==--=-∑∑b.,ˆ,ˆ的最小二乘估计叫做求得a b a b(,).x y 经验回顾直线必经过的符号相同与相关系数r b ˆ最小二乘法我们将 称为Y 关于x 的经验回归方程，也称经验回归函数或经验回归公式，其图形称为经验回归直线，这种求经验回归方程的方法叫最小二乘法．ˆˆˆy bxa =+12111=i ni n22i ni n x x y y ˆb ,x x ˆˆa x y x y x xy b .i i i i i i ΣΣx )n ΣΣ(()()n ====⎧--⎪=⎪⎨-⎪⎪--=⎩-问题2:依据用最小二乘估计一元线性回归模型参数的公式,求出儿子身高Y 关于父亲身高x 的经验回归方程.儿子的身高不一定会是177cm ，这是因为还有其他影响儿子身高的因素，回归模型中的随机误差清楚地表达了这种影响,父亲的身高不能完全决定儿子的身高，不过，我们可以作出推测，当父亲的身高为176cm 时，儿子身高一般在177cm 左右.当x=176时， ,如果一位父亲身高为176cm,他儿子长大后身高一定能长到177cm 吗？为什么？177y ≈083928957ˆy .x .=+的意义？∧b残差的定义,e a bx Y ++=一元线性回归模型,,Y y 对于通过观测得响应到的数据称量为变观测值ˆ,y通过经验回归方程得到称为预报值的ˆ.ˆey y =-残观测值减去预报值称为即差判断模型拟合的效果:残差分析问题3:儿子身高与父亲身高的关系，运用残差分析所得的一元线性回归模型的有效性吗？残差图:作图时纵坐标为残差,横坐标可以选为样本编号,或身高数据或体重估计值等，这样作出的图形称为残差图．从上面的残差图可以看出，残差有正有负，残差点比较均匀地分布在横轴的两边，可以判断样本数据基本满足一元线性回归模型对于随机误差的假设.所以，通过观察残差图可以直观判断样本数据是否满足一元线性回归模型的假设，从而判断回归模型拟合的有效性.所以，只有图(4）满足一元线性回归模型对随机误差的假设图(1)显示残差与观测时间有线性关系,应将时间变量纳入模型； 图(2)显示残差与观测时间有非线性关系,应在模型中加入时间的非线性函数部分; 图(3)说明残差的方差不是一个常数，随观测时间变大而变大图(4)的残差比较均匀地集中在以横轴为对称轴的水平带状区域内.根据一元线性回归模型中对随机误差的假定，残差应是均值为0，方差为 的随机变量的观测值.2σ观察以下四幅残差图，你认为哪一个残差满足一元线性回归模型中对随机误差的假定？1.残差等于观测值减预测值2.残差的平方和越小越好；3.原始数据中的可疑数据往往是残差绝对值过大的数据；4. 对数据刻画效果比较好的残差图特征:残差点比较均匀的集中在水平带状区域内．归纳小结（残差图中带状越窄，精度越高）1.关于残差图的描述错误的是( )A.残差图的横坐标可以是样本编号B.残差图的横坐标也可以是解释变量或预报变量C.残差点分布的带状区域的宽度越窄相关指数越小D.残差点分布的带状区域的宽度越窄残差平方和越小C 三、巩固提升2.根据如下样本数据:得到的经验回归方程为 ,则( ) A. >0, >0B. >0, <0C. <0, >0D. <0, <0 x 2 3 4 5 6 Y42.5-0.5-2-3a $a $a $a$$b $b$b$b $$ybx a =+$ B3.某种产品的广告支出费用x(单位:万元)与销售额Y(单位:万元)的数据如表:已知Y 关于x 的经验回归方程为 =6.5x+17.5,则当广告支 出费用为5万元时,残差为________. x 2 4 5 6 8Y 30 40 60 50 70$y当x=5时, =6.5×5+17.5=50,表格中对应y=60,于是残差为60-50=10.$y10一元线性回归模型的应用例1.经验表明,对于同一树种,一般树的胸径(树的主干在地面以上1.3m处的直径)越大,树就越高.由于测量树高比测量胸径困难，因此研究人员希望由胸径预测树高.在研究树高与胸径之间的关系时,某林场收集了某种树的一些数据如下表所示,试根据这些数据建立树高关于胸径的经验回归方程.编号 1 2 3 4 5 6胸径/cm 18.1 20.1 22.2 24.4 26.0 28.3树高/m 18.8 19.2 21.0 21.0 22.1 22.1编号7 8 9 10 11 12胸径/cm 29.6 32.4 33.7 35.7 38.3 40.2树高/m 22.4 22.6 23.0 24.3 23.9 24.7dh· · ·· · · · · · · · · 解: 以胸径为横坐标,树高为纵坐标作散点图如下：散点大致分布在一条从左下角到右上角的直线附近，表明两个变量线性相关，并且是正相关，因此可以用一元线性回归模型刻画树高与胸径之间的关系.0.249314.84h d =+··· ·· · · · · · · · 用d 表示胸径,h 表示树高,根据据最小二乘法,计算可得经验回归方程为0.249314.84h d =+根据经验回归方程，由胸径的数据可以计算出树高的预测值(精确到0.1)以及相应的残差，如下表所示.编号胸径/cm 树高观测值/m 树高预测值/m 残差/m1 18.1 18.8 19.4 -0.62 20.1 19.2 19.9 -0.73 22.2 21.0 20.4 0.64 24.4 21.0 20.9 0.15 26.0 22.1 21.3 0.86 28.3 22.1 21.9 0.27 29.6 22.4 22.2 0.28 32.4 22.6 22.9 -0.39 33.7 23.0 23.2 -0.210 35.7 24.3 23.7 0.611 38.3 23.9 24.4 -0.512 40.2 24.7 24.9 -0.2以胸径为横坐标，残差为纵坐标，作残差图，得到下图.30252015-1.0-0.5 0.0 0.5 1.0· · · · · · · 残差/m· · · ·· 354045胸径/cm观察残差表和残差图，可以看到残差的绝对值最大是0.8，所有残差分布在以横轴为对称轴、宽度小于2的带状区域内 .可见经验回归方程较好地刻画了树高与胸径的关系，我们可以根据经验回归方程由胸径预测树高.编号1 2 3 4 5 6 7 8 年份 1896 1912 1921 1930 1936 1956 1960 1968 记录/s 11.8010.6010.4010.3010.2010.1010.009.95例2.人们常将男子短跑100m 的高水平运动员称为“百米飞人”.下表给出了1968年之前男子短跑100m 世界纪录产生的年份和世界纪录的数据.试依据这些成对数据，建立男子短跑100m 世界纪录关于纪录产生年份的经验回归方程以成对数据中的世界纪录产生年份为横坐标,世界纪录为纵坐标作散点图,得到下图在左图中，散点看上去大致分布在一条直线附近，似乎可用一元线性回归模型建立经验回归方程.将经验回归直线叠加到散点图，得到下图：76913031.4902033743.0ˆ1+-=t y用Y 表示男子短跑100m 的世界纪录,t 表示纪录产生的年份 ,利用一元线性回归模型来刻画世界纪录和世界纪录产生年份之间的关系 . 根据最小二乘法,由表中的数据得到经验回归方程为：从图中可以看到，经验回归方程较好地刻画了散点的变化趋势，请再仔细观察图形，你能看出其中存在的问题吗?你能对模型进行修改,以使其更好地反映散点的分布特征吗？仔细观察右图，可以发现散点更趋向于落在中间下凸且递减的某条曲线附近.回顾已有的函数知识，可以发现函数y=-lnx的图象具有类似的形状特征注意到100m短跑的第一个世界纪录产生于1896年, 因此可以认为散点是集中在曲线y=f(t)=c1+c2ln(t-1895)的周围，其中c1、c2为未知参数，且c2<0.y=f(t)=c1+c2ln(t-1895)这是一个非线性经验回归函数，如何利用成对数据估计参数c1、c2令x=ln(t-1895)，则Y=c2x+c1对数据进行变化可得下表：编号 1 2 3 4 5 6 7 8 年份/t 1896 1912 1921 1930 1936 1956 1960 1968 x 0.00 2.83 3.26 3.56 3.71 4.11 4.17 4.29 记录/s 11.80 10.60 10.40 10.30 10.20 10.10 10.00 9.95将x=ln(t-1895)代入：得 8012653.114264398.0ˆ2+-=x y上图表明,经验回归方程对于成对数据具有非常好的拟合精度.将经验回归直线叠加到散点图，得到下图： 8012653.114264398.0ˆ2+-=x y8012653.11)1895ln(4264398.0ˆ2+--=t y经验回归方程为对于通过创纪录时间预报世界纪录的问题，我们建立了两个回归模型，得到了两个回归方程，你能判断哪个回归方程拟合的精度更好吗？8012653.114264398.0ˆ2+-=x y① 2ˆ0.4264398ln(1895)11.8012653y t =--+② 我们发现，散点图中各散点都非常靠近②的图象， 表明非线性经验回归方程②对于原始数据的拟合效果远远好于经验回归方程①.(1).直接观察法.在同一坐标系中画出成对数据散点图、非线性经验回归方程②的图象(蓝色)以及经验回归方程①的图象(红色).28212811ˆ,ˆQ Q (()0.004)0.669i i i i eu ===≈=≈∑∑8012653.114264398.0ˆ2+-=x y① 2ˆ0.4264398ln(1895)11.8012653yt =--+②（2).残差分析:残差平方和越小,模型拟合效果越好.Q 2明显小于Q 1，说明非线性回归方程的拟合效果 要优于线性回归方程.R 2越大，表示残差平方和越小，即模型的拟合效果越好 R 2越小，表示残差平方和越大，即模型的拟合效果越差. 21212ˆ()11()n i i nii i y y y y R ==-=-=--∑∑残差平方和。
一元线性回归模型的参数估计法的误差分析
一元线性回归模型是当前最为常用的统计学模型之一，被广泛应用于商业分析、金融投资预测、互联网用户行为分析等不同的领域。
而参数估计是这些模型最基础也是最关键的一步，因此误差分析在此过程中也十分重要。
一元线性回归模型的参数估计误差通常主要由两部分组成：拟合误差和估计误差。
拟合误差指的是拟合的参数和真实参数的偏离度，表现为模型在训练数据上表现出来的表型；而估计误差则指的是训练数据和测试数据之间的表型差异，表现为模型在未知数据上表现的表型。
就拟合误差而言，大多数的参数估计方法都试图拟合数据，期望在训练数据上
得到最小的拟合误差，并且拟合模型的参数有可能不可以推广到未知数据上表现。
在模型参数估计这一过程中，光考虑拟合误差是不够的，必须要考虑到模型参数在未知数据上的表现，这也就要求我们在估计参数之前先进行泛化性能分析，以免使模型过拟合于给定数据，从而导致估计参数的推广能力变差。
同时，要有效的控制参数估计的误差，还要注意几项重要的考量：一是训练数
据的质量和数量；二是参数估计算法本身的问题，比如该算法是否属于正则化算法，假若使用的算法是正则化算法，则应当考虑使用正则化参数以控制模型的复杂度；另外，确定参数估计的衡量标准，比如前面提到的拟合误差和估计误差，或者准确率、召回等标准也要纳入考虑范围。
总而言之，一元线性回归模型的参数估计误差分析对于一个模型性能优劣有着
至关重要的作用。
在进行参数估计之前，需要考虑到拟合误差和估计误差，以及几个重要的因素，如训练数据的质量、数量、参数估计的衡量标准等。
此外，在估计参数的过程中，为了控制参数估计的误差，模型设置正则化参数也是必要的。
第2章 线性回归模型§2.1 线性模型的参数估计2.1.1 线性模型的最小二乘估计一、一元线性回归模型的最小二乘估计（OLS ） 总体回归模型： 12i i i Y X ββε=++，1,...,i n = 被解释变量i Y ，解释变量i X ，随机误差项i ε的含义 参数12ββ和的含义样本回归模型： 12ˆˆi i iY X e ββ=++，1,...,i n = 残差：12ˆˆi i ie Y X ββ=-- 残差平方和： ()212ˆˆ2i i ie Y X ββ=--∑∑最小二乘法：()1212212ˆˆˆˆ,,ˆˆmin min 2i i i e Y X ββββββ=--∑∑()()121122ˆˆ2=0ˆˆˆ2=0ˆ2i i i2i i i i e Y X e Y X X ββββββ⎧∂=---⎪∂⎪⎨∂⎪=---⎪∂⎩∑∑∑∑ 正则方程：122ˆˆi i iii i n X Y X XX Y ββ⎡⎤⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦∑∑∑∑∑ 最小二乘估计量：1222ˆˆˆi i i Y X X Y nXY X nX βββ⎧=-⎪-⎨=⎪-⎩∑∑ 二、多元线性回归模型的最小二乘估计（OLS ）(一) 线性回归模型的矩阵形式12233...i i i K Ki i Y X X X ββββε=+++++， 1,...,i n =解释变量23,,...,i i Ki X X X参数12,,...,K βββ的含义，称2,...,K ββ为偏回归系数()2312233,,...,...i i i Ki i i K Ki E Y X X X X X X ββββ=++++K 维空间中K - 1维空间平面。
1122133111212223322212233...for 1...for 2.........for K K K K n n n n K n K Y X X X i Y X X X i Y X X X i nββββεββββεββββε=+++++==+++++==+++++=12111122222221...1 (1)...K K n n n n K K Y X X Y X X Y X X εβεβεβ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=+⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦记12111122222221...1...,,,.....................1...K K n nn K Kn Y X X Y X X Y X X εβεβεβ⎡⎤⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥≡≡≡≡⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦Y X βε，用粗体表示向量或矩阵，常规粗细表示标量。
一元线性回归模型的参数估计实验报告一、实验目的通过实验了解一元线性回归模型，理解线性回归模型的原理，掌握回归系数的计算方法和用途，并运用Excel对一组数据进行一元线性回归分析，并解释拟合结果。
二、实验原理1.一元线性回归模型一元线性回归模型是指只有一个自变量和一个因变量之间存在线性关系，数学为：`Y = β0 + β1X + ε`其中，Y表示因变量的数值，X表示自变量的数值，β0和β1分别是系数，ε表示误差项。
系数是待求的，误差项是不可观测和无法准确计算的。
2.回归系数的计算方法回归系数通常使用最小二乘法进行计算，最小二乘法是一种通过最小化误差平方和来拟合数据的方法。
具体计算方法如下：（1）计算X的平均值和Y的平均值；（2）计算X和Y的样本标准差；（3）计算X和Y的协方差以及相关系数；（4）计算回归系数β1和截距β0；三、实验步骤1.导入实验数据将实验数据导入Excel，并进行清理。
2.绘制散点图在Excel中绘制散点图，判断是否存在线性关系。
3.计算相关系数通过Excel的相关系数函数计算出X和Y的相关系数。
通过Excel的回归分析函数计算出回归方程。
5.分析结果分析回归方程的拟合程度以及回归系数的意义。
四、实验结果1.数据准备通过Excel的回归分析函数，计算出回归系数为β0=1.1145，β1=2.5085，回归方程为`Y=1.1145+2.5085X`，如下图所示：（1）拟合程度：相关系数为0.870492，说明自变量和因变量之间存在一定的线性关系，回归方程的拟合程度较好。
（2）回归系数的意义：截距为1.1145，表示当自变量为0时，因变量的值为1.1145；回归系数为2.5085，表示自变量增加1个单位，因变量会增加2.5085个单位。
山西大学实验报告实验报告题目：计量经济学实验报告学院：专业：课程名称：计量经济学学号：学生姓名：教师名称：崔海燕上课时间：一、实验目的：掌握一元线性回归模型的参数估计方法以及对模型的检验和预测的方法。
二、实验原理：1、运用普通最小二乘法进行参数估计；2、对模型进行拟合优度的检验；3、对变量进行显著性检验；4、通过模型对数据进行预测。
三、实验步骤：（一）建立模型1、新建工作文件并保存打开Eviews软件，在主菜单栏点击File\new\workfile，输入start date 1978和end date 2006并点击确认，点击save键，输入文件名进行保存。
2输入并编辑数据在主菜单栏点击Quick键，选择empty\group新建空数据栏，先输入被解释变量名称y，表示中国居民总量消费，后输入解释变量x，表示可支配收入，最后对应各年分别输入数据。
点击name键进行命名，选择默认名称Group01,保存文件。
得到中国居民总量消费支出与收入资料：年份X Y19786678.83806.719797551.64273.219807944.24605.5198184385063.919829235.25482.4198310074.65983.21984115656745.7198511601.77729.2198613036.58210.9198714627.788401988157949560.5198915035.59085.5199016525.99450.9199118939.610375.8199222056.511815.3199325897.313004.7199428783.413944.2199531175.415467.9199633853.717092.5199735956.218080.6199838140.919364.119994027720989.3200042964.622863.92001 46385.4 24370.1 2002 51274 26243.2 2003 57408.1 28035 2004 64623.1 30306.2 2005 74580.4 33214.4 2006 85623.1 36811.2注：y 表示中国居民总量消费 x 表示可支配收入3、 画散点图，判断被解释变量与解释变量之间是否为线性关系在主菜单栏点击Quick\graph 出现对话框，输入 “x y ”，点击确定。
