第二章 简单线性回归模型 一、单项选择题 1．影响预测误差的因素有（ ） A ．置信度 B ．样本容量 C ．新解释变量X 0偏离解释变量均值的程度 D ．如果给定值X 0等于X 的均值时，置信区间越长越好。 2．OLS E 的统计性质（ ） A ．线性无偏性 B ．独具最小方差性 C ．线性有偏 D ．β∧ 是β的一致估计 3．OLSE 的基本假定（ ） A ．解释变量非随机 B ．零均值 C ．同方差 D ．不自相关 4.F 检验与拟合优度指标之间的关系( ) A ． 21111n p p R --?? ?- ?-?? B ． 21111n p p R --?? ?- ?-?? C ． 2111n p p R -???- ?-?? D ． 2111n p p R -???- ?-?? 5．相关分析和回归分析的共同点( ) A ．都可表示程度和方向 B ．必须确定解释(自)变量和被解释(因)变量 C ．不用确定解释(自)变量和被解释(因)变量 D ．都研究变量间的统计关系 6．OLS E 的基本假设有（ ） A ．解释变量是随机的 B ．随机误差项的零均值假设
C ．随机误差项同方差假设 D ．随机误差项线性相关假设 7．与 2 ()() 1 ()1i i i n x x y y i n x x i - --==∑∑ 等价的式子是（ ） A ．2 2 1()1i i i n x y nx y i n x n x i -=-=∑∑ B ．2()1()1i i i n x x y i n x x i --==∑∑ C ．2()1()1i i i n x x x i n x x i -=-=∑∑ D ．xy xx L L 8．下列等式正确的是（ ） A ．SSR=SST+SSE B ．SST=SSR+SSE C ．SSE=SSR+SST D ．SST=SST ×SSE 9．无偏估计量i β的方差是（ ） A ． 2 1 () n j j X X σ=-∑ B ． 2 2 1 ()n j j X X σ=-∑ C ． 2 () n j j X X σ=-∑
§2.5 一元线性回归模型的置信区间与预测 多元线性回归模型的置信区间问题包括参数估计量的置信区间和被解释变量预测值的置信区间两个方面，在数理统计学中属于区间估计问题。所谓区间估计是研究用未知参数的点估计值（从一组样本观测值算得的）作为近似值的精确程度和误差范围，是一个必须回答的重要问题。 一、参数估计量的置信区间 在前面的课程中，我们已经知道，线性回归模型的参数估计量^ β是随机变量 i y 的函数，即：i i y k ∑=1?β，所以它也是随机变量。在多次重复抽样中，每次 的样本观测值不可能完全相同，所以得到的点估计值也不可能相同。现在我们用参数估计量的一个点估计值近似代表参数值，那么，二者的接近程度如何？以多大的概率达到该接近程度？这就要构造参数的一个区间，以点估计值为中心的一个区间（称为置信区间），该区间以一定的概率（称为置信水平）包含该参数。 即回答1β以何种置信水平位于() a a +-1 1?,?ββ之中，以及如何求得a 。 在变量的显著性检验中已经知道 ) 1(~^ ^ ---= k n t s t i i i βββ (2.5.1) 这就是说，如果给定置信水平α-1，从t 分布表中查得自由度为(n-k-1)的临界值 2 αt ，那么t 值处在() 22,ααt t -的概率是α-1。表示为 α αα-=<<-1)(2 2 t t t P 即 α ββαβα-=<-< -1)(2 ^ 2 ^ t s t P i i i
α ββββαβα-=?+<
2 经典线性回归模型 §2.1 概念与记号 1．线性回归模型是用来描述一个特定变量y 与其它一些变量x 1，…，x p 之间的关系。 2． 称特定变量y 为因变量 （dependent variable ）、 被解释变量 （explained variable ）、 响应变量（response variable ）、被预测变量（predicted variable ）、回归子 （regressand ）。 3．称与特定变量相关的其它一些变量x 1，…，x p 为自变量（independent variable ）、 解释变量（explanatory variable ）、控制变量（control variable ）、预测变量 （predictor variable ）、回归量（regressor ）、协变量（covariate ）。 4．假定我们观测到上述这些变量的n 组值：( ) ip i i x x y , , , 1 L (i=1，…，n)。称 这n 组值为样本（sample ）或数据（data ）。 §2.2 经典线性回归模型的假定 假定 2.1（线性性(linearity)） i ip p i i x x y e b b b + + + + = L 1 1 0 (i=1，…，n)。 （2.1） 称方程（2.1）为因变量y 对自变量x 1，…，x p 的线性回归方程（linear regression equation ），其中 ( ) p ， k k , , 1 0 L = b 是待估的未知参数（unknown parameters ）， ( ) n i i , , 1 L = e 是满足一定限制条件的无法观测的误差项（unobserved error term ） 。称自 变量的函数 ip p i x x b b b + + + L 1 1 0 为回归函数（regression function ）或简称为回归 （regression ）。称 0 b 为回归的截距(ntercept)，称 ( ) p k k , , 1 L = b 为自变量的回归系数 （regression coefficients ） 。某个自变量的回归系数表示在其它条件保持不变的情况下，
第10章 简单线性回归分析 思考与练习参考答案 一、最佳选择题 1．如果两样本的相关系数21r r =，样本量21n n =，那么（ D ）。 A. 回归系数21b b = B ．回归系数12b b < C. 回归系数21b b > D ．t 统计量11r b t t = E. 以上均错 2．如果相关系数r =1，则一定有（ C ）。 A ．总SS =残差SS B ．残差SS =回归 SS C ．总SS =回归SS D ．总SS ＞回归SS E. 回归MS =残差MS 3．记ρ为总体相关系数，r 为样本相关系数，b 为样本回归系数，下列（ D ）正确。 A ．ρ=0时，r =0 B ．|r |＞0时，b ＞0 C ．r ＞0时，b ＜0 D ．r ＜0时，b ＜0 E. |r |=1时，b =1 4．如果相关系数r =0，则一定有（ D ）。 A ．简单线性回归的截距等于0 B ．简单线性回归的截距等于Y 或X C ．简单线性回归的残差SS 等于0 D ．简单线性回归的残差SS 等于SS 总 E ．简单线性回归的总SS 等于0 5．用最小二乘法确定直线回归方程的含义是（ B ）。 A ．各观测点距直线的纵向距离相等 B ．各观测点距直线的纵向距离平方和最小 C ．各观测点距直线的垂直距离相等 D ．各观测点距直线的垂直距离平方和最小 E ．各观测点距直线的纵向距离等于零 二、思考题 1．简述简单线性回归分析的基本步骤。 答：① 绘制散点图，考察是否有线性趋势及可疑的异常点；② 估计回归系数；③ 对总体回归系数或回归方程进行假设检验；④ 列出回归方程，绘制回归直线；⑤ 统计应用。 2．简述线性回归分析与线性相关的区别与联系。
一般线性回归分析案例 1、案例 为了研究钙、铁、铜等人体必需元素对婴幼儿身体健康的影响，随机抽取了30个观测数据，基于多员线性回归分析的理论方法，对儿童体内几种必需元素与血红蛋白浓度的关系进行分析研究。这里，被解释变量为血红蛋白浓度（y）,解释变量为钙(ca)、铁(fe)、铜(cu)。 表一血红蛋白与钙、铁、铜必需元素含量 (血红蛋白单位为g；钙、铁、铜元素单位为ug) case y（g）ca fe cu 17.0076.90295.300.840 27.2573.99313.00 1.154 37.7566.50350.400.700 48.0055.99284.00 1.400 58.2565.49313.00 1.034 68.2550.40293.00 1.044 78.5053.76293.10 1.322 88.7560.99260.00 1.197 98.7550.00331.210.900 109.2552.34388.60 1.023 119.5052.30326.400.823 129.7549.15343.000.926 1310.0063.43384.480.869 1410.2570.16410.00 1.190 1510.5055.33446.00 1.192 1610.7572.46440.01 1.210 1711.0069.76420.06 1.361 1811.2560.34383.310.915 1911.5061.45449.01 1.380 2011.7555.10406.02 1.300 2112.0061.42395.68 1.142 2212.2587.35454.26 1.771 2312.5055.08450.06 1.012 2412.7545.02410.630.899 2513.0073.52470.12 1.652 2613.2563.43446.58 1.230
经典线性回归模型的诊断与修正下表为最近20年我国全社会固定资产投资与GDP的统计数据：1 年份国内生产总值（亿元）GDP 全社会固定资产投资（亿元）PI 1996 71813.6 22913.5 1997 79715 24941.1 1998 85195.5 28406.2 1999 90564.4 29854.7 2000 100280.1 32917.7 2001 110863.1 37213.49 2002 121717.4 43499.91 2003 137422 55566.61 2004 161840.2 70477.43 2005 187318.9 88773.61 2006 219438.5 109998.16 2007 270232.3 137323.94 2008 319515.5 172828.4 2009 349081.4 224598.77 2010 413030.3 251683.77 2011 489300.6 311485.13 2012 540367.4 374694.74 2013 595244.4 446294.09 1数据来源于国家统计局网站年度数据
1、普通最小二乘法回归结果如下： 方程初步估计为： GDP=75906.54+1.1754PI (32.351) R2=0.9822F=1046.599 DW=0.3653 2、异方差的检验与修正 首先，用图示检验法，生成残差平方和与解释变量PI的散点图如下：
从上图可以看出，残差平方和与解释变量的散点图主要分布在图形的下半部分，有随PI的变动增大的趋势，因此，模型可能存在异方差。但是否确定存在异方差，还需作进一步的验证。 G-Q检验如下： 去除序列中间约1/4的部分后，1996-2003年的OLS估计结果如下所示：
SPSS第八课：征服一般线性模型 ――General Linear Model菜单详解（上） （武汉兆联投资管理顾问有限公司） 上次更新日期：2009年06月02日 8.1 两因素方差分析 8.1.1 univarate对话框界面说明 8.1.2 结果解释 8.2 协方差分析 8.2.1 分析步骤 8.2.2 结果解释 8.3 其他较简单的方差分析问题 8.4 多元方差分析 8.4.1 分析步骤 8.4.2 结果解释 8.5 重复测量的方差分析 8.5.1 Repeated measures对话框界面说明 8.5.2 结果解释 请注意，本章的标题用了一些修辞手法，一般线性模型可不是用一章就可以说清楚的，因为它包括的内容实在太多了。
那么，究竟我们用到的哪些分析会包含在其中呢？简而言之：凡是和方差分析粘边的都可以用他来做。比如成组设计的方差分析（即单因素方差分析）、配伍设计的方差分析（即两因素方差分析）、交叉设计的方差分析、析因设计的方差分析、重复测量的方差分析、协方差分析等等。因此，能真正掌握GLM菜单的用法，会使大家的统计分析能力有极大地提高。 实际上一般线性模型包括的统计模型还不止这些，我这里举出来的只是从用SPSS作统计分析的角度而言的一些。 好了，既然一般线性模型的能力如此强大，那么下属的四个子菜单各自的功能是什么呢？请看： ?Univariate子菜单：四个菜单中的大哥大，绝大部分的方法分析都在这里面进行。 ?Multivariate子菜单：当结果变量（应变量）不止一个时，当然要用他来分析啦！ ?Repeted Measures子菜单：顾名思义，重复测量的数据就要用他来分析，这一点我可能要强调一下，用前两个菜单似乎都可以分析出来结果，但在许多情况下该结果是不正确的，应该用重复测量的分析方法才对（不能再讲了，再讲下去就会扯到多水平模型去了）。
第二章 简单线性回归模型练习题 一、术语解释 1 解释变量 2 被解释变量 3 线性回归模型 4 最小二乘法 5 方差分析 6 参数估计 7 控制 8 预测 二、填空 1 在经济计量模型中引入反映（ ）因素影响的随机扰动项t ξ，目的在于使模型更符合（ ）活动。 2 在经济计量模型中引入随机扰动项的理由可以归纳为如下几条：（1）因为人的行为的（ ）、社会环境与自然环境的（ ）决定了经济变量本身的（ ）；（２）建立模型时其他被省略的经济因素的影响都归入了（ ）中；（３）在模型估计时，（ ）与归并误差也归入随机扰动项中；（4）由于我们认识的不足，错误的设定了（ ）与（ ）之间的数学形式，例如将非线性的函数形式设定为线性的函数形式，由此产生的误差也包含在随机扰动项中了。 3 （ ）是因变量离差平方和，它度量因变量的总变动。就因变量总变动的变异来源看，它由两部分因素所组成。一个是自变量，另一个是除自变量以外的其他因素。（ ）是拟合值的离散程度的度量。它是由自变量的变化引起的因变量的变化，或称自变量对因变量变化的贡献。（ ）是度量实际值与拟合值之间的差异，它是由自变量以外的其他因素所致，它又叫残差或剩余。 4 回归方程中的回归系数是自变量对因变量的（ ）。某自变量回归系数β的意义，指的是该自变量变化一个单位引起因变量平均变化（ ）个单位。 5 模型线性的含义，就变量而言，指的是回归模型中变量的（ ）；就参数而言，指的是回归模型中的参数的（ ）；通常线性回归模型的线性含义是就（ ）而言的。 6 样本观察值与回归方程理论值之间的偏差，称为（ ），我们用残差估计线性模型中的（ ）。 三、简答题 1 在线性回归方程中，“线性”二字如何理解 2 用最小二乘法求线性回归方程系数的意义是什么 3 一元线性回归方程的基本假设条件是什么 4 方差分析方法把数据总的平方和分解成为两部分的意义是什么 5 试叙述t 检验法与相关系数检验法之间的联系。 6 应用线性回归方程控制和预测的思想。 7 线性回归方程无效的原因是什么 8 回归分析中的随机误差项i ε有什么作用它与残差项t e 有何区别
线性回归模型 1.回归分析 回归分析研究的主要对象是客观事物变量之间的统计关系，它是建立在对客观事物进行大量试验和观察的基础上，用来寻找隐藏在那些看上去是不确定的现象中的统计规律性的方法。回归分析方法是通过建立模型研究变量间相互关系的密切程度、结构状态及进行模型预测的一种有效工具。 2.回归模型的一般形式 如果变量x_1,x_2,…,x_p与随机变量y之间存在着相关关系，通常就意味着每当x_1,x_2,…,x_p取定值后，y便有相应的概率分布与之对应。随机变量y与相关变量x_1,x_2,…,x_p之间的概率模型为 y = f(x_1, x_2,…,x_p) + ε（1） f(x_1, x_2,…,x_p)为变量x_1,x_2,…,x_p的确定性关系，ε为随机误差项。由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。 当概率模型（1）式中回归函数为线性函数时，即有 y = beta_0 + beta_1*x_1 + beta_2*x_2 + …+ beta_p*x_p +ε (2) 其中，beta_0，…,beta_p为未知参数，常称它们为回归系数。当变量x个数为1时，为简单线性回归模型，当变量x个数大于1时，为多元线性回归模型。 3.回归建模的过程 在实际问题的回归分析中，模型的建立和分析有几个重要的阶段，以经济模型的建立为例：
（1）根据研究的目的设置指标变量 回归分析模型主要是揭示事物间相关变量的数量关系。首先要根据所研究问题的目的设置因变量y，然后再选取与y有关的一些变量作为自变量。通常情况下，我们希望因变量与自变量之间具有因果关系。尤其是在研究某种经济活动或经济现象时，必须根据具体的经济现象的研究目的，利用经济学理论，从定性角度来确定某种经济问题中各因素之间的因果关系。（2）收集、整理统计数据 回归模型的建立是基于回归变量的样本统计数据。当确定好回归模型的变量之后，就要对这些变量收集、整理统计数据。数据的收集是建立经济问题回归模型的重要一环，是一项基础性工作，样本数据的质量如何，对回归模型的水平有至关重要的影响。 （3）确定理论回归模型的数学形式 当收集到所设置的变量的数据之后，就要确定适当的数学形式来描述这些变量之间的关系。绘制变量y_i与x_i（i = 1,2,…,n）的样本散点图是选择数学模型形式的重要手段。一般我们把（x_i,y_i）所对应的点在坐标系上画出来，观察散点图的分布状况。如果n个样本点大致分布在一条直线的周围，可考虑用线性回归模型去拟合这条直线。 （4）模型参数的估计 回归理论模型确定之后，利用收集、整理的样本数据对模型的未知参数给出估计是回归分析的重要内容。未知参数的估计方法最常用的是普通最小二乘法。普通最小二乘法通过最小化模型的残差平方和而得到参数的估计值。即 Min RSS = ∑（y_i – hat(y_i）)^2 = 其中，hat(y_i)为因变量估计值，hat(beta_i)为参数估计值。 （5）模型的检验与修改 当模型的未知参数估计出来后，就初步建立了一个回归模型。建立回归模型的目的是应用它来研究经济问题，但如果直接用这个模型去做预测、控制和分析，是不够慎重的。因为这个模型是否真正揭示了被解释变量与解释变量之间的关系，必须通过对模型的检验才能决定。统计检验通常是对回归方程的显著性检验，以及回归系数的显著性检验，还有拟合优度的检验，随机误差项的序列相关检验，异方差性检验，解释变量的多重共线性检验等。 如果一个回归模型没有通过某种统计检验，或者通过了统计检验而没有合理的经济意义，就需要对回归模型进行修改。 （6）回归模型的运用 当一个经济问题的回归模型通过了各种统计检验，且具有合理的经济意义时，就可以运用这个模型来进一步研究经济问题。例如，经济变量的因素分析。应用回归模型对经济变量之间的关系作出了度量，从模型的回归系数可发现经济变量的结构性关系，给出相关评价的一些量化依据。 在回归模型的运用中，应将定性分析和定量分析有机结合。这是因为数理统计方法只是从事物的数量表面去研究问题，不涉及事物的规定性。单纯的表面上的数量关系是否反映事物的本质这本质究竟如何必须依靠专门学科的研究才能下定论。 Lasso 在多元线性回归中，当变量x_1,x_2,…,x_3之间有较强的线性相关性，即解释变量间出现严重的多重共线性。这种情况下，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘的效果变得很不理想。为了解决这一问题，可以采用子集选择、压缩估计或降维法，Lasso即为压缩估计的一种。Lasso可以将一些增加了模型复杂性但与模型无关的
多元线性回归统计预测模型 摘要:本文以多元统计分析为理论基础，在对数据进行统计分析的基础上建立多元线性回归模型并对未知量作出预测,为相关决策提供依据和参考。重点介绍了模型中参数的估计和自变量的优化选择及简单应用举例。 关键词：统计学;线性回归;预测模型 一．引言 多元线性回归统计预测模型是以统计学为理论基础建立数学模型，研究一个随机变量Ｙ与两个或两个以上一般变量X 1,X ２，…,Xp 之间相依关系,利用现有数据,统计并分析，研究问题的变化规律，建立多元线性回归的统计预测模型,来预测未来的变化情况。它不仅能解决一些随机的数学问题,而且还可以通过建立适当的随机模型进而解决一些确定的数学问题,为相关决策提供依据和参考。 目前统计学与其他学科的相互渗透为统计学的应用开辟新的领域。并被广泛的应用在各门学科上,从物理和社会科学到人文科学，甚至被用来工业、农业、商业及政府部门。而多元线性回归是多元统计分析中的一个重要方法,被应用于众多自然科学领域的研究中。多元线性回归分析作为一种较为科学的方法,可以在获得影响因素的前提下，将定性问题定量化，确定各因素对主体问题的具体影响程度。 二.多元线性回归的基本理论 多元线性回归是多元统计分析中的一个重要方法，被广泛应用于众多自然科学领域的研究中。多元线性回归分析的基本任务包括:根据因变量与多个自变量的实际观测值建立因变量对多个自变量的多元线性回归方程；检验、分析各个自变量对因自变量的综合线性影响的显著性；检验、分析各个自变量对因变量的单纯线性影响的显著性，选择仅对因变量有显著线性影响的自变量，建立最优多元线性回归方程;评定各个自变量对因变量影响的相对重要性以及测定最优多元线性回归方程的偏离度等。由于多数的多元非线性回归问题都可以化为多元线性回归问题,所以这里仅讨论多元线性回归。许多非线性回归和多项式回归都可以化为多元线性回归来解决,因而多元线性回归分析有着广泛的应用。 2.1 多元线性回归模型的一般形式 设随机变量y 与一般变量12,, ,p x x x 线性回归模型为 01122...p p y x x x ββββε=+++++ （2.1） 模型中Ｙ为被解释变量(因变量）,而12,,,p x x x 是p 个可以精确测量并可控制的一般变 量，称为解释变量（自变量）。p ＝1时，(２.1)式即为一元线性回归模型，p 大于2时，(2.1)
matlab建立多元线性回归模型并进行显着性检验及预测问题 例子; x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; 增加一个常数项Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; [b,bint,r,rint,stats]=regress(Y,X) 得结果：b = bint = stats = 即对应于b的置信区间分别为[，]、[,]; r2=, F=, p= p<, 可知回归模型y=+ 成立. 这个是一元的，如果是多元就增加X的行数！ function [beta_hat,Y_hat,stats]=regress(X,Y,alpha) % 多元线性回归(Y=Xβ+ε)MATLAB代码 %？ % 参数说明 % X：自变量矩阵，列为自变量，行为观测值 % Y：应变量矩阵，同X % alpha：置信度，[0 1]之间的任意数据 % beta_hat：回归系数 % Y_beata：回归目标值，使用Y-Y_hat来观测回归效果 % stats：结构体，具有如下字段 % =[fV,fH]，F检验相关参数，检验线性回归方程是否显着 % fV：F分布值，越大越好，线性回归方程越显着 % fH：0或1，0不显着；1显着(好) % =[tH,tV,tW]，T检验相关参数和区间估计，检验回归系数β是否与Y有显着线性关系 % tV：T分布值，beta_hat(i)绝对值越大,表示Xi对Y显着的线性作用% tH：0或1，0不显着；1显着 % tW：区间估计拒绝域，如果beta(i)在对应拒绝区间内，那么否认Xi对Y显着的线性作用 % =[T,U,Q,R]，回归中使用的重要参数 % T：总离差平方和，且满足T=Q+U % U：回归离差平方和 % Q：残差平方和 % R∈[0 1]：复相关系数，表征回归离差占总离差的百分比，越大越好% 举例说明 % 比如要拟合y=a+b*log(x1)+c*exp(x2)+d*x1*x2，注意一定要将原来方程线化% x1=rand(10,1)*10; % x2=rand(10,1)*10; % Y=5+8*log(x1)+*exp(x2)+*x1.*x2+rand(10,1); % 以上随即生成一组测试数据 % X=[ones(10,1) log(x1) exp(x2) x1.*x2]; % 将原来的方表达式化成Y=Xβ，注意最前面的1不要丢了
常见非线性回归模型 1.简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通过直接代换或间接代换转化为线性回归模型, 但也有一些非线性回归模型却无法通过代换转化为线性回归模型。 柯布—道格拉斯生产函数模型 εβα+=L AK y 其中 L 和 K 分别是劳力投入和资金投入, y 是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。 对于联立方程模型, 只要其中有一个方程是不能通过代换转化为线性, 那么这个联立方程模型就是非线性的。 单方程非线性回归模型的一般形式为 εβββ+=),,,;,,,(2121p k x x x f y ΛΛ 2.可化为线性回归的曲线回归 在实际问题当中，有许多回归模型的被解释变量y 与解释变量x 之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。 （1）εββ++=x e y 10 （2）εββββ+++++=p p x x x y Λ2210 （3）ε+=bx ae y (4)y=alnx+b 对于（1）式，只需令x e x ='即可化为y 对x '是线性的形式εββ+'+=x y 10，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令1x =x ,2x =2x ,…, p x =p x ,于是得到y 关于1x ,2x ,…, p x 的线性表达式εββββ+++++=p p x x x y Λ22110 对与（3）式，对等式两边同时去自然数对数，得ε++=bx a y ln ln ,令 y y ln =',a ln 0=β,b =1β，于是得到y '关于x 的一元线性回归模型： εββ++='x y 10。 乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为t y 本身是异方差的，而t y ln 是等方差的。加性误差项模型认为t y 是等方差的。从统计性质看两者的差异，前者淡化了t y 值大的项（近期数据）的作用，强化了t y 值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则对近期数据拟合得效果较好。 影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用加权最小二乘。
预测未来2015年到2020年的货运量 灰色预测模型 是通过少量的、不完全的信息，建立数学模型并做出预测的一种预测方法.当我们应用运筹学的思想方法解决实际问题，制定发展战略和政策、进行重大问题的决策时，都必须对未来进行科学的预测. 预测是根据客观事物的过去和现在的发展规律，借助于科学的方法对其未来的发展趋势和状况进行描述和分析，并形成科学的假设和判断. 灰色系统的定义 灰色系统是黑箱概念的一种推广。我们把既含有已知信息又含有未知信息的系统称为灰色系统.作为两个极端，我们将称信息完全未确定的系统为黑色系统；称信息完全确定的系统为白色系统.区别白色系统与黑色系统的重要标志是系统各因素之间是否具有确定的关系。
建模原理 模型的求解
原始序列为： ) 16909 15781 13902 12987 12495 11067 10149 9926 9329 10923 7691())6(),...1(()0()0()0(==x x x 构造累加生成序列 ) 131159,114250,98469,84567,71580,59085, 48018,37869,27943,18614,7691())6(),...1(()1()1()1(==x x x 归纳上面的式子可写为 称此式所表示的数据列为原始数据列的一次累加生成，简称为一次累加生成. 对(1)X 作紧邻均值生成 ,.... 2)) 1()((21)()1() 1() 1(=-+=k k z k z k z MATLAB 代码如下： x=[7691 18614 27943 37869 48018 590857 71580 84567 98469 114250 131159]; z(1)=x(1); for i=2:6 z(i)=0.5*(x(i)+x(i-1)); end format long g z z = Columns 1 through 3 7691 13152.5 23278.5 Columns 4 through 6 32906 42943.5 319437.5
线性回归模型的研究毕业论文 1 引言 回归分析最早是由19世纪末期高尔顿（Sir Francis Galton）发展的。1855年，他发表了一篇文章名为“遗传的身高向平均数方向的回归”，分析父母与其孩子之间身高的关系，发现父母的身高越高或的其孩子也越高，反之则越矮。他把儿子跟父母身高这种现象拟合成一种线性关系。但是他还发现了个有趣的现象，高个子的人生出来的儿子往往比他父亲矮一点更趋向于平均身高，矮个子的人生出来的儿子通常比他父亲高一点也趋向于平均身高。高尔顿选用“回归”一词，把这一现象叫做“向平均数方向的回归”。于是“线形回归”的术语被沿用下来了。 回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。按照参数估计方法可以分为主成分回归、偏最小二乘回归、和岭回归。 一般采用线性回归分析，由自变量和规定因变量来确定变量之间的因果关系，从而建立线性回归模型。模型的各个参数可以根据实测数据解。接着评价回归模型能否够很好的拟合实际数据；如果不能够很好的拟合，则重新拟合；如果能很好的拟合，就可以根据自变量进行下一步推测。 回归分析是重要的统计推断方法。在实际应用中，医学、农业、生物、林业、金融、管理、经济、社会等诸多方面随着科学的发展都需要运用到这个方法。从而推动了回归分析的快速发展。 2 回归分析的概述 2.1 回归分析的定义 回归分析是应用极其广泛的数据分析方法之一。回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。 2.2 回归分析的主要容
拟合优度的度量 一、判断题 1.当 ()∑-2i y y 确定时，()∑-2 i y y ?越小，表明模型的拟合优度越好。（F ） 2.可以证明，可决系数2R 高意味着每个回归系数都是可信任的。（F ） 3.可决系数2R 的大小不受到回归模型中所包含的解释变量个数的影响。（F ） 4.任何两个计量经济模型的2R 都是可以比较的。（F ） 5.拟合优度2R 的值越大，说明样本回归模型对数据的拟合程度越高。（ T ） 6.结构分析是2R 高就足够了，作预测分析时仅要求可决系数高还不够。（ F ） 7.通过2R 的高低可以进行显著性判断。（F ） 8.2R 是非随机变量。（F ） 二、单项选择题 1．已知某一直线回归方程的可决系数为，则解释变量与被解释变量间的线性相关系数为（ B ）。 A ．± B ．± C ．± D ．± 2．可决系数2R 的取值范围是（ C ）。 A ．2R ≤-1 B ．2R ≥1 C ．0≤2R ≤1 D ．－1≤2R ≤1 3.下列说法中正确的是：（ D ） A 如果模型的2R 很高，我们可以认为此模型的质量较好 B 如果模型的2R 较低，我们可以认为此模型的质量较差 C 如果某一参数不能通过显著性检验，我们应该剔除该解释变量 D 如果某一参数不能通过显著性检验，我们不应该随便剔除该解释变量 三、多项选择题 1．反映回归直线拟合优度的指标有（ ACDE ）。 A ．相关系数 B ．回归系数 C ．样本可决系数 D ．回归方程的标准差 E ．剩余变差（或残差平方和） 2．对于样本回归直线i 01i ???Y X ββ+＝，回归变差可以表示为（ ABCDE ）。 A ．2 2i i i i ?Y Y -Y Y ∑ ∑ （－） （－） B ．2 2 1 i i ?X X β∑ （－）
第三章、经典单方程计量经济学模型：多元线性回归模型 一、内容提要 本章将一元回归模型拓展到了多元回归模型，其基本的建模思想与建模方法与一元的情形相同。主要内容仍然包括模型的基本假定、模型的估计、模型的检验以及模型在预测方面的应用等方面。只不过为了多元建模的需要，在基本假设方面以及检验方面有所扩充。 本章仍重点介绍了多元线性回归模型的基本假设、估计方法以及检验程序。与一元回归分析相比，多元回归分析的基本假设中引入了多个解释变量间不存在（完全）多重共线性这一假设；在检验部分，一方面引入了修正的可决系数，另一方面引入了对多个解释变量是否对被解释变量有显著线性影响关系的联合性F检验，并讨论了F检验与拟合优度检验的内在联系。 本章的另一个重点是将线性回归模型拓展到非线性回归模型，主要学习非线性模型如何转化为线性回归模型的常见类型与方法。这里需要注意各回归参数的具体经济含义。 本章第三个学习重点是关于模型的约束性检验问题，包括参数的线性约束与非线性约束检验。参数的线性约束检验包括对参数线性约束的检验、对模型增加或减少解释变量的检验以及参数的稳定性检验三方面的内容，其中参数稳定性检验又包括邹氏参数稳定性检验与邹氏预测检验两种类型的检验。检验都是以F检验为主要检验工具，以受约束模型与无约束模型是否有显著差异为检验基点。参数的非线性约束检验主要包括最大似然比检验、沃尔德检验与拉格朗日乘数检验。它们仍以估计无约束模型与受约束模型为基础，但以最大似然 χ分布为检验统计原理进行估计，且都适用于大样本情形，都以约束条件个数为自由度的2 量的分布特征。非线性约束检验中的拉格朗日乘数检验在后面的章节中多次使用。 二、典型例题分析 例1．某地区通过一个样本容量为722的调查数据得到劳动力受教育的一个回归方程为36 .0 . + = - 10+ 094 medu fedu .0 sibs edu210 131 .0 R2=0.214 式中，edu为劳动力受教育年数，sibs为该劳动力家庭中兄弟姐妹的个数，medu与fedu分别为母亲与父亲受到教育的年数。问
一元线性回归 一元线性回归模型的一般形式：εββ++=x y 10 一元线性回归方程为：x y E 10)(ββ+= 当对Y 与X 进行n 次独立观测后,可取得n 对观测值 ,,,2,1),,(n i y x i i =则有i i i x y εββ++=10 回归分析的主要任务是通过n 组样本观测值,,,2,1),,(n i y x i i =对 10,ββ进行估计。一般用∧ ∧ 10,ββ分别表示10,ββ的估计值。 称x y ∧ ∧∧+=10ββ为y 关于x 的一元线性回归方程（简称为回归直线方程），∧ 0β为截距，∧ 1β为经验回归直线的斜率。 引进矩阵的形式： 设 ????????????=n y y y y 21，????????????=n x x x X 11121 ，????? ? ??????=n εεεε 21，??????=10βββ 则一元线性回归模型可表示为：εβ+=X y 其中n I 为n 阶单位阵。 为了得到∧ ∧ 10,ββ更好的性质，我们对ε给出进一步的假设（强假设） 设n εεε,,,21 相互独立，且),,2,1(),,0(~2n i N i =σε，由此可得： n y y y ,,,21 相互独立，且),,2,1(),,(~210n i x N y i =+σββ 程序代码： x=[]; y=[]; plot(x,y,’b*’) 多元线性回归 实际问题中的随机变量Y 通常与多个普通变量)1(,,21>p x x x p 有
关。 对于自变量p x x x ,,21的一组确定值，Y 具有一定的分布，若Y 的数学期望值存在，则它是Y 关于p x x x ,,21的函数。 12(,,,)p x x x μ是p x x x ,,21的线性函数。 212,, ,p b b b σ是与p x x x ,,21无关的未知参数。 逐步回归分析 逐步回归分析的数学模型是指仅包含对因变量Y 有显著影响自变量的多元线性回归方程。为了利于变换求算和上机计算，将对其变量进行重新编号并对原始数据进行标准化处理。 一、变量重新编号 1、新编号数学模型 令k x y αα=，自变量个数为1k -，则其数学模型为： 式中，1,2,3,,n α= （其中n 为样本个数） j x 的偏回归平方和为： k x ：为k x α的算术平均值 j b ：j x 的偏回归系数 jj c ：为逆矩阵1-L 对角线对应元素 2 回归数学模型 新编号的回归数学模型为： 二、标准化数学模型 标准化回归数学模型是指将原始数据进行标准化处理后而建立的回归数学模型，即实质上是每个原始数据减去平均值后再除以离差
§ 自变量选择 信息时代的一个重要特征是数据便宜信息值钱，我们经常要从海量数据中挖掘有用信息。比如影响产品质量的因素，从生产过程、员工培训过程到原材料供应过程，可能多达几百个，甚至上千个。对这些质量指标和影响因素制造商在日常生产管理过程中都有记录。现在的问题是如何从这众多的影响因素中找出影响产品质量的重要因素。有时只需判断一个自变量对因变量是否有重要影响，而不需要了解它们之间的精确定量关系。比如判断原材料供应对产品质量是否有重要影响比了解它们之间的精确定量关系更重要。线性回归模型的自变量选择就是用于有众多自变量时识别重要自变量的方法。用于线性回归模型自变量选择的方法可分为两类：全局择优法和逐步回归法。 一、全局择优法 全局择优法就是用衡量回归模型与数据拟合程度的准则，从全部可能的回归模型中选择对数据拟合最优的回归模型。对于一个包含P 个自变量的回归问题，全部 可能的回归模型有01 2P P P P P C C C +++=个，全局择优法要求出每个回归模型的准则 值，然后找出最优的回归模型。 回归模型对数据的拟合程度可用残差平方和来表示。残差平方和越小，模型拟合的越好。但残差平方和的大小与因变量的计量单位有关，因此我们定义了决定系数。决定系数越大，模型拟合的越好。决定系数不仅与因变量的计量单位无关，而且能说明在因变量的变异中，归功于自变量变化的部分所占比例。但不论是用残差平方和还是用决定系数来度量线性拟合模型拟合程度，都会得出模型中包含越多自变量拟合就越好的结论。但在样本容量给定的情况下，自变量越多，模型就越复杂，
模型参数估计就越不精确，导致模型应用的效果就越差。因此我们需要能综合用残差平方和表示的模型拟合精度和用模型中包含的自变量个数表示的模型复杂程度的准则，以便选择出最优的回归模型。回归分析中用于选择自变量的准则很多。由于残差平方和RSS p 和决定系数R 2只考虑模型拟合精度，因而只能作为自变量个数相 同时自变量选择的准则。残差均方s 2和修正决定系数2 adj R 是一个综合模型拟合精度 和模型复杂程度的准则。综合性准则除了残差均方和修正决定系数外，还有如下一些准则： ·Mallows C p 准则 )1(22 ++-= p n s RSS C p p 其中，s 2为包含全部自变量的拟合模型的残差均方，RSS p 为当前拟合模型的残差平方和，p 为当前拟合模型的自变量个数。 ·信息准则 信息准则根据公式 npar *k +logLik *2- 计算，其中logLik= -n{log(RSS/n)+log(2π)+1}/2为当前拟合模型的对数似然函数，npar 为当前拟合模型的参数个数，当k=2时称为AIC 准则，当k=log(n)时称为BIC 准则。在小样本情况下，AIC 准则的表现不太好，为此人们提出的修正AIC 准则AICc ，其计算公式为 1 -npar -n n npar *2 +logLik *-2AICc = ()()1/1*2--++=napr n npar npar AIC