当前位置：文档之家 › 第三章 回归分析

第三章 回归分析

  • 格式：doc
  • 大小：548.50 KB
  • 文档页数：16

22 第三章 回归分析

§1 一元线性回归

一、回归模型

设随机变量y与自变量x之间存在线性关系，它们的第i次观测数据是：(xi,yi)(i=1,2,…,n)那么这组数据可以假设具有如下的数学结构式：iiixy0（i=1,…,n）,其中β0, β为待估参数，),0(~2Ni，且n,,,21相互独立，这就是一元线性回归的数学模型。

二、参数估计

1.回归系数

设b0和b分别是参数β0, β的最小二乘估计，于是一元线性回归方程为：

iibxby0ˆ （i=1,2,…,n）

b0,b叫做回归系数，它使偏差平方和niiiniiibxbyyyQ12012)()ˆ(取最小值。

由

0)(20)(210100niiiiniiixbxbybQbxbybQ

整理得正规方程组： 020()()()iiiiiinbxbyxbxbxy

解得 xxxySSbxbyb/,0

其中 222)(xnxxxSiixx

yxnyxyyxxSiiiixy))((

另外 ynyyySiiyy22)(

2.最小二乘估计b0,b的统计性质

(1)E(b)= β,E(b0)= β0

即b0,b分别是β0，β的无偏估计

(2)22()/()iDbxx

22201()[/()]iDbxxxn

即回归系数b0,b与σ2，x的波动大小有关，b0还与n有关，这就是说，x值越分散，数据越多，估计b0,b越精确。

三、假设检验 23 1.回归方程显著性检验

欲检验y与x之间是否有线性关系，即检验假设H0：β＝0。

设(xi,yi)(i=1,2,…,n)，iibxbyL0ˆ:，即)(ˆxxbyy

其中

xxxySSb，xbyb0

记 2)(yySi总

2)ˆ(iiyyS剩

2)ˆ(yySi回

则 剩回总SSS

且 yySS总，xybSS回 xyyybSSS剩

方差分析表

来源 平方和 自由度 均方 F F0

回归 S回 1 S回 2/1/nSS剩回 )2,1(nF

剩余 S剩 n-2 S剩/n-2

总和 S总 n-1

若 )2,1(nFF，则H0真

若 )2,1(nFF，则H0不真

四、预报和控制

对任一给定的x0由回归方程可得回归值0000ˆ,ˆybxby是x0处的观察值0000xy的一个估计值。

1.预报

在α下寻找正数δ，使得y0以1-α的概率落在]ˆ,ˆ[00yy内，即

)ˆˆ(000yyyP

由概率统计知：当N较大，2000ˆ~(0,),xxyyN时，且有

24 %99)ˆ3ˆˆ3ˆ(%95)ˆ2ˆˆ2ˆ(%68)ˆˆˆˆ(000000000yyyPyyyPyyyP

2.控制

欲使21ˆyyy，如何控制x?

2211)(ˆ,)(ˆyxyyxy

求出x1,x2的问题。

五、例题

为了获得小麦高产，在5块田上进行了对比试验，在同样肥力及管理水平下，取得了如下数据：

试验号(i) 播种量

(11月18日，斤/亩) 基本苗数xi

(12月19日,万/亩) 有效穗数y

(5月5日，万/亩)

1

2

3

4

5 25

30

35

40

45 15

25.8

30

36.6

44.4 39.4

42.9

41.0

43.1

49.2

试对基本苗数x与有效穗数y进行回归分析。

解

1.求回归直线方程

编号 x y x2 y2 xy

1

2

3

4

5 15.0

25.8

30.0

36.6

44.4 39.4

42.9

41.0

43.1

49.2 225.00

665.64

900.00

1339.56

1971.36 1552.36

1840.41

1681.00

1857.61

2420.64

591.00

1106.82

1230.00

1577.46

2184.48

∑ 151.8 215.8 5101.56 9352.02 6689.76

35.55)(115.144))((192.492)(12222ynySyxnxySxnxSyyxyxx

32.34,29.00xbybSSbxxxy

所求的回归方程为 xy29.032.34ˆ

2.回归方程显著性检验 25 55.13)ˆ(80.41)ˆ(3.55)(1)(2222212xyyyiixyxxiyyiibSSyySbSSbyySSynyyyS剩回总

方差分析表

来源 平方和 自由度 均方和 F F0

回归 41.80 1 41.80 9.25* F0.1(1,3)=5.53

剩余 13.55 3 4.52

总和 55.35 4

F检验结果表明，回归方程比较显著，其可信程度为90%，在一般情况下是有效的。

在例中通过取样的方法测得一块麦田的基本苗数x0=26万/亩，则可预报第二年成熟时的有效穗数y0近似的为80.41ˆ0y(万/亩)

§2 多元线性回归

一、回归模型

设随机变量y与m个自变量X1，X2，…，Xm之间存在线性关系，它们的第i次观测数据为：(Xi1,Xi2,…,Xim；yi)(i=1,2，…,n)，那么，这一组数据可以假设具有如下的数学结构式：

),,2,1(22110niXXXyiimmiii，

其中),0((~2Ni，且n1相互独立，),,,(10m为待估参数，这就是多元线性回归模型，即1－多线性回归模型。

二、参数估计

设b0,b1,…,bm分别是参数m,,,10的最小二乘估计，则回归方程为：

),,2,1(ˆ110niXbXbbyimmii

b0,b1,…,bm称为偏回归系数，它使偏差平方和（残差或剩余）

2111012)()ˆ(niimmiiniiiXbXbbyyyQ

取最小值。

应用求极值的方法，由

),,2,1,0(,0mibQi

经整理化简后得正规方程组： 26 mymmmmmymmymmSbSbSbSSbSbSbSSbSbSbS22112222212111212111

其中 najiajainajajiaiijXXnXXXXXXS11))((

najaajnaajajjyyXnyXyyXXS11))((

naanaaiiynyXnX111,1

由方程组解出 ),2,1(mibi

再计算 mmXbXbyb110

记 1(),(,,)xxijmmxyymySSSSS

则正规方程组的矩阵形式为：

xyxxSbS*，即 xyxxSSb1*

其中 ),,,(21*mbbbb

三、回归方程显著性检验

欲检验y与x1,…,xm之间是否有线性关系，即检验假设

0,,0:10mH

其方法是对平方和进行方差分析，将y的总离平方和S总分解为

S总＝S回＋S剩

其中 naayyyySS12)(总

naayyUS12)ˆ(回

naaayyQS1)ˆ(剩

且 f总=n-1,f回=m, f剩=n-m-1

27 方差分析表

方差来源 平方和 自由度 均方 F 临界F0

回归 S回 m

S回/m F=[S回/m]/

[S剩/n-m-1]

剩余 S剩 n-m-1 S剩/n-m-1

总和 S总 n-1

若 )1,(mnmFFa，则拒绝H。

四、回归系数显著性检验

欲检验Xi对y的影响是否显著，即检验假设H0:i=0,(i=1,2,…,m)

采用F检验

)1,1(~)1/(/)(2mnFmnSCbFiiiii剩

在H0成立时：

)1/(/2mnSCbFiiii剩，

其中Cii为S－1xx=C=(Cij)主对角线上的元素。

若)1,1(mnFFai，则拒绝H0，即Xi对y有影响。

五、例题

为了估算猪的毛重，测得14头猪的体长X1（cm），胸围X2(cm)，与体重y(kg)的数据如表，试建立y与X1,X2的回归方程，并进行显著性检验。

序号 X1 X2 y X21 X22 X1X2 X1y X2y y2

1 41 49 28 1681 2401 2009 1148 1372 784

2 45 58 39 2025 3364 2610 1755 2262 1521

3 51 62 41 2601 3844 3162 2091 2542 1681

4 52 71 44 2704 5041 3692 2288 3124 1936

5 59 62 43 3481 3844 3658 2537 2666 1849

6 62 74 50 3844 5476 4588 3100 3700 2500

7 69 71 51 4761 5041 4899 3519 3621 2601

8 72 74 57 5184 5476 5328 4104 4218 3249

9 78 79 63 6084 6241 6162 4914 4977 3969

10 80 81 66 6400 6561 6480 5280 5346 4356

11 90 85 70 8100 7225 7650 6300 5950 4900

12 92 94 76 8464 8836 8648 6992 7144 5776

13 98 91 80 9604 8281 8918 7840 7280 6400

14 103 95 84 10609 9025 9785 8652 7980 7056

 992 1046 792 65993 80656 77589 60520 62182 48578

解 1270.8674.71,56.57XXy

合集下载

第三章 一元线性回归模型

第三章 一元线性回归模型

第三章 一元线性回归模型

一、预备知识

（一）相关概念

对于一个双变量总体,若由基础理论，变量和变量之间存在因果),(iixyxy

关系，或的变异可用来解释的变异。为检验两变量间因果关系是否存在、xy

度量自变量对因变量影响的强弱与显著性以及利用解释变量去预测因变量xyx

，引入一元回归分析这一工具。y

将给定条件下的均值ixiy

iiixxyE10)|(

（3.1）

定义为总体回归函数（Population Regression Function,PRF）。定义

为误差项（error term）,记为，即，这样)|(iiixyEyi)|(iiiixyEy

，或iiiixyEy)|(

iiixy10（3.2）

（3.2）式称为总体回归模型或者随机总体回归函数。其中，称为解释变量x

（explanatory variable）或自变量（independent variable）；称为被解释y

变量（explained variable）或因变量（dependent variable）；误差项解释

了因变量的变动中不能完全被自变量所解释的部分。误差项的构成包括以下四

个部分：

（1）未纳入模型变量的影响

（2）数据的测量误差

（3）基础理论方程具有与回归方程不同的函数形式，比如自变量与因变量之间

可能是非线性关系

（4）纯随机和不可预料的事件。

在总体回归模型（3.2）中参数是未知的，是不可观察的，统计计10,i

量分析的目标之一就是估计模型的未知参数。给定一组随机样本

，对（3.1）式进行估计，若的估计量分别记niyxii,,2,1),,(10,),|(iixyE

为，则定义3.3式为样本回归函数^1^0^,,iy

（） iixy^1^0^ni,,2,1

（3.3）注意，样本回归函数随着样本的不同而不同，也就是说是随机变量，^1^0,

它们的随机性是由于的随机性（同一个可能对应不同的）与的变异共iyixiyx

第三章一元线性回归分析

第三章一元线性回归分析

1 第三章 一元线性回归

一元线性回归分析的对象是两个变量的单向因果关系，模型的核心是两变量线性函数，分析方法是回归分析。一元线性回归是经典计量经济分析的基础。

第一节 一元线性回归模型

一、变量间的统计关系

社会经济现象之间的相互联系和制约是社会经济的普遍规律。在一定的条件下，一些因素推动或制约另外一些与之联系的因素发生变化。这种状况表明在经济现象的内部和外部联系中存在着一定的因果关系，人们往往利用这种因果关系来制定有关的经济政策，以指导、控制社会经济活动的发展。而认识和掌握客观经济规律就要探求经济现象间经济变量的变化规律。

互有联系的经济变量之间的紧密程度各不相同，一种极端的情况是一个变量能完全决

定另一个变量的变化。比如：工业企业的原材料消耗金额用y表示，生产量用1x表示，单位产量消耗用2x表示，原材料价格用3x表示，则有：123yxxx。这里，y与123,,xxx，是一种确定的函数关系。

然而，现实世界中，还有不少情况是两个变量之间有着密切的联系，但它们并没有密切到由一个可以完全确定另一个的程度。

例如：某种高档费品的销售量与城镇居民的收入；粮食产量与施肥量之间的关系；储蓄额与居民的收入密切相关。

从图示上可以大致看出这两种关系的区别：一种是对应点完全落到一条函数曲线上；另一种是并不完全落在曲线上，而有的点在曲线上，有的点在曲线的两边。对于后者这种不能用精确的函数关系来描述的关系正是计量经济学研究的重要内容。

二、一元线性回归模型

1.模型的建立

一个例子，见教材66页：

总体回归模型：01iiiYX 理解：（1）误差的随机性使得Y和X之间呈现一种随机的因果关系；（2）Yi的取值由两部分组成，一类是系统内影响，一类是系统外影响。

样本回归直线：01iiYX

样本回归模型：01iiiYXe

2.模型的假设

2-3回归分析导学案

2-3回归分析导学案

主备人： 审核 包科领导签字： 使用时间：

第三章§1回归分析

【学习目标】1、通过统计案例的探究，会对两个随机变量进行线性回归分析.。

2、理解相关系数的含义，会计算两个随机变量的相关系数，会通过线性相关系数判断它们之间的线性相关程度。

3、通过对数据之间散点图的观察，能够对两个随机变量进行可线性化的回归分析.

【学习重点】1、熟练掌握回归分析的步骤 2、 掌握相关系数的计算方法.

3、 可线性化的回归分析.

【学习难点】1、求回归系数 a , b. 2、 求相关系数r.

【使用说明与学法指导】

1.通过阅读教材，自主学习，思考，交流，讨论和概括，完成本节课的学习目标。

2.用红笔勾勒出疑点，合作学习后寻求解决方案。

【自主探究】

1、样本点为),yx（，),(22yx，„),(nnyx。设线性回归方程为bxay，使这几个点与直线bxay的“距离”平方之和最小，即使得 达到最小。

2、线性回归方程bxay中，b , ＝a .

3、求线性回归方程的步骤：（1）

(2)

(3)

(4)

【合作探究】

应用回归分析第三版·何晓群 第三章所有习题答案

应用回归分析第三版·何晓群 第三章所有习题答案

应用回归分析第三章习题

3.1

yx

基本假定：

（1） 诸1234nx,xx,xx……非随机变量，rank（x）=p+1，X为满秩矩阵

（2） 误差项200iijE,ijcov,,ij

（3）20iij~N,,诸相互独立

3.2

10111ˆXXXX|rank(XX)prank(X)pnp存在，必须使存在。即|则必有故

3.3

22111221222211111111nnniiiiiiiniiiniiEeDehnhnpˆEEenpnpnp

3.4

并不能这样武断地下结论。2R与回归方程中的自变量数目以及样本量n有关，当样本量n与自变量个数接近时，2R易接近1，其中隐含着一些虚假成分。因此，并不能仅凭很大的2R就模型的优劣程度。

3.5

首先，对回归方程的显著性进行整体上的检验——F检验

001230pH:…… 接受原假设：在显著水平α下，表示随机变量y与诸x之间的关系由线性模型表示不合适

拒绝原假设：认为在显著性水平α下，y与诸x之间有显著的线性关系

第二，对单个自变量的回归系数进行显著性检验。

00iH:

接受原假设：认为i=0，自变量ix对y的线性效果并不显著

3.6

原始数据由于自变量的单位往往不同，会给分析带来一定的困难；又由于设计的数据量较大，可能会以为舍入误差而使得计算结果并不理想。中心化和标准化回归系数有利于消除由于量纲不同、数量级不同带来的影响，避免不必要的误差。

3.7

011220111222012112211122211221122ppppppppyyyyyyyyyyyyyyˆˆˆˆˆyxxxˆˆˆˆˆˆyy(xx)(xx)(xx)ˆˆˆˆyy(xx)(xx)(xx)LLLLˆˆLLˆ(xx)(xx)yyLLLLL对最小二乘法求得一般回归方程：……对方程进行如下运算：…………pppppyyppjj*jjyyˆL(xx)LLLˆˆL……即