|
第8章 非线性回归
思考与练习参考答案
在非线性回归线性化时，对因变量作变换应注意什么问题
答：在对非线性回归模型线性化时，对因变量作变换时不仅要注意回归函数的形式， 还要注意误差项的形式。如：
(1)乘性误差项，模型形式为
e y AK L αβε
=， (2)加性误差项，模型形式为
y AK L αβε=+。
对乘法误差项模型（1）可通过两边取对数转化成线性模型，（2）不能线性化。 一般总是假定非线性模型误差项的形式就是能够使回归模型线性化的形式，为了方便通常省去误差项，仅考虑回归函数的形式。
"
为了研究生产率与废料率之间的关系，记录了如表所示的数据，请画出散点图，根据散点图的趋势拟合适当的回归模型。 表
生产率x （单位/周） 1000 2000 3000 3500 4000
·
4500
5000
废品率y （%）
，
解：先画出散点图如下图：
从散点图大致可以判断出x和y之间呈抛物线或指数曲线，由此采用二次方程式和指数函数进行曲线回归。
（1）二次曲线
SPSS输出结果如下：
]
从上表可以得到回归方程为：72? 5.8430.087
4.4710y
x x -=-+? 由x 的系数检验P 值大于，得到x 的系数未通过显著性检验。 由x 2的系数检验P 值小于，得到x 2的系数通过了显著性检验。 （2）指数曲线
—
从上表可以得到回归方程为：0.0002t ? 4.003y
e = 由参数检验P 值≈0<，得到回归方程的参数都非常显著。
从R2值，σ的估计值和模型检验统计量F值、t值及拟合图综合考虑，指数拟合效果更好一些。
已知变量x与y的样本数据如表，画出散点图，试用αeβ/x来拟合回归模型，假设：
(1)乘性误差项，模型形式为y=αeβ/x eε
(2)加性误差项，模型形式为y=αeβ/x+ε。
"
表
y
序号x y序号x y序号`
x
16^
11
27《12
38< 13
4、
14
9
5? 1015
解：散点图：
；Array
(1)乘性误差项，模型形式为y=αeβ/x eε
线性化：lny=lnα+β/x +ε令y1=lny, a=lnα,x1=1/x .
做y1与x1的线性回归，SPSS输出结果如下：
从以上结果可以得到回归方程为：y1=+
F 检验和t 检验的P 值≈0<，得到回归方程及其参数都非常显著。
回代为原方程为：y=
】
（2）加性误差项，模型形式为y=
αe β/x
+ε
不能线性化，直接非线性拟合。给初值α=，β=（线性化结果），NLS 结果如下：
ANOVA a
4.4582 2.229
.00113.000
4.45915
2.46714
Source
Regression
Residual
Uncorrected Total
Corrected Total
Sum of
Squares df
Mean
Squares
Dependent variable: y
R squared = 1 - (Residual Sum of Squares) /
(Corrected Sum of Squares) = 1.000.
a.
从以上结果可以得到回归方程为：y=根据R2≈1，参数的区间估计不包括零点且较短，可知回归方程拟合非常好，且其参数都显著。
Logistic函数常用于拟合某种消费品的拥有率，表（书上239页，此处略）是
北京市每百户家庭平均拥有的照相机数，试针对以下两种情况拟合Logistic 回归函数。
·
（1）已知100u =，用线性化方法拟合， （2）u 未知，用非线性最小二乘法拟合。
解：（1），100u =时，的线性拟合。对0111
t y b b u
=
+函数线性化得到：
11ln() 1.8510.264100y -=--0111ln()ln ln 100b t b y -=+，令311ln()100
y y =-，作3
y 关于t 的线性回归分析，SPSS 输出结果如下：
由表Model Summary 得到，0.994R =趋于1，回归方程的拟合优度好，由表ANOVA 得到回归方程显著，由Coefficients 表得到，回归系数
都是显著的，得到方程：11
ln() 1.8510.264100
y -
=--，进一步计算得到：00.157b =，10.768b =（100u =）
回代变量得到最终方程形式为： 1
?0.010.1570.768t
y
=+?
@
最后看拟合效果，通过sequence 画图：
由图可知回归效果比较令人满意。
（2）非线性最小二乘拟合,取初值100u =,00.157b =,10.768b =： 一共循环迭代8次，得到回归分析结果为：
Parameter E stimates
91.062 2.03586.74795.377.211.028.152.271.727.012
.701.753
P aram eter
u b c E stim ate Std. E rror
Low er Bound Upper Bound
95% Confidence I nterval
ANOVA a
60774.331320258.11085.36916 5.33660859.7001915690.386
18
Source Regression Residual Uncorrected Total Corrected Total Sum of
Squares df Mean
Squares
Dependent variable: y
R squared = 1 - (Residual Sum of Squares) /(Corrected Sum of Squares) = .995.
a.
0.995R =>，得到回归效果比线性拟合要好，且：91.062u =，00.211b =，
10.727b =，
、
回归方程为：1
1
0.211*0.72791.062
t
y =+。
最后看拟合效果，由sequence 画图：
得到回归效果很好，而且较优于线性回归。
表（书上240页，此处略）数据中GDP 和投资额K 都是用定基居民消费价格指数（CPI ）缩减后的，以1978年的价格指数为100。 （1） 用线性化乘性误差项模型拟合C-D 生产函数；
（2） 用非线性最小二乘拟合加性误差项模型的C-D 生产函数； （3） 对线性化检验自相关，如果存在自相关则用自回归方法改进； （4） ]
（5）
对线性化检验多重共线性，如果存在多重共线性则用岭回归方法改进；
（6） 用线性化的乘法误差项模型拟合C-D 生产函数；
解：（1）对乘法误差项模型可通过两边取对数转化成线性模型。
ln y =ln A +
ln K +
ln L
令y ′=ln y ,β0=ln A ,x 1=ln K ,x 2=ln L ,则转化为线性回归方程：
y ′=β0+
x 1+x 2+
SPSS 输出结果如下：
·
模型综述表
Model Summ ary
b
.997a .994
.993.04836
Model 1R
R Square
Adjusted R Square
Std. E rror of the Estimate
P redictors: (Constant), lnL, lnK a. Dependent Variable: lnY
b.
从模型综述表中可以看到，调整后的
为，说明C-D 生产函数拟合效果很好，
也说明GDP 的增长是一个指数模型。
方差分析表
ANOVA b
8.4462 4.2231805.601
.000a
.05122.002
8.497
24
Regression Residual Total
Model 1
Sum of Squares
df
Mean Square
F Sig.P redictors: (Constant), lnL, lnK
a. Dependent Variable: lnY
b.
从方差分析表中可以看到，F 值很大，P 值为零，说明模型通过了检验，这与上述分析结果一致。
.
系数表
Coe fficients a
-1.785 1.438-1.241.228
.801.056.86114.370.000
.402.171.141 2.354.028 (Constant)
lnK
lnL
Model
1
B Std. E rror
Unstandardized
Coefficients
Beta
Standardized
Coefficients
t Sig.
Dependent Variable: lnY
a.
根据系数表显示，回归方程为：
尽管模型通过了检验，但是也可以看到，常数项没有通过检验，但在这个模型里，当lnK和lnL都为零时，lnY为，即当K和L都为1时，GDP为，也就是说当投入资本和劳动力都为1个单位时，GDP将增加个单位，这种解释在我们的承受范围内，可以认为模型可以用。
最终方程结果为：
（2）y=0.801 L用非线性最小二乘法拟合加性误差项模型的C-D生产函数；
上述假设误差是乘性的，现假设误差是加性的情况下使用非线性最小二乘法估计。初值采用（1）中参数的结果，SPSS输出结果如下：
?
参数估计表
Parameter E stimates
.407.885-1.429 2.243
.868.066.731 1.006
.270.243-.234.774
P aram eter
P
a
b
E stim ate Std. E rror Low er Bound Upper Bound
95% Confidence I nterval
SPSS经过多步迭代，最终得到的稳定参数值为P=，a=，b=
y=0.868 L为了比较这两个方程，我们观察下面两个图
线性回归估计拟合曲线图
非线性最小二乘估计拟合曲线图
:
我们知道，乘性误差相当于是异方差的，做了对数变换后，乘性误差转为加性误差，这种情况下认为方差是相等的，那么第一种情况（对数变换线性化）就大大低估了GDP 数值大的项，因此，它对GDP 前期拟合的很好，而在后期偏差就变大了，同时也会受到自变量之间的自相关和多重共线性的综合影响；非线性最小二乘法完全依赖数据，如果自变量之间存在比较严重的异方差、自相关以及多重共线性，将对拟合结果造成很大的影响。因此，不排除异方差、自相关以及多重共线性的存在。
（3） 对线性化回归模型采用DW 检验自相关，结果如下：
模型综述表
Model Summ ary
b
.997a .994
.993.04836.715
Model 1R
R Square
Adjusted R Square
Std. E rror of the Estimate
Durbin-Watson
P redictors: (Constant), lnL, lnK a. Dependent Variable: lnY
b.
DW=<，落在自相关的区间，所以采用迭代法改进
…
将得到的数据再取对数，而后用普通最小二乘法估计，保留DW 值
模型综述表
Model Summ ary
b
.983a .967
.964478.90271 1.618
Model 1R
R Square
Adjusted R Square
Std. E rror of the Estimate Durbin-Watson
P redictors: (Constant), Ltt, Ktt a. Dependent Variable: Ytt
b. 方差分析表
`
ANOVA b
7.5542 3.777601.286.000a
.13221.006
7.68623
Regression
Residual
Total
Model
1
Sum of
Squares df Mean Square F Sig.
P redictors: (Constant), lnLtt, lnKtt
a.
Dependent Variable: lnYtt
b.
系数表
Coe fficients a
-1.859 1.470-1.265.220
.755.054.85214.098.000
.465.180.156 2.577.018 (Constant)
lnKtt
lnLtt
Model
1
B Std. E rror
Unstandardized
Coefficients
Beta
Standardized
Coefficients
t Sig.
Dependent Variable: lnYtt
a.
从模型综述表中可以看到，DW=>，认为消除了自相关；方差分析表中可以看到F值很大，P值为零，说明模型通过了检验。
从系数表可得回归方程：
再迭代回去，最终得方程为：
Lny t－Lny t－１＝＋(LnK t－LnK t－１) ＋(LnL t－LnL t－１)
(
（4）对线性化回归方程通过VIF检验多重共线性：
方差分析表
ANOVA b
8.4462 4.2231805.601.000a
.05122.002
8.49724
Regression
Residual
Total
Model
1
Sum of
Squares df Mean Square F Sig.
P redictors: (Constant), lnL, lnK
a.
Dependent Variable: lnY
b.
系数表
；
多重共线性诊断表
直观法：从模型综述表上可以看到，F值很大，而t值很小，这是多重共线性造成的影响；
VIF检验法：从系数表上可以看到，VIF=13>10，也说明多重共线性的存在；
条件数：从诊断表上可以看到，最大的条件数是429，远远大于了100，所以自变量之间存在较为严重的多重共线性。
【
利用岭回归改进：
R-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUES OF K
K RSQ LNK LNL
______ ______ ________ ________
.00000 .99394 .860706 .141014
.05000 .99015 .646381 .330432
.10000 .98639 .577758 .375355
.15000 .98260 .539715 .390822
.20000 .97843 .513383 .395623
.25000 .97379 .492922 .395526
.30000 .96869 .475918 .392882
.35000 .96318 .461184 .388818
.40000 .95730 .448063 .383937
.45000 .95109 .436158 .378587
.50000 .94462 .425211 .372979
.55000 .93791 .415047 .367248
.60000 .93101 .405541 .361481
.65000 .92395 .396598 .355735
.70000 .91677 .388147 .350049
从岭迹图观察，当k=时，变量基本趋于稳定
取k=进行岭回归， SPSS输出结果为：α=，β=
从岭回归给出的结果来看，说明劳动力L较资金K对GDP的影响较大，而我国属于人口大国，就业人数对GDP的贡献不一定有显著的影响，相反，资金对GDP的影响按常理来说是非常显著的，这点普通最小二乘法给出了合理的解释，但是，岭回归在理论上很可信的。总之，影响统计的因素有很多，例如统计员的失误、国家政策等，造成函数系数的不稳定。
第8章 非线性回归 思考与练习参考答案 8.1 在非线性回归线性化时，对因变量作变换应注意什么问题？ 答：在对非线性回归模型线性化时，对因变量作变换时不仅要注意回归函数的形式， 还要注意误差项的形式。如： (1) 乘性误差项，模型形式为 e y AK L αβε =， (2) 加性误差项，模型形式为y AK L αβ ε = + 对乘法误差项模型（1）可通过两边取对数转化成线性模型，（2）不能线性化。 一般总是假定非线性模型误差项的形式就是能够使回归模型线性化的形式，为了方便通常省去误差项，仅考虑回归函数的形式。 8.2为了研究生产率与废料率之间的关系，记录了如表8.15所示的数据，请画出散点图，根据散点图的趋势拟合适当的回归模型。 表8.15 生产率x （单位/周） 1000 2000 3000 3500 4000 4500 5000 废品率y （%） 5.2 6.5 6.8 8.1 10.2 10.3 13.0 解：先画出散点图如下图： 5000.00 4000.003000.002000.001000.00x 12.00 10.00 8.006.00 y
从散点图大致可以判断出x 和y 之间呈抛物线或指数曲线，由此采用二次方程式和指数函数进行曲线回归。 （1）二次曲线 SPSS 输出结果如下： Model Summ ary .981 .962 .942 .651 R R Square Adjusted R Square Std. E rror of the Estimate The independent variable is x. ANOVA 42.571221.28650.160.001 1.6974.424 44.269 6 Regression Residual Total Sum of Squares df Mean Square F Sig.The independent variable is x. Coe fficients -.001.001-.449-.891.4234.47E -007.000 1.417 2.812.0485.843 1.324 4.414.012 x x ** 2 (Constant) B Std. E rror Unstandardized Coefficients Beta Standardized Coefficients t Sig. 从上表可以得到回归方程为：72? 5.8430.087 4.4710y x x -=-+? 由x 的系数检验P 值大于0.05，得到x 的系数未通过显著性检验。 由x 2的系数检验P 值小于0.05，得到x 2的系数通过了显著性检验。 （2）指数曲线 Model Summ ary .970 .941 .929 .085 R R Square Adjusted R Square Std. E rror of the Estimate The independent variable is x.
2.1 一元线性回归模型有哪些基本假定？ 答：1. 解释变量 1x , ,2x ,p x 是非随机变量，观测值,1i x ,,2 i x ip x 是常数。 2. 等方差及不相关的假定条件为 ? ? ? ? ? ? ??????≠=====j i n j i j i n i E j i i ,0),,2,1,(,),cov(,,2,1, 0)(2 σεεε 这个条件称为高斯-马尔柯夫(Gauss-Markov)条件，简称G-M 条件。在此条件下，便可以得到关于回归系数的最小二乘估计及误差项方差2σ估计的一些重要性质，如回归系数的最小二乘估计是回归系数的最小方差线性无偏估计等。 3. 正态分布的假定条件为 ???=相互独立 n i n i N εεεσε,,,,,2,1),,0(~212 在此条件下便可得到关于回归系数的最小二乘估计及2σ估计的进一步结果，如它们分别是回归系数的最及2σ的最小方差无偏估计等，并且可以作回归的显著性检验及区间估计。 4. 通常为了便于数学上的处理，还要求,p n >及样本容量的个数要多于解释变量的个数。 在整个回归分析中，线性回归的统计模型最为重要。一方面是因为线性回归的应用最广泛；另一方面是只有在回归模型为线性的假设下，才能的到比较深入和一般的结果；再就是有许多非线性的回归模型可以通过适当的转化变为线性回归问题进行处理。因此，线性回归模型的理论和应用是本书研究的重点。 1. 如何根据样本),,2,1)(;,,,(21n i y x x x i ip i i =求出p ββββ,,,,210 及方差2σ的估计; 2. 对回归方程及回归系数的种种假设进行检验； 3. 如何根据回归方程进行预测和控制，以及如何进行实际问题的结构分析。 2.2 考虑过原点的线性回归模型 n i x y i i i ,,2,1,1 =+=εβ误差n εεε,,,21 仍满足基本假定。求1β的最小二 乘估计。 答：∑∑==-=-=n i n i i i i x y y E y Q 1 1 2112 1)())(()(ββ
应用回归分析课后答案 第二章一元线性回归 解答：EXCEL结果: SUMMARY OUTPUT 回归统计 Multiple R R Square Adjusted R Square 标准误差 观测值5 方差分析 df SS MS F Significance F 回归分析125 残差3 总计410 Coefficients标准误差t Stat P-value Lower 95%Upper 95%下限%上限% Intercept X Variable 15 RESIDUAL OUTPUT 观测值预测Y残差 1 2 3 4 5 SPSS结果：（1）散点图为：
（2）x 与y 之间大致呈线性关系。 （3）设回归方程为01y x ββ∧ ∧ ∧ =+ 1β∧ = 12 2 1 7()n i i i n i i x y n x y x n x -- =- =-=-∑∑ 0120731y x ββ-∧- =-=-?=- 17y x ∧ ∴=-+可得回归方程为 （4）22 n i=1 1()n-2i i y y σ∧∧=-∑ 2 n 01i=1 1(())n-2i y x ββ∧∧=-+∑ =222 22 13???+?+???+?+??? （10-（-1+71））（10-（-1+72））（20-（-1+73））（20-（-1+74））（40-（-1+75）） []1 169049363 110/3= ++++= 1 330 6.13 σ∧=≈ （5）由于2 11(, )xx N L σββ∧ :
t σ ∧ == 服从自由度为n-2的t分布。因而 /2 |(2)1 P t n α α σ ?? ?? <-=- ?? ?? 也即： 1/211/2 (p t t αα βββ ∧∧ ∧∧ -<<+=1α - 可得 1 95% β∧的置信度为的置信区间为（7-2.3537+2.353即为：（，） 2 2 00 1() (,()) xx x N n L ββσ - ∧ + : t ∧∧ == 服从自由度为n-2的t分布。因而 /2 (2)1 P t n α α ∧ ?? ?? ?? <-=- ?? ?? ?? ?? ?? 即 0/200/2 ()1 pβσββσα ∧∧∧∧ -<<+=- 可得 1 95%7.77,5.77 β∧- 的置信度为的置信区间为（） （6）x与y的决定系数 2 21 2 1 () 490/6000.817 () n i i n i i y y r y y ∧- = - = - ==≈ - ∑ ∑ （7）
第7章岭回归 思考与练习参考答案 7.1 岭回归估计是在什么情况下提出的？ 答：当自变量间存在复共线性时，｜X’X｜≈0，回归系数估计的方差就很大，估计值就很不稳定，为解决多重共线性，并使回归得到合理的结果，70年代提出了岭回归(Ridge Regression,简记为RR)。 7.2岭回归的定义及统计思想是什么？ 答：岭回归法就是以引入偏误为代价减小参数估计量的方差的一种回归方法，其统计思想是对于（X’X）-1为奇异时，给X’X加上一个正常数矩阵 D, 那么X’X+D接近奇异的程度就会比X′X接近奇异的程度小得多，从而完成回归。但是这样的回归必定丢失了信息，不满足blue。但这样的代价有时是值得的，因为这样可以获得与专业知识相一致的结果。 7.3 选择岭参数k有哪几种方法？ 答：最优 是依赖于未知参数 和 的，几种常见的选择方法是： 岭迹法：选择 的点能使各岭估计基本稳定，岭估计符号合理，回归系数没有不合乎经济意义的绝对值，且残差平方和增大不太多；
方差扩大因子法： ，其对角线元 是岭估计的方差扩大因子。要让 ； 残差平方和：满足 成立的最大的 值。 7.4 用岭回归方法选择自变量应遵循哪些基本原则？ 答：岭回归选择变量通常的原则是： 1. 在岭回归的计算中，我们通常假定涉及矩阵已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量； 2. 当k值较小时，标准化岭回归系数的绝对值并不很小，但是不稳定，随着k的增加迅速趋近于零。像这样岭回归系数不稳定、震动趋于零的自变量，我们也可以予以剔除； 3. 去掉标准化岭回归系数很不稳定的自变量。如果有若干个岭回归系数不稳定，究竟去掉几个，去掉那几个，要根据去掉某个变量后重新进行岭回归分析的效果来确定。
y1 1 x11 x12 x1p 0 1 3.1 y2 1 x21 x22 x2p 1 + 2 即y=x + yn 1 xn1 xn2 xnp p n 基本假定 (1) 解释变量x1,x2…,xp 是确定性变量，不是随机变量，且要求 rank(X)=p+1 n 注 tr(H) h 1 3.4不能断定这个方程一定很理想，因为样本决定系数与回归方程中 自变量的数目以及样本量n 有关，当样本量个数n 太小，而自变量又较 多，使样本量与自变量的个数接近时， R 2易接近1,其中隐藏一些虚 假成分。 3.5当接受H o 时，认定在给定的显著性水平 下，自变量x1,x2, xp 对因变量y 无显著影响，于是通过x1,x2, xp 去推断y 也就无多大意 义，在这种情况下，一方面可能这个问题本来应该用非线性模型去描 述，而误用了线性模型，使得自变量对因变量无显著影响；另一方面 可能是在考虑自变量时，把影响因变量y 的自变量漏掉了，可以重新 考虑建模问题。 当拒绝H o 时，我们也不能过于相信这个检验，认为这个回归模型 已经完美了，当拒绝H o 时，我们只能认为这个模型在一定程度上说明 了自变量x1,x2, xp 与自变量y 的线性关系，这时仍不能排除排除我 们漏掉了一些重要的自变量。 3.6中心化经验回归方程的常数项为0,回归方程只包含p 个参数估计 值1, 2, p 比一般的经验回归方程减少了一个未知参数，在变量较 SSE (y y)2 e12 e22 1 2 1 E( ) E( - SSE* - n p 1 n p n 2 [D(e) (E(e ))2 ] 1 n (1 1 n 2 en n E( e 1 1 n p 1 1 n p 1 1 "1 1 n p 1 J (n D(e) 1 (p 1)) 1_ p 1 1 1 n p 1 2 2 n E(e 2 ) (1 h ) 2 1 应用回归分析课后习题 参考答案 Document number【SA80SAB-SAA9SYT-SAATC-SA6UT-SA18】 第二章一元线性回归分析 思考与练习参考答案 一元线性回归有哪些基本假定 答：假设1、解释变量X是确定性变量，Y是随机变量； 假设2、随机误差项ε具有零均值、同方差和不序列相关性：E(ε i )=0 i=1,2, …,n Var (ε i )=2i=1,2, …,n Cov(ε i, ε j )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X之间不相关： Cov(X i , ε i )=0 i=1,2, …,n 假设4、ε服从零均值、同方差、零协方差的正态分布 ε i ~N(0, 2) i=1,2, …,n 考虑过原点的线性回归模型 Y i =β 1 X i +ε i i=1,2, …,n 误差εi（i=1,2, …,n）仍满足基本假定。求β1的最小二乘估计解： 得： 证明（式），e i =0 ，e i X i=0 。 证明： ∑ ∑+ - = - = n i i i n i X Y Y Y Q 1 2 1 2 1 )) ? ?( ( )? (β β 其中： 即：e i =0 ，e i X i=0 2 1 1 1 2) ? ( )? ( i n i i n i i i e X Y Y Y Qβ ∑ ∑ = = - = - = ) ? ( 2 ?1 1 1 = - - = ? ?∑ = i i n i i e X X Y Q β β ) ( ) ( ? 1 2 1 1 ∑ ∑ = = = n i i n i i i X Y X β 01 ?? ?? i i i i i Y X e Y Y ββ =+=- 01 00 ?? Q Q ββ ?? == ?? 1、 变量间统计关系和函数关系的区别是什么 答：函数关系是一种确定性的关系，一个变量的变化能完全决定另一个变量的变化；统计关系是非确定的，尽管变量间的关系密切，但是变量不能由另一个或另一些变量唯一确定。 2、 回归分析与相关分析的区别和联系是什么 答：联系：刻画变量间的密切联系； 区别：一、回归分析中，变量y 称为因变量，处在被解释的地位，而在相关分析中，变量y 与x 处于平等地位；二、相关分析中y 与x 都是随机变量，而回归分析中y 是随机的，x 是非随机变量。三、回归分析不仅可以刻画线性关系的密切程度，还可以由回归方程进行预测和控制。 3、 回归模型中随机误差项ε的意义是什么主要包括哪些因素 答：随机误差项ε的引入，才能将变量间的关系描述为一个随机方程。主要包括：时间、费用、数据质量等的制约；数据采集过程中变量观测值的观测误差；理论模型设定的误差；其他随机误差。 4、 线性回归模型的基本假设是什么 答：1、解释变量非随机；2、样本量个数要多于解释变量(自变量)个数；3、高斯-马尔科夫条件；4、随机误差项相互独立，同分布于2(0,)N σ。 5、 回归变量设置的理论根据在设置回归变量时应注意哪些问题 答：因变量与自变量之间的因果关系。需注意问题：一、对所研究的问题背景要有足够了解；二、解释变量之间要求不相关；三、若某个重要的变量在实际中没有相应的统计数据，应考虑用相近的变量代替，或者由其他几个指标复合成一个新的指标；四、解释变量并非越多越好。 6、 收集、整理数据包括哪些内容 答：一、收集数据的类型（时间序列、截面数据）；二、数据应注意可比性和数据统计口径问题（统计范围）；三、整理数据时要注意出现“序列相关”和“异 第4章违背基本假设的情况 思考与练习参考答案 4.1 试举例说明产生异方差的原因。 答：例4.1：截面资料下研究居民家庭的储蓄行为 Y i=β0+β1X i+εi 其中：Y i表示第i个家庭的储蓄额，X i表示第i个家庭的可支配收入。 由于高收入家庭储蓄额的差异较大，低收入家庭的储蓄额则更有规律性，差异较小，所以εi的方差呈现单调递增型变化。 例4.2：以某一行业的企业为样本建立企业生产函数模型 Y i=A iβ1K iβ2L iβ3eεi 被解释变量：产出量Y，解释变量：资本K、劳动L、技术A，那么每个企业所处的外部环境对产出量的影响被包含在随机误差项中。由于每个企业所处的外部环境对产出量的影响程度不同，造成了随机误差项的异方差性。这时，随机误差项ε的方差并不随某一个解释变量观测值的变化而呈规律性变化，呈现复杂型。 4.2 异方差带来的后果有哪些？ 答：回归模型一旦出现异方差性，如果仍采用OLS估计模型参数，会产生下列不良后果： 1、参数估计量非有效 2、变量的显著性检验失去意义 3、回归方程的应用效果极不理想 总的来说，当模型出现异方差性时，参数OLS估计值的变异程度增大，从而造成对Y的预测误差变大，降低预测精度，预测功能失效。 4.3 简述用加权最小二乘法消除一元线性回归中异方差性的思想与方法。 答：普通最小二乘估计就是寻找参数的估计值使离差平方和达极小。其中每个平方项的权数相同，是普通最小二乘回归参数估计方法。在误差项等方差不相关的条件下，普通最小二乘估计是回归参数的最小方差线性无偏估计。然而在异方差 的条件下，平方和中的每一项的地位是不相同的，误差项的方差大的项，在残差平方和中的取值就偏大，作用就大，因而普通最小二乘估计的回归线就被拉向方差大的项，方差大的项的拟合程度就好，而方差小的项的拟合程度就差。由OLS 求出的仍然是的无偏估计，但不再是最小方差线性无偏估计。所以就是：对较大的残差平方赋予较小的权数，对较小的残差平方赋予较大的权数。这样对残差所提供信息的重要程度作一番校正，以提高参数估计的精度。 加权最小二乘法的方法： 4.4简述用加权最小二乘法消除多元线性回归中异方差性的思想与方法。 答：运用加权最小二乘法消除多元线性回归中异方差性的思想与一元线性回归的类似。多元线性回归加权最小二乘法是在平方和中加入一个适当的权数i w ，以调整各项在平方和中的作用，加权最小二乘的离差平方和为： ∑=----=n i ip p i i i p w x x y w Q 1211010)( ),,,(ββββββ （2） 加权最小二乘估计就是寻找参数p βββ,,,10 的估计值pw w w βββ?,,?,?10 使式（2）的离差平方和w Q 达极小。所得加权最小二乘经验回归方程记做 22011 1 ???()()N N w i i i i i i i i Q w y y w y x ββ===-=--∑∑22 __ 1 _ 2 _ _ 02 222 ()() ?()?1 11 1 ,i i N w i i i w i w i w w w w w kx i i i i m i i i m i w x x y y x x y x w kx x kx w x σβββσσ==---=-= = ===∑∑1N i =1 1表示=或 第9章 含定性变量的回归模型 思考与练习参考答案 9.1 一个学生使用含有季节定性自变量的回归模型，对春夏秋冬四个季节引入4个0-1型自变量，用SPSS 软件计算的结果中总是自动删除了其中的一个自变量，他为此感到困惑不解。出现这种情况的原因是什么？ 答：假如这个含有季节定性自变量的回归模型为： t t t t kt k t t D D D X X Y μαααβββ++++++=332211110 其中含有k 个定量变量，记为x i 。对春夏秋冬四个季节引入4个0-1型自变量，记为D i ，只取了6个观测值，其中春季与夏季取了两次，秋、冬各取到一次观测值，则样本设计矩阵为： ????? ? ?? ?? ? ?=00011001011000101001 0010100011 )(6 165154143 132121 11k k k k k k X X X X X X X X X X X X D X, 显然，(X,D)中的第1列可表示成后4列的线性组合，从而(X,D)不满秩，参数无法唯一求出。这就是所谓的“虚拟变量陷井”，应避免。 当某自变量x j 对其余p-1个自变量的复判定系数2j R 超过一定界限时，SPSS 软件将拒绝这个自变量x j 进入回归模型。称Tol j =1-2 j R 为自变量x j 的容忍度（Tolerance ），SPSS 软件的默认容忍度为0.0001。也就是说，当2j R ＞0.9999时，自变量x j 将被自动拒绝在回归方程之外，除非我们修改容忍度的默认值。 ??? ??? ? ??=k βββ 10β??? ??? ? ??=4321ααααα 第二章 一元线性回归分析 思考与练习参考答案 一元线性回归有哪些基本假定? 答： 假设1、解释变量X 是确定性变量，Y 是随机变量； 假设2、随机误差项ε具有零均值、同方差和不序列相关性： E(εi )=0 i=1,2, …,n Var (εi )=?2 i=1,2, …,n Cov(εi, εj )=0 i≠j i,j= 1,2, …,n 假设3、随机误差项ε与解释变量X 之间不相关： Cov(X i , εi )=0 i=1,2, …,n 假设4、ε服从零均值、同方差、零协方差的正态分布 εi ~N(0, ?2 ) i=1,2, …,n 考虑过原点的线性回归模型 Y i =β1X i +εi i=1,2, …,n 误差εi （i=1,2, …,n ）仍满足基本假定。求 β1的最小二乘估计 解： 得： 证明（式），?e i =0 ，?e i X i =0 。 证明：∑∑+-=-=n i i i n i X Y Y Y Q 1 2102 1 ))??(()?(ββ 其中： 即： ?e i =0 ，?e i X i =0 211 1 2)?()?(i n i i n i i i e X Y Y Y Q β∑∑==-=-=0)?(2?11 1 =--=??∑=i i n i i e X X Y Q ββ) () (?1 2 1 1 ∑∑===n i i n i i i X Y X β01????i i i i i Y X e Y Y ββ=+=-0 1 00??Q Q β β ??==?? 回归方程E （Y ）=β0+β1X 的参数β0，β1的最小二乘估计与最大似然估计在什么条件下等价?给出证明。 答：由于εi ~N(0, ?2 ) i=1,2, …,n 所以Y i =β0 + β1X i + εi ~N （β0+β1X i , ?2 ) 最大似然函数： 使得Ln （L ）最大的0 ?β，1?β就是β0，β1的最大似然估计值。 同时发现使得Ln （L ）最大就是使得下式最小， ∑∑+-=-=n i i i n i X Y Y Y Q 1 21021 ))??(()?(ββ 上式恰好就是最小二乘估计的目标函数相同。值得注意的是：最大似然估计是在εi ~N (0, ?2 )的假设下求得，最小二乘估计则不要求分布假设。 所以在εi ~N(0, ?2 ) 的条件下， 参数β0，β1的最小二乘估计与最大似然估计等价。 证明0 ?β是β0的无偏估计。 证明：)1[)?()?(1 110∑∑==--=-=n i i xx i n i i Y L X X X Y n E X Y E E ββ )] )(1 ([])1([1011i i xx i n i i xx i n i X L X X X n E Y L X X X n E εββ++--=--=∑∑== 1010)()1 (])1([βεβεβ=--+=--+=∑∑==i xx i n i i xx i n i E L X X X n L X X X n E 证明 证明： )] ()1([])1([)?(102110i i xx i n i i xx i n i X Var L X X X n Y L X X X n Var Var εβββ++--=--=∑∑== () ) 1()1()?(2 2 2 1 2 2 xx n i i L X n X X X n Var +=-+=∑=σσβ 第9章 非线性回归 9.1 在非线性回归线性化时，对因变量作变换应注意什么问题？ 答：在对非线性回归模型线性化时，对因变量作变换时不仅要注意回归函数的形式， 还要注意误差项的形式。如： (1) 乘性误差项，模型形式为 e y AK L αβε =， (2) 加性误差项，模型形式为 y AK L αβε=+。 对乘法误差项模型（1）可通过两边取对数转化成线性模型，（2）不能线性化。 一般总是假定非线性模型误差项的形式就是能够使回归模型线性化的形式，为了方便通常省去误差项，仅考虑回归函数的形式。 9.2为了研究生产率与废料率之间的关系，记录了如表9.14所示的数据，请画出散点图，根据散点图的趋势拟合适当的回归模型。 表9.14 生产率x （单位/周） 1000 2000 3000 3500 4000 4500 5000 废品率y （%） 5.2 6.5 6.8 8.1 10.2 10.3 13.0 解：先画出散点图如下图： 从散点图大致可以判断出x和y之间呈抛物线或指数曲线，由此采用二次方程式和指数函数进行曲线回归。 （1）二次曲线 SPSS输出结果如下： 从上表可以得到回归方程为：72? 5.8430.087 4.4710y x x -=-+? 由x 的系数检验P 值大于0.05，得到x 的系数未通过显著性检验。 由x 2的系数检验P 值小于0.05，得到x 2的系数通过了显著性检验。 （2）指数曲线 从上表可以得到回归方程为：0.0002t ? 4.003y e = 由参数检验P 值≈0<0.05，得到回归方程的参数都非常显著。 从R2值，σ的估计值和模型检验统计量F值、t值及拟合图综合考虑，指数拟合效果更好一些。 9.3 已知变量x与y的样本数据如表9.15，画出散点图，试用αeβ/x来拟合回归模型，假设： (1)乘性误差项，模型形式为y=αeβ/x eε (2)加性误差项，模型形式为y=αeβ/x+ε。 表9.15 序号x y 序号x y 序号x y 1 4.20 0.086 6 3.20 0.150 11 2.20 0.350 2 4.06 0.090 7 3.00 0.170 12 2.00 0.440 3 3.80 0.100 8 2.80 0.190 13 1.80 0.620 第6章多重共线性的情形及其处理 思考与练习参考答案 6.1 试举一个产生多重共线性的经济实例。 答：例如有人建立某地区粮食产量回归模型，以粮食产量为因变量Y，化肥用量为X1，水浇地面积为X2，农业投入资金为X3。由于农业投入资金X3与化肥用量X1，水浇地面积X2有很强的相关性，所以回归方程效果会很差。再例如根据某行业企业数据资料拟合此行业的生产函数时，资本投入、劳动力投入、资金投入与能源供应都与企业的生产规模有关，往往出现高度相关情况，大企业二者都大，小企业都小。 6.2多重共线性对回归参数的估计有何影响？ 答：1、完全共线性下参数估计量不存在； 2、近似共线性下OLS估计量非有效； 3、参数估计量经济含义不合理； 4、变量的显著性检验失去意义； 5、模型的预测功能失效。 6.3 具有严重多重共线性的回归方程能不能用来做经济预测？ 答：虽然参数估计值方差的变大容易使区间预测的“区间”变大，使预测失去意义。但如果利用模型去做经济预测，只要保证自变量的相关类型在未来期中一直保持不变，即使回归模型中包含严重多重共线性的变量，也可以得到较好预测结果；否则会对经济预测产生严重的影响。 6.4多重共线性的产生于样本容量的个数n、自变量的个数p有无关系？ 答：有关系，增加样本容量不能消除模型中的多重共线性，但能适当消除多重共线性造成的后果。当自变量的个数p较大时，一般多重共线性容易发生，所以自变量应选择少而精。 6.5 自己找一个经济问题来建立多元线性回归模型，怎样选择变量和构造设计矩阵X才可能避免多重共线性的出现？ 答：请参考第三次上机实验题——机场吞吐量的多元线性回归模型，注意利用二手数据很难避免多重共线性的出现，所以一般利用逐步回归和主成分回归消除多重共线性。如果进行自己进行试验设计如正交试验设计，并收集数据，选择向量 # 第3章 多元线性回归 思考与练习参考答案 讨论样本容量n 与自变量个数p 的关系，它们对模型的参数估计有何影响 答：在多元线性回归模型中，样本容量n 与自变量个数p 的关系是：n>>p 。如果n<=p 对模型的参数估计会带来很严重的影响。因为： 1. 在多元线性回归模型中，有p+1个待估参数β，所以样本容量的个数应该大于解释变量的个数，否则参数无法估计。 2. 解释变量X 是确定性变量，要求()1rank p n =+ 而此时可能F 检验或者关于回归系数的t 检验，所建立的回归方程都没能通过。 2. 样本决定系数和复相关系数接近于1只能说明Y 与自变量X1,X2,…,Xp 整体上的线性关系成立，而不能判断回归方程和每个自变量是显著的，还需进行F 检验和t 检验。 3. 在应用过程中发现，在样本容量一定的情况下，如果在模型中增加解释变量必定使得自由度减少，使得 R 2往往增大，因此增加解释变量（尤其是不显著的解释变量）个数引起的R 2的增大与拟合好坏无关。 验证 ) 证明：多元线性回归方程模型的一般形式为： 01122p p y x x x ββββε =+++ ++ 其经验回归方程式为 01122?????p p y x x x ββββ=++++， 又01122????p p y x x x ββββ=----， 故111222????()()()p p p y y x x x x x x βββ=+-+-++-， 中心化后，则有111222????()()()i p p p y y x x x x x x βββ-=-+-++-， = 令21 (),1,2,,n jj ij j i L x x i n ==-=∑，1,2,,j p = * 2 1 ??*,1,2,...,)n jj j i j p L X β ====-∑j j i j 其中: (X 《使用回归分析》部分课后习题答案 第一章回归分析概述 1.1 变量间统计关系和函数关系的区别是什么？ 答：变量间的统计关系是指变量间具有密切关联而又不能由某一个或某一些变量 唯一确定另外一个变量的关系，而变量间的函数关系是指由一个变量唯一确定另 外一个变量的确定关系。 1.2 回归分析和相关分析的联系和区别是什么？ 答：联系有回归分析和相关分析都是研究变量间关系的统计学课题。区别有 a. 在回归分析中，变量y称为因变量，处在被解释的特殊地位。在相关分析中，变 量x和变量y处于平等的地位，即研究变量y和变量x的密切程度和研究变量x 和变量y的密切程度是一回事。b.相关分析中所涉及的变量y和变量x全是随机 变量。而在回归分析中，因变量y是随机变量，自变量x可以是随机变量也可以 是非随机的确定变量。C.相关分析的研究主要是为了刻画两类变量间线性相关的 密切程度。而回归分析不仅可以揭示变量x对变量y的影响大小，还可以由回归 方程进行预测和控制。 1.3 回归模型中随机误差项ε的意义是什么？ 答：ε为随机误差项，正是由于随机误差项的引入，才将变量间的关系描述为 一个随机方程，使得我们可以借助随机数学方法研究y和x1,x2…..xp的关系， 由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明， 随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑 的种种偶然因素。 1.4 线性回归模型的基本假设是什么？ 答：线性回归模型的基本假设有：1.解释变量x1.x2….xp是非随机的，观测值 xi1.xi2…..xip是常数。2.等方差及不相关的假定条件为{E(εi)=0 i=1,2…. Cov(εi,εj)=｛σ^2 3.正态分布的假定条件为相互独立。 4.样本容量的个数要多于解释变量的个数， 即n>p. 1.5 回归变量的设置理论根据是什么？在回归变量设置时应注意哪些问题？ 答：理论判断某个变量应该作为解释变量，即便是不显著的，如果理论上无法判 断那么可以采用统计方法来判断，解释变量和被解释变量存在统计关系。应注意 的问题有：在选择变量时要注意和一些专门领域的专家合作，不要认为一个回归 模型所涉及的变量越多越好，回归变量的确定工作并不能一次完成，需要反复试算，最终找出最合适的一些变量。 1.6 收集，整理数据包括哪些内容？ 答;常用的样本数据分为时间序列数据和横截面数据，因而数据收集的方法主要 有按时间顺序统计数据和在同一时间截面上统计数据，在数据的收集中，样本容 量的多少一般要和设置的解释变量数目相配套。而数据的整理不仅要把一些变量 数据进行折算差分甚至把数据对数化，标准化等有时还需注意剔除个别特别大或 特别小的“野值”。 1.7 构造回归理论模型的基本依据是什么？ 答：选择模型的数学形式的主要依据是经济行为理论，根据变量的样本数据作出 解释变量和被解释变量之间关系的散点图，并将由散点图显示的变量间的函数关 第七章岭回归 1.岭回归估计是在什么情况下提出的？ 答：当解释变量间出现严重的多重共线性时，用普通最小二乘法估计模型参数，往往参数估计方差太大，使普通最小二乘法的效果变得很不理想，为了解决这一问题，统计学家从模型和数据的角度考虑，采用回归诊断和自变量选择来克服多重共线性的影响，这时，岭回归作为一种新的回归方法被提出来了。 2.岭回归估计的定义及其统计思想是什么？ 答：一种改进最小二乘估计的方法叫做岭估计。当自变量间存在多重共线性，∣X'X∣≈0时，我们设想给X'X加上一个正常数矩阵kI(k>0),那么X'X+kI 接近奇异的程度小得多，考虑到变量的量纲问题，先对数据作标准化，为了计算方便，标准化后的设计阵 仍然用X表示，定义为 ()()1 ?'' X X I X y βκκ- =+，称为β的岭回归估计，其中k称 为岭参数。 3.选择岭参数k有哪几种主要方法？ 答：选择岭参数的几种常用方法有1.岭迹法，2.方差扩大因子法，3.由残差平方和来确定k值。 4.用岭回归方法选择自变量应遵从哪些基本原则？ 答：用岭回归方法来选择变量应遵从的原则有： （1）在岭回归的计算中，我们假定设计矩阵X已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小，我们可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。 （2）当k值较小时标准化岭回归系数的绝对值并不是很小，但是不稳定，随着k的增加迅速趋于零。像这样的岭回归系数不稳定,震动趋于零的自变量， 我们也可以予以删除。 （3）去掉标准化岭回归系数很不稳定的自变量，如果有若干个岭回归系数不稳定，究竟去掉几个，去掉哪几个，这并无一般原则可循，这需根据去掉某 个变量后重新进行岭回归分析的效果来确定。 5.对第5章习题9的数据，逐步回归的结果只保留了3个自变量x1，x2，x5，用y 对这3个自变量做岭回归分析。 答：依题意，对逐步回归法所保留的三个自变量做岭回归分析。 程序为： include'C:\Program Files\SPSSEVAL\Ridge regression.sps'. ridgereg dep=y/enter x1 x2 x5 /start=0.0/stop=1/inc=0.01. 《应用回归分析》课后题答案[整理版] 《应用回归分析》部分课后习题答案 第一章回归分析概述 1.1 变量间统计关系和函数关系的区别是什么, 答:变量间的统计关系是指变量间具有密切关联而又不能由某一个或某一些变量唯一确定另外一个变量的关系，而变量间的函数关系是指由一个变量唯一确定另外一个变量的确定关系。 1.2 回归分析与相关分析的联系与区别是什么, 答:联系有回归分析和相关分析都是研究变量间关系的统计学课题。区别有a.在回归分析中，变量y称为因变量，处在被解释的特殊地位。在相关分析中，变量x和变量y处于平等的地位，即研究变量y与变量x的密切程度与研究变量x与变量y的密切程度是一回事。b.相关分析中所涉及的变量y与变量x全是随机变量。而在回归分析中，因变量y是随机变量，自变量x可以是随机变量也可以是非随机的确定变量。C.相关分析的研究主要是为了刻画两类变量间线性相关的密切程度。而回归分析不仅可以揭示变量x 对变量y的影响大小，还可以由回归方程进行预测和控制。 1.3 回归模型中随机误差项ε的意义是什么, 答:ε为随机误差项，正是由于随机误差项的引入，才将变量间的关系描述为一个随机方程，使得我们可以借助随机数学方法研究y与x1,x2…..xp的关系，由于客观经济现象是错综复杂的，一种经济现象很难用有限个因素来准确说明，随机误差项可以概括表示由于人们的认识以及其他客观原因的局限而没有考虑的种种偶然因素。 1.4 线性回归模型的基本假设是什么, 答:线性回归模型的基本假设有:1.解释变量x1.x2….xp是非随机的，观测值 xi1.xi2…..xip是常数。2.等方差及不相关的假定条件为{E(εi)=0 i=1,2…. Cov(εi,εj)=,σ^2 第5章自变量选择与逐步回归 思考与练习参考答案 自变量选择对回归参数的估计有何影响？ 答：回归自变量的选择是建立回归模型得一个极为重要的问题。如果模型中丢掉了重要的自变量, 出现模型的设定偏误，这样模型容易出现异方差或自相关性，影响回归的效果；如果模型中增加了不必要的自变量, 或者数据质量很差的自变量, 不仅使得建模计算量增大, 自变量之间信息有重叠，而且得到的模型稳定性较差，影响回归模型的应用。 自变量选择对回归预测有何影响？ 答：当全模型（m元）正确采用选模型（p元）时，我们舍弃了m-p个自变量，回归系数的最小二乘估计是全模型相应参数的有偏估计，使得用选模型的预测是有偏的，但由于选模型的参数估计、预测残差和预测均方误差具有较小的方差，所以全模型正确而误用选模型有利有弊。当选模型（p元）正确采用全模型（m 元）时，全模型回归系数的最小二乘估计是相应参数的有偏估计，使得用模型的预测是有偏的，并且全模型的参数估计、预测残差和预测均方误差的方差都比选模型的大，所以回归自变量的选择应少而精。 如果所建模型主要用于预测，应该用哪个准则来衡量回归方程的优劣？ C统计量达到最小的准则来衡量回答：如果所建模型主要用于预测，则应使用 p 归方程的优劣。 试述前进法的思想方法。 答：前进法的基本思想方法是：首先因变量Y对全部的自变量x1,x2,...,xm建立m个一元线性回归方程, 并计算F检验值，选择偏回归平方和显著的变量（F 值最大且大于临界值）进入回归方程。每一步只引入一个变量，同时建立m－1个二元线性回归方程，计算它们的F检验值，选择偏回归平方和显著的两变量变量（F值最大且大于临界值）进入回归方程。在确定引入的两个自变量以后，再引入一个变量，建立m－2个三元线性回归方程，计算它们的F检验值，选择偏应用回归分析课后习题参考答案
第一章课后习题解答(应用回归分析)
应用回归分析,第4章课后习题参考答案.
应用回归分析-第9章课后习题答案
应用回归分析 课后习题参考答案
应用回归分析部分答案
应用回归分析-第6章课后习题参考答案
应用回归分析-第3章课后习题参考答案
《应用回归分析》课后题答案
应用回归分析 第七章答案
《应用回归分析》课后题答案[整理版]
应用回归分析,第5章课后习题参考答案
相关主题
文本预览