Variable Selection Procedures
Statement of problem
?A common problem is that there is a large set of candidate predictor variables.
?(Note: The examples herein are really not that large.)
?Goal is to choose a small subset from the larger set so that the resulting regression model is simple, yet have good predictive ability.
Example: Cement data ?Response y: heat evolved in calories during
hardening of cement on a per gram basis ?Predictor x1: % of tricalcium aluminate ?Predictor x2: % of tricalcium silicate ?Predictor x3: % of tetracalcium alumino ferrite ?Predictor x4: % of dicalcium silicate
Two basic methods
of selecting predictors ?Stepwise regression: Enter and remove predictors, in a stepwise manner, until there is no justifiable reason to enter or remove more.
?Best subsets regression: Select the subset of predictors that do the best at meeting some well-defined objective criterion.
Stepwise regression: the idea ?Start with no predictors in the “stepwise
model.”
?At each step, enter or remove a predictor based on partial F-tests (that is, the t-tests).?Stop when no more predictors can be justifiably entered or removed from the stepwise model.
Preliminary steps
1.Specify an Alpha-to-Enter(αE= 0.15)
significance level.
2.Specify an Alpha-to-Remove(αR= 0.15)
significance level.
Step #1
1.Fit each of the one-predictor models, that is,
regress y on x1, regress y on x2, … regress y
on x p-1.
2.The first predictor put in the stepwise model
is the predictor that has the smallest t-test
P-value(below αE= 0.15).
3.If no P-value < 0.15, stop.
Step #2
1.Suppose x1was the “best” one predictor.
2.Fit each of the two-predictor models with x1in the
model, that is, regress y on (x1, x2), regress y on (x1, x3), …, and y on (x1, x p-1).
3.The second predictor put in stepwise model is the
predictor that has the smallest t-test P-value
(below αE= 0.15).
4.If no P-value < 0.15, stop.
Step #2 (continued)
1.Suppose x2was the “best” second predictor.
2.Step back and check P-value for β1= 0. If
the P-value for β1= 0has become not
significant (above αR= 0.15), remove x1from the stepwise model.
Step #3
1.Suppose both x1and x2made it into the two-
predictor stepwise model.
2.Fit each of the three-predictor models with
x1 and x2in the model, that is, regress y on
(x1, x2, x3), regress y on (x1, x2, x4), …, and
regress y on (x1, x2, x p-1).
Step #3 (continued)
1.The third predictor put in stepwise model is
the predictor that has the smallest t-test P-value(below αE= 0.15).
2.If no P-value < 0.15, stop.
3.Step back and check P-values for β1= 0 and
β2= 0. If either P-value has become not
significant (above αR= 0.15), remove the
predictor from the stepwise model.
Stopping the procedure
?The procedure is stopped when adding an additional predictor does not yield a t-test P-value below αE = 0.15.
Predictor Coef SE Coef T P Constant 81.479 4.927 16.54 0.000 x1 1.8687 0.5264 3.55 0.005 Predictor Coef SE Coef T P Constant 57.424 8.491 6.76 0.000 x20.7891 0.1684 4.69 0.001
Predictor Coef SE Coef T P Constant 110.203 7.948 13.87 0.000 x3-1.2558 0.5984 -2.10 0.060 Predictor Coef SE Coef T P Constant 117.568 5.262 22.34 0.000 x4-0.7382 0.1546 -4.77 0.001
Predictor Coef SE Coef T P Constant 103.097 2.124 48.54 0.000 x4-0.61395 0.04864 -12.62 0.000 x1 1.4400 0.1384 10.40 0.000
Predictor Coef SE Coef T P Constant 94.16 56.63 1.66 0.127 x4-0.4569 0.6960 -0.66 0.526 x20.3109 0.7486 0.42 0.687
Predictor Coef SE Coef T P Constant 131.282 3.275 40.09 0.000 x4-0.72460 0.07233 -10.02 0.000 x3 -1.1999 0.1890 -6.35 0.000
Predictor Coef SE Coef T P Constant 71.65 14.14 5.07 0.001 x4 -0.2365 0.1733 -1.37 0.205 x1 1.4519 0.1170 12.41 0.000 x20.4161 0.1856 2.24 0.052 Predictor Coef SE Coef T P Constant 111.684 4.562 24.48 0.000 x4-0.64280 0.04454 -14.43 0.000 x1 1.0519 0.2237 4.70 0.001 x3-0.4100 0.1992 -2.06 0.070
Predictor Coef SE Coef T P Constant 52.577 2.286 23.00 0.000 x1 1.4683 0.1213 12.10 0.000 x20.66225 0.04585 14.44 0.000
Predictor Coef SE Coef T P Constant 71.65 14.14 5.07 0.001 x1 1.4519 0.1170 12.41 0.000 x20.4161 0.1856 2.24 0.052 x4-0.2365 0.1733 -1.37 0.205 Predictor Coef SE Coef T P Constant 48.194 3.913 12.32 0.000 x1 1.6959 0.2046 8.29 0.000 x20.65691 0.04423 14.85 0.000 x30.2500 0.1847 1.35 0.209
Predictor Coef SE Coef T P Constant 52.577 2.286 23.00 0.000 x1 1.4683 0.1213 12.10 0.000 x20.66225 0.04585 14.44 0.000
第10章 简单线性回归分析 思考与练习参考答案 一、最佳选择题 1．如果两样本的相关系数21r r =，样本量21n n =，那么（ D ）。 A. 回归系数21b b = B ．回归系数12b b < C. 回归系数21b b > D ．t 统计量11r b t t = E. 以上均错 2．如果相关系数r =1，则一定有（ C ）。 A ．总SS =残差SS B ．残差SS =回归 SS C ．总SS =回归SS D ．总SS ＞回归SS E. 回归MS =残差MS 3．记ρ为总体相关系数，r 为样本相关系数，b 为样本回归系数，下列（ D ）正确。 A ．ρ=0时，r =0 B ．|r |＞0时，b ＞0 C ．r ＞0时，b ＜0 D ．r ＜0时，b ＜0 E. |r |=1时，b =1 4．如果相关系数r =0，则一定有（ D ）。 A ．简单线性回归的截距等于0 B ．简单线性回归的截距等于Y 或X C ．简单线性回归的残差SS 等于0 D ．简单线性回归的残差SS 等于SS 总 E ．简单线性回归的总SS 等于0 5．用最小二乘法确定直线回归方程的含义是（ B ）。 A ．各观测点距直线的纵向距离相等 B ．各观测点距直线的纵向距离平方和最小 C ．各观测点距直线的垂直距离相等 D ．各观测点距直线的垂直距离平方和最小
E ．各观测点距直线的纵向距离等于零 二、思考题 1．简述简单线性回归分析的基本步骤。 答：① 绘制散点图，考察是否有线性趋势及可疑的异常点；② 估计回归系数；③ 对总体回归系数或回归方程进行假设检验；④ 列出回归方程，绘制回归直线；⑤ 统计应用。 2．简述线性回归分析与线性相关的区别与联系。 答：区别： （1）资料要求上，进行直线回归分析的两变量，若X 为可精确测量和严格控制的变量，则对应于每个X 的Y 值要求服从正态分布；若X 、Y 都是随机变量，则要求X 、Y 服从双变量正态分布。直线相关分析只适用于双变量正态分布资料。 （2）应用上，说明两变量线性依存的数量关系用回归（定量分析），说明两变量的相关关系用相关（定性分析）。 （3）两个系数的意义不同。r 说明具有直线关系的两变量间相互关系的方向与密切程度，b 表示X 每变化一个单位所导致Y 的平均变化量。 （4）两个系数的取值范围不同：-1≤r ≤1，∞<<∞-b 。 （5）两个系数的单位不同：r 没有单位，b 有单位。 联系： （1）对同一双变量资料，回归系数b 与相关系数r 的正负号一致。b ＞0时，r ＞0，均表示两变量X 、Y 同向变化；b ＜0时，r ＜0，均表示两变量X 、Y 反向变化。 （2）回归系数b 与相关系数r 的假设检验等价，即对同一双变量资料，r b t t =。由于相关系数r 的假设检验较回归系数b 的假设检验简单，故在实际应用中常以r 的假设检验代替b 的假设检验。 （3）用回归解释相关：由于决定系数2 R =SS 回 /SS 总 ，当总平方和固定时，回归平方 和的大小决定了相关的密切程度。回归平方和越接近总平方和，则2 R 越接近1，说明引入相关的效果越好。例如当r =0.20，n =100时，可按检验水准0.05拒绝H 0，接受H 1，认为两变量有相关关系。但2 R =(0.20)2=0.04，表示回归平方和在总平方和中仅占4％，说明
第十一章一元线性回归 11.1从某一行业中随机抽取12家企业，所得产量与生产费用的数据如下： 要求： （1）绘制产量与生产费用的散点图，判断二者之间的关系形态。 （2）计算产量与生产费用之间的线性相关系数。 （3）对相关系数的显著性进行检验（α = 0.05），并说明二者之间的关系强度。 解：(1)利用Excel的散点图绘制功能，绘制的散点图如下： 从散点图的形态可知，产量与生产费用之间存在正的线性相关。 （2）利用Excel的数据分析中的相关系数功能，得到产量与生产费用的线性相关系数r = 0.920232。 （3）计算t统计量，得到t = 7.435453，在α = 0.05的显著性水平下，临界值为2.6337，统计量远大于临界值，拒绝原假设，产量与生产费用之间存在显著
的正线性相关关系。r大于0.8，高度相关。 11.2 学生在期末考试之前用于复习的时间（单位：h）和考试分数（单位：分）之间是否有关系？为研究这一问题，以为研究者抽取了由8名学生构成的一个随机样本，得到的数据如下： 要求： （1）绘制复习时间和考试分数的散点图，判断二者之间的关系形态。 （2）计算相关系数，说明两个变量之间的关系强度。 解：(1)利用Excel的散点图绘制功能，绘制的散点图如下： 从散点图的形态来看，考试分数与复习时间之间似乎存在正的线性相关关系。 （2）r = 0.862109，大于0.8，高度相关。 11.3根据一组数据建立的线性回归方程为?100.5 =-。 y x
要求： ?β的意义。 （1）解释截距 ?β意义。 （2）解释斜率 1 （3）计算当x = 6时的E(y)。 解：（1）在回归模型中，一般不能对截距项赋予意义。 ?β的意义为：当x增加1时，y减小0.5。 （2）斜率 1 （3）当x = 6时，E(y) = 10 – 0.5 * 6 = 7。 11.4 设SSR = 36，SSE = 4，n = 18。 要求： （1）计算判定系数R2并解释其意义。 （2）计算估计标准误差s e并解释其意义。 解：SST = SSR+SSE = 36+4 = 40， R2 = SSR / SST = 36 /40 = 0.9，意义为自变量可解释因变量变异的90%，自因变量与自变量之间存在很高的线性相关关系。 s== 0.5，这是随机项的标准误差的估计值。 （2） e 11.5一家物流公司的管理人员想研究货物的运送距离和运送时间的关系，因此，他抽出了公司最近10辆卡车运货记录的随机样本，得到运送距离（单位：km）和运送时间（单位：天）的数据如下：
第一章 回归分析 第一节 概述 1、常见的变量间的关系 一类称为确定性关系； 一类称为非确定性关系或相关关系。 2、变量的分类 自变量：可以在某一范围内取确定数值的。 因变量或随机变量：取值可观测，但不可控制的变量。 3、回归分析及线性回归分析 研究一个（或几个）自变量于一个随机变量之间的相关关系时所建立的数学模型及所作的统计分析称为回归分析。 如果所建立的模型是线性的，就叫线性回归分析。 4、回归方程 一元回归方程： 多元回归方程： 第二节 一元线性回归分析 一、一元线性回归参数的最小二乘估计 考虑因变量y 与自变量x 的一元线性回归方程 (1) 其一元线性回归模型为： （2） 为论述方便，令： y=[y 1,y 2,……y n ]T ε=[ε1 ,ε 2……εn ]T x=[x 1,x 2, ……x n ]T 则由（2）式可构成y=A β+ε, ε～N(0,I σ2) (3) 一般采用最小二乘估计法求定β0， β1的最佳估值 ，即在 的要求下求定 利用最小二乘法求得其结果为： x y ββ+=0m m x x x y ββββ++++= 22110i i i x y εββ++=10x y ββ+= 0????????????=n x x x A 11121 ??????=10βββ10?,?ββ最小=--=)?()?(??ββεεA y A y T T 10?,?ββ
可得到一元线性回归方程为： 二、估值的性质 三、一元回归的方差分析和线性关系的显著性检验 所谓回归方程的显著性检验，就是检验假设：所有回归系数都等于零，也即检验H ：β1=0 为此，我们首先把变量y 的观测值y i 与其平均值 之间的总偏离平方和Q y 分解为回 βββ????10A x y =+=)12(2?7)11(6)10(0?)9(?:?,?5)8(0)?,?(,0)?,?(:?,??.4)7())(()?(:?3)6()1()?()5(1)?(:?,?2)4(0)?(,)?(:1222221 11 21222 02110 -=?-=?==?==-=?+==?==?∑∑∑===-n Q s s s Q y y y y D y D y A A A A I D s x n D s D E E x xy y n i i n i i n i i i i i T T x x εεσσεε βεεβε σεεσββββεββ的无偏估值方差残差平方和的总和等于零而残差的总和的总和等于观测值估计值不相关与残差的方差为残差的方差估值无偏性y
所属章节： 第五章相关分析与回归分析 1■在线性相关中，若两个变量的变动方向相反，一个变量的数值增加，另一个变量数值随之减少，或一个变量的数值减少，另一个变量的数值随之增加，则称为（）。 答案： 负相关。干扰项： 正相关。干扰项： 完全相关。干扰项： 非线性相关。 提示与解答： 本题的正确答案为： 负相关。 2■在线性相关中，若两个变量的变动方向相同，一个变量的数值增加，另一个变量数值随之增加，或一个变量的数值减少，另一个变量的数值随之减少，则称为（）。 答案： 正相关。干扰项： 负相关。干扰项： 完全相关。干扰项： 非线性相关。 提示与解答：
本题的正确答案为： 正相关。 3■下面的xx中哪一个是错误的（）。 答案： 相关系数不会取负值。干扰项： 相关系数是度量两个变量之间线性关系强度的统计量。干扰项： 相关系数是一个随机变量。干扰项： 相关系数的绝对值不会大于1。 提示与解答： 本题的正确答案为： 相关系数不会取负值。 4■下面的xx中哪一个是错误的（）。 答案： 回归分析中回归系数的显著性检验的原假设是： 所检验的回归系数的真值不为0。 干扰项： 相关系数显著性检验的原假设是： 总体中两个变量不存在相关关系。 干扰项： 回归分析中回归系数的显著性检验的原假设是：
所检验的回归系数的真值为0。 干扰项： 回归分析中多元线性回归方程的整体显著性检验的原假设是： 自变量前的偏回归系数的真值同时为0。 提示与解答： 本题的正确答案为： 回归分析中回归系数的显著性检验的原假设是： 所检验的回归系数的真值不为0。 5■根据你的判断，下面的相关系数值哪一个是错误的（）。 答案： 1.25。干扰项：-0.86。干扰项： 0.78。干扰项：0。 提示与解答： 本题的正确答案为： 1.25。 6■下面关于相关系数的陈述中哪一个是错误的（）。 答案： 数值越大说明两个变量之间的关系越强，数值越小说明两个变量之间的关系越弱。 干扰项：
第11章 多重线性回归分析 思考与练习参考答案 一、 最佳选择题 1. 逐步回归分析中，若增加自变量的个数，则（ D ）。 A. 回归平方和与残差平方和均增大 B. 回归平方和与残差平方和均减小 C. 总平方和与回归平方和均增大 D. 回归平方和增大，残差平方和减小 E. 总平方和与回归平方和均减小 2. 下面关于自变量筛选的统计学标准中错误的是（ E ）。 A. 残差平方和（残差SS ）缩小 B. 确定系数（2 R ）增大 C. 残差的均方（残差MS ）缩小 D. 调整确定系数（2 ad R ）增大 E. p C 统计量增大 3. 多重线性回归分析中，能直接反映自变量解释因变量变异百分比的指标为 （ C ）。 A. 复相关系数 B. 简单相关系数 C.确定系数 D. 偏回归系数 E. 偏相关系数 4. 多重线性回归分析中的共线性是指（ E ）。 A.Y 关于各个自变量的回归系数相同 B.Y 关于各个自变量的回归系数与截距都相同 C.Y 变量与各个自变量的相关系数相同 D.Y 与自变量间有较高的复相关 E. 自变量间有较高的相关性 5. 多重线性回归分析中，若对某一自变量的值加上一个不为零的常数K ,则有（ D ）。 A. 截距和该偏回归系数值均不变 B. 该偏回归系数值为原有偏回归系数值的K 倍 C. 该偏回归系数值会改变，但无规律 D. 截距改变，但所有偏回归系数值均不改变 E. 所有偏回归系数值均不会改变 二、思考题 1. 多重线性回归分析的用途有哪些？ 答：多重线性回归在生物医学研究中有广泛的应用，归纳起来，可以包括以下几个方面：定量地建立一个反应变量与多个解释变量之间的线性关系，筛选危险因素，通过较易测量的变量估计不易测量的变量，通过解释变量预测反应变量，通过反应变量控制解释变量。
残差分析的相关概念辨析及应用 在研究两个变量间的关系时，首先要根据散点图来粗略判断它们是否线性相关，是否可以用线性回归模型来拟合数据．然后，可以通过残差^ ^ 2^ 1,,,n e e e 来判断模型拟合的效果，判断原始数据中是否存在可疑数据．这方面的分析工作称为残差分析.残差分析一般有两种 方法:(1)作残差图；（2）利用相关指数R 2 来刻画回归效果. .,,2,1,^^^^n i a x b y y y e i i i i i =--=-= ^ i e 称为相应于点(x i ，y i )的残差．类比样本 方差估计总体方差的思想，可以用)2)(,(2 1 21^^1^2^2 >-=-=∑=n b a Q n e n n i i σ 作为σ2的估计量，其中^a 和^b 由公式x b y a ^^-=, ∑∑==---= n i i n i i i x x y y x x b 1 2 1 ^ )() )((给出，Q(^a ，^ b )称为残差 平方和.可以用^2 σ衡量回归方程的预报精度．通常，^2 σ越小，预报精度越高． 例1．设变量x,y 具有线性相关关系，试验采集了5组数据，下列几个点对应数据的采集可能有错误的是 ( ) A 点A B.点 B C.点 C D.点E 思路与技巧 由散点图判断出，点A,B,C,D,F 呈线性分布，E 点远离这个区域，说明点E 数据有问题． 解答D 评析 可以用Excel 画散点图，样本的散点图可以形象的展示两个变量的关系，画散点图的目的是用来确定回归模型的形式，若散点图呈条状分布，则x 与y 有较好的线性相关关系，散点图除了条状分布，还有其他形状的分布． 例2．为研究重量x(单位：克)对弹簧长度y(单位：厘米)的影响，对不同重量的6根弹簧进行测量，得如下数据： (1)画出散点图． (2)如果散点图中的各点大致分布在一条直线的附近，求y 与x 之间的回归直线方程． (3)求出残差，进行残差分析． 思路与技巧 可以用Excel 画散点图，由散点图发现x 与y 是否呈线性分布，由此判断x 与y 之间是否有较好的线性相关关系，若有，求出线性回归方程，再画出残差图，进行残
在此处利用两个简单的回归分析案例让初学者学会使用STATA进行回归分析。STATA版本：11.0 案例1： 某实验得到如下数据 x12345 y4 5.5 6.27.78.5 对x y 进行回归分析。 第一步：输入数据（原始方法） 1.在命令窗口输入input x y /有空格 2.回车
得到： 3.再输入： 1 4 2 5.5 3 6.2 4 7.7 5 8.5 end 4.输入list 得到 5.输入reg y x 得到回归结果 回归结果： =+ y x 3.02 1.12 T= (15.15) (12.32) R2=0.98 解释一下： SS是平方和，它所在列的三个数值分别为回归误差平方和（SSE）、残差平方和
（SSR）及总体平方和（SST），即分别为Model、Residual和Total相对应的数值。df（degree of freedom）为自由度。 MS为SS与df的比值，与SS对应，SS是平方和，MS是均方，是指单位自由度的平方和。 coef.表明系数的，因为该因素t检验的P值是0.001，所以表明有很强的正效应，认为所检验的变量对模型是有显著影响的。_cons表示常数项 6.作图可以通过Graphics——>twoway—twoway graphs——>plots——>Create 案例2：加大一点难度 1. 首先将excel另存为CSV格式文件
2. 将csv文件导入STATA, File——>import——>选第一个 3.输入list
4.进行回归 reg inc emp inv pow 5.回归结果 =-+++ 395741.718.18 4.3530.22 inc emp inv pow
第十章 直线相关与回归 一、教学大纲要求 （一） 掌握内容 ⒈ 直线相关与回归的基本概念。 ⒉ 相关系数与回归系数的意义及计算。 ⒊ 相关系数与回归系数相互的区别与联系。 （二）熟悉内容 ⒈ 相关系数与回归系数的假设检验。 ⒉ 直线回归方程的应用。 ⒊ 秩相关与秩回归的意义。 （三）了解内容 曲线直线化。 二、 学内容精要 (一) 直线回归 1. 基本概念 直线回归(linear regression)建立一个描述应变量依自变量变化而变化的直线方程，并要求各点与该直线纵向距离的平方和为最小。直线回归是回归分析中最基本、最简单的一种，故又称简单回归（simple regression ）。 直线回归方程bX a Y +=?中，a 、b 是决定直线的两个系数，见表10-1。 表10-1 直线回归方程a 、b 两系数对比 a b 含义 回归直线在Y 轴上的截距（intercept ）。 表示X 为零时，Y 的平均水平的估计值。 回归系数（regression coefficient ），即直线的斜率。表示X 每变化一个单位时，Y 的平均变化量的估计值。 系数>0 a >0表示直线与纵轴的交点在原点的上方 b >0，表示直线从左下方走向右上方，即Y 随X 增大而增大 系数<0 a <0表示直线与纵轴的交点在原点的下方 b <0，表示直线从左上方走向右下方，即Y 随X 增大而减小 系数=0 a =0表示回归直线通过原点 b =0，表示直线与X 轴平行，即Y 不随X 的变化而变化 计算公式 X b Y a -= XX XY l l X X Y Y X X b =---= ∑∑2 )())(( 2. 样本回归系数b 的假设检验 （1）方差分析； （2）t 检验。
第11章多重线性回归分析 案例辨析及参考答案 案例11-1预测人体吸入氧气的效率。为了解和预测人体吸入氧气的效率，某人收集了31名中年男 性的健康调查资料。一共调查了 7个指标，分别是吸氧效率（Y , %）、年龄（X1,岁）、体重（X2, kg ）、 跑1.5 km所需时间（X3, min ）、休息时的心跳频率（X4，次/min ）、跑步时的心跳频率（X5，次/min） 和最高心跳频率（X6，次/min ）（教材表11-9）。试用多重线性回归方法建立预测人体吸氧效率的模型。 教材表11 -9 吸氧效率调查数据 Y X1 X2X3 X4 X5 X6 Y X1 X2X3 X4 X5 X6 44.609 44 89.47 11.37 62 178 182 40.836 51 69.63 10.95 57 168 172 45.313 40 75.07 10.07 62 185 185 46.672 51 77.91 10.00 48 162 168 54.297 44 85.84 8.65 45 156 168 46.774 48 91.63 10.25 48 162 164 59.571 42 68.15 8.17 40 166 172 50.388 49 73.37 10.08 67 168 168 49.874 38 89.02 9.22 55 178 180 39.407 57 73.37 12.63 58 174 176 44.811 47 77.45 11.63 58 176 176 46.080 54 79.38 11.17 62 156 165 45.681 40 75.98 11.95 70 176 180 45.441 56 76.32 9.63 48 164 166 49.091 43 81.19 10.85 64 162 170 54.625 50 70.87 8.92 48 146 155 39.442 44 81.42 13.08 63 174 176 45.118 51 67.25 11.08 48 172 172 60.055 38 81.87 8.63 48 170 186 39.203 54 91.63 12.88 44 168 172 50.541 44 73.03 10.13 45 168 168 45.790 51 73.71 10.47 59 186 188 37.388 45 87.66 14.03 56 186 192 50.545 57 59.08 9.93 49 148 155 44.754 45 66.45 11.12 51 176 176 48.673 49 76.32 9.40 56 186 188 47.273 47 79.15 10.60 47 162 164 47.920 48 61.24 11.50 52 170 176 51.855 54 83.12 10.33 50 166 170 47.467 52 82.78 10.50 53 170 172 49.156 49 81.42 8.95 44 180 185 资料来自：张家放主编?医用多元统计方法?武汉:华中科技大学出版社，2002。 该研究员采用后退法对自变量进行筛选，最后得到结果如教材表11-10所示。 教材表11-10 多重线性回归模型的参数估计 Table 11-10 Parameter estimati on of regressi on model Variable Un sta ndardized Coefficie nts Stan dardized Coefficie nts t P B Std. Error In tercept 100.079 11.577 8.644 0.000 X1 -0.213 0.091 -0.214 -2.337 0.027 X3 -2.768 0.331 -0.721 -8.354 0.000 X5 -0.339 0.116 -0.653 -2.939 0.007 X6 0.255 0.132 0.439 1.936 0.064
第十章 logitic 回归 本章导读： Logitic 回归模型是离散选择模型之一，属于多重变数分析范畴，是社会学、生物统计学、临床、数量心理学、市场营销、会计与财务等实证分析的常用方法。 10.1 logit 模型和原理 Logistic 回归分析是对因变量为定性变量的回归分析。它是一种非线性模型。其基本特点是：因变量必须是二分类变量，若令因变量为y ，则常用y=1表示“yes ”，y=0表示“no ”。 [在发放股利与不发放股利的研究中，分别表示发放和不发放股利的公司]。自变量可以为虚拟变量也可以为连续变量。从模型的角度出发，不妨把事件发生的情况定义为y=1，事件未发生的情况定义为0，这样取值为0、1的因变量可以写作： ???===事情未发生 事情发生01y 我们可以采用多种方法对取值为0、1的因变量进行分析。通常以P 表示事件发生的概率（事件未发生的概率为1-P ），并把P 看作自变量x 的线性函数。由于y 是0-1型Bernoulli 分布，因此有如下分布： P=P （y=1|x ）：自变量为x 时y=1的概率，即发放现金股利公司的概率 1-P=P （y=0|x ）：自变量为x 时y=0的概率，即不发放现金股利公司的概率 事件发生和不发生的概率比成为发生比，即相对风险，表现为P P odds -= 1.因为是以 对数形式出现的，故该发生比为对数发生比（log odds ），表现为)1ln(P P odds -=。对数发生比也是事件发生概率P 的一个特定函数，通过logistic 转换，该函数可以写成logistic 回归的logit 模型： )1(log )(log P P P it e -= Logit 一方面表达出它是事件发生概率P 的转换单位；另一方面，它作为回归的因变量就可以自己与自变量之间的依存关系保持传统回归模式。 根据离散型随即变量期望值的定义，可得： E(y)=1(P)+0(1-P)=P 进而得到x P y E 10)(ββ+== 因此，从以上分析可以看出，当因变量的取值为0、1时，均值x y E 10)(ββ+=总是代表给定自变量时y=1的概率。虽然这是从简单线性回归分析而得，但也适合复杂的多元回归函数情况。 k k x x x itP y E ββββ++++==Λ22110log )( β0为常数项，β1，β2，…，βk 分别为k 个自变量的回归系数。 因此，logistic 模型为：
回归分析MATLAB 工具箱 一、多元线性回归 多元线性回归：p p x x y βββ+++=...110 1、确定回归系数的点估计值： 命令为：b=regress(Y , X ) ①b 表示???? ?? ????????=p b βββ?...??10 ②Y 表示????????????=n Y Y Y Y (2) 1 ③X 表示??? ??? ????? ???=np n n p p x x x x x x x x x X ...1......... .........1 (12) 1 22221 11211 2、求回归系数的点估计和区间估计、并检验回归模型： 命令为：[b, bint,r,rint,stats]=regress(Y ,X,alpha) ①bint 表示回归系数的区间估计. ②r 表示残差. ③rint 表示置信区间. ④stats 表示用于检验回归模型的统计量,有三个数值：相关系数r 2、F 值、与F 对应的概率p. 说明：相关系数2 r 越接近1,说明回归方程越显著；)1,(1-->-k n k F F α时拒绝0H ,F 越大,说明回归方程越显著；与F 对应的概率p α<时拒绝H 0,回归模型成立. ⑤alpha 表示显著性水平(缺省时为0.05) 3、画出残差及其置信区间. 命令为：rcoplot(r,rint) 例1.如下程序. 解：(1)输入数据. x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]'; X=[ones(16,1) x]; Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]'; (2)回归分析及检验. [b,bint,r,rint,stats]=regress(Y ,X) b,bint,stats 得结果：b = bint =
S T A T A第一章回归 分析
在此处利用两个简单的回归分析案例让初学者学会使用STATA进行回归分析。STATA版本：11.0 案例1： 某实验得到如下数据 x 1 2 3 4 5 y 4 5.5 6.2 7.7 8.5 对x y 进行回归分析。 第一步：输入数据（原始方法） 1.在命令窗口输入 input x y /有空格 2.回车
得到： 3.再输入： 1 4 2 5.5 3 6.2 4 7.7 5 8.5 end 4.输入list 得到 5.输入 reg y x 得到回归结果 回归结果： =+ 3.02 1.12 y x
T= (15.15) (12.32) R2=0.98 解释一下： SS是平方和，它所在列的三个数值分别为回归误差平方和（SSE）、残差平方和（SSR）及总体平方和（SST），即分别为Model、Residual和Total相对应的数值。 df（degree of freedom）为自由度。 MS为SS与df的比值，与SS对应，SS是平方和，MS是均方，是指单位自由度的平方和。 coef.表明系数的，因为该因素t检验的P值是0.001，所以表明有很强的正效应，认为所检验的变量对模型是有显著影响的。_cons表示常数项 6.作图可以通过Graphics——>twoway—twoway graphs——>plots——>Create 案例2：加大一点难度 1. 首先将excel另存为CSV格式文件
2. 将csv文件导入STATA, File——>import——>选第一个
3.输入 list 4.进行回归 reg inc emp inv pow 5.回归结果 =-+++ 395741.718.18 4.3530.22 inc emp inv pow
第十二章相关与回归分析 一、填空 1.如果两变量的相关系数为0，说明这两变量之间_____________。 2.相关关系按方向不同，可分为__________和__________。 3.相关关系按相关变量的多少，分为______和复相关。4．在数量上表现为现象依存关系的两个变量，通常称为自变量和因变量。自变量是作为（变化根据）的变量，因变量是随（自变量）的变化而发生相应变化的变量。 5．对于表现为因果关系的相关关系来说，自变量一般都是确定性变量，因变量则一般是（随机性）变量。 6．变量间的相关程度，可以用不知Y与X有关系时预测Y的全部误差E1，减去知道Y与X有关系时预测Y的联系误差E2，再将其化为比例来度量，这就是（削减误差比例）。 7．依据数理统计原理，在样本容量较大的情况下，可以作出以下两个假定：（1）实际观察值Y围绕每个估计值 c Y是 服从（）；（2）分布中围绕每个可能的 c Y值的（）是相同的。 7.已知：工资（元）倚劳动生产率（千元）的回归方程为 x y c 80 10+ =，因此，当劳动生产率每增长1千元，工资就平 均增加80 元。 8．根据资料，分析现象之间是否存在相关关系，其表现形式或类型如何，并对具有相关关系的现象之间数量变化的议案关系进行测定，即建立一个相关的数学表达式，称为（回归方程），并据以进行估计和预测。这种分析方法，通常又称为（回归分析）。 9．积差系数r是（协方差）与X和Y的标准差的乘积之比。 二、单项选择 1．欲以图形显示两变量X和Y的关系，最好创建（D ）。A 直方图 B 圆形图 C 柱形图 D 散点图2．在相关分析中，对两个变量的要求是（A ）。 A 都是随机变量 B 都不是随机变量 C 其中一个是随机变量，一个是常数 D 都是常数 3. 相关关系的种类按其涉及变量多少可分为( )。 A. 正相关和负相关 B. 单相关和复相关 C. 线性相关和非线性相关 D. 不相关、不完全相关、完全相关4．关于相关系数，下面不正确的描述是（B ）。 A当0≤ ≤r1时，表示两变量不完全相关；B当r=0时，表示两变量间无相关； C两变量之间的相关关系是单相关；D如果自变量增长引起因变量的相应增长，就形成正相关关系。 5. 当变量X按一定数量变化时，变量Y也随之近似地以固定的数量发生变化，这说明X与Y之间存在( )。 A. 正相关关系 B. 负相关关系 C. 直线相关关系 D. 曲线相关关系 6．当x按一定数额增加时，y也近似地按一定数额随之增加，那么可以说x与y之间存在（A ）关系。 A 直线正相关 B 直线负相关 C 曲线正相关 D 曲线负相关 7．评价直线相关关系的密切程度，当r在～之间时，表示（ C ）。 A 无相关 B 低度相关 C 中等相关 D 高度相关 8.两变量的相关系数为,说明( ) A.两变量不相关 B.两变量负相关 C.两变量不完全相关 D.两变量完全正相关 9．两变量的线性相关系数为0，表明两变量之间（D ）。 A 完全相关 B 无关系 C 不完全相关 D 不存在线性相关 10.兄弟两人的身高之间的关系是( )A.函数关系 B.因果关系 C.互为因果关系 D.共变关系 11．身高和体重之间的关系是（C ）。A 函数关系 B 无关系 C 共变关系 D 严格的依存关系12．下列关系中，属于正相关关系得是（A ）。
多元回归分析 在大多数的实际问题中，影响因变量的因素不是一个而是多个，我们称这类回问题为多元回归分析。可以建立因变量y与各自变量x j(j=1,2,3,…,n)之间的多元线性回归模型： 其中：b0是回归常数；b k(k=1,2,3,…,n)是回归参数；e是随机误差。 多元回归在病虫预报中的应用实例: 某地区病虫测报站用相关系数法选取了以下4个预报因子；x1为最多连续10天诱蛾量(头)；x2为4月上、中旬百束小谷草把累计落卵量(块)；x3为4月中旬降水量(毫米)，x4为4月中旬雨日(天)；预报一代粘虫幼虫发生量y（头/m2）。分级别数值列成表2-1。 预报量y：每平方米幼虫0~10头为1级，11~20头为2级，21~40头为3级，40头以上为4级。 预报因子：x1诱蛾量0~300头为l级，301~600头为2级，601~1000头为3级，1000头以上为4级；x2卵量0~150块为1级，15l~300块为2级，301~550块为3级，550块以上为4级；x3降水量0~10.0毫米为1级，10.1~13.2毫米为2级，13.3~17.0毫米为3级，17.0毫米以上为4级；x4雨日0~2天为1级，3~4天为2级，5天为3级，6天或6天以上为4级。 表2-1 x1 x2 x3 x4 y 年蛾量级别卵量级别降水量级别雨日级别幼虫密 度 级别 1960 1022 4 112 1 4.3 1 2 1 10 1 1961 300 1 440 3 0.1 1 1 1 4 1 1962 699 3 67 1 7.5 1 1 1 9 1 1963 1876 4 675 4 17.1 4 7 4 55 4 1965 43 1 80 1 1.9 1 2 1 1 1 1966 422 2 20 1 0 1 0 1 3 1 1967 806 3 510 3 11.8 2 3 2 28 3 1976 115 1 240 2 0.6 1 2 1 7 1 1971 718 3 1460 4 18.4 4 4 2 45 4 1972 803 3 630 4 13.4 3 3 2 26 3
1、 变量间统计关系和函数关系的区别是什么 答：函数关系是一种确定性的关系，一个变量的变化能完全决定另一个变量的变化；统计关系是非确定的，尽管变量间的关系密切，但是变量不能由另一个或另一些变量唯一确定。 2、 回归分析与相关分析的区别和联系是什么 答：联系：刻画变量间的密切联系； 区别：一、回归分析中，变量y 称为因变量，处在被解释的地位，而在相关分析中，变量y 与x 处于平等地位；二、相关分析中y 与x 都是随机变量，而回归分析中y 是随机的，x 是非随机变量。三、回归分析不仅可以刻画线性关系的密切程度，还可以由回归方程进行预测和控制。 3、 回归模型中随机误差项ε的意义是什么主要包括哪些因素 答：随机误差项ε的引入，才能将变量间的关系描述为一个随机方程。主要包括：时间、费用、数据质量等的制约；数据采集过程中变量观测值的观测误差；理论模型设定的误差；其他随机误差。 4、 线性回归模型的基本假设是什么 答：1、解释变量非随机；2、样本量个数要多于解释变量(自变量)个数；3、高斯-马尔科夫条件；4、随机误差项相互独立，同分布于2(0,)N σ。 5、 回归变量设置的理论根据在设置回归变量时应注意哪些问题 答：因变量与自变量之间的因果关系。需注意问题：一、对所研究的问题背景要有足够了解；二、解释变量之间要求不相关；三、若某个重要的变量在实际中没有相应的统计数据，应考虑用相近的变量代替，或者由其他几个指标复合成一个新的指标；四、解释变量并非越多越好。 6、 收集、整理数据包括哪些内容 答：一、收集数据的类型（时间序列、截面数据）；二、数据应注意可比性和数据统计口径问题（统计范围）；三、整理数据时要注意出现“序列相关”和“异
-131- 第十二章 回归分析 前面我们讲过曲线拟合问题。曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间的一个函数，使这个函数对那组数据拟合得最好。通常，函数的形式可以由经验、先验知识或对数据的直观观察决定，要作的工作是由数据用最小二乘法计算函数中的待定系数。从计算的角度看，问题似乎已经完全解决了，还有进一步研究的必要吗? 从数理统计的观点看，这里涉及的都是随机变量，我们根据一个样本计算出的那些系数，只是它们的一个（点）估计，应该对它们作区间估计或假设检验，如果置信区间太大，甚至包含了零点，那么系数的估计值是没有多大意义的。另外也可以用方差分析方法对模型的误差进行分析，对拟合的优劣给出评价。简单地说，回归分析就是对拟合问题作的统计分析。 具体地说，回归分析在一组数据的基础上研究这样几个问题： （i ）建立因变量y 与自变量m x x x ,,,21 之间的回归模型（经验公式）； （ii ）对回归模型的可信度进行检验； （iii ）判断每个自变量),,2,1(m i x i 对y 的影响是否显著； （iv ）诊断回归模型是否适合这组数据； （v ）利用回归模型对y 进行预报或控制。 §1 多元线性回归 回归分析中最简单的形式是x y 10 ，y x ,均为标量，10, 为回归系数，称一元线性回归。它的一个自然推广是x 为多元变量，形如 m m x x y 110 (1) 2 m ，或者更一般地 )()(110x f x f y m m （2） 其中),,(1m x x x ，),,1(m j f j 是已知函数。这里y 对回归系数),,,(10m 是线性的，称为多元线性回归。不难看出，对自变量x 作变量代换，就可将（2）化为（1）的形式，所以下面以（1）为多元线性回归的标准型。 1.1 模型 在回归分析中自变量),,,(21m x x x x 是影响因变量y 的主要因素，是人们能控制或能观察的，而y 还受到随机因素的干扰，可以合理地假设这种干扰服从零均值的正态分布，于是模型记作 ) ,0(~2110 N x x y m m （3） 其中 未知。现得到n 个独立观测数据),,,(1im i i x x y ，m n n i ,,,1 ，由（3）得 n i N x x y i i im m i i ,,1),,0(~2110 （4） 记
第6节逐步回归分析 逐步回归分析实质上就是建立最优的多元线性回归方程，显然既实用而应用又最广泛。 6.1逐步回归分析概述 1 概念 逐步回归模型是以已知地理数据序列为基础，根据多元回归分析法和求解求逆紧凑变换法及双检验法而建立的能够反映地理要素之间变化关系的最优回归模型。 逐步回归分析是指在多元线性回归分析中，利用求解求逆紧奏变换法和双检验法，来研究和建立最优回归方程的并用于地理分析和地理决策的多元线性回归分析。它实质上就是多元线性回归分析的基础上派生出一种研究和建立最优多元线性回归方程的算法技巧。主要含义如下： 1）逐步回归分析的理论基础是多元线性回归分析法； 2）逐步回归分析的算法技巧是求解求逆紧奏变换法； 3）逐步回归分析的方法技巧是双检验法，即引进和剔除检验法； 4）逐步回归分析的核心任务是建立最优回归方程； 5）逐步回归分析的主要作用是降维。 主要用途：主要用于因果关系分析、聚类分析、区域规划、综合评价等等。 2 最优回归模型
1）概念 最优回归模型是指仅包含对因变量有显著影响的自变量的回归方程。逐步回归分析就是解决如何建立最优回归方程的问题。 2）最优回归模型的含义 最优回归模型的含义有两点： （1）自变量个数 自变量个数要尽可能多，因为通过筛选自变量的办法，选取自变量的个数越多，回归平方和越大，剩余平方和越小，则回归分析效果就越好，这也是提高回归模型分析效果的重要条件。 （2）自变量显著性 自变量对因变量y 有显著影响，建立最优回归模型的目的主要是用于预测和分析，自然要求自变量个数尽可能少，且对因变量y 有显著影响。若自变量个数越多，一方面预测计算量大，另一方面因n 固定，所以 Q S k n Q →--1 增大，即造成剩余标准差增大，故要求自变量个数要适 中。且引入和剔除自变量时都要进行显著性检验，使之达到最优化状态，所以此回归方程又称为优化模型。 3 最优回归模型的选择方法 最优回归模型的选择方法是一种经验性发展方法，主要有以下四种： (1）组合优选法 组合优选法是指从变量组合而建立的所有回归方程中选取最优着。其具体过程是：
第八章相关与回归分析 一、本章重点 1．相关系数的概念及相关系数的种类。事物之间的依存关系，可以分为函数关系和相关关系。相关关系又有单向因果关系和互为因果关系；单相关和复相关；线性相关和非线性相关；不相关、不完全相关和完全相关；正相关和负相关等类型。 2．相关分析，着重掌握如何画相关表、相关图，如何测定相关系数、测定系数以及进行相关系数的推断。相关表和相关图是变量间相关关系的生动表示，对于未分组资料和分组资料计算相关系数的方法是不同的，一元线性回归中相关系数和测定系数有着密切的关系，得到样本相关系数后还要对总体相关系数进行科学推断。 3．回归分析，着重掌握一元回归的基本原理方法，一元回归是线性回归的基础，多元线性回归和非线性回归都是以此为基础的。用最小平方法估计回归参数，回归参数的性质和显著性检验，随机项方差的估计，回归方程的显著性检验，利用回归方程进行预测是回归分析的主要内容。 4．应用相关与回归分析应注意的问题。相关与回归分析都有它们的应用范围，必须知道在什么情况下能用，什么情况下不能用。相关分析和回归分析必须以定性分析为前提，否则可能会闹出笑话，在进行预测时选取的样本要尽量分散，以减少预测误差，在进行预测时只有在现有条件不变的情况下才能进行，如果条件发生了变化，原来的方程也就失去了效用。 二、难点释疑 本章难点在于计算公式多，不容易记忆，所以更要注重计算的练习。为了掌握基本计算的内容，起码应认真理解书上的例题，做完本指导书上的全部计算题。初学者可能会感到本章公式多且复杂，难于记忆，其实只要抓住Lxx、Lxy、Lyy 这三个记号，记住它们的展开式，几个主要的公式就不难记忆了。如果能自己把这些公式推证一下，搞清其关系，那就更容易记住了。 三、练习题 （一）填空题 1事物之间的依存关系，根据其相互依存和制约的程度不同，可以分为（）和（）两种。 2．相关关系按相关关系的情况可分为（）和（）；按自变量的多少分（）和（）；按相关的表现形式分（）和（）；按相关关系的
第十章多元线性回归与曲线拟合―― Regression菜单详解（上） 回归分析是处理两个及两个以上变量间线性依存关系的统计方法。在医学领域中，此类问题很普遍，如人头发中某种金属元素的含量与血液中该元素的含量有关系，人的体表面积与身高、体重有关系；等等。回归分析就是用于说明这种依存变化的数学关系。 §10.1Linear过程 10.1.1 简单操作入门 调用此过程可完成二元或多元的线性回归分析。在多元线性回归分析中，用户还可根据需要，选用不同筛选自变量的方法（如：逐步法、向前法、向后法，等）。 例10.1：请分析在数据集Fat surfactant.sav中变量fat对变量spovl的大小有无影响？ 显然，在这里spovl是连续性变量，而fat是分类变量，我们可用用单因素方差分析来解决这个问题。但此处我们要采用和方差分析等价的分析方法--回归分析来解决它。 回归分析和方差分析都可以被归入广义线性模型中，因此他们在模型的定义、计算方法等许多方面都非常近似，下面大家很快就会看到。 这里spovl是模型中的因变量，根据回归模型的要求，它必须是正态分布的变量才可以，我们可以用直方图来大致看一下，可以看到基本服从正态，因此不再检验其正态性，继续往下做。 10.1.1.1 界面详解 在菜单中选择Regression==>liner，系统弹出线性回归对话框如下：
除了大家熟悉的内容以外，里面还出现了一些特色菜，让我们来一一品尝。 【Dependent框】 用于选入回归分析的应变量。 【Block按钮组】 由Previous和Next两个按钮组成，用于将下面Independent框中选入的自变量分组。由于多元回归分析中自变量的选入方式有前进、后退、逐步等方法，如果对不同的自变量选入的方法不同，则用该按钮组将自变量分组选入即可。下面的例子会讲解其用法。 【Independent框】 用于选入回归分析的自变量。 【Method下拉列表】 用于选择对自变量的选入方法，有Enter（强行进入法）、Stepwise（逐步法）、Remove（强制剔除法）、Backward（向后法）、Forward（向前法）五种。该选项对当前Independent框中的所有变量均有效。