第八章--统计回归模型

第八章 回归分析方法当人们对研究对象的内在特性和各因素间的关系有比较充分的认识时，一般用机理分析方法建立数学模型。

如果由于客观事物内部规律的复杂性及人们认识程度的限制，无法分析实际对象内在的因果关系，建立合乎机理规律的数学模型，那么通常的办法是搜集大量数据，基于对数据的统计分析去建立模型。

本章讨论其中用途非常广泛的一类模型——统计回归模型。

回归模型常用来解决预测、控制、生产工艺优化等问题。

变量之间的关系可以分为两类：一类叫确定性关系，也叫函数关系，其特征是：一个变量随着其它变量的确定而确定。

另一类关系叫相关关系，变量之间的关系很难用一种精确的方法表示出来。

例如，通常人的年龄越大血压越高，但人的年龄和血压之间没有确定的数量关系，人的年龄和血压之间的关系就是相关关系。

回归分析就是处理变量之间的相关关系的一种数学方法。

其解决问题的大致方法、步骤如下： （1）收集一组包含因变量和自变量的数据；（2）选定因变量和自变量之间的模型，即一个数学式子，利用数据按照最小二乘准则计算模型中的系数；（3）利用统计分析方法对不同的模型进行比较，找出与数据拟合得最好的模型； （4）判断得到的模型是否适合于这组数据； （5）利用模型对因变量作出预测或解释。

应用统计分析特别是多元统计分析方法一般都要处理大量数据，工作量非常大，所以在计算机普及以前，这些方法大都是停留在理论研究上。

运用一般计算语言编程也要占用大量时间，而对于经济管理及社会学等对高级编程语言了解不深的人来说要应用这些统计方法更是不可能。

MATLAB 等软件的开发和普及大大减少了对计算机编程的要求，使数据分析方法的广泛应用成为可能。

MATLAB 统计工具箱几乎包括了数理统计方面主要的概念、理论、方法和算法。

运用MATLAB 统计工具箱，我们可以十分方便地在计算机上进行计算，从而进一步加深理解，同时，其强大的图形功能使得概念、过程和结果可以直观地展现在我们面前。

本章内容通常先介绍有关回归分析的数学原理，主要说明建模过程中要做的工作及理由，如模型的假设检验、参数估计等，为了把主要精力集中在应用上，我们略去详细而繁杂的理论。

第八章--统计回归模型第八章 统计回归模型回归分析是研究一个变量Y 与其它若干变量X 之间相关关系的一种数学工具.它是在一组试验或观测数据的基础上，寻找被随机性掩盖了的变量之间的依存关系.粗略的讲，可以理解为用一种确定的函数关系去近似代替比较复杂的相关关系.这个函数称为回归函数.回归分析所研究的主要问题是如何利用变量X 、Y 的观察值(样本)，对回归函数进行统计推断，包括对它进行估计及检验与它有关的假设等.回归分析包含的内容广泛.此处将讨论多项式回归、多元线性回归、非线性回归以及逐步回归.一、多项式回归(1) 一元多项式回归一元多项式回归模型的一般形式为εβββ++++=m m x x y ...10.如果从数据的散点图上发现y 与x 呈现较明显的二次(或高次)函数关系，则可以选用一元多项式回归.1. 用函数polyfit 估计模型参数，其具体调用格式如下：p=polyfit(x,y,m) p 返回多项式系数的估计值；m 设定多项式的最高次数；x ，y 为对应数据点值.[p,S]=polyfit(x,y,m) S是一个矩阵，用来估计预测误差.2. 输出预估值与残差的计算用函数polyval实现，其具体调用格式如下：Y=polyval(p,X) 求polyfit所得的回归多项式在X处的预测值Y.[Y,DELTA]=polyval(p,X,S) p，S为polyfit的输出，DELTA为误差估计.在线性回归模型中，Y±DELTA以50%的概率包含函数在X处的真值.3. 模型预测的置信区间用polyconf实现，其具体调用格式如下：[Y,DELTA]=polyconf(p,X,S,alpha) 求polyfit所得的回归多项式在X处的预测值Y及预测值的显著性为1-alpha的置信区间Y±DELTA，alpha缺省时为0.05.4. 交互式画图工具polytool，其具体调用格式如下：polytool(x,y,m)；polytool(x,y,m,alpha)；用m次多项式拟合x，y的值，默认值为1，alpha 为显著性水平，默认值为0.05.例1 观测物体降落的距离s与时间t的关系，得到数据如下表，求s . t (s) 1/30 2/30 3/30 4/30 5/30 6/30 7/30 s(cm) 11.86 15.67 20.60 26.69 33.71 41.93 51.13t (s) 8/30 9/3010/30 11/30 12/30 13/30 14/30 s(cm) 61.49 72.90 85.44 99.08 113.77 129.54 146.48解 根据数据的散点图，应拟合为一条二次曲线.选用二次模型，具体代码如下：%%%输入数据t=1/30:1/30:14/30;s=[11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48];%%%多项式系数拟合[p,S]=polyfit(t,s,2);则得回归模型为：1329.98896.652946.489ˆ2++=t t s . %%%y 的拟合值及预测值y 的置信半径delta [y,dalta]=polyconf(p,t,S); 得结果如下：y=Columns 1 through 1111.8729 15.7002 20.6148 26.6168 33.7060 41.8826 51.1465 61.4978 72.9363 85.4622 99.0754Columns 12 through 14113.7759 129.5637 146.4389dalta=Columns 1 through 110.0937 0.0865 0.0829 0.0816 0.0817 0.0823 0.0827 0.0827 0.0823 0.0817 0.0816Columns 12 through 140.0829 0.0865 0.0937%%%交互式画图polytool(t,s,2);polytool所得的交互式图形如图8-1所示.图8-1(2) 多元二项式回归多元二项式回归模型的一般形式为εββββ∑≤≤+++++=m k j k j jk m m x x x x y ,1110....多元二项式回归命令：rstool(x,y,’model’,alpha) x 表示n ⨯m 矩阵；y 表示n 维列向量；alpha 为显著性水平(缺省时为0.05)；model 表示由下列4个模型中选择1个(用字符串输入，缺省时为线性模型)：linear(线性)：mm x x y βββ+++= 110；purequadratic(纯二次)：∑=++++=nj jjj m m x x x y 12110ββββ ； interaction(交叉)：∑≤≠≤++++=m k j k j jk m m x x x x y 1110ββββ ； quadratic(完全二次)：∑≤≤++++=m k j k j jk m m x x x x y ,1110ββββ .例2 设某商品的需求量与消费者的平均收入、商品价格的统计数据如下，建立回归模型，预测平均收入为1000、价格为6时的商品需求量. 需求量100 75 80 70 50 65 90 100 11060 收入 1000 600 1200 500 300 400 1300 1100 1300 30价格 5 7 6 6 8 7 5 4 3 9解 选择纯二次模型，即2222211122110x x x x y βββββ++++=. %%%输入数据 x1=[1000 600 1200 500 300 400 1300 1100 1300 300];x2=[5 7 6 6 8 7 5 4 3 9];x=[x1' x2'];y=[100 75 80 70 50 65 90 100 110 60]';%%%多元二项式回归rstool(x,y,'purequadratic');得如下结果：图8-2得到一个如图所示的交互式画面，左边是x1（=1000）固定时的曲线y （x1）及其置信区间，右边是x2（=6）固定时的曲线y （x2）及其置信区间.用鼠标移动图中的十字线，或在图下方窗口内输入，可改变x1，x2.在左边图形下方的方框中输入1000，右边图形下方的方框中输入6，则画面左边的“Predicted Y1”下方的数据变为88.4791，即预测出平均收入为1000、价格为6时的商品需求量为88.4791.在画面左下方单击”Export ”，在出现的窗体中单击”ok ”按钮，则beta 、rmse 和residuals 都传送到Matlab 工作区中.在Matlab 工作区中输入命令：beta,rmse ，得结果： beta=110.5313 0.1464 -26.5709 -0.00011.8475rmse =4.5362故回归模型为：2221218475.10001.05709.261464.05313.110x x x x y +--+=，剩余标准差为4.5362，说明此回归模型的显著性较好.二、多元线性回归多元线性回归模型的一般形式为011...m m y x x βββε=++++. 在Matlab 统计工具箱中使用函数regress 实现多元线性回归.具体调用格式为：b=regress(Y,X) [b,bint,r,rint,stats]=regress(Y,X,alpha)其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n Y Y Y Y ...21，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=nm n n m m x x x x x x x x x X ...1..................1...1212222111211.对于一元线性回归，取1=m 即可.b 为输出向量；b ，bint 表示回归系数估计值和它们的置信区间；r 表示残差；rint 表示残差的置信区间；stats 表示用于检验回归模型的统计量，有四个数值：相关系数2R 、F 值、与F 值对应的概率P 、2s 的值.相关系数2R 越接近1，说明回归方程越显著；)1,(1-->-m n m F F α时拒绝0H ，F 越大，说明回归方程越显著；与F 对应的概率α<P 时拒绝0H ，回归模型成立；alpha表示显著性水平(缺省时为0.05).残差及其置信区间可以用命令rcoplot(r,rint)画出. 例3 已知某湖泊八年来湖水中COD 浓度实测值(y )与影响因素，如湖区工业产值(x 1)、总人口数(x 2)、捕鱼量(x 3)、降水量(x 4)的资料，建立y 的水质分析模型.湖水浓度与影响因素数据表 x 11.376 1.375 1.387 1.401 1.412 1.428 1.445 1.477 x 20.450 0.475 0.485 0.500 0.535 0.545 0.550 0.575 x 32.170 2.554 2.676 2.713 2.8233.088 3.122 3.262x40.89221.1610.53460.95891.02391.04991.10651.1387y 5.19 5.30 5.60 5.82 6.00 6.06 6.45 6.95 解作出因变量y与各自变量的样本散点图作散点图的目的主要是观察因变量y与各自变量间是否有比较好的线性关系，以便选择恰当的数学模型形式.图8-3、图8-4、图8-5、图8-6分别为y与x1、x2、x3、x4的散点图.从图中可以看出这些点大致分布在一条直线旁边，因此有较好的线性关系，可以采用线性回归.图8-3 y与x1的散点图图8-4 y与x2的散点图图8-5 y与x3的散点图图8-6 y与x4的散点图在Matlab中实现回归的具体代码如下：%%%输入数据x1=[1.376 1.375 1.387 1.401 1.412 1.428 1.445 1.477];x2=[0.450 0.475 0.485 0.500 0.535 0.545 0.550 0.575];x3=[2.170 2.554 2.676 2.713 2.823 3.088 3.122 3.262];x4=[0.8922 1.1610 0.5346 0.9589 1.0239 1.04991.1065 1.1387];x=[ones(8,1) x1' x2' x3' x4'];y=[5.19 5.30 5.60 5.82 6.00 6.06 6.45 6.95];%%%多元线性回归[b,bint,r,rint,stats]=regress(y',x);得如下结果：b =-13.984913.19202.42280.0754-0.1897bint =-26.0019 -1.96791.4130 24.9711-14.2808 19.1264-1.4859 1.6366-0.9638 0.5844r =-0.06180.02280.01230.0890 0.0431 -0.1473 0.0145 0.0274 rint =-0.1130 -0.0107 -0.1641 0.2098 -0.1051 0.1297 -0.2542 0.4321 -0.0292 0.1153 -0.2860 -0.0085 -0.3478 0.3769 -0.1938 0.2486 stats =0.9846 47.9654 0.0047 0.0123 故回归模型为：43211897.00754.04228.21920.139849.13x x x x y -+++-=，此外，由stats 的值可知9846.02=R，9654.47=F ，0047.0=P 。

第十章一元回归与相关分析概述：许多问题需要研究多个变量之间的关系，例如生物的生长发育速度就与温度，营养，湿度等许多因素有关。

相关关系：两变量X，Y均为随机变量，任一变量的每一可能值都有另一变量的一个确定分布与之对应。

回归关系：X是非随机变量（如施肥）或随机变量（如穗长），Y是随机变量，对X的每一确定值x i都有Y的一个确定分布与之对应。

区别：1.相关中的两个变量地位对称，互为因果；回归中X是自变量，Y是因变量。

两种意义不同，分析的数学概念与推导过程不同，但如果使用共同标准即使y的残差平方和最小（最小二乘法），可得到相同的参数估计式。

因此主要讨论X为非随机变量（不包含有随机误差）的情况，所得到的参数估计式也可用于X为随机变量的情况。

2.分析目的不同。

回归分析是建立X与Y之间的数学关系式，用于预测；而相关分析研究X与Y两个随机变量之间的共同变化规律，例如当X增大时Y如何变化，以及这种共变关系的强弱。

分类：从两个变量间相关（或回归）的程度分三种：（1）完全相关。

一个变量的值确定后，另一个变量的值可通过公式求出（函数关系）；生物学研究中不太多见。

（2）不相关。

变量之间完全没有任何关系。

一个变量的值不能提供另一个变量的任何信息。

（3）统计相关（不完全相关）。

介于上述两情况之间。

知道一个变量的值通过某种公式就可以提供另一个变量的均值的信息。

一个变量的取值不完全决定另一个变量的取值，但可或多或少地决定它的分布。

科研中最常遇到。

研究“一因一果”，即一个自变量与一个依变量的回归分析称为一元回归分析；研究“多因一果”，即多个自变量与一个依变量的回归分析称为多元回归分析。

一元回归分析又分为直线回归分析与曲线回归分析两种；多元回归分析又分为多元线性回归分析与多元非线性回归分析两种。

对两个变量间的直线关系进行相关分析称为直线相关分析；研究一个变量与多个变量间的线性相关称为复相关分析；研究其余变量保持不变的情况下两个变量间的线性相关称为偏相关分析。

第八章成对数据的统计分析（公式、定理、结论图表）一、成对数据的统计相关性1．变量的相关关系(1)函数关系函数关系是一种确定性关系，常用解析式来表示.(2)相关关系两个变量有关系，但又没有确切到可由其中的一个去精确地决定另一个的程度，这种关系称为相关关系.与函数关系不同，相关关系是一种非确定性关系.2．散点图(1)散点图成对样本数据都可用直角坐标系中的点表示出来，由这些点组成的统计图叫做散点图. (2)正相关和负相关如果从整体上看，当一个变量的值增加时，另一个变量的相应值也呈现增加的趋势，我们就称这两个变量正相关；如果当一个变量的值增加时，另一个变量的相应值呈现减少的趋势，则称这两个变量负相关.3．线性相关一般地，如果两个变量的取值呈现正相关或负相关，而且散点落在一条直线附近，则称这两个变量线性相关.4．样本相关系数(1)对于变量x和变量y，设经过随机抽样获得的成对样本数据为(,)，(,)，，(,)，利用相关系数r来衡量两个变量之间线性关系的强弱，相关系数r的计算公式：（其中，，，和，，，的均值分别为和）.①当r >0时，称成对样本数据正相关.这时，当其中一个数据的值变小时，另一个数据的值通常也变小；当其中一个数据的值变大时，另一个数据的值通常也变大.②当r <0时，称成对样本数据负相关.这时，当其中一个数据的值变小时，另一个数据的值通常会变大；当其中一个数据的值变大时，另一个数据的值通常会变小.二、一元线性回归模型及其应用1.线性回归方程：（1）最小二乘法：使得样本数据的点到回归直线的距离的平方和最小的方法叫做最小二乘法．（2）回归方程：两个具有线性相关关系的变量的一组数据：()()()1122,,,,,,n n x y x y x y ，其回归方程为a bx y +=∧，则1221,.ni i i nii x y nx y b x nx a y bx ==⎧-⎪⎪=⎪⎨-⎪⎪=-⎪⎩∑∑注意：线性回归直线经过定点(),x y ．（3）相关系数：()()()()12211nii i nni i i i xx y y rx x y y ===--=--∑∑∑1222211ni ii n ni i i i x y nxyx nx y ny ===-=⎛⎫⎛⎫-- ⎪⎪⎝⎭⎝⎭∑∑∑．【方法归纳】（1）利用散点图判断两个变量是否有相关关系是比较直观简便的方法．如果所有的样本点都落在某一函数的曲线附近，变量之间就有相关关系．如果所有的样本点都落在某一直线附近，变量之间就有线性相关关系．若点散布在从左下角到右上角的区域，则正相关．（2）利用相关系数判定，当r 越趋近于1相关性越强．当残差平方和越小，相关指数2R 越大，相关性越强．（3）在分析实际中两个变量的相关关系时，可根据样本数据作出散点图来确定两个变量之间是否具有相关关系，也可计算相关系数r 进行判断．若具有线性相关关系，则可通过线性回归方程估计和预测变量的值．（4）正确运用计算 ,ba 的公式和准确的计算，是求线性回归方程的关键．并充分利用回归直线 y bxa =+ 过样本点的中心(),x y 进行求值．2、回归分析：对具有相关关系的两个变量进行统计分析的一种常用方法。