第8章非线性回归

§8.2 一元线性回归模型及其应用

学习目标 1.结合实例，了解一元线性回归模型的含义，了解模型参数的统计意义.2.了解最小二乘原理，掌握一元线性回归模型参数的最小二乘估计方法.3.针对实际问题，会用一元线性回归模型进行预测．

知识点一 一元线性回归模型

称 Y＝bx＋a＋e，Ee＝0，De＝σ2为Y关于x的一元线性回归模型．其中Y称为因变量或响应变量，x称为自变量或解释变量，a称为截距参数，b称为斜率参数；e是Y与bx＋a之间的随机误差，如果e＝0，那么Y与x之间的关系就可以用一元线性函数模型来描述．

知识点二 最小二乘法

将y^＝b^x＋a^称为Y关于x的经验回归方程，也称经验回归函数或经验回归公式，其图形称为经验回归直线，这种求经验回归方程的方法叫做最小二乘法，求得的b^，a^叫做b，a的最小二乘估计，其中b^＝i＝1n xi－xyi－yi＝1n xi－x2，a^＝y－b^x.

思考1 经验回归方程一定过成对样本数据(x1，y1)，(x2，y2)，…，(xn，yn)中的某一点吗？

答案 不一定．

思考2 点(x，y)在经验回归直线上吗？

答案 在．

知识点三 残差与残差分析

1．残差

对于响应变量Y，通过观测得到的数据称为观测值，通过经验回归方程得到的y^称为预测值，观测值减去预测值称为残差．

2．残差分析

残差是随机误差的估计结果，通过对残差的分析可以判断模型刻画数据的效果，以及判断原始数据中是否存在可疑数据等，这方面工作称为残差分析．

知识点四 对模型刻画数据效果的分析

1．残差图法 在残差图中，如果残差比较均匀地集中在以横轴为对称轴的水平带状区域内，则说明经验回归方程较好地刻画了两个变量的关系．

2．残差平方和法

残差平方和i＝1n (yi－y^i)2越小，模型的拟合效果越好．

3．R2法

可以用R2＝1－i＝1n yi－y^i2i＝1n yi－y2来比较两个模型的拟合效果，R2越大，模型拟合效果越好，R2越小，模型拟合效果越差．

第八章 回归分析方法

当人们对研究对象的内在特性和各因素间的关系有比较充分的认识时，一般用机理分析方法建立数学模型。如果由于客观事物内部规律的复杂性及人们认识程度的限制，无法分析实际对象内在的因果关系，建立合乎机理规律的数学模型，那么通常的办法是搜集大量数据，基于对数据的统计分析去建立模型。本章讨论其中用途非常广泛的一类模型——统计回归模型。回归模型常用来解决预测、控制、生产工艺优化等问题。

变量之间的关系可以分为两类：一类叫确定性关系，也叫函数关系，其特征是：一个变量随着其它变量的确定而确定。另一类关系叫相关关系，变量之间的关系很难用一种精确的方法表示出来。例如，通常人的年龄越大血压越高，但人的年龄和血压之间没有确定的数量关系，人的年龄和血压之间的关系就是相关关系。回归分析就是处理变量之间的相关关系的一种数学方法。其解决问题的大致方法、步骤如下：

（1）收集一组包含因变量和自变量的数据；

（2）选定因变量和自变量之间的模型，即一个数学式子，利用数据按照最小二乘准则计算模型中的系数；

（3）利用统计分析方法对不同的模型进行比较，找出与数据拟合得最好的模型；

（4）判断得到的模型是否适合于这组数据；

（5）利用模型对因变量作出预测或解释。

应用统计分析特别是多元统计分析方法一般都要处理大量数据，工作量非常大，所以在计算机普及以前，这些方法大都是停留在理论研究上。运用一般计算语言编程也要占用大量时间，而对于经济管理及社会学等对高级编程语言了解不深的人来说要应用这些统计方法更是不可能。MATLAB等软件的开发和普及大大减少了对计算机编程的要求，使数据分析方法的广泛应用成为可能。MATLAB统计工具箱几乎包括了数理统计方面主要的概念、理论、方法和算法。运用MATLAB统计工具箱，我们可以十分方便地在计算机上进行计算，从而进一步加深理解，同时，其强大的图形功能使得概念、过程和结果可以直观地展现在我们面前。本章内容通常先介绍有关回归分析的数学原理，主要说明建模过程中要做的工作及理由，如模型的假设检验、参数估计等，为了把主要精力集中在应用上，我们略去详细而繁杂的理论。在此基础上再介绍在建模过程中如何有效地使用MATLAB软件。没有学过这部分数学知识的读者可以不深究其数学原理，只要知道回归分析的目的，按照相应方法通过软件显示的图形或计算所得结果表示什么意思，那么，仍然可以学到用回归模型解决实际问题的基本方法。包括：一元线性回归、多元线性回归、非线性回归、逐步回归等方法以及如何利用MATLAB软件建立初步的数学模型，如何透过输出结果对模型进行分析和改进，回归模型的应用等。

第十一章 多元相关与回归分析

第一节 多元线性回归模型

多元线性回归即多个自变量对一个因变量的线性回归。

一、多元线性回归模型概念

以两个自变量的二元回归为例，如X1、X2和Y的关系存在关系式：E(Y)

=α+β1X1+β2X2，则Y与X1和X2之间存在多元线性相关关系，这一方程即多元线性回归模型。

多元线性回归是多维空间中的超平面，如二元回归是三维空间中的一个平面。对于任意的 (X1, X2)，Y的期望值就是该平面上正对(X1, X2)的那个点的Y轴值，其与实际观测点之间存在随机误差，实际观测点Yi=α+β1X1+β2 X2+εi。

二、模型的建立

总体未知情况下，以样本构造出一个平面来估计总体真实平面，即以平面ŷ= a+b1x1+ b2x2去拟合原始观测数据。

拟合的准则是最小二乘法原理，使各观测值距离拟合值的偏差平方和最小，即∑(yi-ŷ)2最小。由此计算出的a,b1, b2是对α, β1, β2的最佳估计。例如对施肥量X1、降雨量X2和产量Y的数据，SPSS输出结果（表1）：

Variable B SE.B Beta T

X1 3.81 0.583 0.59 6.532

X2 3.33 0.617 0.49 5.4

Constant 266.7 32.077 8.313

即得到ŷ= 266.7+3.81x1+3.33x2

三、回归系数的意义

对于模型ŷ= a+b1x1+ b2x2，b1可以解释为：当X2不变的情况下，X1每变化一个单位，Y将平均发生b1个单位的变化。

如果所有自变量都同时变化，那么ΔY= b1ΔX1+ b2ΔX2+„. biΔXi。

例题：如果对产量、施肥量、降雨量做出了简单回归和多元回归模型：

A模型：产量=287+5.9施肥量；B模型：产量=400+6.0降雨量；

C模型：产量=267+3.81施肥量+3.33降雨量；

请计算：（1）如果在每亩土地上多施10斤肥料，可以期望产量增加多少？

第八章--统计回归模型

第八章 统计回归模型

回归分析是研究一个变量Y与其它若干变量X之间相关关系的一种数学工具.它是在一组试验或观测数据的基础上，寻找被随机性掩盖了的变量之间的依存关系.粗略的讲，可以理解为用一种确定的函数关系去近似代替比较复杂的相关关系.这个函数称为回归函数.

回归分析所研究的主要问题是如何利用变量X、Y的观察值(样本)，对回归函数进行统计推断，包括对它进行估计及检验与它有关的假设等.

回归分析包含的内容广泛.此处将讨论多项式回归、多元线性回归、非线性回归以及逐步回归.

一、多项式回归

(1) 一元多项式回归

一元多项式回归模型的一般形式为mmxxy...10.

如果从数据的散点图上发现y与x呈现较明显的二次(或高次)函数关系，则可以选用一元多项式回归.

1. 用函数polyfit估计模型参数，其具体调用格式如下：

p=polyfit(x,y,m) p返回多项式系数的估计值；m设定多项式的最高次数；x，y为对应数据点值.

[p,S]=polyfit(x,y,m) S是一个矩阵，用来估计预测误差.

2. 输出预估值与残差的计算用函数polyval实现，其具体调用格式如下：

Y=polyval(p,X) 求polyfit所得的回归多项式在X处的预测值Y.

[Y,DELTA]=polyval(p,X,S) p，S为polyfit的输出，DELTA为误差估计.在线性回归模型中，Y±DELTA以50%的概率包含函数在X处的真值.

3. 模型预测的置信区间用polyconf实现，其具体调用格式如下：

[Y,DELTA]=polyconf(p,X,S,alpha) 求polyfit所得的回归多项式在X处的预测值Y及预测值的显著性为1-alpha的置信区间Y±DELTA，alpha缺省时为0.05.

4. 交互式画图工具polytool，其具体调用格式如下：