常见非线性回归模型
1.简非线性模型简介
非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通过直接代换或间接代换转化为线性回归模型, 但也有一些非线性回归模型却无法通过代换转化为线性回归模型。
柯布—道格拉斯生产函数模型
εβα+=L AK y
其中 L 和 K 分别是劳力投入和资金投入, y 是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。
对于联立方程模型, 只要其中有一个方程是不能通过代换转化为线性, 那么这个联立方程模型就是非线性的。
单方程非线性回归模型的一般形式为
εβββ+=),,,;,,,(2121p k x x x f y
2.可化为线性回归的曲线回归
在实际问题当中，有许多回归模型的被解释变量y 与解释变量x 之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型
。
（1）εββ++=x e y 10
（2）εββββ+++++=p p x x x y 2210
（3）ε+=bx ae y
(4)y=alnx+b
对于（1）式，只需令x e x ='即可化为y 对x '是线性的形式εββ+'+=x y 10，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令1x =x ,2x =2x ,…, p x =p x ,于是得到y 关于1x ,2x ,…, p x 的线性表达式εββββ+++++=p p x x x y 22110
对与（3）式，对等式两边同时去自然数对数，得ε++=bx a y ln ln ,令 y y ln =',a ln 0=β,b =1β，于是得到y '关于x 的一元线性回归模型：
εββ++='x y 10。
乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为t y 本身是异方差的，而t y ln 是等方差的。加性误差项模型认为t y 是等方差的。从统计性质看两者的差异，前者淡化了t y 值大的项（近期数据）的作用，强化了t y 值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则对近期数据拟合得效果较好。
影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用加权最小二乘。
3.多项式回归
多项式回归模型是一种重要的曲线回归模型，这种模型通常容易转化为一般的多元线性回归来做处理。
1、常见的多项式回归模型
回归模型i i i i x x y εβββ+++=2210称为一元二阶多项式模型。通常将回归模
型中的系数表示成：i i i i x x y εβββ+++=21110,回归函数21110i i i x x y βββ++=是一条抛物线方程，通常称为二项式回归函数。回归系数1β为线性效应系数，11β为二次效应系数。
当自变量的幂次超过3时，回归系数的解释变得困难起来，回归函数也变得很不稳定，对回归模型的应用会收到影响。因而，幂次超过3 的多项式回归模型不常使用。在实际应用当中，常遇到含两个或两个以上自变量的情况，称回归
模型：i i i i i i i i x x x x x x y εββββββ++++++=21122222222111110为二元二阶多项式回
归模型。它的回归系数中分别含有两个自变量的线性项系数1β和2β，二次项系数11β和22β，并含有交叉乘积项系数12β，交叉乘积项表示1x 与2x 的交互作用，系数12β通常称为交互影响系数。
4.非线性模型
在非线性回归中，平方和分解式SST=SSR+SSE 不在成立，类似于线性回归中的复决定系数，定义非线性回归的相关指数：R^2=1-SSE/SST
用非线性最小二乘法求解非线性回归方程,非线性最小二乘是使残差平方和达到最小,这种平方损失函数的优点是数学性质好,在一定条件下具有统计学的一
些优良性质
,但其最大的缺点是缺乏稳健性。当数据存在异常值时,参数的估计效果变得很差。因而在一些场合,可以用一些更稳健的残差损失函数代替平方和损失函数，
例如绝对值损失函数。绝对值残差损失函数为:∑
=-
=
n
i
i i
x
f
y
Q
1
)
, (
)
(θ
θ有时候用最小绝对值法的最大残差比普通最小二乘法的最大残差更大，这是否与最小绝对值法的稳健性相矛盾？其实这正说明了最小绝对值法的稳健性。这是因为最小绝对值法受异常值的影响程度小，回归线向异常值靠拢的程度也小，因而异常值的残差反而大。
5.最小二乘估计
参数估计的常见方法
直接搜索法
直接搜索法是把参数的所有可能取值都代入S, 使S达到最小的取值即为参数的估计值。
直接搜索法原理简单, 但只适用参数个数少, 且参数的可能取值也少(或对参数估计的精度要求不高)的情况。
格点搜索法
格点搜索法的效率高于直接搜索法。格点搜索法不是是把参数的所有可能取值都代入S , 而是按一定规律把部分取值代入S。
例1 设只有一个参数b , b的可能取值为区间[0,1]。先把区间10等分, 然后分别把a0=0,a1=0.1,…,a10=1带入S，设ai使得S最小，然后重新把[ai,a(i+1)]10等分，重复上述方法，使参数的可能取值范围不断减小，直到满足精度要求或者收敛，即得参数的最小二乘估计。
（注：可编辑下载，若有不当之处，请指正，谢谢!）
SPSS—非线性回归(模型表达式)案例解析 2011-11-16 10:56 由简单到复杂，人生有下坡就必有上坡，有低潮就必有高潮的迭起，随着SPSS 的深入学习，已经逐渐开始走向复杂，今天跟大家交流一下，SPSS非线性回归，希望大家能够指点一二！ 非线性回归过程是用来建立因变量与一组自变量之间的非线性关系，它不像线性模型那样有众多的假设条件，可以在自变量和因变量之间建立任何形式的模型非线性，能够通过变量转换成为线性模型——称之为本质线性模型，转换后的模型，用线性回归的方式处理转换后的模型，有的非线性模型并不能够通过变量转换为线性模型，我们称之为：本质非线性模型 还是以“销售量”和“广告费用”这个样本为例，进行研究，前面已经研究得出：“二次曲线模型”比“线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的趋势变化”，那么“二次曲线”会不会是最佳模型呢？ 答案是否定的，因为“非线性模型”能够更好的拟合“销售量随着广告费用的增加而呈现的变化趋势” 下面我们开始研究： 第一步：非线性模型那么多，我们应该选择“哪一个模型呢？” 1：绘制图形，根据图形的变化趋势结合自己的经验判断，选择合适的模型 点击“图形”—图表构建程序—进入如下所示界面：
点击确定按钮，得到如下结果：
放眼望去, 图形的变化趋势，其实是一条曲线，这条曲线更倾向于"S" 型曲线，我们来验证一下，看“二次曲线”和“S曲线”相比，两者哪一个的拟合度更高！ 点击“分析—回归—曲线估计——进入如下界面
在“模型”选项中，勾选”二次项“和”S" 两个模型，点击确定，得到如下结果： 通过“二次”和“S “ 两个模型的对比，可以看出S 模型的拟合度明显高于
常见非线性回归模型 1.简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通 过直接代换或间接代换转化为线性回归模型,但也有一些非线性回归模型却无 法通过代换转化为线性回归模型。 柯布—道格拉斯生产函数模型 y AKL 其中L和K分别是劳力投入和资金投入, y是产出。由于误差项是可加的, 从而也不能通过代换转化为线性回归模型。 对于联立方程模型,只要其中有一个方程是不能通过代换转化为线性,那么这个联立方程模型就是非线性的。 单方程非线性回归模型的一般形式为 y f(x1,x2, ,xk; 1, 2, , p) 2.可化为线性回归的曲线回归 在实际问题当中，有许多回归模型的被解释变量y与解释变量x之间的关系都不是线性的，其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系，利用线性回归求解未知参数，并作回归诊断。如下列模型。 （1）y 0 1e x （2）y 0 1x2x2p x p （3）y ae bx (4)y=alnx+b 对于（1）式，只需令x e x即可化为y对x是线性的形式y01x，需要指出的是，新引进的自变量只能依赖于原始变量，而不能与未知参数有关。 对于（2）式，可以令x1=x,x2=x2,?,x p=x p,于是得到y关于x1,x2,?, x p 的线性表达式y 0 1x12x2 pxp 对与（3）式，对等式两边同时去自然数对数，得lnylnabx ,令 y lny, 0 lna, 1 b，于是得到y关于x的一元线性回归模型： y 0 1x。 乘性误差项模型和加性误差项模型所得的结果有一定差异，其中乘性误差项模型认为yt本身是异方差的，而lnyt是等方差的。加性误差项模型认为yt是等 方差的。从统计性质看两者的差异，前者淡化了y t值大的项（近期数据）的作用， 强化了y t值小的项（早期数据）的作用，对早起数据拟合得效果较好，而后者则 对近期数据拟合得效果较好。 影响模型拟合效果的统计性质主要是异方差、自相关和共线性这三个方面。 异方差可以同构选择乘性误差项模型和加性误差项模型解决，必要时还可以使用 加权最小二乘。
第四节 非线形回归模型 一、 可线性化模型 在非线性回归模型中，有一些模型经过适当的变量变换或函数变换就可以转化成线性回归模型，从而将非线性回归模型的参数估计问题转化成线性回归模型的参数估计，称这类模型为可线性化模型。在计量经济分析中经常使用的可线性化模型有对数线性模型、半对数线性模型、倒数线性模型、多项式线性模型、成长曲线模型等。 1．倒数模型 我们把形如: u x b b y ++=110；u x b b y ++=1110 （3.4.1） 的模型称为倒数(又称为双曲线函数)模型。 设：x x 1*=，y y 1*=，即进行变量的倒数变换，就可以将其转化成线性回归模型。 倒数变换模型有一个明显的特征：随着x 的无限扩大，y 将趋于极限值0b (或0/1b )，即有一个渐进下限或上限。有些经济现象(如平均固定成本曲线、商品的成长曲线、恩格尔曲线、菲利普斯曲线等)恰好有类似的变动规律，因此可以由倒数变换模型进行描述。 2．对数模型 模型形式： u x b b y ++=ln ln 10 （3.4.2） (该模型是将u b e Ax y 1=两边取对数，做恒等变换的另一种形式，其中A b ln 0=)。 上式lny 对参数0b 和1b 是线性的，而且变量的对数形式也是线性的。因此，我们将以上模型称为双对数(double-log)模型或称为对数一线性(log-liner)模型。 令：x x y y ln ,ln **==代入模型将其转化为线性回归模型： u x b b y ++=*10* （3.4.3） 变换后的模型不仅参数是线性的，而且通过变换后的变量间也是线性的。 模型特点：斜率1b 度量了y 关于x 的弹性：
1.3非线性回归问题, 知识目标：通过典型案例的探究，进一步学习非线性回归模型的回归分析。 能力目标：会将非线性回归模型通过降次和换元的方法转化成线性化回归模型。 情感目标：体会数学知识变化无穷的魅力。 教学要求：通过典型案例的探究，进一步了解回归分析的基本思想、方法及初步应用. 教学重点：通过探究使学生体会有些非线性模型通过变换可以转化为线性回归模型，了解在解决实际问题的 过程中寻找更好的模型的方法. 教学难点：了解常用函数的图象特点，选择不同的模型建模，并通过比较相关指数对不同的模型进行比较. 教学方式：合作探究 教学过程： 一、复习准备： 对于非线性回归问题,并且没有给出经验公式,这时我们可以画出已知数据的散点图,把它与必修模块《数学1》中学过的各种函数（幂函数、指数函数、对数函数等）的图象作比较,挑选一种跟这些散点拟合得最好的函数,然后采用适当的变量代换,把问题转化为线性回归问题,使其得到解决. 二、讲授新课： 1. 探究非线性回归方程的确定： 1. 给出例1：一只红铃虫的产卵数y 和温度x 有关，现收集了7组观测数据列于下表中，试建立y 与x 之间的/y 个 2. 讨论：观察右图中的散点图，发现样本点并没有分布在某个带状区域内，即两个变量不呈线性相关关系，所以不能直接用线性回归方程来建立两个变量之间的关系. ① 如果散点图中的点分布在一个直线状带形区域，可以选线性回归模型来建模；如果散点图中的点分布在一个曲线状带形区域，就需选择非线性回归模型来建模. ② 根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线y =2C 1e x C 的周围（其中12,c c 是待定的参数），故可用指数函数模型来拟合这两个变量. ③ 在上式两边取对数，得21ln ln y c x c =+，再令ln z y =，则21ln z c x c =+，可以用线性回归方程来拟合. ④ 利用计算器算得 3.843,0.272a b =-=，z 与x 间的线性回归方程为 0.272 3.843z x =-，因此红铃虫的产卵数对温度的非线性回归方程为0.272 3.843x y e -=. ⑤ 利用回归方程探究非线性回归问题，可按“作散点图→建模→确定方程”这三个步骤进行. 其关键在于如何通过适当的变换，将非线性回归问题转化成线性回归问题. 三、合作探究 例 2.：炼钢厂出钢时所用的盛钢水的钢包,在使用过程中,由于钢液及炉渣对包衬耐火材料的侵蚀,使其容积不断增大,请根据表格中的数据找出使用次数 x 与增大的容积y 之间的关系.
第4章非线性回归模型的线性化（1）多项式函数模型 （2）双曲线函数模型 （3）对数函数模型 （4）生长曲线(logistic) 模型 （比教材中的模型复杂些） （5）指数函数模型 （6）幂函数模型 （7）不可线性化的非线性回归模型估计方法（不要求掌握）
第4章非线性回归模型的线性化 有时候变量之间的关系是非线性的。虽然其形式是非线性的，但可以通过适当的变换，转化为线性模型，然后利用线性回归模型的估计与检验方法进行处理。称此类模型为可线性化的非线性模型。 以下非线性回归模型是无法用最小二乘法估计参数的。可采用非线性方法进行估计。估计过程非常复杂和困难，计算机的出现大大方便了非线性回归模型的估计。专用软件使这种计算变得非常容易。但本章不是介绍这类模型的估计。 y t = α0 + α11β x+ u t t y t = α0t x e1α+ u t 下面介绍几种典型的可以做线性化处理的非线性模型。
(1)多项式函数模型(1) （第2版教材第111页）（第3版教材第90页） 一种多项式方程的表达形式是 y t = b 0+b 1 x t + b 2 x t 2+ b 3 x t 3+ u t 令x t 1 = x t ，x t 2 = x t 2，x t 3 = x t 3，上式变为 y t = b 0+b 1 x t 1+ b 2 x t 2+ b 3 x t 3+ u t 这是一个三元线性回归模型。如经济学中的 总成本与产品产量曲线与左图相似。 (b 1>0, b 2>0, b 3>0) (b 1<0, b 2>0, b 3<0)
(1)多项式函数模型(1) 例4.1：总成本与产品产量的关系（课本91页） y t= b0+b1 x t+ b2 x t2+ b3 x t3+ u t （第2版教材第112页） （第3版教材第91页）
非线性回归分析 回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。此外，回归分析中，又依据描述自变量与因变量之间因果关系的函数表达式是线性的还是非线性的，分为线性回归分析和非线性回归分析。通常线性回归分析法是最基本的分析方法，遇到非线性回归问题可以借助数学手段化为线性回归问题处理 两个现象变量之间的相关关系并非线性关系，而呈现某种非线性的曲线关系，如：双曲线、二次曲线、三次曲线、幂函数曲线、指数函数曲线(Gompertz)、S型曲线(Logistic) 对数曲线、指数曲线等，以这些变量之间的曲线相关关系，拟合相应的回归曲线，建立非线性回归方程，进行回归分析称为非线性回归分析 常见非线性规划曲线 1.双曲线1b a y x =+ 2.二次曲线 3.三次曲线 4.幂函数曲线 5.指数函数曲线(Gompertz) 6.倒指数曲线y=a / e b x其中a>0， 7.S型曲线(Logistic) 1 e x y a b-= + 8.对数曲线y=a+b log x,x>0 9.指数曲线y=a e bx其中参数a>0 1．回归： （1）确定回归系数的命令 [beta，r，J]=nlinfit（x,y,’model’,beta0） （2）非线性回归命令：nlintool（x，y，’model’, beta0，alpha） 2．预测和预测误差估计： [Y，DELTA]=nlpredci（’model’, x，beta，r，J） 求nlinfit 或lintool所得的回归函数在x处的预测值Y及预测值的显著性水平为1-alpha的置信区间Y，DELTA. 例2 观测物体降落的距离s与时间t的关系，得到数据如下表，求s 2 解： 1. 对将要拟合的非线性模型y=a/ e b x，建立M文件volum.m如下：
常见非线性回归模型 1、简非线性模型简介 非线性回归模型在经济学研究中有着广泛的应用。有一些非线性回归模型可以通过直接代换或间接代换转化为线性回归模型, 但也有一些非线性回归模型却无法通过代换转化为线性回归模型。 柯布—道格拉斯生产函数模型 εβα+=L AK y 其中 L 与 K 分别就是劳力投入与资金投入, y 就是产出。由于误差项就是可加的, 从而也不能通过代换转化为线性回归模型。 对于联立方程模型, 只要其中有一个方程就是不能通过代换转化为线性, 那么这个联立方程模型就就是非线性的。 单方程非线性回归模型的一般形式为 εβββ+=),,,;,,,(2121p k x x x f y ΛΛ 2、可化为线性回归的曲线回归 在实际问题当中,有许多回归模型的被解释变量y 与解释变量x 之间的关系都不就是线性的,其中一些回归模型通过对自变量或因变量的函数变换可以转化为
线性关系,利用线性回归求解未知参数,并作回归诊断。如下列模型。 (1)εββ++=x e y 10 (2)εββββ+++++=p p x x x y Λ2210 (3)ε+=bx ae y (4)y=alnx+b 对于(1)式,只需令x e x ='即可化为y 对x '就是线性的形式εββ+'+=x y 10,需要指出的就是,新引进的自变量只能依赖于原始变量,而不能与未知参数有关。 对于(2)式,可以令1x =x ,2x =2x ,…, p x =p x ,于就是得到y 关于1x ,2x ,…, p x 的线性表达式εββββ+++++=p p x x x y Λ22110 对与(3)式,对等式两边同时去自然数对数,得ε++=bx a y ln ln ,令 y y ln =',a ln 0=β,b =1β,于就是得到y '关于x 的一元线性回归模型: εββ++='x y 10。 乘性误差项模型与加性误差项模型所得的结果有一定差异,其中乘性误差项模型认为t y 本身就是异方差的,而t y ln 就是等方差的。加性误差项模型认为t y 就是等方差的。从统计性质瞧两者的差异,前者淡化了t y 值大的项(近期数据)的作用,强化了t y 值小的项(早期数据)的作用,对早起数据拟合得效果较好,而后者则对近期数据拟合得效果较好。 影响模型拟合效果的统计性质主要就是异方差、自相关与共线性这三个方面。异方差可以同构选择乘性误差项模型与加性误差项模型解决,必要时还可以使用加权最小二乘。
非线性回归问题, 知识目标：通过典型案例的探究，进一步学习非线性回归模型的回归分析。 能力目标：会将非线性回归模型通过降次和换元的方法转化成线性化回归模型。 情感目标：体会数学知识变化无穷的魅力。 教学要求：通过典型案例的探究，进一步了解回归分析的基本思想、方法及初步应用. 教学重点：通过探究使学生体会有些非线性模型通过变换可以转化为线性回归模型，了解在解决实际问题的 过程中寻找更好的模型的方法. 教学难点：了解常用函数的图象特点，选择不同的模型建模，并通过比较相关指数对不同的模型进行比较. 教学方式：合作探究 教学过程： 一、复习准备： 对于非线性回归问题,并且没有给出经验公式,这时我们可以画出已知数据的散点图,把它与必修模块《数学1》中学过的各种函数（幂函数、指数函数、对数函数等）的图象作比较,挑选一种跟这些散点拟合得最好的函数,然后采用适当的变量代换,把问题转化为线性回归问题,使其得到解决. 二、讲授新课： 1. 探究非线性回归方程的确定： 1. 给出例1：一只红铃虫的产卵数y 和温度x 有关，现收集了7组观测数据列于下表中，试建立y 与x 之间 2. 讨论：观察右图中的散点图，发现样本点并没有分布在某个带状区域内，即两个变量不呈线性相关关系，所以不能直接用线性回归方程来建立两个变量之间的关系. ① 如果散点图中的点分布在一个直线状带形区域，可以选线性回归模型来建模；如果散点图中的点分布在一个曲线状带形区域，就需选择非线性回归模型来建模. ② 根据已有的函数知识，可以发现样本点分布在某一条指数函数曲线y =2C 1e x C 的周围（其中12,c c 是待定的参数），故可用指数函数模型来拟合这两个变量. ③ 在上式两边取对数，得21ln ln y c x c =+ ，再令ln z y =，则21ln z c x c =+， 可以用线性回归方程来拟合. ④ 利用计算器算得 3.843,0.272a b =-=，z 与x 间的线性回归方程为0.272 3.843z x =-$，因此红铃虫的产卵数对温度的非线性回归方程为$0.272 3.843x y e -=. ⑤ 利用回归方程探究非线性回归问题，可按“作散点图→建模→确定方程”这三个步骤进行. 其关键在于如何通过适当的变换，将非线性回归问题转化成线性回归问题. 三、合作探究 例 2.：炼钢厂出钢时所用的盛钢水的钢包,在使用过程中,由于钢液及炉渣对包衬耐火材料的侵蚀,使其容积不断增大,请根据表格中的数据找出使用次数x 与增大的容积y 之间的关系.
应用MATLAB进行非线性回归分析 摘要 早在十九世纪，英国生物学家兼统计学家高尔顿在研究父与子身高的遗传问题时，发现子代的平均高度又向中心回归大的意思，使得一段时间人的身高相对稳定。之后回归分析的思想渗透到了数理统计的其他分支中。随着计算机的发展，各种统计软件包的出现，回归分析的应用就越来越广泛。回归分析处理的是变量与变量间的关系。有时，回归函数不是自变量的线性函数，但通过变换可以将之化为线性函数，从而利用一元线性回归对其进行分析，这样的问题是非线性回归问题。下面的第一题：炼钢厂出钢水时用的钢包，在使用过程中由于钢水及炉渣对耐火材料的侵蚀，使其容积不断增大。要找出钢包的容积用盛满钢水时的质量与相应的实验次数的定量关系表达式，就要用到一元非线性回归分析方法。首先我们要对数据进行分析，描出数据的散点图，判断两个变量之间可能的函数关系，对题中的非线性函数，参数估计是最常用的“线性化方法”，即通过某种变换，将方程化为一元线性方程的形式，接着我们就要对得到的一些曲线回归方程进行选择，找出到底哪一个才是更好一点的。此时我们通常可采用两个指标进行选择，第一个是决定系数，第二个是剩余标准差。进而就得到了我们想要的定量关系表达式。第二题：给出了某地区1971—2000年的人口数据，对该地区的人口变化进行曲线拟合。也用到了一元非线性回归的方法。首先我们也要对数据进行分析，描出数据的散点图，然后用MATLAB编程进行回归分析拟合计算输出利用Logistic模型拟合曲线。 关键词：参数估计，Logistic模型，MATLAB
正文 一、一元非线性回归分析的求解思路： ?求解函数类型并检验。 ?求解未知参数。可化曲线回归为直线回归，用最小二乘法求解；可化曲线回归为多项式回归。 二、回归曲线函数类型的选取和检验 1、直接判断法 2、作图观察法，与典型曲线比较，确定其属于何种类型，然后检验。 3、直接检验法（适应于待求参数不多的情况） 4、表差法（适应于多想式回归，含有常数项多于两个的情况） 三、化曲线回归为直线回归问题 用直线检验法或表差法检验的曲线回归方程都可以通过变量代换转化为直线回归方程，利用线性回归分析方法可求得相应的参数估计值。 题目： 例 8.5.1 炼钢厂出钢水时用的钢包，在使用过程中由于钢水及炉渣对耐火材料的浸蚀，其容积不断增大。现在钢包的容积用盛满钢水时的重量y(kg)表示，相应的试验次数用x表示。数据见表8.5.1，要找出y与x的定量关系表达式。 表8.5.1 钢包的重量y与试验次数x数据