SAS讲义 第三十四课非线性回归分析

第三十四课 非线性回归分析

现实世界中严格的线性模型并不多见，它们或多或少都带有某种程度的近似；在不少情况下，非线性模型可能更加符合实际。由于人们在传统上常把“非线性”视为畏途，非线性回归的应用在国内还不够普及。事实上，在计算机与统计软件十分发达的令天，非线性回归的基本统计分析已经与线性回归一样切实可行。在常见的软件包中（诸如SAS 、SPSS 等等），人们已经可以像线性回归一样，方便的对非线性回归进行统计分析。因此，在国内回归分析方法的应用中，已经到了“更上一层楼”，线性回归与非线性回归同时并重的时候。

对变量间非线性相关问题的曲线拟合，处理的方法主要有：

● 首先决定非线性模型的函数类型，对于其中可线性化问题则通过变量变换将其线

性化，从而归结为前面的多元线性回归问题来解决。

● 若实际问题的曲线类型不易确定时，由于任意曲线皆可由多项式来逼近，故常可

用多项式回归来拟合曲线。

● 若变量间非线性关系式已知（多数未知），且难以用变量变换法将其线性化，则进

行数值迭代的非线性回归分析。

一、 可变换成线性的非线性回归

在实际问题中一些非线性回归模型可通过变量变换的方法化为线性回归问题。例如，对非线性回归模型

()t i t i t i t ix b ix a y εα+++=∑=2

1

0sin cos

(34.1)

即可作变换

t t t t t t t t x x x x x x x x 2sin ,2cos ,sin ,cos 4321====

将其化为多元线性回归模型。一般地，若非线性模型的表达式为

()()()t m m t t t x g b x g b x g b b y ++++= 22110

(34.2)

则可作变量变换

()()()

t m m t t t t t x g x x g x x g x ===*

2*21*1,,, (34.3)

将其化为线性回归模型的表达式，从而用前面线性模型的方法来解决，其中(34.3)中的x t 也

可为自变量构成的向量。

这种变量变换法也适用于因变量和待定参数 b i 。如

()[]1exp 2132211-++=t t t t t x x b x b x b a y

(34.4)

时上式两边取对数得

()1ln ln 2132211-+++=t t t t t x x b x b x b a y

(34.5)

现作变换

1,ln ,ln 2130*-===t t t t t x x x a b y y

(34.6)

则可得线性表达式

t t t t x b x b x b b y 3322110*+++=

(34.7)

利用前面方法确定了3,2,1,0,ˆ=i b i ，并由)ˆexp(ˆ0

b a =得到a ˆ 的值。 变量变换的线性化方法可推广到下列形式的非线性模型

()()t m m m t t x g b c x g b c b c y h )()()()(11100+++=

(34.8)

其中x =（x 1,x 2, ,x p ），而h （y t ）、c i （b i ）、g i （x t ）则分别化为新的因变量、线性回归参数

和自变量，即可归结为线性回归模型来解。见表34.1所示给出了一些常见的可线性化的非线性模型。

表34.1 典型的函数及线性化方法

函数名称

函数表达式

线性化方法

双曲线函数

x

b a y +=1 y

v 1

=

x

u 1=

幂函数

b ax y =

y v ln = x u ln = 指数函数

bx ae y =

y v ln = x u = x b ae y /=

y v ln = x

u 1=

对数函数

x b a y ln += y v = x u ln =

S 型函数 x

be a y -+=

1

y

v 1=

x e u

-=

当曲线的函数类型未确定时，我们常采用上述非线性模型作为其拟合曲线，即将自变量的各种初等函数的组合作为新自变量，用逐步回归法（或正交筛选法等）对新变量进行筛选，以确定一个项数不多的线性函数表达式。 该方法对表达式形式没限制且精度要求不高的问题颇为有效。

二、 多项式回归分析

在式(34.2)中，若取()i i x x g =，则为多项式回归模型。由数学分析知识可知，一般函数都可用多项式来逼近，故多项式回归分析可用来处理相当广泛的非线性问题。

对观测数据（x t ，y t ）（t = 1，…，N ），多项式回归模型为

t m t m t t t x b x b x b b y ε+++++= 2210，t =1,2, ,N

令

⎥

⎥

⎥⎥

⎦⎤

⎢⎢⎢⎢⎣⎡=N y y y Y 2

1，⎥⎥⎥

⎥⎥⎦

⎤⎢⎢⎢⎢

⎢⎣⎡=m N N

N

m m x x x x x x x x x X 2222212

11111，⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=m b b b B 10，⎥⎥⎥⎥⎦⎤

⎢⎢⎢⎢⎣⎡=N εεεε 21 则模型可表示为

ε+=XB Y

当X 列满秩时，由前面的讨论知，其最小二乘估计为

()Y X X X B ''=-1ˆ

由此即可求得其多项式回归方程。但由于()1

-'X X 的计算既复杂又不稳定，故我们一般采

用正交多项式法来进行多项式回归。

三、 不可变换成线性的非线性回归分析

假设因变量y 与自变量（x 1，x 2,…，x p ）之间满足非线性模型

()εβ+=;,,,21p x x x F y

(34.9)

其中()'

=m ββββ,,,21 为未知参数，F 为已知表达式，仅β未知的非线性函数，ε 为误差项。

现将观察数据

()

pt t t t x x x y ,,,,21 ， t =1,2, ,N

代人上式(34.9)得非线性回归模型

()

t pt t t t x x x F y εβ+=;,,,21 ， t =1,2, ,N

常记为

E F Y +=)(β

其中()'=N y y y Y ,,,21 为y 的观察向量，()'

=m βββ,,1 为非线性回归系数，E =()'

N εεε,,,21 为观察误差向量，F 为未知参数β的函数向量。非线性回归分析就是利用

最小二乘准则来估计回归系数β，即求β

ˆ 使得残差平方和

()()()()()βββF Y F Y E E Q -'

-='=

2

121 在

β

βˆ= 处达到最小。 非线性回归分析一般来用数值迭代法来进行，其共同特点是：由选定β的初值0

β出发，

通过逐步迭代