不动点迭代法求解非线性方程组

不动点迭代法求解非线性方程组摘要：一般非线性方程组可以写成()0F x =的形式，其中:nmF R R →是定义在区域n D R ⊂上的向量函数。

把方程组()0F x =改写成与之等价的形式：(x G x =)。

因此，求方程组()0F x =的解就转化为求函数的(G x )的不动点。

本文首先介绍了多变量函数()F x 的微积分性质，接着介绍了用不动点迭代法求解非线性方程组。

关键词：多变量函数；微积分；不动点Fixed Point Iteration Method For Solving Nonlinear EquationsAbstract ：General nonlinear equations can be written in the form of ()F x θ=, where the vector function :n m F R R →is defined on the region n D R ⊂. Transform the equations ()0F x = into its equivalent form: (x G x =).Therefore, we can get the solution of()0F x = by finding the fixed point of (G x ).In this paper, we first introduce some knowledgeabout multivariable calculus, then introduce the fixed point iteration method for solving nonlinear equations.Key words: multi-variable function; calculus; fixed point1 引言一般非线性方程组及其向量表示法:含有n 个方程的n 元非线性方程组的一般形式为11221212(,...,)0(,...,)0......(,...,)0n nm n f x x x f x x x f x x x =⎧⎪=⎪⎨⎪⎪=⎩ （1） 其中，()1,2,...,i f i n =是定义在nD R ⊂上的n 元实值函数，且i f 中至少有一个是非线性函数。

令12...n x x x x ⎛⎫⎪⎪= ⎪⎪⎝⎭，()()()12()...m f x f x F x f x ⎛⎫⎪⎪= ⎪ ⎪⎪⎝⎭，则方程组可以表示为()F x θ= （2） 其中:nmF R R →是定义在区域n D R ⊂上的向量函数。

若存在*x D ∈，使*()F x θ=，则称*x 是方程组（1）或（2）的解。

把方程组()0F x =改写成与之等价的形式：(x G x =)其中n n G D R R ⊂→：。

若*x D ∈满足**(x G x =)，则称*x 为函数(G x )的不动点。

因此(G x )的不动点就是方程组()0F x =的解，求方程组()0F x =的解就转化为求函数的(G x )的不动点。

适当选取初始向量(0)xD ∈，构成迭代公式(+1)()(),0,1,2,...k k x G x k ==迭代公式也称为求解方程组()0F x =的简单迭代法，又称不动点迭代法。

(G x )称为迭代函数。

由于F 是多变量函数，所以我们先考虑多变量函数的微积分性质。

2多变量函数的微积分性质在之前我们已经学习过很多关于单变量函数的微积分的性质，由于解非线性方程组经常用到的是多变量函数的相关性质，因此我们考虑多变量函数的微积分性质。

相对于单变量函数的微积分的性质，多变量函数的微积分性质一些是类似的，一些是不同的。

相对于单变量函数的可微的定义，我们事先给出多变量函数的可微定义。

函数:,1n f R R n −−→>的微积分性质 设函数多变量函数:,1nf R R n −−→>。

我们首先考虑当f 是连续的函数的情况，如果f 关于n 个变量的偏导数都存在并且连续，把这n 个偏导数组成一个n 维向量，则我们把这个n 维向量称作多变量函数f 的梯度。

定义1：连续可微函数:nf R R −−→，如果()ifx x ∂∂，1,...,i n =；存在并且连续，则称函数f 在点nx R ∈上连续可微，并且称()()()1,...,Tn f f f x x x x x ⎡⎤∂∂∇=⎢⎥∂∂⎣⎦为函数f 在点n x R ∈的梯度。

如果函数f 在开区域n D R ⊂上每一点连续可微，则称函数f 在开区域n D R ⊂连续可微，记作()1f C D ∈。

下面我们给出关于多变量函数f 的梯度的一些性质：引理1 设:nf R R −−→在开凸集n D R ⊂连续可微，则对于x D ∈以及任意一个非零扰动np R∈，则函数f 在点x 在方向p 上的方向导数定义为()()()0limf x p f x f x p εεε→+-∂≡∂存在并且等于()Tf x p ∇。

对于,x x p D ∀+∈，()()()1()()x pTxf x p f x f x tp pdt f x f z dz ++=+∇+≡+∇⎰⎰，并且存在(),z x x p ∈+使得，()()()Tf x p f x f z p +=+∇。

下面我们给我这个引理的证明过程，主要思想是把多变量函数转化为单变量函数，然后利用我们已知的单变量函数微积分的性质来证明多变量函数微积分的性质。

证明：首先在点x 到点x p +的连线上对函数f 进行参数化，转变成单变量函数g 。

定义()x t x tp =+，:,()()g R R g t f x tp →=+。

由链式法则，对于01α∀≤≤，()()()()()()()()1n i i i f x t dx t dgx dt x t dt ααα=∂=∂∑ ()()1n i i i f x p x α=∂=⋅∂∑ ()f x p p α=∇+。

因为()()00()()lim (0)t g t g f x x g p t→-∂'==∂，所以令0α=，我们就可以得到()()Tf x f x p p∂=∇∂。

由单变量函数的牛顿定理我们可知，1(1)(0)()g g g t dt '=+⎰。

根据前面对函数g 的定义，上式也可以写成()()1()Tf x p f x f x tp pdt +=+∇+⎰。

这就得到我们所要的证明。

最后，由单变量函数的积分中值定理()()1(),0,1g t dt g ξξ''=∈⎰，根据函数g 的定义，我们可以写成()()()Tf x p f x f x p p ξ+=+∇+，()0,1ξ∈。

对()1Tf x tp pdt ∇+⎰进行变量替换z x tp =+，可得()()1Tx pxf x tp pdt f z dz +∇+=∇⎰⎰，从而得证。

函数:n f R R −−→的微积分性质 下面给出多变量函数二次可微的定义，并进一步给出函数f 的Hessian 矩阵的定义。

定义2：连续可微函数:nf R R −−→，如果()2i jfx x x ∂∂∂，1,i j n ≤≤存在并且连续，则称函数:nf R R −−→在点x 上二次连续可微；定义一个n n ⨯矩阵，其中第,i j 元素为()22()ij i jff x x x x ∂∇=∂∂，1,i j n ≤≤，则称这个矩阵为函数f 的Hessian 矩阵。

如果函数f 在开区域n D R ⊂上每一点连续可微，则称函数f 在开区域nD R ⊂连续可微，记作()2f CD ∈。

类似的我们给出关于多变量函数f 的二阶连续可微的一个引理。

引理2：设函数:nf R R −−→在开凸集n D R ⊂二次连续可微，则对于x D ∈以及任意一个非零扰动np R ∈，则函数f 在点x 在方向p 上的二阶方向导数()()220()lim f fx p x fp px pεεε→∂∂+-∂∂∂=∂存在，并且等于2()T p f x p ∇。

对于对于,x x p D ∀+∈，存在(),z x x p ∈+使得()21()()()2T T f x p f x f x p p f z p +=+∇+∇。

定理的证明过程与一阶连续可微情况的证明过程类似。

从Hessian 矩阵的定义可知，只要函数f 是二次连续可微的，那么Hessian 矩阵是对称的。

函数:n m F R R →的微积分性质我们进一步考虑更复杂的情况，也就是从nR 空间到mR 空间的函数，设函数:n mF R R →，具体可以写成()112112(,...,)..()....(,...,)()n m n m f x x x f x F x f x x x f x ⎛⎫⎛⎫ ⎪ ⎪⎪ ⎪⎪ ⎪== ⎪ ⎪⎪ ⎪⎪⎪⎝⎭⎝⎭。

其中，非线性联立方程问题是m n =的情况；非线性最小二乘问题是m n ≠的情况。

下面我们给出函数F 的相关可微性质：定义3 连续函数:n m F R R →，如果每一个部分函数,1,...,i f i m =在点mx R ∈连续可微，则称函数F 在点mx R ∈连续可微。

函数F 在点x 的导数叫作F 在点x 的Jacobian 矩阵，它的转置叫作F 在点x 的梯度。

通常的表示为()m n F x R ⨯'∈，()()iij jf F x x x ∂'=∂，()()()TF x J x F x '==∇。

如果F 在开区域n D R ⊂上每一点连续可微，则称函数F 在开区域n D R ⊂连续可微，记作()1F C D ∈。

用下面一个例子来具体说明这个定义。

例1 设22:F R R →，()112xf x e x =-，()22122f x x x =-。

解： ()()()()11112221121()22x f f x x x x e J x f f x x x x x ∂∂⎛⎫ ⎪∂∂⎛⎫-⎪== ⎪ ⎪∂∂-⎝⎭⎪∂∂⎝⎭下面我们研究单实值函数和向量值函数不同方面，对于实值函数存在中值定理，而对于向量值函数，中值定理不一定成立。

也就是说，不一定存在nz R ∈，使得()()()F x p F x J z p +=+。

直观上来看，尽管每个函数i f 满足()()()Ti i i i f x p f x f z p +=+∇，但是点i z 是不同的。

以上面例子中的函数来考虑， 11111110122z e e z -⎛⎫-⎛⎫⎛⎫⎛⎫=+⎪ ⎪ ⎪ ⎪--⎝⎭⎝⎭⎝⎭⎝⎭，也就是，11ze e =-并且121z =，这是不可能的，所以 不存在nz R ∈，使得()1,1(0,0)()(1,1)TF F J z =+。