第四章线性代数方程组迭代解法

线性方程组的迭代式求解方法迭代法解方程的基本原理1.概述把 Ax=b 改写成 x=Bx+f ，如果这一迭代格式收敛，对这个式子不断迭代计算就可以得到方程组的解。

道理很简单：对 x^{(k+1)}=bx^{(k)}+f 两边取极限，显然如果收敛，则最终得到的解满足 \lim_{k\rightarrow\infty } x^{(k)}=x^*=Bx^*+f ，从而必然满足原方程 Ax^*=b 。

迭代方法的本质在于这一次的输出可以当作下一次的输入，从而能够实现循环往复的求解，方法收敛时，计算次数越多越接近真实值。

2.收敛条件充要条件：迭代格式 x=Bx+f 收敛的充要条件是 \rho (B)<1充分条件： \Vert B\Vert <1即 \Vert B\Vert <1 \Rightarrow \rho(B)<1\Leftrightarrow 迭代收敛一、Jacobi迭代法怎样改写Ax=b ，从而进行迭代求解呢？一种最简单的迭代方法就是把第i行的 x_i 分离出来(假定 a_{ii} \ne 0 )：\sum_{j=1}^{n}a_{ij}x_j=b_i\Rightarrow x_i=\frac{b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j}{a_{ii}}\quad \\这就是Jacobi(雅可比)迭代法。

迭代格式给定x^{(0)}=\left[x_1^{(0)},x_2^{(0)},\cdots,x_n^{(0)}\rig ht]^T ，则Jacobi法的迭代格式（也称分量形式）为x_i^{(k+1)}=\frac{1}{a_{ii}}\left ( {b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j^{(k)}}\right),\quadi=1,2,\cdots,n\\矩阵形式设 A=D-L-U。

Jacobi法的矩阵形式（也称向量形式）为x^{(k+1)}=B_Jx^{(k)}+D^{-1}b\\其中迭代矩阵 B_J=D^{-1}(L+U)收敛条件\begin{eqnarray} \left. \begin{array}{lll} \VertB_J\Vert <1 \\ A 严格对角占优\\ A, 2D-A对称正定\end{array} \right \} \end{eqnarray} \Rightarrow \rho (B_J)<1\Leftrightarrow 迭代收敛特别地，若 A 对称正定且为三对角，则 \rho^2(B_J)=\rho (B_G)<1 。

第4章 线性方程组和矩阵特征值的迭代解法线性代数计算方法中的迭代解法（即迭代法）是一类重要方法。

其基本思想是构造适当的矩阵序列或向量序列，使其逐步逼近所求问题的精确解，故又称矩阵迭代方法。

在求解阶数较高且零系数较多的大型稀疏线性代数方程组时，迭代法是很有效的。

矩阵特征值问题的求解通常也要用迭代法。

本章着重介绍求解线性代数方程组常用的简单迭代法及其收敛条件，并对计算矩阵特征值问题的雅可比方法和QR 方法作一些介绍。

4.1 线性代数方程组的迭代解法线性方程组(3.1)的迭代解法其基本思想与一元非线性方程的迭代解法类似，即构造适当的迭代公式，任选一个初始向量)0(x 进行迭代计算，使生成的向量序列,,)1()0(x x …，)(k x ,…收敛于方程组的精确解。

4.1.1 简单迭代法的一般形式设方程组(3.1)的系数矩阵非奇异，把它化为等价的方程组g Mx x += (4.1) 其中⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=n n nn n n n n x x x g g g m m m m m m m m m 2121212222111211,,x g M按(4.1)构造迭代公式,2,1,0,)()1(=+=+k k k g x M x (4.2)其中),1,0(],,,[T)()(2)(1)( ==k x x x k n k k k x 。

任取初始向量)0(x ，用(4.2)逐次计算近似解向量,,x ,,x ,x )()2()1(k 这种方法称为简单迭代法，称(4.2)为简单迭代公式，M 为迭代矩阵。

公式的分量形式是⎪⎪⎩⎪⎪⎨⎧++++=++++=++++=+++nk n nn k n k n k nk n n k k k k n n k k k g x m x m x m x g x m x m x m x g x m x m x m x )()(22)(11)1(2)(2)(222)(121)1(21)(1)(212)(111)1(1即 ),2,1,0(,,,2,1,1)()1( ==+=∑=+k n i g x m x i nj k j ij k i (4.3)如果)(k x的各分量存在极限n i x x i k i k ,,2,1,l i m )( ==*∞→ (4.4)则称向量序列}{)(k x 收敛于向量T21][****=n x x x ,,,x ，并记为*∞→=x x )(l i m k k (4.5)这时，称简单迭代法(4.2)是收敛的，否则就是发散的。

线性代数方程组的解法关键词：线性代数方程组；高斯消元法；列主元消元法；三角分解法；杜立特尔分解法；迭代法；雅可比迭代法；高斯-赛德尔迭代法1引言目前，解线性代数方程组在计算机上常用的的方法大致把它分为两类：“直接法”与“迭代法”.在线性代数中曾指出阶线性代数方程组有唯一的解，并且可以用克拉默法则求方程组的解，初次看来问题已经解决，但从使用效果看并不是这样的.因为求阶线性代数方程组，如果用克拉默法则，需要计算个阶行列式，每个阶行列式为项之和，每项又是个元素的乘积，所以计算中仅乘法次数就高达次，当较大时，它的计算量是非常惊人的.因为现在所碰到的很多问题都需要很大的计算量，故需要好用的算法来求解.先来回顾一下回代过程和迭代过程.(1)是一个三角形方程组，当有唯一解时，可以用反推的方式求解，也就是先从第个方程解得， (2)然后代入第个方程，可得到， (3)如此继续下去，假设已得到，， , ,代进第个方程即得的计算， (4)上述求解的过程叫做回代过程.定义1[1] (向量的范数) 若向量的某个实值函数满足1.是非负的，即且的充要条件是 ;2.是齐次的，即 ;3.三角不等式，即对，总是有.那么上向量的范数（或模）就是 .下面给几个最常遇到的向量范数.向量的“1”范数：(5)向量的“2”范数：(6)向量的范数：(7)例1设求 , , .解由式（5）,（6）及（7）知.定义2若矩阵的某个实值函数满足1.是非负的，即且的充要条件是 ;2.是齐次的，即 ;3.三角不等式，即对总有;1.矩阵的乘法不等式，即对总有，那么称为上矩阵的范数（或模）.表 1是矩阵几个常用算子范数的定义与算式.表 1范数名称记号定义计算公式“1”范数（又名列模）“2”范数（又名谱模）“”范数（又名行模）的极限就是方程组的解向量，这时候在给定允许的误差内，只要适当的大,就可以作为方程组在满足精度要求条件下的近似解.这种求近似解的方法就是解线性方程组的一类基本的迭代解法，其中称为迭代矩阵，公式（9）称迭代公式（或迭代过程）,由迭代公式得到的序列叫做迭代序列.如果迭代的序列是收敛的，则称为迭代法收敛；如果迭代的序列是不收敛，则称它是迭代法发散.定理3设 .如果约化主元素，则可以利用高斯消元的方法把方程组约化成三角形方程组来求解，其计算公式如下：（1）消元计算：对依次计算（2）回代计算：3用高斯消元法与列主元消元法解线性代数方程组（重点）！3.1 高斯消元法解方程组用高斯消元的方法求线性代数方程组的解的整个计算过程可分为两个环节，也就是利用按照次序消去未知数的方法，把原来的方程组转化成跟它同解的三角形方程组（这个转化的过程叫消元过程），再通过回代过程求三角形方程组的解，最终得到原来方程组的解.其中按照方程的顺进行消元的高斯消元法，又叫顺序消元法.3.2列主元消元法解方程组列主元消元法实际上是一种行交换的消元法，它跟顺序消元法比较而言，主要特点是在进行第次消元前，不管的值是否等于零，都在子块的第一列中选择一个元，使，并将中的第行元与第行元互相变换（相当于交换同解方程组中的第个方程），然后再进行消元计算得到结果.注：列主元素法的精度虽然稍低于全主元素法[1]，但它计算简单，相对比全主元素法它的工作的量大大减少，并且从计算经验和理论分析都可以表明，它与全主元素法同样拥有很好的值稳定性，列主元素法是求解中小型浓密型方程组的最好的方法之一.4用三角分解法解线性代数方程组4.1 矩阵的三角分解定义4把一个阶矩阵分解成两个三角矩阵相乘的形式称为矩阵的三角分解.常见的矩阵三角分解是其中是下三角形的矩阵,是上三角形的矩阵.定理5[1]（矩阵三角分解基本定理）设 .若的顺序主子式，那么存在唯一的杜利特尔分解其中是单位下三角形矩阵，为非奇异的上三角形矩阵.如果是单位下三角形的矩阵，是上三角形的矩阵，那么把这种分解法称为杜利特尔分解法，其中杜利特尔分解法是这种三角分解的一种特例，下面主要介绍利用杜利特尔分解法来求方程组的解.4.2 用杜利特尔分解法解线性代数方程组用杜利特尔分解法解方程组的步骤可以把它归纳为（1）实现分解，也就是1.按算式（11）（12）依次计算的第一行元与的第一列元；1.对按算式（13）（14）依次计算的第行元与的第列元.（2）求解三角形方程组，即按算式依次计算 .（3）求解三角形方程组，即按算式依次计算.利用杜利特尔分解法解方程组与高斯消元法是相似的，它重要的优点是：在利用分解，解有相同的系数矩阵的方程组时,用杜利特尔分解法非常方便，只用两个式子就可以得到方程组的解.5用迭代法解线性代数方程组用迭代法求方程组的解，需要考虑迭代过程的收敛性，在下面的讨论中，都假设方程组的系数矩阵的对角阵是不为零的.5.1 用雅可比迭代法解方程组对于一般线性方程组，如果从第个方程解出，就可以把它转化成等价的方程组. （15）从而可以得到对应的迭代公式（16）这就是解一般方程组的分量形式的雅可比(Jacobi)迭代公式.如果把它改成（17）并把系数矩阵表示成（18）其中则可以看出式的左右两端分别是向量和的第个分量，故因为可逆，所以于是就可以得到是雅可比迭代的公式.其中（称为雅可比迭代矩阵）， .5.2 用高斯-赛德尔迭代法解方程组高斯-赛德尔迭代法也是常用的迭代法，设线性代数方程组为，则高斯-赛德尔迭代法的迭代公式为（19）其中迭代法（19）就称为高斯-赛德尔迭代法.通过雅可比迭代法类似的途径，就可以得到矩阵的表达式其中（称为高斯-赛德尔迭代矩阵）， .高斯-赛德尔迭代法与雅可比迭代法都有算式简单、容易在计算机上实现等优点，但是用计算机来计算时，雅可比迭代法需要两组工作单元用来寄存与的量，而高斯赛-德尔迭代法只需一组工作单元存放或的分量.对于给定的线性方程组，用这两种方法求解可能都收敛或者都不收敛，也可能一个收敛另一个不收敛，两种方法的收敛速度也不一样.5.3 迭代法的收敛条件与误差分析定义6[1]矩阵全部的特征值的模的最大值，叫做矩阵的谱半径，记作 ,即.定理7[1]对任意初始向量迭代过程收敛的充要条件是；当时，越小，那么其收敛的速度是越快的.由定理7可知，用雅可比迭代法求解时，其迭代的过程是收敛的，而用高斯-赛德尔迭代法来求解,其迭代的过程是发散的.在不同条件下，收敛的速度是不同的，对同一矩阵，一种方法是收敛的，一种方法发散.第 7 页。