解对称正定矩阵线性方程组的平方根法

解线性n 阶方程组直接法—Cholesky 方法解n 阶线性方程组Ax=b 的choleskly 方法也叫做平方根法，这里对系数矩阵A 是有要求的，需要A 是对称正定矩阵，根据数值分析的相关理论，如果A 对称正定，那么系数矩阵就可以被分解为的T A=L L ∙形式，其中L 是下三角矩阵，将其代入Ax=b 中，可得：T LL x=b进行如下分解：T L x L b y y ⎧=⎨=⎩那么就可先计算y,再计算x ，由于L 是下三角矩阵，是T L 上三角矩阵，这样的计算比直接使用A 计算简便，同时你应该也发现了工作量就转移到了矩阵的分解上面，那么对于对称正定矩阵A 进行Cholesky 分解，我再描述一下过程吧： 如果你对原理很清楚那么这一段可以直接跳过的。

设T A=L L ∙，即1112111112112122221222221212....................................n n n n n n nn n n nn nn a a a l l l l a a a l l l l a a a l l l l ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦其中,,1,2,...,ij ji a a i j n ==第1步，由矩阵乘法，211111111,i i a l a l l == 故求得111111,2,3,...i i a l l i n a === 一般的，设矩阵L 的前k-1列元素已经求出第k 步，由矩阵乘法得112211k k kk km kkik im km ik kk m m a l l a l l l l --===+=+∑∑, 于是11(2,3,...,n)1(),1,2,...kk k ik ik im km m kk l k l a l l i k k n l -=⎧=⎪⎪=⎨⎪=-=++⎪⎩∑ 注意到21kkk km m a l ==∑，于是有21max km kk ii i nl a a ≤≤≤≤ 这充分说明分解过程中元素2km l 的平方不会超过系数矩阵A 的最大对角元，因而分解过程中舍入误差的放大收到了控制，用平方根法解对称正定方程组时可以不考虑选主元问题。

线性方程组的四种数值解法(电子科技大学物理电子学院，四川 成都 610054)摘要：本文介绍了四种求解线性方程组的数值解法: 雅克比迭代法、高斯赛德尔迭代法、高斯消去法和改进的平方根法的基本原理和算法流程，通过求解具体方程，对四种求解方法进行了对比。

对于雅克比迭代法和高斯赛德尔迭代法，研究了两种算法对求解同一方程组的迭代效率差异，结果表明高斯赛德尔迭代法达到同样精度所需迭代次数较少。

对于高斯消去法，通过选择列主元的方法提高算法的准确度，计算结果表明高斯消去法计算精确，且运算复杂度也不是很高。

对于改进的平方根法，其运算复杂度低，但对于给定的方程组有着严苛的要求。

关键词：雅克比迭代法；高斯赛德尔迭代法；高斯消去法；改进的平方根法；线性方程组引言线性方程组的求解在日常生活和科研中有着极其重要的应用，但在实际运算中，当矩阵的维数较高时，用初等方法求解的计算复杂度随维数的增长非常快，因此，用数值方法求解线性方程组的重要性便显现出来。

经典的求解线性方程组的方法一般分为两类：直接法和迭代法。

前者例如高斯消去法,改进的平方根法等，后者的例子包括雅克比迭代法，高斯赛德尔迭代法等。

这些方法的计算复杂度在可以接受的范围内，因此被广泛采用。

一般来说，直接法对于阶数比较低的方程组比较有效；而后者对于比较大的方程组更有效。

在实际计算中，几十万甚至几百万个未知数的方程组并不少见。

在这些情况下，迭代法有无可比拟的优势。

另外，使用迭代法可以根据不同的精度要求选择终止时间，因此比较灵活。

在问题特别大的时候，计算机内存可能无法容纳被操作的矩阵，这给直接法带来很大的挑战。

而对于迭代法，则可以将矩阵的某一部分读入内存进行操作，然后再操作另外部分。

本文使用上述四种算法求解对应的方程组，验证各种算法的精确度和计算速度。

1 算法介绍1.1 雅克比迭代法 1.1.1 算法理论设线性方程组(1)b Ax的系数矩阵A 可逆且主对角元素 均不为零,令并将A 分解成 (2)从而(1)可写成令其中. (3)以B 1为迭代矩阵的迭代法(公式)(4)称为雅克比(Jacobi)迭代法(公式),用向量的分量来表示,(4)为(5)其中为初始向量.1.1.2 算法描述 1给定迭代初始向量X 0以及误差要求delta 2根据雅克比迭代公式计算出下一组向量 3判断X 是否满足误差要求，即||X k+1 – X k || < delta4若误差满足要求，则停止迭代返回结果；若否，则返回第二步进行下一轮迭代1.2 高斯赛德尔迭代法nna ,...,a ,a 2211()nna ,...,a ,a diag D 2211=()D D A A +-=()b x A D Dx +-=11f x B x +=b D f ,A D I B 1111--=-=()()111f x B x k k +=+⎩⎨⎧[],...,,k ,n ,...,i x a ba xnij j )k (j j i iii)k (i21021111==∑-=≠=+()()()()()Tn x ,...x ,x x 002010=1.2.1 算法理论由雅克比迭代公式可知,在迭代的每一步计算过程中是用的全部分量来计算的所有分量,显然在计算第i 个分量时,已经计算出的最新分量没有被利用，从直观上看,最新计算出的分量可能比旧的分量要好些.因此，对这些最新计算出来的第次近似的分量加以利用,就得到所谓解方程组的高斯—塞德尔（Gauss-Seidel ）迭代法.把矩阵A 分解成(6)其中,分别为的主对角元除外的下三角和上三角部分,于是,方程组(1)便可以写成即其中(7)以为迭代矩阵构成的迭代法(公式)(8)称为高斯—塞德尔迭代法(公式),用变量表示的形式为(9)1.2.2 算法描述 1给定迭代初始向量X 0以及误差要求delta2根据高斯赛德尔迭代公式计算出下一组向量()k x ()1+k x ()1+k ix ()()1111+-+k i k x ,...,x 1+k()1+k x()1+k jx U L D A --=()nna ,...,a ,a diag D 2211=U ,L --A ()b Ux x L D +=-22f x B x +=()()b L D f ,U L D B 1212---=-=2B ()()221f x B x k k +=+⎩⎨⎧[],...,,k ,n ,,i x a x a b a xi j n i j )k (j ij )k (j ij i ii)k (i21021111111==∑∑--=-=+=++3判断X 是否满足误差要求，即||X k+1 – X k || < delta4若误差满足要求，则停止迭代返回结果；若否，则返回第二步进行下一轮迭代1.3 高斯消去法 1.3.1 算法理论下面三种变换称为初等行变换：1.对调两行；2.以数k ≠0乘某一行中的所有元素；3.把某一行所有元素的k 倍加到另一行对应的元素上去。

浅析线性方程组的平方根解法在求解线性方程组时,直接解法有顺序高斯消元法、列主元高斯消元法、全主元高斯消元法、高斯约当消元法、消元形式的追赶法、LU 分解法、矩阵形式的追赶法，当我们遇到对称正定线性方程组时，我们就要用到平方根法(对称LLT 分解法)来求解，为了熟悉和熟练运用平方根法求解线性方程组，下面对运用平方根法求解线性方程组进行解析。

一、运用平方根法求解线性方程组涉及到的定理及定义我们在运用平方根法求解线性方程组时，要判定线性方程组Ax=b 的系数矩阵A 是否是对称正定矩阵，那么我们就要了解正定矩阵的性质和如下定理及定义：1、由线性代数知，正定矩阵具有如下性质：1) 正定矩阵A 是非奇异的2) 正定矩阵A 的任一主子矩阵也必为正定矩阵 3) 正定矩阵A 的主对角元素均为正数 4) 正定矩阵 A 的特征值均大于零 5) 正定矩阵A 的行列式必为正数定义一 线性方程组Ax=b 的系数矩阵A 是对称正定矩阵，那么Ax=b 是对称正定线性方程组。

定义二 如果方阵A 满足A=AT ，那么A 是对称阵。

2.1.4 平方根法和改进的平方根法如果A 是n 阶对称矩阵，由定理2还可得如下分解定理：定理2 若A 为n 阶对称矩阵，且A 的各阶顺序主子式都不为零，则A 可惟一分解为：A ＝LDLT ，其中L 为单位下三角阵，D 为对角阵。

证明 因为A 的各阶顺序主子式都不为零，所以A 可惟一分解为：A ＝LU 因为 ，所以可将 U 分解为：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=nn u u u U 2211⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛11122211112 u u u u u u n nn n 1DU =其中 D 为对角矩阵，U1为单位上三角阵．于是：A ＝LDU1＝L(DU1)因为A 为对称矩阵，所以，A ＝AT ＝U1TDTLT ＝U1T(DLT)，由 A 的 LU 分解的惟一性即得：L ＝U1T ，即U1＝LT ，故A ＝LDLT 。

对称正定矩阵cholesky分解
对称正定矩阵是常见的一种特殊矩阵，其具有很多有用的性质和应用。

在线性代数中，对称正定矩阵的Cholesky分解是一种重要的分解方法，可用于解线性方程组、求矩阵行列式等问题。

Cholesky分解是将对称正定矩阵A分解为下三角矩阵L和其转置的乘积：A=LL^T，其中L的对角线元素均为正数。

这种分解方法的优点在于其计算量小、计算稳定，且可避免舍入误差带来的不稳定性。

具体而言，Cholesky分解可通过以下算法实现：
1. 对A进行LU分解得到U，令L=U^T；
2. 对L中每行的对角线元素做平方根；
3. 以每一列为计算单元，从上到下计算L中的元素，得到分解结果。

在实际应用中，Cholesky分解常用于求解正定线性方程组，因为其具有数值上的稳定性和计算效率。

例如，对于矩阵方程Ax=b，若A是
对称正定的，则可通过Cholesky分解得到L和L^T，进而求解Lz=b 和L^T x=z的过程，从而得到方程的解。

此外，Cholesky分解还可用于求解矩阵行列式、线性最小二乘等问题。

此外，该方法还有一些参考意义，例如，在求解自然语言处理领域的
条件随机场等问题中，Cholesky分解可用于优化模型参数的更新过程。

总之，对称正定矩阵的Cholesky分解是一种重要的线性代数分解方法，可用于求解线性方程组、求解矩阵行列式和优化模型等问题。

该分解
具有计算量小、计算稳定等特点，在实际应用中有广泛的应用前景。

（2）设对称正定阵系数阵线方程组12345678424024000221213206411418356200216143323218122410394334411142202531011421500633421945x x x x x x x x -⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥---⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥----⎢⎥⎢⎥⎢⎥----⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥----⎢⎥⎢⎥⎢⎥----⎢⎥⎢⎥⎢⎢⎥⎢⎥⎢---⎢⎥⎢⎥⎢--⎢⎥⎢⎢⎥⎣⎦⎣⎦⎣⎦⎥⎥⎥⎥ (1,1,0,2,1,1,0,2)T x *=--二、数学原理 1、平方根法解n 阶线性方程组Ax=b 的choleskly 方法也叫做平方根法，这里对系数矩阵A 是有要求的，需要A 是对称正定矩阵，根据数值分析的相关理论，如果A 对称正定，那么系数矩阵就可以被分解为的T A=L L •形式，其中L 是下三角矩阵，将其代入Ax=b 中，可得：T LL x=b 进行如下分解：T L xL by y ⎧=⎨=⎩ 那么就可先计算y,再计算x ，由于L 是下三角矩阵，是T L 上三角矩阵，这样的计算比直接使用A 计算简便，同时你应该也发现了工作量就转移到了矩阵的分解上面，那么对于对称正定矩阵A 进行Cholesky 分解，我再描述一下过程吧： 如果你对原理很清楚那么这一段可以直接跳过的。

设T A=L L •，即1112111112112122221222221212....................................n n n n n n nn n n nn nn a a a l l l l aa a l l l l a a a l l l l ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦其中,,1,2,...,ij ji a a i j n ==第1步，由矩阵乘法，211111111,i i a l a l l ==故求得111111,2,3,...i i a l l i n a === 一般的，设矩阵L 的前k-1列元素已经求出 第k 步，由矩阵乘法得112211k k kk kmkkik im km ik kkm m a l l a l l l l --===+=+∑∑, 于是11(2,3,...,n)1(),1,2,...kk k ik ik im km m kk l k l a l l i k k n l -=⎧=⎪⎪=⎨⎪=-=++⎪⎩∑ 2、改进平方根法在平方根的基础上，为了避免开方运算,所以用TLDL A =计算；其中，11122.........n d D D D d ⎤⎤⎡⎤⎥⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎢⎢⎥⎣⎦⎣⎣；得1121212212111111n n n n n d l l l d l A l l d ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦按行计算的L 元素及D 对元素公式 对于n i ,,2,1 =11(1,21)j ij ij ik jk k t a t l j i -==-=-∑…，./(1,2,)ij ij j l t d j ==…，i-1.11i i ii ik ikk d a t l -==-∑计算出LD T =的第i 行元素(1,2,i-1)ij t j =…，后，存放在A 的第i 行相置，然后再计算L 的第i 行元素，存放在A 的第行.D 的对角元素存放在A 的相应位置.对称正定矩阵A 按T LDL 分解和按T LL 分解计算量差不多，但TLDL 分解不需要开放计算。

浅析线性方程组的平方根解法在求解线性方程组时,直接解法有顺序高斯消元法、列主元高斯消元法、全主元高斯消元法、高斯约当消元法、消元形式的追赶法、LU 分解法、矩阵形式的追赶法，当我们遇到对称正定线性方程组时，我们就要用到平方根法(对称LLT 分解法)来求解，为了熟悉和熟练运用平方根法求解线性方程组，下面对运用平方根法求解线性方程组进行解析。

一、运用平方根法求解线性方程组涉及到的定理及定义我们在运用平方根法求解线性方程组时，要判定线性方程组Ax=b 的系数矩阵A 是否是对称正定矩阵，那么我们就要了解正定矩阵的性质和如下定理及定义：1、由线性代数知，正定矩阵具有如下性质：1) 正定矩阵A 是非奇异的2) 正定矩阵A 的任一主子矩阵也必为正定矩阵 3) 正定矩阵A 的主对角元素均为正数 4) 正定矩阵 A 的特征值均大于零 5) 正定矩阵A 的行列式必为正数定义一 线性方程组Ax=b 的系数矩阵A 是对称正定矩阵，那么Ax=b 是对称正定线性方程组。

定义二 如果方阵A 满足A=AT ，那么A 是对称阵。

2.1.4 平方根法和改进的平方根法如果A 是n 阶对称矩阵，由定理2还可得如下分解定理：定理2 若A 为n 阶对称矩阵，且A 的各阶顺序主子式都不为零，则A 可惟一分解为：A ＝LDLT ，其中L 为单位下三角阵，D 为对角阵。

证明 因为A 的各阶顺序主子式都不为零，所以A 可惟一分解为：A ＝LU 因为 ，所以可将 U 分解为：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=nn u u u U 2211⎪⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛11122211112 u u u u u u n nn n 1DU =其中 D 为对角矩阵，U1为单位上三角阵．于是：A ＝LDU1＝L(DU1)因为A 为对称矩阵，所以，A ＝AT ＝U1TDTLT ＝U1T(DLT)，由 A 的 LU 分解的惟一性即得：L ＝U1T ，即U1＝LT ，故A ＝LDLT 。

浅析线性方程组的平方根解法在求解线性方程组时,直接解法有顺序高斯消元法、列主元高斯消元法、全主元高斯消元法、高斯约当消元法、消元形式的追赶法、LU 分解法、矩阵形式的追赶法，当我们遇到对称正定线性方程组时，我们就要用到平方根法(对称LLT 分解法)来求解，为了熟悉和熟练运用平方根法求解线性方程组，下面对运用平方根法求解线性方程组进行解析。

一、运用平方根法求解线性方程组涉及到的定理及定义我们在运用平方根法求解线性方程组时，要判定线性方程组Ax=b 的系数矩阵A 是否是对称正定矩阵，那么我们就要了解正定矩阵的性质和如下定理及定义：1、由线性代数知，正定矩阵具有如下性质：1) 正定矩阵A 是非奇异的2) 正定矩阵A 的任一主子矩阵也必为正定矩阵 3) 正定矩阵A 的主对角元素均为正数 4) 正定矩阵 A 的特征值均大于零 5) 正定矩阵A 的行列式必为正数定义一 线性方程组Ax=b 的系数矩阵A 是对称正定矩阵，那么Ax=b 是对称正定线性方程组。

定义二 如果方阵A 满足A=AT ，那么A 是对称阵。

2.1.4 平方根法和改进的平方根法如果A 是n 阶对称矩阵，由定理2还可得如下分解定理：定理2 若A 为n 阶对称矩阵，且A 的各阶顺序主子式都不为零，则A 可惟一分解为：A ＝LDLT ，其中L 为单位下三角阵，D 为对角阵。

证明 因为A 的各阶顺序主子式都不为零，所以A 可惟一分解为：A ＝LU 因为 ，所以可将 U 分解为：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=nn u u u U O 2211⎪⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛11122211112M O ΛΛu u u u u u n nn n 1DU =其中 D 为对角矩阵，U1为单位上三角阵．于是：A ＝LDU1＝L(DU1)因为A 为对称矩阵，所以，A ＝AT ＝U1TDTLT ＝U1T(DLT)，由 A 的 LU 分解的惟一性即得：L ＝U1T ，即U1＝LT ，故A ＝LDLT 。

（2）设对称正定阵系数阵线方程组12345678424024000221213206411418356200216143323218122410394334411142202531011421500633421945x x x x x x x x -⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥---⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥----⎢⎥⎢⎥⎢⎥----⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥----⎢⎥⎢⎥⎢⎥----⎢⎥⎢⎥⎢⎢⎥⎢⎥⎢---⎢⎥⎢⎥⎢--⎢⎥⎢⎢⎥⎣⎦⎣⎦⎣⎦⎥⎥⎥⎥ (1,1,0,2,1,1,0,2)T x *=--二、数学原理 1、平方根法解n 阶线性方程组Ax=b 的choleskly 方法也叫做平方根法,这里对系数矩阵A 是有要求的，需要A 是对称正定矩阵，根据数值分析的相关理论，如果A 对称正定，那么系数矩阵就可以被分解为的T A=L L •形式，其中L 是下三角矩阵，将其代入Ax=b 中，可得：T LL x=b 进行如下分解：T L xL by y ⎧=⎨=⎩ 那么就可先计算y,再计算x ，由于L 是下三角矩阵，是T L 上三角矩阵，这样的计算比直接使用A 计算简便，同时你应该也发现了工作量就转移到了矩阵的分解上面，那么对于对称正定矩阵A 进行Cholesky 分解,我再描述一下过程吧： 如果你对原理很清楚那么这一段可以直接跳过的. 设T A=L L •，即1112111112112122221222221212....................................n n n n n n nn n n nn nn a a a l l l l a a a l l l l a a a l l l l ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦其中,,1,2,...,ij ji a a i j n ==第1步，由矩阵乘法,211111111,i i a l a l l ==故求得111111,2,3,...i i a l l i n a === 一般的，设矩阵L 的前k —1列元素已经求出 第k 步，由矩阵乘法得112211k k kk kmkkik im km ik kkm m a l l a l l l l --===+=+∑∑, 于是11(2,3,...,n)1(),1,2,...kk k ik ik im km m kk l k l a l l i k k n l -=⎧=⎪⎪=⎨⎪=-=++⎪⎩∑ 2、改进平方根法在平方根的基础上，为了避免开方运算,所以用TLDL A =计算;其中，11122.........n d D D D d ⎤⎤⎡⎤⎥⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎢⎢⎥⎣⎦⎣⎣；得1121212212111111n n n n n d l l l d l A l l d ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦按行计算的L 元素及D 对元素公式 对于n i ,,2,1 =11(1,21)j ij ij ik jk k t a t l j i -==-=-∑…，。