下载文档原格式
数值计算与MATLAB1《数值计算与MATLAB 》第6章求解线性代数方程组和计算矩阵特征值的迭代法§1 求解线性代数方程组的迭代法§2 方阵特征值和特征向量的计算§3 矩阵一些特征参数的MATLAB计算《数值计算与MATLAB 》6.1 求解线性代数方程组的迭代法1、迭代法的基本原理如果线性方程组Ax=b 的系数矩阵A 非奇异，则方程组有唯一解。
把这种方程中的方阵A 分解成两个矩阵之差：A=C-D若方阵C 是非奇异的，把A 它代入方程Ax=b 中，得出(C-D)x=b ，两边左乘C -1，并令M=C -1D ，g= C -1b ，移项可将方程Ax=b 变换成：x=Mx+g据此便可构造出迭代公式：xk+1=Mx k +g ，M=C -1D 称为迭代矩阵。
《数值计算与MATLAB 》2. 雅可比（Jacobi ）迭代法如果方程组Ax=b 的系数矩阵A非奇异，aii≠0，若可以把A 分解成：A=D-L-U=D+(-L)+(-U)，D=diag(a11,a22,…,a nn)；-L是严格下三角阵；-U是严格上三角矩阵；x= D-1((L+U)x +b)=D-1(L+U)x+ D-1bx k+1=D-1((L+U)x k+b)= D-1(L+U)x k+ D-1bMM=D-1(L+U)称为雅可比迭代矩阵《数值计算与MATLAB 》⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=67-4121-26-3-115-12A⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=61-3-2D⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=74-1-2-1-L⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2-61-51-UM=D-1(L+U)=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡7/62/3-1/6-222-1/31/2-5/21/2-《数值计算与MATLAB 》雅可比迭代公式的向量形式x k =[( x k ) 1,( x k ) 2, …,(x k ) n ]T , k=0,1,2,……，D-1=diag( , ,… ,)，11a122a1nna1))((1)(11∑≠=++-=nijjijijiiikbxaaxk《数值计算与MATLAB》3. 赛德尔（Seidel）迭代法))((1)(11∑≠=++-=nijjijijiiikbxaaxkM= (D-L)-1U称为赛德尔迭代矩阵4. 迭代法的敛散性方阵的谱半径《数值计算与MATLAB》《数值计算与MATLAB 》向量范数非负性：||x||≥0齐次性：||ax||=|a|||x||；三角不等式：||x||+||y||≥||x+y||。
数值分析--第6章解线性方程组的迭代法第6章 解线性方程组的迭代法直接方法比较适用于中小型方程组。
对高阶方程组，即使系数矩阵是稀疏的，但在运算中很难保持稀疏性，因而有存储量大，程序复杂等不足。
迭代法则能保持矩阵的稀疏性，具有计算简单，编制程序容易的优点，并在许多情况下收敛较快。
故能有效地解一些高阶方程组。
1 迭代法概述迭代法的基本思想是构造一串收敛到解的序列，即建立一种从已有近似解计算新的近似解的规则。
由不同的计算规则得到不同的迭代法。
迭代法的一般格式(1)()(1)()(,,,),0,1,k k k k m kF k +--==x x x x式中(1)k +x 与()(1)(),,,k k k m --x x x 有关，称为多步迭代法。
若(1)k +x 只与()k x 有关，即(1)()(),0,1,k k kF k +==x x称为单步迭代法。
再设kF 是线性的，即(1)(),0,1,k kk kk +=+=x B x f式中n nk ⨯∈B R ，称为单步线性迭代法。
kB 称为迭代矩阵。
若k B 和kf 与k 无关，即(1)(),0,1,k k k +=+=x Bx f称为单步定常线性迭代法。
本章主要讨论具有这种形式的各种迭代方法。
1.1 向量序列和矩阵序列的极限由于nR 中的向量可与nR 的点建立——对应关系，由点列的收敛概念及向量范数的等价性，可得到向量序列的收敛概念。
定义6.1 设(){}k x 为n R 中的向量序列，nx R ∈，如果()lim 0k k x x →∞-=其中为向量范数，则称序列(){}k x 收敛于x ，记为()lim k k x x →∞=。
定理6.1 nR 中的向量序列(){}k x 收敛于nR 中的向量x 当且仅当()lim (1,2,,)k i i k x x i n →∞==其中()()()()1212(,,,),(,,,)k k k k T Tnnx x x x x x x x ==。
第六章回归问题——线性方程组求解的迭代法6.1 回归问题6.1.1 问题的引入在数理统计中，把研究对象的全体称为总体，而把组成总体的每个单元称为个体，要了解总体的规律性，必须对其中的个体进行统计观测。
但若对全部个体进行观测，这样能对总体有充分的了解，但实际上行不通，而且也不经济。
所以对整体进行随机抽样观测，再根据抽样观察的结果来推断总体的性质成为一种重要的方法。
许多数理统计建模的实际问题中，一个随机变量与另一个随机变量的关系不是线性关系，而是曲线关系，那么如何确定回归方程呢？下表给出了某种产品每件平均单价y（元）与批量x（件）之间的关系的一组数据，试确定y与x的函数关系。
表6.1.1 已知数据6.1.2 模型的分析先将表6.1.1中的数据进行曲线拟合，然后根据经过拟合的曲线形状确定回归方程的次数。
用MATLAB做出拟合图如下，由下图知,可建立二次回归多项式模型。
图6.1.1 散点图6.1.3 模型的假设假设上表给出的数据是真实的，且以上数据是随机抽取的可以较准确地推断单位与批量的关系，假设单价与批量的函数关系是一个多项式函数，可用多项回归来建立模型。
6.1.4 模型的建立根据模型的分析，可以建立多项式模型22012,(0,)y x x N βββεεδ=+++ ，令212,x x x x ==，则回归方程可写成2201121,(0,)y x x N βββεεδ=+++ ，这是一个二元线性回归模型。
且()T T X X X Y β=，其中：120400 1.18125625 1.70130900 1.651351225 1.551401600 1.481502500 1.40 1603600 1.301654225 1.261704900 1.241755625 1.211806400 1.201908100 1.18X Y ⎡⎤⎡⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢==⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢⎢⎥⎢⎥⎣⎦⎣012 =ββββ⎤⎥⎥⎥⎥⎥⎥⎥⎡⎤⎥⎢⎥⎥⎢⎥⎥⎢⎥⎣⎦⎥⎥⎥⎥⎥⎢⎥⎢⎥⎦ 6.2 线性方程组迭代法概述迭代法：即用某种极限过程逐步逼近线性方程组精确解的方法。
线性方程组与矩阵特征值求解的数值方法线性方程组与矩阵特征值求解是线性代数中的两个重要问题。
线性方程组解决了形如Ax=b的方程组，其中A为一个m×n的矩阵，b为一个m 维的向量，求解x使得该方程组成立。
矩阵特征值求解是求解形如Ax=λx的特征值和特征向量问题，其中A为一个n×n的矩阵，λ为特征值，x为特征向量。
这两个问题在实际应用中有广泛的应用，如计算机图形学、仿真和优化等领域。
本文将介绍线性方程组和矩阵特征值求解的数值方法。
一、线性方程组的求解方法1.1直接法直接法是指通过一系列的代数运算和变换直接求解线性方程组的解。
经典的直接法有高斯消元法、LU分解法和Cholesky分解法等。
这些方法的时间复杂度通常为O(n^3)。
直接法的优点是解的精度高，稳定性好，适用于小规模的问题。
1.2迭代法迭代法是指通过迭代计算逼近线性方程组的解。
迭代法的基本思想是将原方程组转化为递推的形式，并选择一个初始解，通过递推计算得到趋于或精确的解。
常用的迭代法有Jacobi迭代法、Gauss-Seidel迭代法和SOR迭代法等。
这些方法的时间复杂度通常为O(n^2)。
迭代法的优点是适用于大规模问题，但收敛速度慢，精度较差。
二、矩阵特征值求解方法2.1幂法幂法是求解特征值最大的特征值与对应特征向量的方法。
假设有一个n×n的矩阵A，选择一个初始向量x(0)，通过迭代计算x(k)=Ax(k-1)/，Ax(k-1)，其中，·，表示向量的范数，直到收敛为止。
最后得到的x为特征向量，特征值为λ=(Ax·x)/(x·x)。
幂法的收敛速度较慢，但适用于特征值分布差异较大的情况。
2.2反幂法反幂法是求解特征值最小的特征值与对应特征向量的方法。
和幂法类似，反幂法选择一个初始向量x(0)，通过迭代计算x(k)=(A-λI)^-1x(k-1)/，(A-λI)^-1x(k-1)，其中I为单位矩阵，λ为近似的特征值，直到收敛为止。
矩阵运算：高效地求解线性方程组和矩阵特征值的算法矩阵运算一直是数学和工程领域的基础，它涉及到大量的线性代数和数值计算的内容。
线性方程组和矩阵特征值的计算是矩阵运算中最为基础和常用的问题，其解法的高效性和精度直接影响到许多领域的应用。
在本文中，我们将介绍一些当前主流的算法，探讨如何高效地求解线性方程组和矩阵特征值。
一、线性方程组的求解线性方程组的求解一般涉及到高斯消元法、LU分解法、Cholesky 分解法、QR分解法、SVD方法等多种算法。
其中，LU分解法和Cholesky分解法是针对对称矩阵而言的，QR分解法和SVD方法是求解一般非对称矩阵的方法。
1. 高斯消元法高斯消元法是最为基本的求解线性方程组的方法。
它通过逐步消元，将系数矩阵转化为上三角矩阵，最终求解出未知量。
高斯消元法的优点在于简单易懂，但其缺点也很明显，一旦矩阵的规模增大，其计算量极大，不仅计算时间长，而且精度容易出现问题。
2. LU分解法LU分解法是将系数矩阵分解为一个下三角矩阵L和一个上三角矩阵U的乘积，然后通过回代法求解出未知量。
其优点在于可以避免重复消元，提高计算效率。
而且在求解多个具有相同系数矩阵的线性方程组时，这种分解方法更具优势。
3. Cholesky分解法Cholesky分解法适用于对称正定矩阵的线性方程组求解问题。
它将系数矩阵分解为一个下三角矩阵L和其转置的乘积，即$A=LL^T$。
由于对称正定矩阵具有很好的性质，所以Cholesky分解法不仅更加高效，而且更为精确。
4. QR分解法QR分解法是解决一般非对称矩阵线性方程组问题的一种方法。
其思想是将系数矩阵$A$分解为一个正交矩阵$Q$和一个上三角矩阵$R$的乘积，即$A=QR$，然后通过回代法求解出未知量。
QR分解法具有精度高、计算效率高的优点，广泛应用于工程领域中特别是在高精度的数值计算方面，和求解拟合问题。
5. SVD方法SVD方法是一种广泛应用的矩阵分解方法，适用于求解一般非对称矩阵线性方程组问题。
矩阵迭代法
矩阵迭代法，也称为迭代法求解线性方程组，是一种迭代计算的方法，用于求解线性方程组的近似解。
它基于将线性方程组转化为迭代格式，并通过多次迭代
逐步接近方程组的解。
矩阵迭代法的基本思想是通过不断迭代的方式，使用一个初始猜测的解来逐步逼
近真实的解。
具体步骤如下：
将线性方程组表示为矩阵形式 A * x = b，其中 A 是系数矩阵，x 是未知变
量向量，b 是常数向量。
对于初始猜测的解向量x^(0)，将其代入方程组，得到 A * x^(0) = b。
根据迭代公式x^(k+1) = M * x^(k) + N，其中M 和N 是合适选择的矩阵，
k 是迭代次数。
通过多次迭代，计算x(1)，x(2)，x^(3)，…，直到满足收敛条件（如预设的
迭代次数或达到指定的误差范围）。
最终的迭代结果x^(k) 就是线性方程组的近似解。
矩阵迭代法中，选择合适的迭代公式和迭代矩阵M、N 是关键。
常用的矩阵迭代方法包括雅可比迭代法、高斯-赛德尔迭代法和超松弛迭代法等。
需要注意的是，矩阵迭代法并不保证在所有情况下都能收敛到精确解，且其收敛速度可能较慢。
因此，在实际应用中，需要根据具体问题和矩阵特性来选择合适
的迭代方法，并进行适当的优化。
数值计算与MATLAB
1
《数值计算与MATLAB 》
第6章求解线性代数方程组和计算矩阵特征值的迭代法§1 求解线性代数方程组的迭代法
§2 方阵特征值和特征向量的计算
§3 矩阵一些特征参数的MATLAB计算
《数值计算与MATLAB 》
6.1 求解线性代数方程组的迭代法
1、迭代法的基本原理
如果线性方程组Ax=b的系数矩阵A非奇异，则方程组有唯一解。
把这种方程中的方阵A分解成两个矩阵之差：A=C-D
若方阵C是非奇异的，把A它代入方程Ax=b中，得出 (C-D)x=b，两边左乘C-1，并令 M=C-1D，g= C-1b，移项可将方程Ax=b变换成：
x=Mx+g
据此便可构造出迭代公式： x
k+1
=Mx k+g，
M=C-1D称为迭代矩阵。
《数值计算与MATLAB 》2. 雅可比（Jacobi）迭代法
如果方程组Ax=b的系数矩阵A非奇异，a
ii
≠0，若可以把A 分解成： A=D-L-U=D+(-L)+(-U)，
D=diag(a11,a22,…,a nn)；
-L是严格下三角阵；
-U是严格上三角矩阵；
x= D-1((L+U)x +b)=D-1(L+U)x+ D-1b
x k+1=D-1((L+U)x k+b)= D-1(L+U)x k + D-1b
M
M=D-1(L+U)称为雅可比迭代矩阵
《数值计算与MATLAB 》
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
6
7-
4
1
2
1-
2
6-
3-
1
1
5-
1
2
A
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
6
1-
3-
2
D
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
7
4-
1-
2-
1-
L
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
=
2-
6
1-
5
1-
U
M=D-1(L+U)=
⎥
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎢
⎣
⎡
7/6
2/3
-
1/6
-
2
2
2-
1/3
1/2
-
5/2
1/2
-
《数值计算与MATLAB 》雅可比迭代公式的向量形式
x k=[( x k) 1,( x k) 2, …,(x k) n]T, k=0,1,2,……，
D-1=diag( , ,… ,)，
11
a
1
22
a
1
nn
a
1
)
)
(
(
1
)
(
1
1∑
≠
=
+
+
-
=
n
i
j
j
i
j
ij
ii
i
k
b
x
a
a
x
k
《数
值
计
算
与
MATLAB
》
3. 赛德尔（Seidel）迭代法
)
)
(
(
1
)
(
1
1∑
≠
=
+
+
-
=
n
i
j
j
i
j
ij
ii
i
k
b
x
a
a
x
k
M= (D-L)-1U称为赛德尔迭代矩阵
《数值计算与MATLAB 》4. 迭代法的敛散性方阵的谱半径
《数值计算与MATLAB 》向量范数
非负性：||x||≥0
齐次性：||ax||=|a|||x||；
三角不等式：||x||+||y||≥||x+y||。
《数值计算与MATLAB 》矩阵范数
如果满足范数三条件，同时满足矩阵乘法相容性（次乘性）：||A||·||B||≥||A·B||
《数
值
计
算
与
MATLAB
》
迭代公式收敛性的判断和误差估计：
1）方阵谱半径和范数间的关系：
λx=Mx
ρ(M)≤||M|| 2）迭代公式的误差估计：
《数值计算与MATLAB 》
6.2 方阵特征值和特征向量的计算
解多项式方程法迭代法
1. 方阵特征方程的求解：
如果n阶方阵A、n维向量x和数λ满足关系：Ax=λx，就把数λ叫做方阵A的特征值，非零向量x是与λ对应的方阵A的特征向量。
)
det(=
-E
Aλ
)
(=
-x
E
Aλ
《数值计算与MATLAB 》2.计算特征值和特征向量的迭代法：
雅可比法：
对于n阶实对称方阵A，必然存在正交阵P，使得
P-1AP=P T AP=Λ
Λ是对角阵。
雅可比法原理：用矩阵的正交相似变换，将实对称矩阵化为对角阵，因为它相当于坐标的旋转变换，所以也叫旋转法。
《数值计算与MATLAB 》QR算法：
由施密特（Schmidt）正交化方法可以推得，任意n 阶方阵A总可以分解成一个正交矩阵Q（Q T Q=E）和一个上三角阵R的乘积：
A=QR
这种把矩阵分解成正交阵与上三角阵之积的过程，叫正交三角分解或QR分解。
如果A是非奇异方阵，则这种分解是唯一的。
《数值计算与MATLAB 》
6.3 矩阵一些特征参数的MATLAB求算
求方阵行列式的指令det：det (A)
求方阵特征多项式的指令poly：P=poly (A) roots(P)
poly2str(P,’y’)
求方阵特征值和特征向量指令eig：[x r]=eig (A)；eig (A)
[x r]=eig (A, “nobalance”)
矩阵的正交三角分解指令qr：[q r]=qr(a)； [q r p]=qr(a)
计算范数指令norm：norm(A, ex)
矩阵谱半径的计算：max(abs(eig(M)))。
