QR分解,Krylov迭代法.收敛性分析简要
- 格式:pdf
- 大小:277.70 KB
- 文档页数:36
计算科学中的迭代和收敛性分析在计算科学中,迭代和收敛性分析是两个常见的概念。
迭代是指通过重复执行一定的计算过程来逐步逼近所要求解的问题的方法。
而收敛性则是评估所得解与真实解之间的误差以及迭代过程中的精度变化。
迭代方法在计算科学中的应用非常广泛。
例如,在求解非线性方程和求解常微分方程等问题中,常用的方法都是迭代法。
迭代法的基本思想是从初始条件开始,逐步逼近所要求解的问题。
具体操作时,首先需要选定一个初始值,然后通过一定的迭代公式进行计算,得到一个新的值,并将其作为下一次迭代时的初始值。
如此重复执行,直到所求解的问题达到所期望的精度要求为止。
然而,迭代方法并不总是能够收敛到所要求的真实解。
这就引出了收敛性分析的问题。
收敛性指的是迭代方法是否在无限迭代的情况下,能够收敛到真实解。
如果能够收敛,那么我们还需要考虑的是其收敛速度,即迭代过程中精度变化的规律。
在实际应用中,迭代法的收敛性和收敛速度是非常重要的问题,因为它们直接影响到所得结果的可靠性和计算效率。
因此,在迭代法的设计和评估中,收敛性分析是一个非常重要的环节。
收敛性分析的方法很多。
其中,最常用的方法是通过构造数值序列来评估迭代法的收敛性和收敛速度。
构造数值序列可以通过一系列数学技巧和推导来实现。
对于线性问题,可以通过构造矩阵和向量来实现数值序列的构造。
而对于非线性问题,一般需要考虑一些特定的方法,如牛顿迭代法、欧拉迭代法等。
除了构造数值序列外,在收敛性分析中还有一些其他的方法。
例如,可以考虑迭代法的局部收敛性和全局收敛性。
局部收敛性是指迭代法在某一点附近是否收敛。
这个问题往往可以通过利用泰勒级数来解决。
而全局收敛性则是指迭代法是否对任意的初始值都能收敛。
这个问题的解决通常需要使用一些特定的技巧和算法,例如逐步缩小逼近区间法。
总之,迭代和收敛性分析是计算科学中常见的概念,对于许多实际问题的求解都有重要的应用价值。
通过对迭代法的设计、评估和分析,我们可以帮助提高计算效率和解决实际问题,为科学研究和工程应用做出贡献。
浅谈矩阵的LU分解和QR分解及其应用基于理论研究和计算的需要,往往有必要把矩阵分解为具有某种特性的矩阵之积,这就是我们所说的矩阵分解.本文将介绍两种常用的矩阵分解方法,以及其在解线性方程组及求矩阵特征值中的应用.1.矩阵的LU 分解及其在解线性方程组中的应用1.1高斯消元法通过学习,我们了解到利用Gauss消去法及其一些变形是解决低阶稠密矩阵方程组的有效方法. 并且近些年来利用此类方法求具有较大型稀疏矩阵也取得了较大进展. 下面我们就通过介绍Gauss 消去法,从而引出矩阵的LU 分解及讨论其对解线性方程组的优越性.首先通过一个例子引入:(1.1)例1, 解方程组(1.2)(1.3)解. Step1 (1.1) ( 2) (1.3) 消去(1.3)中未知数, 得到4x2 x3 11 (1.4)Shep2 . (1.2) (1.4) 消去(1.4) 中的未知数x2x1 x2 x3 6 1有4x2x3 5 显然方程组的解为x* 2 上述过程相当于2x3 6 31 1 1 6 1 1 1 6 1 1 1 60 4 1 5 0 4 1 5 0 4 1 52 2 1 10 4 1 100 2 62)+ (r i 表示矩阵的i行)由此看出,消去法的基本思想是: 用逐次消去未知数的方法把原方程化为与 其等价的三角方程组 .下面介绍解一般 n 阶线性方程组的 Gauss 消去法 .a11a1nx 1b 1设AXb则n 阶线性方程组a n1annx nb nAX b (1.5) 并且 A 为非奇异矩阵 .通过归纳法可以将 AX b 化为与其等价的三角形方程,事实上: 及方程(1.5)为A 1 X b 1 ,其中A1Ab 1b(1) 设 a 1(11)0,首先对行计算乘数 mi1a i11m 111. 用 m i1乘 (1.5)的第一个方程加到第 i i 2,3, ,n 个方程上 .消去方程 (1.5)的第 2个方程直到第 n 个方程的未知数 x . a 111 得到与 (1.5) 等价的方程组A 2 b 2(1.6)其中 a ij 2a ij 1m i1a ij 1b i 2b i 1m i1b 11(2) 一般第 k 1 k n 1 次消去,设第 k 1步计算完成 . 即等价于A kX b k(1.7)a 111 a 112 a222且消去未知数 x 1,x 2, ,x k 1.其中 A kb 11简记作 b n 2由设 D i 0(i 1, ,k)及式 (1.8)有 a kk k设 a k (kk) 0 计 算 m ik a ik k/a k kk (ik= 1, n,ikn用 m ik aa ik k (i k 1, ,n) 消去 第k 1 个 方 程直 到第 n 个 方 程的 未知 数 x k . 得 到与 (1. 7等)价的 方 程组 A k 1X b k 1故由数学归纳法知,最后可以把原方程化成一个与原方程等价的三 角方程组 . 但是以上分析明显存在一个问题,即使 A 非奇异也无法保证 a ii i0, 需要把非奇异的条件加强 .D i 0. 即a11 D1 a11 0,Dkak1aikakk证明 利用数学归纳法证明引理的充分性 . 显然,当 k 1 时引理的充分性是成 立的,现在假设引理对 k 1是成立的,求证引理对 k 亦a ii i0 i 1,2 k 1 于是可用 Gauss 消去法将中,即a 111 a 121a 222A1 A ka kk a 11na 22nka knD 2a122 a 111 a 222a 222Dka n k ka n knnnD 3 a 111 a 222 a 333a2ka 111 a 222 a kk k(1.8)a k kka 222显然,由假设 a ii10 i 1,2 k ,利用(1.8) 亦可以推出D i 0(i 1, ,k) 从而由此前的分析易得;定理 1 如果n阶矩阵A的所有顺序主子式均不为零,则可通过Gauss消去法(不进行交换两行的初等变换) ,将方程组(1.5) 约化成上三角方程组,即a111a112a11n x1 b11a222 a22n x2 b22(1.9)a n n n x nb n n1.2矩阵LU 分解从而由以上讨论即能引出矩阵的LU 分解,通过高等代数我们得知对 A 施行行初等变换相当于用初等矩阵左乘A,即L1A1 A2 L1b 1 b2其中1m21 1L1m n1 0 1一般第k 步消元,,相当于L k A k A k 1 Lkb k b k 1重复这一过程,最后得到L n 1 L2L1A1A nn 1 2 11 n(1.10)L n 1 L2L1b 1 b n1m k 1,k 1m nk将上三角形矩阵A n记作U,由式(1.9)得到A=L11L21L n11U LU ,其中其中1m21 1m n1 m n2 1 由以上分析得;定理 2 (LU 分解) 设 A 为n阶矩阵,如果 A 的顺序主子式D i 0(i 1,2,, n 1). 则 A 可分解为一个单位下三角矩阵 L 和一个上三角矩阵 U的乘积,且这种分解是唯一的 .证明 由先前的分析得出存在性是显然的,即 A LU . 下证唯一性 ,设A LU CD 其中 L , C 为单位下三角矩阵, U , D 为上三角矩阵 . 由于D 1 L C UD 上式右端为上三角矩阵,左端为单位下三角矩阵,从而上式两端都 必须等于单位矩阵,故 U D , L C . 证毕.11 例 2 对于例子 1 系数矩阵矩阵 A 0 4 22 结合例 1,故1 0 0 1 1 1A LU0 1 0 0 4 121 10 2对于一般的非奇异矩阵, 我们可以利用初等排列矩阵 I ki (由交换单位矩阵 I的第 k 行与第 i k 行得到),即L 1I 1i 1A 1 A 2 ,L 1I 1i 1b 1 b21 1 (1.11) L k I ki kA k A k 1 ,L k I ki kb kbk 1(1.11)利用(1.11)得L n 1I n 1,i n 1 L 1I 1i 1A AU .简记做. 其中面就 n 情况来考察一下矩阵A AL4I 4i 4L 3I 3i 3L 2I 2i 2L 1I 1i 1A L 4 I 4i 4L 3I 4i 4 (I 4i 4I3i 3I 2i 2L 1I 4i 4I 3i 3I 2i 2) (I 4i 4 I 3i 3I 2i 2I 1i 1)A11 由 Gauss 消去法,得(I4i 4 I 3i 3L 2I 4i 4I 3i 3 )从而记从而容易的为单位下三角矩阵, 总结以上讨论可得如下定理.定理3 如果A非奇异矩阵,则存在排列矩阵P使PA LU 其中L为单位下三角矩阵,U 为上三角矩阵.1.3矩阵LU 分解的应用以上对非奇异矩阵 A 的LU 分解进行了全面的讨论,一下我们就简单介绍一下应用.对于矩阵A一旦实现了LU 分解,则解线性方程的问题,便可以等价于:(1) Ly b 求y (2) Ux=y , 求x (1.12)即,设 A 为非奇异矩阵,且有分解式 A LU ,其中三角矩阵。
数值模拟导论-第六讲
Krylov子空间矩阵求解方法
雅克比·怀特
感谢Deepak Ramaswamy, Michal Rewienski,Karen Veroy and Jacob White
概述
常规的子空间极小化算法
——回顾学过的正交化和投射定理GCR算法
-krylov-子空间
-对称矩阵的简化
-收敛条件
回顾特征值和特征向量
-范数和谱半径
-谱映射定理
任意的子空间方法
可以近似为向量的和
任意的子空间方法
近似的解Mx =b
选择一个k
维的子空间
10
k k
i i
i x w α−=⇒=∑
{}
10,,−⋅⋅⋅k w w {}01,,k w w −⋅⋅⋅
1)正交化
2)解计算r
的最小值
任意子空间方法
最小残向量
图示计算步骤
j
Mw s
′
选择的标准
对所有在空间中的
任意,的值都很小当时在向量空间一种选择,单位向量,向量空间
如果k =N 进行QR 分解如果k<N 情况会很糟糕
01{,,}k w w −⋅⋅⋅
i s α′10
k k i i
i b Mx b Mw α−==−−∑ 任意子空间方法
子空间的选择
标准
k N ≺≺1
A b −≈{}1,k
k x e e ∈⋅⋅⋅
01,,k w w −⋅⋅⋅
01{,,}
k w w −⋅⋅⋅
注意:向量空间=向量空间如果:向量空间=向量空间那么
并且向量空间=向量空间krylov 子空间
01{,,}k r r −⋅⋅⋅()(){}0
1
,,k x
x
f x f x −∇⋅⋅⋅∇{}
01,,k w w −⋅⋅⋅ 任意子空间方法
子空间的选择
krylov 子空间
100
k k i
i i r r Mr α−==−∑{}
0010,,,k r Mr M r −⋅⋅⋅0
1
{,,}k r r
−⋅⋅⋅0
1
{,,}k r r −⋅⋅⋅
吸热
krylov
方法
“不与外界进行热交
换”的例子绝缘棒和矩阵
近端温度
远端温度
将棒离散化
节点平衡方程
krylov方法“不与外界进行热交
换”的例子
电路和矩阵
krylov方法“与外界进行热交换”
的例子
导体棒和矩阵
近端温度远端温度
离散化
节点平衡方程
krylov方法“与外界进行热交换”
的例子
电路和矩阵
节点平衡方程
残余误差迭代次数
反复迭代后的log (残余误差)对比图
GCR 性能
(随机的Rhs )
GCR性能( Rhs=-1,+
1,-1,+1….)
反复迭代后的log(残余误差)对比图
Krylov 子空间方法
收敛性分析
多项式逼近方法
{}{}
0,....,,....k k w w r
Mr M r
=()1
k
k i i k i k x
M r M r
αξ+===∑ 次多项式
(())1
10
k
k i i k i r
r M r I M M r
αξ++==−=−∑00
α≠{}
{}000
0,....,,....k k w w r Mr M r =如果向量空间
注:对任意的
存在向量空间。
是矩阵M 的一个特征值
如果为特征向量或者:如果满足特征值和特征向量
简介
基本定义
i i i
Mu u λ= i λi u
i M I λ−i λi u
矩阵的特征值和特征向量满足
其中为特征值,是奇异矩阵,
是矩阵M 的一个特征向量
()0
i M I λ−=
特征值和特征向量
简介
基本定义
例子
特征值?
特征向量?
如果是一个下三角矩阵会怎样?
注意问题特征值和特征向量
简介
矩阵都有N
几乎所有的N*N
个线性独立的特征向量。
i
λ特征值和特征向量
简介
注意问题
几乎所有的N*N 矩阵都有N 个线性独立的特征向量。
并不意味着独立的特征值,可以等于并不意味着M 是非奇异矩阵。
i
λi λj λ
特征值和特征向量
简介
谱半径
i
λ矩阵M 的谱半径为:圆心位于原点,可以包含所有矩阵M 的特征值的圆的最小半径。
特征值和特征向量
简介
热流例子
i
λ
棒长
吸入热
特征值和特征向量
简介
热流例子(续)
i
λ
特征值和特征向量
简介
热流例子(续)i
λ四个特征向量-选择哪一个?
特征参数
谱半径定理给定一个多项式将多项式应用到矩阵
那么:
()01...p
p f x x x ααα=+++()01...p p f M M M ααα=+++()()()()
f M f M =谱半径谱半径
特征参数
谱半径定理证明
注意矩阵下面的性质
应用到多项式矩阵的形式
分解因式
1121
1p p MM U U U U U U M U U λλλλ−−−−==⇒=()111
01...p p f M UU U U U U ααλαλ−−−=+++()()()()
1
0101......p p p p f M U I U f M U U I ααλαλααλαλ−=+++=+++
1122...
N N
x u u u ααα=+++ 特征参数
谱分解
用特征向量的成分分解任意的x
通过解
来计算x
用矩阵M 来代替x ,得:
1122111222(...)...N N N N N
Mx M u u u u u u ααααλαλαλ=+++=+++
总结
·任意子空间运算法则
-正交化搜索方向
·GCR算法
-Krylov子空间
-对称矩阵的简化
-泄漏和绝缘例子
·回顾特征值和特征向量
-谱半径理论
·GCR极限情况
-Q步收敛法。