中科院矩阵分析课件
- 格式:doc
- 大小:443.50 KB
- 文档页数:21
矩阵的代数性质1•矩阵是线性映射的表示:线性映射的相加表示为矩阵的相加线性映射的复合表示为矩阵的相乘2•矩阵是一种语言,它是表示复杂系统的有力工具。
学习矩阵理论的重要用途之一就是学会用矩阵表示复杂系统的关系,培养根据矩阵推演公式的能力是学习矩阵论的目的之一。
定义一个矩阵有几种方式:可以通过定义矩阵的每一个元素来定义一个矩阵,也可以通过矩阵具有的性质来定义一个矩阵。
如:对称矩阵可以定义为:a ij=a ji也可以定义为:(x, Ay)=(Ax,y),还可以定义为:Ax= f(x),其中f(x)=x T Ax/2,即它对向量x的作用相当于函数f(x)在x处的梯度。
3. 矩阵可以表示为图像矩阵的大小可以表示为图像。
反之,一幅灰度图像本身就是矩阵。
图像压缩就是矩阵的表示问题•这时矩阵相邻元素间有局部连续性,既相邻的元素的值大都差别不大。
4. 矩阵是二维的(几何性质)矩阵能够在二维的纸张和屏幕等平面媒体上表示,使得用矩阵表示的问题显得简单清楚,直观,易于理解和交流。
很多二元关系很直观的就表示为矩阵,如关系数据库中的属性和属性值,随机马尔科夫链的状态转移概率矩阵,图论中的有向图或无向图的矩阵表示等。
第一章:线性空间和线性变换1. 线性空间集合与映射集合是现代数学最重要的概念,但没有严格的定义。
集合与其说是一个数学概念,还不如说是一种思维方式,即用集合(整体)的观点思考问题。
整个数学发展的历史就是从特殊到一般,从个体到整体的发展历程。
集合的运算及规则,两个集合的并、交运算以及一个集合的补;集合中元素没有重合,子集,元素设S, S'为集合映射:为一个规则:S S',使得S中元素a和S'中元素对应,记为a'= (a),或:a a'.映射最本质的特征在于对于S中的任意一个元素在S'中仅有唯一的一个元素和它对应。
映射的原象,象;映射的复合。
满射,单射,—映射。
若S'和S相同,则称为变换。
矩阵分析及其应用3.1矩阵序列定义3.1设矩阵序列{应)},其中A«)=(#))£Cms,当k—oo, 佝时,称矩阵序列{A00}收敛,并称矩阵A=(佝)为矩阵序列{A00}的极限,或称{A00}收敛于A,记为lim A a)= A或A,k)-> A ks不收敛的矩阵序列称为发散的。
由定义,矩阵序列A(k)发散的充要条件为存在ij使得数列站发散。
类似地,我们可以定义矩阵收敛的Cauchy定义定义31矩阵序列{A00}收敛的充要条件为对任给£>0存在N(E),当k,l> N(E)时有IIA(k)-A(/)ll < £其中11.11为任意的广义矩阵范数。
例 1 A(n)e~nsin(-)n y,sin(R) k=l K 7如果直接按定义我们因为求不出A㈤的极限从而很难应用定义3.1证明收敛。
相反,由于t^< t^<v 1/m从而只要/充分大,则当m, n > /时就有nz sin(A)这样A")收定理3.1 A(k)->A的充要条件为HA'10-AII T O证明:利用广义矩阵范数的等价性定理,仅对co范数可以证明。
即ci IIA(k) -AIL < IIA(k) -All< c2 IIA(k) -AIL性质 1.设A(k,—> A mxn, B,k,—> B mxn>则a- A(k)+P • B(k) -> a- A+P B, V a,PeC性质2.设A(k)—> A mxn, B,k)—> B nx/,则A(k)由如一A B证明:由于矩阵范数地等价性,我们E以只讨论相容的矩阵范数。
IIA(k).B(k)-A-BII < II A(k) -B(k) -A-B(k)ll+IIAB(k)- A-BII<IIA(k)-AII-IIB(k)ll+IIAIMIB(k)-BII注意IIB(k)||_||BII,则结论可得。
第 2 章范数理论及其应用2.1向量范数及I p范数定义:如果V 是数域K 上的线性空间,且对于V的任一向量x,对应一个实数值ixil,它满足以下三个条件:1)非负性:||x|| 0,且||x||=0 x=0; 2)齐次性:iikxii=iki iixii,k K;3)三角不等式:||x+y|| ||x||+||y||.则称||x|为V上向量x的范数,简称为向量范数。
可以看出范数||||为将V映射为非负数的函数。
注意:2)中|k|当K为实数时为绝对值,当K 为复数域时为复数的模。
虽然向量范数是定义在一般的线性空间上的,但是由于前面的讨论,我们知道任何n 维线性空间在一个基下都代数同构于常用的n维复(或实)列向量空间, 因此下面我们仅仅讨论n 维复(或实)列向量空间就足够了下面讨论如下:1•设||||为线性空间V n的范数,任取它的一个基X i,X2,…,X n,则对于任意向量X,它可以表示为x= 1X1+ 2X2+ …+ n X n其中,(1, 2,…,n)T为X的坐标。
由此定义C n(或R n)中的范数如下:|| ||C = () = || 1X1+ 2X2+ …+ n X n||则容易验证|| ||C确实为C n中的范数.2•反之,若|| |C为C n中的范数,定义V n的范数如下:||X||= (X)=|| ||c其中X= 1X1+ 2X2+ …+ n X n。
则容易验证(X)确实为V n的范数。
这个例子充分说明了一般线性空间的范数和n维复(或实)列向量空间的范数之间的关系。
这也是为我们只讨论n 维复(或实)列向量空间的范数的理由.范数首先是一个函数,它将线性空间的任意向量映射为非负实数。
范数与函数性质 1. 范数是凸函数,即|| (1 )X+ y|| (1 )||X||+ ||y||其中0向量的范数类似于向量长度。
性质 2. (范数的乘法) 若|| ||为线性空间V 上的向量范数,则k|||| 仍然为向量范数, 其中k > 0.性质3.设||||comp为R m上的范数,且对x (R+)m为单调增加的(即,若x,y (R+)m, 且X i y那么IXI Comp lyil comp 成立•),那么,对于给定的m个n维线性空间V上的范数||||i,i=1,2,…,m,我们可以定义一个复合范数为llxll=llU(x)ll comp , 其中,U(X)=( ||X||1,||X|2,…,||x||m)T. 证明:非负性和齐次性是显然的,仅需证明三角不等式。
第五章特征值的估计及对称矩阵的极性本章主要讨论数值代数中的三个特殊理论,即特征值的估计广义特征值问题实对称矩阵(一般是Hermite矩阵)特征值的极小极大原理,其次也涉及到一些特征值和奇异值的扰动问题,最后简要地介绍矩阵直积的一些性质及其在线性矩阵方程求解方面的应用。
这几方面的内容,在矩阵的理论研究与实际应用当中都有着相当重要的作用。
5.1特征值的估计一、特征值的界首先给出直接估计矩阵特征值模的上界的一些方法定理 5.1 设A=(a rs) R n X1,令1 , ,M= ma彷总a sr|若表示A任一特征值,则的虚部Im()满足不等式|Im( )| M n(n21)|Im( )| ||A A T||2 / 2|Im( )| ||A A T||1n /2.证明:设x+i y为对应于的A的特征向量, 则A(x+i y)=( + i)(x+i y)其中=+ i.显然x,y为实向量,且x,y为线性无关的向量。
经整理A(x,y)=(x,y)B,其中B= 从而(x,y) T A(x,y)=(x,y) T(x,y)B展开有i 1 j iTT X y X X T T y yy X (求等式两边矩阵的对角元之和,可得 (x T x+y T y)=x T Ax+y T Ay(1) 等式两边矩阵的左上角单元减去右下角单元 可得:(x T x+y T y)=x T (A A T )y1) . 记 B=A A T ,则 |x T By| ||x||2||B||2||y||2 从而 1 1 1凶|2||B||2||y||2 /((||x||2)2 +(||y|2)2)利用 ab/(a 2+b 2) 1/2 可得 | | ||B||2 /2.2) .由于 |x T By| ||B X ||I ||y|| ||B||i ||X ||I ||y||从而 | | ||B||i ||x||i ||y|| /((||X |2)2 +(||y||2)2)易证明 ||x||i ||y|| /((||X ||2)2 +(||y||2) 2)n /2.(显然,不妨假设(||X ||2)2 +(||y||2)2=1,设HyH =t=cos (),则y 必为t e 的形式(为什么?) 从而极值转化为求解如下最大值问题:max ||X ||1,满足约束(||X ||2)2=1 t 2这样有均值不等式 ||x|h i n ||X ||2= 、、n (1 t 2)1/2,从而我们需要求解t(1 t 2)1/2的最大值,设t=cos() 可得t(1 t 2)1/2的最大值为1/2.从而得证。
第 2 章范数理论及其应用2.1向量范数及I p范数定义:如果V 是数域K 上的线性空间,且对于V的任一向量x,对应一个实数值ixil,它满足以下三个条件:1)非负性:||x|| 0,且||x||=0 x=0; 2)齐次性:iikxii=iki iixii,k K;3)三角不等式:||x+y|| ||x||+||y||.则称||x|为V上向量x的范数,简称为向量范数。
可以看出范数||||为将V 映射为非负数的函数。
注意:2)中|k|当K 为实数时为绝对值,当K 为复数域时为复数的模。
虽然向量范数是定义在一般的线性空间上的,但是由于前面的讨论,我们知道任何n 维线性空间在一个基下都代数同构于常用的n 维复(或实)列向量空间,因此下面我们仅仅讨论n 维复(或实)列向量空间就足够了下面讨论如下:1•设||||为线性空间V n的范数,任取它的一个基X i,X2,…,X n,则对于任意向量X,它可以表示为x= 1X1+ 2X2+ …+ n X n其中,(1, 2,…,n)T为X的坐标。
由此定义C n(或R n)中的范数如下:|| ||C = () = || 1X1+ 2X2+ …+ n X n||则容易验证|| ||C确实为C n中的范数.2.反之, 若|| ||C 为C n中的范数,定义V n 的范数如下:||X||= (X)=|| ||c其中X= 1X1+ 2X2+ …+ n X n。
则容易验证(X)确实为V n的范数。
这个例子充分说明了一般线性空间的范数和n 维复(或实)列向量空间的范数之间的关系。
这也是为我们只讨论n 维复(或实)列向量空间的范数的理由.范数首先是一个函数,它将线性空间的任意向量映射为非负实数。
范数与函数性质 1. 范数是凸函数,即|| (1 )X+ y|| (1 )||X||+ ||y||其中0向量的范数类似于向量长度。
性质 2. (范数的乘法) 若|| ||为线性空间V 上的向量范数,则k|||| 仍然为向量范数, 其中k > 0.性质3.设||||comp为R m上的范数,且对x (R+)m为单调增加的(即,若x,y (R+)m, 且X i y那么IXI Comp lyil comp 成立•),那么,对于给定的m 个n 维线性空间V 上的范数||||i,i=1,2,…,m,我们可以定义一个复合范数为llxll=llU(x)ll comp , 其中,U(X)=( ||X||1,||X|2,…,||x||m)T. 证明:非负性和齐次性是显然的,仅需证明三角不等式。
矩阵分析及其应用 3.1矩阵序列定义3.1设矩阵序列{A (k )},其中A(k)=( a (k )) C m n ,当k a j" a u 时,称矩阵序列{A (k)}收敛,并称矩阵 A=( a ij )为矩 阵序列{A (k)}的极限,或称{A (k)}收敛于A,记为lim A (k)A 或 A (k) Ak不收敛的矩阵序列称为发散的。
由定义,矩阵序列 A (k )发散的充要条件为存在 j 使得数列a (k)发散。
类似地,我们可以定义矩阵收敛的 Cauchy 定义 定义3.1'矩阵序列{A (k)}收敛的充要条件为 对任给>0存在N(),当k, l N()时有 ||A (k) A (l)|| <其中||.|为任意的广义矩阵范数。
sin 』)n nsin(k)如果直接按定义我们因为求不出 A (n)的极限从而从而只要I 充分大,则当m, n > l 时就有sin(k)k 2这样A (l)收敛。
定理3.1 A (k) A 的充要条件为||A (k) A|| 0证明:利用广义矩阵范数的等价性定理,仅对 范数可以证明。
即c 1ILA (k) A||||A (k) AII C 2 ||A (k) AII 性质 0 若 A (k)A ,则 ||A (k) II IIAII 成立。
性质 1. 设 A (k)A m n ,B (k) B m n , 则A (k)+ B(k) A+ B , ,C 性质 2. 设 A (k)A m n ,B (k )B n l ,贝UA (k)B (k)A B证明:由于矩阵范数地等价性,我们可以只讨论相容的 矩阵范数。
||A (k )B (k) A B|| || A (k) B (k) A B (k)||+||AB (k)A B|||| A (k) A|| ||B (k)||+||A||||B (k) B||例 1 A (n)k m 1k(k 1)相反,由于注意||B(k)|| ||B||,则结论可得。
矩阵分析及其应用3.1 矩阵序列定义3.1 设矩阵序列{A (k)},其中A (k)=()(k ij a )∈C m ⨯n ,当k →∞,)(k ija →a ij 时,称矩阵序列{A (k)}收敛,并称矩阵A=(a ij )为矩 阵序列{A (k)}的极限,或称{A (k)}收敛于A, 记为A A k k =∞→)(lim 或 A (k)→ A 不收敛的矩阵序列称为发散的。
由定义,矩阵序列A (k) 发散的充要条件为存在ij 使得数列)(k ij a 发散。
类似地,我们可以定义矩阵收敛的Cauchy 定义定义3.1' 矩阵序列{A (k)}收敛的充要条件为对任给ε>0 存在N(ε), 当 k , l ≥ N(ε) 时有||A (k)-A (l )|| < ε其中||.||为任意的广义矩阵范数。
例1 ⎪⎪⎪⎪⎭⎫ ⎝⎛-=∑=-n k n n k k e n n 12)()sin()1sin(11A 如果直接按定义我们因为求不出A (n )的极限从而很难应用定义3.1证明收敛。
相反,由于∑∑∑+=+=+=-≤≤nm k n m k n m k k k k k k 11212)1(11)sin( < 1/m从而只要l 充分大,则当m, n > l 时就有ε≤∑+=nm k k k 12)sin( 这样A (l ) 收敛。
定理3.1 A (k)→ A 的充要条件为||A (k) -A||→0证明:利用广义矩阵范数的等价性定理,仅对∞范数可以证明。
即 c 1 ||A (k) -A||∞ ≤ ||A (k) -A||≤ c 2 ||A (k) -A||∞性质0 若A (k)→ A , 则 ||A (k)|| → ||A|| 成立。
性质1. 设A(k)→ A m⨯n,B(k)→ B m⨯n, 则α⋅ A(k)+β⋅ B(k)→α⋅ A+β⋅ B,∀α,β∈C性质2. 设A(k)→ A m⨯n,B(k)→ B n⨯l, 则A(k)⋅B(k)→ A⋅B证明:由于矩阵范数地等价性,我们可以只讨论相容的矩阵范数。
||A(k)⋅B(k)-A⋅B|| ≤ || A(k)⋅B(k)-A⋅B(k)||+||AB(k)- A⋅B||≤ || A(k)-A||⋅||B(k)||+||A||⋅||B(k)-B||注意||B(k)||→||B||,则结论可得。
特别地有性质2’. A(k)→ A的充要条件为A(k) x→Ax, 对任意x成立或者y H A(k) x→ y H Ax, 对任意x,y成立.(在无穷维空间中称为弱收敛,但在有限维空间中和一般收敛性定义是等价的)对于Hermite(对称)矩阵我们有如下的定理:设A(k),k=1,2,…,和A都为Hermite矩阵,那么A(k)→ A的充要条件为x H A(k) x→x H Ax, 对任意x成立推论:设A(k),k=1,2,…, 为半正定的Hermite矩阵,且单调减少,即A(k)和A(k)-A(k+1)为半正定Hermite矩阵,那么A(k)有极限.性质3设A(k)和A都为可逆矩阵,且A(k)→A,则(A(k))-1→A-1证明:因为A-1⋅ (A(k)) →I. 所以存在K,当k >K时有||I- A-1⋅ (A(k))||<1/2我们有(A(k))-1= A-1+( I- A-1⋅ (A(k))) (A(k))-1从而||(A(k))-1||≤||A-1||+||( I- A-1⋅ (A(k)))||⋅|| (A(k))-1||当k>K时,有||(A(k))-1||≤||A-1||+1/2⋅|| (A(k))-1||即||(A(k))-1||≤2⋅||A-1||因为A-1- (A(k))-1= A-1 (A(k)- A) (A(k))-1从而|| A-1- (A(k))-1||≤||A-1||⋅||A(k)- A||⋅||(A(k))-1||(当k>K时) ≤||A-1||⋅||A(k)- A||⋅2||A-1||(当k→∞时) →0由定理3.1有(A(k))-1→ A-1定义3.2矩阵序列{A(k)}称为有界的,如果存在常数M>0,使得对一切k都有a|<M 或等价的|| A(k)||<M’|)(kij定理:有界的矩阵序列{A (k)}一定有收敛的子列。
定义3.3 设A 为方阵,且当k →∞时有A k →0,则称A 为收敛矩阵。
定理3.2(迭代法基本定理) A k →0的充要条件为谱半径ρ(A)<1.证明:必要性:设A k →0,证明ρ(A)<1.对A 的任意特征值λ和相应的特征向量x 有λx =Ax .这样我们有A k x =λk x从而有|λ|k ⋅||x||=||A k x||≤||A k ||⋅||x||从而有|λ|k ≤||A k ||→0这样有|λ|<1, 由于λ为A 的任意特征值,所以ρ(A)<1, 即必要性得证。
充分性。
已知ρ(A)<1,证明A k →0.取ε=(1-ρ(A))/2 >0,由定理2.10有,存在某种相容的 矩阵范数||.||M 使得 ||A||M < ρ(A)+ ε <1从而||A k || M ≤(||A||M )k <(ρ(A)+ ε)k所以当k →∞有||A k || M →0, 从而A k →0.定理3.3 A k →0的充分条件为存在矩阵范数||.||M 使得||A||M <13.2矩阵级数定义3.4设矩阵序列{A (k)},其中A (k)=()(k ij a )∈C n ⨯n ,由它们 形成的无穷和 A (0)+A (1)+…+A (k)+…称为矩阵级数, 记为 ()0k k A∞=∑,即有 ()0k k A∞=∑= A (0)+A (1)+…+A (k)+…定义3.5 记S (N )=()0N k k A=∑,称其为矩阵级数()0k k A ∞=∑的部分和.如果矩阵序列{S (N)}收敛,且有极限S, 即有S (N)→S那么称矩阵级数()0k k A∞=∑收敛,且和为S, 记为S=()0k k A∞=∑不收敛的矩阵级数称为发散的。
显然()0k k A∞=∑=S 是指()0k ij ij k a s ∞==∑,∀ i ,j即矩阵级数收敛是指它的每个分量所构成的数项级数收敛。
性质:矩阵级数()0k k A∞=∑收敛的充要条件为对任意向量x, 向量级数()0k k Ax ∞=∑收敛。
定义3.6 设矩阵级数()0k k A∞=∑的每个分量)(k ij a 所构成的数项级数()0k ij k a∞=∑绝对收敛,则称矩阵级数()0k k A ∞=∑绝对收敛。
关于绝对收敛,我们有如下的定理:性质1. 绝对收敛的()0k k A∞=∑交换求和次序不改变其绝对收敛性和极限值。
性质2. 矩阵级数()0k k A∞=∑绝对收敛的充要条件为正项级数()0||||k k A∞=∑收敛。
性质3. 如果矩阵级数()0k k A ∞=∑(绝对)收敛,那么()0k k PA Q ∞=∑也是(绝对)收敛,且有 ()0k k PAQ ∞=∑=P (()0k k A ∞=∑)Q 性质4. 设C n ⨯n 的两个矩阵级数S 1: A (1)+A (2)+…+A (k)+…S 2: B (1)+B (2)+…+B (k)+…都绝对收敛,其和分别为A 和B.则矩阵级数S 3: A (1) B (1)+ [A (1) B (2)+ A (2) B (1)]+…+[ A (1) B (k)+ A (2) B (k -1) +…+A (k) B (1)]+…绝对收敛且和为AB.证明:由于S 1: A (1)+A (2)+…+A (k)+…绝对收敛的充要条件为 正项级数||A (1)||+||A (2)||+…+||A (k)||+…收敛且与排列无关。
我们证明的思路是证明正项级数:||A (1) B (1)||+ ||A (1) B (2)+ A (2) B (1)||+…+||A (1) B (k)+ A (2) B (k -1) +…+A (k) B (1)||+…收敛。
引用魏氏定理,我们仅需验证下列正项级数: ||A (1)||⋅||B (1)||+ { ||A (1) ||⋅||B (2)||+ ||A (2) ||⋅||B (1)||}+…+{||A (1) ||⋅||B (k)||+ ||A (2) ||⋅||B (k -1) ||+…+||A (k) ||⋅||B (1)||}+… 收敛。
这由题设正项级数||A (1)||+||A (2)||+…+||A (k)||+…和正项级数 ||B (1)||+||B (2)||+…+||B (k)||+…的收敛性可得。
定理3.4 幂级数 I+A+A 2+…+A k +…收敛的充要条件为 A 的谱半径ρ(A)<1, 收敛时其和为(I -A)-1。
若有矩阵范数||.||使得||A||<1,则||(I -A)-1- (I+A+A 2+…+A k )||≤||A||k+1/(1-||A||)证明: 必要性. 由于I+A+A 2+…+A k +…收敛,从而 S (k)= I+A+A 2+…+A k 收敛。
记T (k)= I+A+A 2+…+A k+1, A k+1=T (k)- S (k)收敛,且T (k)- S (k) →0,这样我们有A k →0,从而ρ(A)<1.充分性:设ρ(A)<1,(I -A)-1存在,由于I+A+A 2+…+A k =(I -A)-1 -(I -A)-1 A k+1因A k →0,所以I+A+A 2+…+A k +…→ (I -A)-1.又因为(I -A)-1 - (I+A+A 2+…+A k )= (I -A)-1 A k+1从而||(I -A)-1 - (I+A+A 2+…+A k )||=|| (I -A)-1 A k+1||设B=(I -A)-1A k+1,从而(I -A)B=A k+1即B=AB+ A k+1,从而||B||≤ ||A||⋅||B||+ ||A k+1||≤ ||A||⋅||B||+ ||A||k+1因为矩阵范数||.||使得||A||<1,所以||B||≤||A||k+1/(1-||A||)成立。
定理3.6 设幂级数 ∑∞==0)(k k k z cz f 的收敛半径为r ,如果方阵A 满足ρ(A)< r , 则矩阵幂级数∑∞==0)(k k k A c A f 是绝对收敛的;如果ρ(A) > r ,∑∞=0k k kA c 是发散的。