第五章矩阵分析（改）第五章矩阵分析本章将介绍矩阵微积分的⼀些内容.包括向量与矩阵序列的收敛性、矩阵的三种导数和矩阵微分与积分的概念，简要介绍向量与矩阵范数的有关知识.§5.1 向量与矩阵的范数从计算数学的⾓度看，在研究计算⽅法的收敛性和稳定性问题时，范数起到了⼗分重要的作⽤.⼀、向量的范数定义1 设V 是数域F 上n 维（数组）向量全体的集合，x 是定义在V 上的⼀个实值函数，如果该函数关系还满⾜如下条件：1）⾮负性对V 中任何向量x ，恒有0x ≥，并且仅当0=x 时，才有x =0；2）齐次性对V 中任意向量x 及F 中任意常数k ，有;x k kx = 3）三⾓不等式对任意V y x ∈,，有y x y x +≤+，则称此函数x （有时为强调函数关系⽽表⽰为?）为V 上的⼀种向量范数.例1 对n C 中向量()T n x x x x ,,,21 =，定义222212nx x x x+++=则2x 为n C 上的⼀种向量范数[i x 表⽰复数i x 的模].证⾸先，2n x C 是上的实值函数，并且满⾜1）⾮负性当0x ≠时，0x >；当0x =时，0x =； 2）齐次性对任意k C ∈及n x C ∈，有22||||||kx k x ==；3）三⾓不等式对任意复向量1212(,,,),(,,,)T T n n x x x x y y y y ==，有222221122||||||||()n n x y x y x y x y +=++++++2221122()()()n n x y x y x y ≤++++++22111||2||||||nnni i i i i i i x x y y ====++∑∑∑（由Cauchy-ВуНЯКОВСКИЙ不等式）222222222||||2||||||||||||(||||||||),x x y y x y ≤++=+因此 222||||||||||||x y x y +≤+所以 2||||x 确为n C 上的⼀种向量范数例2 对n C [或n R ]上向量12(,,,)T n x x x x =定义112||||||||||n x x x x =+++，1max i i nxx ∞≤≤=，则1||||x 及x ∞都是n C [或n R ]上的向量范数，分别称为1-范数和∞-范数.证仅对后者进⾏证明. 1）⾮负性当0x ≠时，max 0i ixx ∞=>，⼜显然有00∞=；2）齐次性对任意向量()T n x x x x ,,,21 =及复数k ，max max ;i i iikxkx k x k x ∞∞===3）三⾓不等式对任意向量1212(,,,),(,,,),T T n n x x x x y y y y ==()i i ii i iy x y x yx +≤+=+∞max maxi ii iy x max max +≤ =∞∞+y x .综上可知∞x 确为向量范数.上两例中的∞x x x ,,21是常⽤的三种向量范数.⼀般地，对于任何不⼩于1的正数p ，向量()T n x x x x ,,,21 =的函数pni p i px x11??=∑= 也构成向量范数，称为向量的p -范数.注（1）当1p =时，1;pxx =（2）当2p =时，2x 为2-范数，它是⾣空间范数；当i x 为实数时，12221()ni i x x ==∑为欧⽒空间范数；由p -范数的存在，可知向量的范数有⽆穷多种，⽽且，向量的范数并不仅限于p -范数.在验证向量的范数定义中，三⾓不等式的过程中常涉及到两个著名的不等式，即：1、H?lder 不等式设正实数,p q 满⾜111,p q+=则对任意的,,n x y C ∈有11111()()nnnpq pqi ii i i i i x yx y ===≤∑∑∑2、Minkowski 不等式对任意实数1p ≥,及,,n x y C ∈有（111111()()()nnnpp ppppi i i i i i i x y x y ===+≤+∑∑∑）.例3 设()T n 1,,1,1 =为n 维向量，则1,,21===∞xn x n x各种范数值差距很⼤.但是，各种范数之间却存在着内在的制约关系，称为范数的等价性.定理1 设βα??,为有限维线性空间V 的任意两种向量范数（它们不限于p -范数），则存在正的常数12,C C ,使对⼀切向量x ，恒有βαβx C x xC 21≤≤ (1)证如果范数x α和x β都与⼀固定范数譬如2-范数2x 满⾜式（1）的关系，则这两种范数之间也存在式（1）的关系，这是因为若存在正常数12,C C ''和12,C C ''''，使 1222122,C x x C x C xx C x αββ''≤≤''''≤≤成⽴，则显然有1122||||||||||||C C x x C C x βαβ''''''≤≤ 令111222,C C C C C C ''''''==，则得式（1），因此只要对2β=证明或（1）成⽴即可.设V 是n 维的，它的⼀个基是12,,,n x x x ，于是V 中的任意向量x 可表⽰为1122n n x x x x ξξξ=+++从⽽，1122n n x x x x ααξξξ=+++可视为n 个变量12,,,n ξξξ的函数，记为12(,,,)n x α?ξξξ=，易证12(,,,)n ?ξξξ是连续函数，事实上，若令1122nn x x x x V ξξξ''''=+++∈,则 12(,,,)nx α?ξξξ''''=. 1212(,,,)(,,,)n n x x x x αααξξξ?ξξξ'''''-=-≤- 11111()()nn n nn n x x x x αααξξξξξξξξ''''=-++-≤-++-. 由于ix α(1,2,,)i n =是常数，因此i ξ'与i ξ充分接近时，12(,,,)nξξξ'''就与12(,,,)n ?ξξξ充分接近，所以12(,,,)n ?ξξξ是连续函数.所以在有界闭集{1212(,,,)1n S ξξξξξξ=+++=上，函数12(,,,)n ?ξξξ可达到最⼤值2C 及最⼩值1C .因此在S 中，i ξ不能全为零，所以10C >.记向量1212222nn y x x x xxxξξξ=+++，则其坐标分量满⾜22212122221nx x xxxξξξ+因此，y S ∈.从⽽有 11122220,,n C yC xx x αξξξ<≤=≤ ? ???. 但2,xy x =故 122x C C x α'≤≤. 即 12222C x x C x ≤≤.⼆、矩阵的范数定义 2 设V 是数域F 上所有n m ?矩阵的集合，A 是定义在V 上的⼀个实值函数，如果该函数关系还满⾜如下条件：对V 中任意矩阵A 、B 及F 中任意常数k 总有1）⾮负性 0≥A 并且仅当0=A 时，才有0=A ； 2）齐次性 A kkA =；3）三⾓不等式 B A B A +≤+；则称()?A是V 上的⼀种矩阵范数.例4 对n m C ?（或n m R ?）上的矩阵A ()ij a =定义∑∑===mi nj ij M a A111，∑∑===m i nj ijM aA1122，11max ij M i m j nA a ∞≤≤≤≤=，则∞M M M ,,21都是n m C ?（或n m R ?）上的矩阵范数.实⽤中涉及较多的是⽅阵的范数，即m n =的情形.定义 3 设F 是数域，?是n n F ?上的⽅阵范数.如果对任意的,n n A B F ?∈，总有AB A B ≤?，则说⽅阵范数?具有乘法相容性.注意：在某些教科书上，往往把乘法相容性直接纳⼊⽅阵范数的定义中作为第4个条件，在读书时，只要注意到各⾃定义的内涵就可以了.例 5 对n n C ?上的矩阵][A ij a =定义ij nj i a n A ≤≤?=,1max ，则?是⼀种矩阵范数，并且具备乘法相容性.证⾮负性与齐次性显然成⽴，另两条证明如下：三⾓不等式ij ij b a n B A +?=+max()max max ij ij n a b ≤+ B A +=；乘法相容性≤?=∑∑==n k kj ik nk kj ik b a n b a n AB 11max max()()B A b n a n ij ij =?≤max max ，证得A 为矩阵范数且具有乘法相容性.并不是所有的⽅阵范数都具有乘法相容性.例如对于22?R 上的⽅阵范数.M ∞就不具备相容性条件.此时ij j i M a A2,1m ax ≤≤=∞.取 1110,0111A B== ? ?????，∞M M BA ，⽽ 2M M M ABA B∞∞∞=>.定义4 如果n 阶矩阵A 的范数A 与n 维向量x 的范数x ，使对任意n 阶矩阵A 及任意n 维向量x 均有x A Ax ≤，则称矩阵范数A 与向量范数x是相容的.定理2 设x 是某种向量范数，对n 阶矩阵A 定义AxxAx A x x 1max max=≠==（2）则A 为⽅阵范数，称为由向量范数x 导出的矩阵范数，⽽且它具有乘法相容性并且与向量范数x 相容.证⾸先可证，由（2）式定义的函数关系||||A 满⾜与向量范数||||x 的相容性.对于任意n 阶矩阵A 及n 维向量x ，当0x ≠时，有0||||||||max ||||||||||||y Ax Ay A x y ≠≤=，即 ||||||||||||;Ax A x ≤（3）⽽当0x =时，||||0||||||||Ax A x ==，于是总有（3）式成⽴.容易验证||||A 满⾜范数定义中的⾮负性、齐次性及三⾓不等式三个条件，因⽽A 是⼀种⽅阵范数.并且，对任意n 阶矩阵,A B ，利⽤（2）式和（3）式可得maxmaxmaxx x x A BxABx Bx AB A A B xxx即说矩阵范数A 具备乘法相容性.⼀般地，把由向量p -范数p x 导出的矩阵范数记作p A .下⾯看常⽤的三种矩阵范数：例6 证明：对n 阶复矩阵[]i j A a =，有 1）11max nij j ni Aa ∞≤≤==∑，称为A 的列和范数.2）11max nij j nj Aa ∞≤≤==∑，称为A 的⾏和范数.证 1）设111max nnijikj ni i w a a≤≤===∑∑.若A 按列分块为12(,,,)n A ααα=则111max k j j nw αα≤≤==.任意n 维向量12(,,)T n x x x x =，有112211221111112111()max .n n n nn jj nAx x x x x x x x x x x w ααααααα≤≤+++≤+++≤+++≤＝于是，对任意⾮零向量x 有11Ax w x ≤. 以下证明存在⾮零向量k e 使11k kAe w e =.事实上，设k e 是第k 个分量为1⽽其余分量全为0的向量，则1k e =1,且1k ik i Ae a w =∑n=1＝,即11k kAe w e =.2）的证明与1）相仿，留给读者去完成. 例7 证明对n 阶复矩阵A ，有21max i i nA σ≤≤=，这⾥()n i i ,,2,1 =σ是A 的奇异值，称此范数为A 的谱范数.证设H A A 的全部特征根为12,,n λλλ不妨设11max i i nλλ≤≤=.于是11max i i nσσ≤≤==.因为H A A 为H -矩阵，故有⾣矩阵U ，使得,,H H U A AV diag λλλ=Λ=12n (,).如设12(,,,)n U u u u =则i u 是H A A 相应于特征根i λ的单位特征向量，即有,H i i i A A u u λ= 21iu =.对任意满⾜2||||1x =的复向量12(,,,)T n x x x x = ，有22||||()()H H Ax Ax Ax x ==H令H y U x =，则222222||||||||||||1H y U x x ===，说明y 亦为单位向量.若设12(,,,)T n y y y y =,则2221||||||1nii y y ===∑于是 22211||||||nHi i i Ax y y y λλ==Λ=≤∑.即有12Ax σ≤.由x 的任意性，便得21221max x A Ax σ==≤特别取1x u =，则有211111112H H H Au u A Au u u λλ==＝，即112Au σ=.这说明2Ax 在单位球⾯{}21,n x x x C =∈上可取到最⼤值1σ，从⽽证明了21221max x A Ax σ===各种矩阵范数之间也具有范数的等价性定理 3 设,a A A β是任意两种矩阵范数则有正实数12,,C C 使对⼀切矩阵A 恒有12a C A A C A ββ≤≤§5.2 向量与矩阵序列的收敛性在这⼀节⾥，我们将把数列极限的概念，扩展到向量序列与矩阵序列上去.可数多个向量（矩阵）按顺序成⼀列，就成为⼀个向量（矩阵）序列，()12(,,,)k k k Tk n x x x x =，1,2,3,k=是⼀个n 维向量序列，记为{}k x ，诸k x 的相应分量则形成数列{}k i x .定义5 设有向量序列()()()12{}:(,,,)k k k Tk k n x x x x x =.如果对1,2,i n =，数列(){}k i x 均收敛且有()lim k i i k x x →∞=，则说向量序列{}k x 收敛.如记12(,,,)T n x x x x =，则称x 为向量序列{}k x 的极限，记为lim k k x x →∞=，或简记为k x x →.如果向量序列{}k x 不收敛，则称为发散.类似于数列的收敛性质，读者不难证明向量序列的收敛性具有如下性质.设{},{}k k x y 是n C 中两个向量序列，,a b 是复常数，n ,m A C ?∈如果lim ,lim k k k k x x y y →∞→∞==，则1lim();2lim .k k k k k ax by ax by Ax Ax →∞→∞>+=+>=定理 4 对向量序列{}k x ，x x k =∞→k lim 的充分必要条件是0lim =-∞→x x k k ，其中?是任意⼀种向量范数.证明1）先对向量范数i ni x x=1max 证明定理成⽴.有i k i k k k x x x x =?=∞→∞→)(lim lim ，n i ,...,2,1=；,0lim )(=-?∞→i k i k x x n i ,...,2,1=；0max lim )(1=-?≤≤∞→i k i ni k x x ；0lim =-?∞∞→xx k k .2）由向量范数等价性，对任⼀种向量范数?，有正实数21,b b ，使∞∞-≤-≤-x x b x x xx b k k k 21.令∞→k 取极限即知lim 0lim 0k k k k x x x x∞→∞→∞-=?-=.于是定理对任⼀种向量范数都成⽴.根据上述定义，向量序列有极限的根本之处在于各分量形成的数列都有极限.由于m n C ?中矩阵可以看作⼀个mn 维向量，其收敛性可以和mn C 中的向量⼀样考虑.因此，我们可以⽤矩阵各个元素序列的同时收敛来规定矩阵序列的收敛性.定义 6 设有矩阵序列{}n m k ij k k a A A ?=][:)(，如果对任何,(1,1)i j i m j n ≤≤≤≤，均有ij k ij k a a =∞→)(lim 则说矩阵序列{}k A 收敛，如令n m ij a A ?=][，⼜称A 为{}k A 的极限.记为,lim A A k k =∞→或A A k →.矩阵序列不收敛时称为发散.→lim ，则()aA A a k k k =∞→lim .特别，当a 为常数时，()k k k k A a aA ∞→∞→=lim lim .2) 若A A k k =∞→lim ，B B k k =∞→lim ，则()B A B A k k k ±=±∞→lim .3) 若A A k k =∞→lim ，B B k k =∞→lim ，则()AB B A k k k =∞→lim .4) 若A A k k =∞→lim 且诸k A 及A 均可逆，则{}1-k A 收敛，并且11lim --∞→=A A k k .。
