下载文档原格式
矩阵范数标准详解(总9页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--《周国标师生交流讲席010》向量和矩阵的范数的若干难点导引(二)一． 矩阵范数的定义引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。
最容易想到的矩阵范数，是把矩阵m n A C ⨯∈可以视为一个mn 维的向量（采用所谓“拉直”的变换），所以，直观上可用mn C 上的向量范数来作为m n A C ⨯∈的矩阵范数。
比如在1l -范数意义下，111||||||mnij i j A a ===∑∑()12tr()HA A =； （）在2l -范数意义下，12211||||||mnF ij i j A a ==⎛⎫= ⎪⎝⎭∑∑， （）注意这里为了避免与以后的记号混淆，下标用“F ”，这样一个矩阵范数，称为Frobenius 范数，或F-范数。
可以验证它们都满足向量范数的3个条件。
那么是否矩阵范数就这样解决了因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计AB 的“大小”相对于A B 与的“大小”关系。
定义1 设m n A C ⨯∈，对每一个A ，如果对应着一个实函数()N A ，记为||||A ，它满足以下条件：（1）非负性：||||0A ≥；（1a ）正定性：||||0m n A O A ⨯=⇔=（2）齐次性：||||||||||,A A C ααα=∈；（3）三角不等式：||A ||||||||||||,m n A B A B B C ⨯+≤+∀∈则称()||||N A A =为A 的广义矩阵范数。
进一步，若对,,m n n l m l C C C ⨯⨯⨯上的同类广义矩阵范数||||•，有（4）（矩阵相乘的）相容性：||A ||||||||||||AB A B ≤， n l B C ⨯∈， 则称()||||N A A =为A 的矩阵范数。
§2.2 矩阵的范数我们知道：向量本身可以看作是矩阵，而一般的矩阵又有自身的运算特点，比如矩阵的乘法运算。
因此，我们定义矩阵的范数时需要考虑矩阵的本身的特点，这就有了我们以下要讨论的内容：一、 矩阵的范数1.矩阵范数的定义设||||:m n C R ×→i 是实值函数，若它满足下述三个条件： （1） 非负性：,||||0,and ||||00m n A C A A A ×∀∈≥=⇔= （2） 齐次性：,,||||||||||m n k C A C kA k A ×∀∈∈= （3） 三角不等式：,,||||||||||||m n A B C A B A B ×∀∈+≤+ 则称||||i 为广义矩阵范数，若||||i 还满足下述第四个性质： （4） 相容性：,,||||||||||||m n n l A C B C AB A B ××∀∈∈≤i 则称||||i 为矩阵范数。
注：在相容性的定义中，n l B C ×∈，m l AB C ×∈，实数||||B ，||||AB 的定义规则与实数||||A 的定义规则相同。
2. 矩阵范数的连续性与向量的情况一样，对于矩阵序列而言，它也有极限的概念。
设矩阵序列(){}k A ，其中()k m n A C ×∈，若()k A 的每一个元素()k ij a 均有极限ij a ，则称矩阵序列(){}k A 有极限()ij A a =，或者说(){}k A 收敛到矩阵A ，记作()()lim ()k k k A A A A →+∞=→不收敛的矩阵序列称为发散的。
当然，也可按照范数定义矩阵的收敛性。
即若()lim 0k k A A →∞−=则称(){}k A 在范数||||i 意义下收敛于A 。
由三角不等式，可推知,,m n A B C ×∀∈有||||||||||||||A B A B −≥−。
《周国标师生交流讲席010》向量和矩阵的范数的若干难点导引(二)一.矩阵范数的定义引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。
最容易想到的矩阵范数，是把矩阵A C m n可以视为一个mn维的向量(采用所谓“拉直”的变换)，所以，直观上可用C mn上的向量范数来作为A C m n的矩阵范数。
比如m n 1在∣1 -范数意义下，IIAl1 ；二Ia ijI= tr(A H A) 2; (1.1 )1Zl mn A2在I2-范数意义下，∣∣A∣∣F=∑∑同|2，(1.2)Iy j A J注意这里为了避免与以后的记号混淆，下标用“F”，这样一个矩阵范数，称为Frobenius范数，或F-范数。
可以验证它们都满足向量范数的3个条件。
那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计AB的“大小”相对于A与B的“大小”关系。
定义1设A C mn,对每一个A ,如果对应着一个实函数N(A),记为IlAll ,它满足以下条件：(1)非负性：|| A||_0 ;(1 a)正定性：A=O mn= IIAII= 0(2)齐次性：||〉A||=| |||A||, • C ;(3)三角不等式:||A||A B||—||A|| ||B||, -B C m n则称N(A)=|| A||为A的广义矩阵范数。
进一步，若对C m n,C n 1C m l上的同类广义矩阵范数|| || ,有(4)(矩阵相乘的)相容性:|| A || AB ||_|| A|||| B ||, B C n I , 则称N(A) =||A||为A的矩阵范数。
我们现在来验证前面(1.1 )和(1.2 )定义的矩阵范数是否合法？我们这里只考虑(1.2 ),把较容易的(1.1 )的验证留给同学们，三角不等式的验证。
《周国标师生交流讲席010》向量和矩阵的范数的若干难点导引(二)一． 矩阵范数的定义引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。
最容易想到的矩阵范数，是把矩阵m nA C ⨯∈可以视为一个mn 维的向量（采用所谓“拉直”的变换），所以，直观上可用mn C上的向量范数来作为m nA C⨯∈的矩阵范数。
比如在1l -范数意义下，111||||||mniji j A a===∑∑()12tr()HA A =； （）在2l -范数意义下，12211||||||mnF ij i j A a ==⎛⎫= ⎪⎝⎭∑∑， （） 注意这里为了避免与以后的记号混淆，下标用“F ”，这样一个矩阵范数，称为Frobenius范数，或F-范数。
可以验证它们都满足向量范数的3个条件。
那么是否矩阵范数就这样解决了因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计AB 的“大小”相对于A B 与的“大小”关系。
定义1 设m nA C ⨯∈，对每一个A ，如果对应着一个实函数()N A ，记为||||A ，它满足以下条件：（1）非负性：||||0A ≥；（1a ）正定性：||||0m nA O A ⨯=⇔=（2）齐次性：||||||||||,A A C ααα=∈；（3）三角不等式：||A ||||||||||||,m nA B A B B C ⨯+≤+∀∈则称()||||N A A =为A 的广义矩阵范数。
进一步，若对,,m nn l m l C C C ⨯⨯⨯上的同类广义矩阵范数||||•，有（4）（矩阵相乘的）相容性：||A ||||||||||||AB A B ≤， n lB C⨯∈，则称()||||N A A =为A 的矩阵范数。
我们现在来验证前面（）和（）定义的矩阵范数是否合法我们这里只考虑（）,把较容易的（）的验证留给同学们，三角不等式的验证。
矩阵范数及其求导在机器学习的特征选择中，利⽤选择矩阵的范数对选择矩阵进⾏约束，即是正则化技术，是⼀种稀疏学习。
矩阵的L0,L1范数为了度量稀疏矩阵的稀疏性，则定义矩阵的⼀种范数，为：∥W∥1=∑i,j|W i,j|。
即为矩阵所有元素的绝对值之和，能够描述接矩阵的稀疏性，但是在优化时，难度较⼤，是将情况向矩阵中元素尽可能是0的⽅向优化。
1）L0范数是指向量中⾮0的元素的个数。
如果我们⽤L0范数来规则化⼀个参数矩阵W的话，就是希望W的⼤部分元素都是0。
换句话说，让参数W是稀疏的。
2）L1范数是指向量中各个元素绝对值之和。
L1范数是L0范数的最优凸近似。
任何的规则化算⼦，如果他在W i=0的地⽅不可微，并且可以分解为⼀个“求和”的形式，那么这个规则化算⼦就可以实现稀疏。
W的L1范数是绝对值，|w|在w=0处是不可微。
3）虽然L0可以实现稀疏，但是实际中会使⽤L1取代L0。
因为L0范数很难优化求解，L1范数是L0范数的最优凸近似，它⽐L0范数要容易优化求解。
矩阵的L2范数L2范数，⼜叫“岭回归”（Ridge Regression）、“权值衰减”（weight decay）。
它的作⽤是改善过拟合。
过拟合是：模型训练时候的误差很⼩，但是测试误差很⼤，也就是说模型复杂到可以拟合到所有训练数据，但在预测新的数据的时候，结果很差。
L2范数是指向量中各元素的平⽅和然后开根。
我们让L2范数的规则项||W||2最⼩，可以使得W的每个元素都很⼩，都接近于0。
⽽越⼩的参数说明模型越简单，越简单的模型则越不容易产⽣过拟合现象。
L1是绝对值最⼩，L2是平⽅最⼩：L1会趋向于产⽣少量的特征，⽽其他的特征都是0，⽽L2会选择更多的特征，这些特征都会接近于0。
矩阵的L2,1范数⽽为了进⼀步说明矩阵的稀疏性，来说明特征选择中矩阵L2,1范数的作⽤。
在特征选择中，通过稀疏化的特征选择矩阵来选取特征，即相当于是⼀种线性变换。
对于特征选择矩阵W，每⼀⾏（即⾏向量）⽤向量的2-范数描述，即。
《周国标师死接流道席010》之阳早格格创做背量战矩阵的范数的若搞易面导引(二)一． 矩阵范数的定义引进矩阵范数的本果与背量范数的缘由是相似的，正在许多场合需要“丈量”矩阵的“大小”，比圆矩阵序列的支敛，解线性圆程组时的缺面分解等，简曲的情况正在那里没有再复述.最简单料到的矩阵范数，是把矩阵m n A C ⨯∈不妨视为一个mn 维的背量（采与所谓“推曲”的变更），所以，曲瞅上可用mn C 上的背量范数去动做m n A C ⨯∈的矩阵范数.比圆正在1l -范数意思下，111||||||mnij i j A a ===∑∑()12tr()HAA =； （1.1）正在2l -范数意思下，12211||||||m n F ij i j A a ==⎛⎫= ⎪⎝⎭∑∑，（1.2）注意那里为了预防与以去的暗号殽杂，下标用“F ”，那样一个矩阵范数，称为Frobenius 范数，大概F-范数.不妨考证它们皆谦脚背量范数的3个条件.那么是可矩阵范数便那样办理了？果为数教上的任一定义皆要与其对付象的运算通联起去，矩阵之间有乘法运算，它正在定义范数时应给予体现，也即预计AB 的“大小”相对付于A B 与的“大小”闭系.定义1 设m n A C ⨯∈，对付每一个A ，如果对付应着一个真函数()N A ，记为||||A ，它谦脚以下条件：（1）非背性：||||0A ≥；（1a ）正定性：||||0m n A O A ⨯=⇔=（2）齐次性：||||||||||,A A C ααα=∈；（3）三角没有等式：||A ||||||||||||,m n A B A B B C ⨯+≤+∀∈则称()||||N A A =为A 的广义矩阵范数.进一步，若对付,,m n n l m l C C C ⨯⨯⨯上的共类广义矩阵范数||||•，有（4）（矩阵相乘的）相容性：||A ||||||||||||AB A B ≤， n l B C ⨯∈， 则称()||||N A A =为A 的矩阵范数.咱们当前去考证前里（1.1）战（1.2）定义的矩阵范数是可合法？咱们那里只思量（1.2）,把较简单的（1.1）的考证留给共教们，三角没有等式的考证.按列分块，记1212(,,,),(,,,)n n A a a a B b b b ==.对付上式中第2个括号内的诸项，应用Cauchy 没有等式，则有222||||||||2||||||||||||F F F F F A B A A B B +≤++2(||||||||)F F A B =+ （1.3） 于是，二边启圆，即得三角没有等式. 再考证矩阵乘法相容性.221111||||mlnn iksj i j k s a b ====⎛⎫⎛⎫≤ ⎪⎪⎝⎭⎝⎭∑∑∑∑ （那一步用了Cauchy 没有等式）22221111||||||||||||m nn l ik sj F F i k s j a b A B ====⎛⎫⎛⎫== ⎪ ⎪⎝⎭⎝⎭∑∑∑∑ （1.4） 可睹，矩阵相容性谦脚.那样便完毕了对付矩阵F-范数的考证.是没有是那样间接将背量范数使用到矩阵范数便不妨了吗？No!使用l ∞-范数于矩阵范数时便出了问题.如果11||||max ||ij i mj nA a ∞≤≤≤≤=，那么,那样的矩阵范数正在底下一个例子上便止短亨.设21122,21122A A A ⎛⎫⎛⎫=== ⎪ ⎪⎝⎭⎝⎭.果此，按上述矩阵∞-范数的定义，||||1,||A A ∞=2||||1,||||2A A ∞∞==，于是然而那是冲突的.所以简朴天将l ∞-范数使用于矩阵范数，是没有成止的.虽然那仅是一个反例，然而是数教的定义是没有成以有例中的.由此，咱们必须认识到，没有克没有及随便套用背量范数的形式去构制矩阵范数. 为此,咱们仅给出矩阵范数的定义是没有敷的，还需要钻研怎么样形成简曲的矩阵范数的要领.天然，您也不妨没有去思量形成要领，一个函数一个函数去试，只消谦脚条件便止.没有过那样搞的处事量太大，也很盲目.第二，正在本量预计时，往往矩阵与背量出当前共一个预计问题中，所以正在思量构制矩阵范数时，该当使它与背量范数相容.比圆要思量Ax 的“大小”，Ax 是一个背量，然而它由A 与x 相乘而得的，它与A 的“大小”战x 的“大小”的闭系怎么样？ 那提出了二类范数相容的观念.定义2 对付于m n C ⨯上的矩阵范数||||M •战,m n C C 上的共类背量范数||||V •，如果创制||||||||||||,,m n n V M V Ax A x A C x C ⨯≤⋅∀∈∀∈ （1.5）则称矩阵范数||||M •与背量范数||||V •是相容的. 例1．1 不妨道明 12211||||||mnF ij i j A a ==⎛⎫= ⎪⎝⎭∑∑()12tr()HA A = 是与背量范数2||||•相容.究竟上，正在（1.2）中，与1n B x C ⨯=∈，那么 二． 矩阵算子范数当前给出一种构制矩阵范数的普遍要领，它不妨使构制出的矩阵范数与背量范数相容，天然，它也谦脚定义1确定的4个条件.定义3 设,m n C C 上的共类背量范数为||||V •，m n A C ⨯∈，定义正在m n C ⨯空间上的矩阵A 的由背量范数||||V •诱导给出的矩阵范数为||||||||max||||V V x VAx A x ≠= （2.1）不妨考证，那样定义出的矩阵范数||||V A 谦脚定义1确定的4个条件，共时又谦脚矩阵范数与背量范数相容性央供（定义2）.由于有什么样的背量范数||||V •，便有什么样的矩阵范数，所以，那样的矩阵范数称为由背量范数诱导出的，简称诱导范数；又果为（2.1）本量上确定了一个函数（大概算子），故又称为算子范数.（2.1）给定的范数本量是觅供一个最劣化问题的最劣值，供目标函数||||||||V VAx x 的最大值，拘束条件是0x ≠，也便正在n C 空间中除本面中的面中，找一个n 维背量x ，使||||||||VVAx x 博得最大值.如果间接思量那样一个劣化问题,仍旧有艰易的. 不妨道明，它不妨下列等价办法定义,使问题的处理简朴.0||||||||max ||||V V x VAx A x ≠=||||1||||1||||max max ||||||||VVVV x x VAx Ax x ==== （2.2）究竟上, 分母上的||||V x 是一个正数(0x ≠), 那么根据背量范数的齐次性有上头第3个等号创制是果为背量||||Vx z x =为一个单位背量.底下咱们从表里上道明那样的矩阵范数||||V A 谦脚定义1确定的4个条件，共时又谦脚矩阵范数与背量范数相容性央供.定理2.1 由（2.1）大概（2.2）给定的m n C ⨯上的矩阵范数谦脚矩阵范数定义1的4个条件，且与相映的背量范数相容. 道明： 最先，矩阵范数与背量范数的相容性是没有易道明的，究竟上，对付||||V x =1, ||||1||||||||||||max ||||||||VV V V V V z A x A Az Ax ===≥, 果此,矩阵范数与背量范数的相容性条件（1.5）创制.咱们底下去考证（2.1）大概（2.2）谦脚矩阵范数的4个条件.那4个条件中，前2个也简单考证，果此那里只去观察第3,4个条件.三角没有等式的考证: 对付于任一m n B C ⨯∈矩阵相乘相容性的考证: 由（1.5），没有易有当0x ≠时，||||||||||||||||VV V VABx A B x ≤ 所以 0||||||||max||||||||||||VV V V x VABx AB A B x ≠=≤至此，证据了用算子范数确能给出谦脚矩阵范数定义战矩阵范数与背量范数的相容性 的矩阵范数.推论1 对付于n n C ⨯上的任一种背量诱导范数，皆有 ||||1||||max ||||1x I Ix === （2.3）然而是要注意的是，对付普遍的矩阵范数，对付任一背量n x C ∈，有故有 ||||1I ≥.比圆，||||F A 没有是诱导矩阵范数，所以 ||||1F I ≥. 三．几个时常使用的诱导矩阵范数上头的叙述标明，诱导矩阵范数与背量范数稀切相闭，有何种背量范数，便有什么样的诱导矩阵范数.底下便去简曲天构制几个时常使用的诱导矩阵范数.设m n A C ⨯∈.例3．1 设m n A C ⨯∈，由背量1l -范数诱导而去的最大列战诱导矩阵范数111||||max ||mi j j ni A a ≤≤==∑ （3.1）道明：按列分块，记12(,,,)n A a a a =，则由（3.1）战背量1l -范数的定义可知设12(,,,)n n n x x x x C =∈，且有1||||1x =果此, 111||||1||||max ||||x A Ax ==1max ||mij ji a =≤∑ (+) 另一圆里,采用k ,使得令0x 为第k 的单位背量(0,0,1,0,,0)Tk e =,那么012(,,,)T k k k mk Ax a a a a ==11101||||111||||max ||||||||||max ||mmik ij x ji i A Ax Ax a a ====≥==∑∑ (++)概括(+)与(++)可知, 由背量1l -范数诱导出的矩阵范数既是1||||A 的上界,又是其下界,果此必有(3.1).设m n A C ⨯∈，矩阵谱范数由2l -范数诱导得出的矩阵范数，定义为21||||max{|}H A A A λλ==是的特征值 (3.2)其中 1σ为A 的最大偶同值, 当n n A R ⨯∈时, 2||||A = (3.3)道明:最先由线性代数, H A A 是半正定矩阵, 究竟上,对付任一n x C ∈,有果此,H A A 的特性值皆为非背真数,记为 120n λλλ≥≥≥≥,而且H A A 具备n 个相互正接的,2l -范数等于1(即尺度化了的)特性背量(1)(2)(),,,n x x x ,它们分别对付应于特性值120n λλλ≥≥≥≥.故那组特性背量形成了一组尺度正接基，用它们可表示任一个范数2||||1x =的背量x ：()1ni i i x x α==∑而且，由2||||1x =， 可得到 211ni i α==∑.那样， ()()()111()n n nHHi Hi i i i i i i i i A Ax A A x A Ax x αααλ======∑∑∑.由此22221122111||||||n n n i i λαλαλαλαλ=⎛⎫=+++≤= ⎪⎝⎭∑，也便是2||||Ax ≤由x 的任性性战算子范数的定义2221||||1||||max ||||x A Ax λ==≤ （*）另一圆里，由2||||1x =，而且与1λ对付应的特性背量(1)x ，思量 所以2(1)2221||||1||||max ||||||||x A Ax Ax λ==≥= （**）概括（*）战（**），由2l -范数诱导得出的矩阵范数应为21||||max{|}H A A A λλ==是的特征值.例3．3 设m n A C ⨯∈，l ∞-范数诱导得出的矩阵范数11||||max ||nij i mj A a ∞≤≤==∑ （3.4）道明：设12||||1(,,,),T n x x x x x =∞=且，即 max ||1i ix =.由算子范数，||||1||||max ||||x A Ax ∞∞∞==≤1max ||nij ij a =∑ （*）另一圆里，采用k ，使得 令12(,,,),T n y y y y =其中1,0||,0kj kj j kj kjif a a y if a a =⎧⎪=⎨≠⎪⎩，则 ||||max ||1j jy y ∞==，进而有 1**||**n kj j a Ay =⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭∑，由算子范数||||111||||max ||||||||||max ||nnkj ij x ij j A Ax Ay a a ∞∞∞∞====≥≥=∑∑. （**）概括（*）战（**），便得11||||max ||nij i mj A a ∞≤≤==∑.除了上述3种时常使用的矩阵范数中，Frobenius 范数虽然没有是算子范数，然而也时常所用，正在计划序列支敛等问题上是等价的.例3．4 设1234A -⎛⎫= ⎪-⎝⎭，供其百般矩阵范数.解： 1||||A =最大列战 = 6；||||A ∞=最大止战 = 7；|||| 5.477F A ==≈；四． 由矩阵范数推出的背量范数矩阵范数可由背量范数诱导，反过去，背量范数偶尔也可从矩阵范数推出.例4．1 设||||M •是n n C ⨯上的矩阵范数，任与n C 中的非整背量y ，则函数||||||||,H n V M x xy x C =∀∈ （4.1）是n C 上的背量范数，且矩阵范数||||M •与背量范数||||V •相容. 道明：欲证 ||||V x 是一个背量范数，只须考证它谦脚背量范数得个条件.非背性：当x ≠时，由于y非整，故||||||||0,H n V M x xy x C =>∀∈；当0x =时，H n n xy O ⨯=，故||||||||0H V M x xy ==. 齐次性：对付任一常数c C ∈，有 ||||||||||||||||||||H H V M M V cx cxy c xy c x ===.三角没有等式： 对付任性的,n x z C ∈，有 ||||||||V M x z =+.果此由背量范数的定义知，||||V x 是一个背量范数.底下再证二种范数的相容性.如果,n n n A C x C ⨯∈∈，那么 ||||||()||||()||||||||||||||||||H H H V M M M M M V Ax Ax y A xy A xy A x ==≤=. 可睹，矩阵范数||||M •与背量范数||||V •相容.五． 范数的若搞应用范数的应用很广大，那里只举2例. 1． 矩阵偶同性的条件对付于矩阵n n A C ⨯∈，是可根据其范数的大小，去判别的()I A -偶同性？判别一个矩阵的偶同性，本去没有便当（比圆预计A 的止列式的值是可非整，推断A 的诸列是可线性无闭等，均没有大简单），然而矩阵的范数的预计，如1||||,||||A A ∞，仍旧便当的.定理5.1 (Banach 引理)设矩阵n n A C ⨯∈,且对付矩阵n n C ⨯上的某种矩阵范数||||•,有||||1A <,则矩阵()I A ±非偶同,且有1||||||()||1||||I I A A --≤- (5.1)道明: 假设矩阵范数||||A 与背量范数||||x 相容.欲证矩阵()I A ±非偶同，可通过det()0I A ±≠.用反证法.假设det()0I A ±=，则齐次线性圆程组 ()0I A x ±= 有非整解0x ，即 于是， 00x Ax =.二边与范数 0000||||||||||||||||||||V V V V x Ax A x x =≤<其中末尾一个没有等号是由于 ||||1A <. 然而上式是冲突的，假设det()0I A ±=没有创制，进而矩阵()I A ±非偶同，故有顺.再由 1()()I A I A I -±±= 可得 11()()I A I I A A --±=±二边与范数，得111||()||||()||||||||()||||||I A I I A A I I A A ---±=±≤+± 再移项，有 1||()||(1||||)||||I A A I -±-≤ 进而 1||||||()||1||||I I A A -±≤-那正是咱们要念道明的.正在推演分解Ax b =的间接法的缺面分解时起要害的效率.请共教们自止道明底下类似的截止.定理5.2 设矩阵n n A C ⨯∈,且对付矩阵n n C ⨯上的某种矩阵范数||||•,有||||1A <，则2．近似顺矩阵的缺面——顺矩阵的摄动正在数值预计中，缺面无处没有正在，思量由于那些缺面存留而戴去的成果，是一项要害的课题.设矩阵n n A C ⨯∈的元素ij a 戴有缺面,(,1,2,,)ij a i j n δ=，则矩阵的真正在的值应为A A δ+，其中()ij A a δδ=称为缺面矩阵，又喊摄动矩阵.若A 为非偶同，其顺阵为1A -.问题是：1()A A δ-+与1A -的近似程度怎么样呢？大概者道，1()A A δ-+与1A -的“距离”大小为几？底下是回问上述问题的摄动定理.设矩阵n n A C ⨯∈非偶同，n n B C ⨯∈，且对付n n C ⨯上的某种矩阵范数||||•，有1||||1A B -<，则（1）A B +非偶同； （2）记11()F I I A B --=-+，那么 11||||||||1||||A B F A B --≤-； （3）11111||()||||||||||1||||A AB A B A A B ------+≤-. 道明：由于1||||1A B -<，所以1||||1A B --<.由定理 5.1，1()I A B -+非偶同，故1()A B A I A B -+=+非偶同.正在定理5.2中，将A 换成1A B --，即得（2）. 又果为 11111()(())A A B I I A B A ------+=-+， 二边与范数，并利用（2）的论断，可得11111||||||()||||||1||||A B A A B A A B ------+≤-， 即可得到（3）. □ 3．矩阵谱半径及其本量矩阵谱半径是一个要害的观念，正在特性值预计，广义顺矩阵，数值预计（特天正在数值线性代数）等表里中，皆占有极其要害的职位.定义4 设矩阵n n A C ⨯∈的n 个特性值为12,,,n λλλ（含沉根），称max ||i iλ为矩阵A 的谱半径，记为()A ρ. 闭于矩阵谱半径的最道明也是最要害的论断是，矩阵A 的谱半径没有超出其任一种矩阵范数.那个截止已经正在课堂上道明过了.动做训练，请共教们对付 1321i A i -⎛⎫= ⎪+⎝⎭考证那个论断.闭于矩阵谱半径的第2个要害论断是，如果矩阵A 为Hermite 矩阵，则2||||()A A ρ=.道明留给大家.虽然Hermite 矩阵的谱半径与其谱范数相等，然而是，普遍矩阵的谱半径与其谱范数大概出进很大.底下闭于矩阵谱半径的第3个要害论断，刻绘了谱半径与矩阵范数之间的另一种定量闭系.，定理5.4 设矩阵n n A C ⨯∈，对付任性正数ε，存留一种矩阵范数||||M •，使得道明： 根据Jordan 尺度型，对付n n A C ⨯∈，存留非偶同的n n P C ⨯∈，使如果记 12(,,,)n diag λλλΛ= 战123100000n I δδδδ-⎛⎫ ⎪ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭， 01i δ=或 则 Jordan 尺度型 J I =Λ+，其中12,,,n λλλ 为A 的特性值. 又记 21(1,,,,)n D diag εεε-=，则有1111()()PD A PD D P APD D JD Iε----===Λ+1122331n n λεδλεδλεδεδλ-⎛⎫ ⎪ ⎪ ⎪= ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭，记 S PD =，那么S 为非偶同，且有111||||||||()S AS I A ερε-=Λ+≤+.另一圆里，简单考证，11||||||||M A S AS -= 是n n C ⨯上的矩阵范数，所以11||||||||()M A S AS A ρε-=≤+. □5．背量战矩阵范数正在供解Ax b =的间接法的缺面分解中应用那一真量尔正在课堂上道的比较小心，那里便略去了.。
第2章范数理论及其应用2.1向量范数及l p范数定义：如果V是数域K上的线性空间，且对于V的任一向量x，对应一个实数值||x||，它满足以下三个条件：1)非负性：||x||≥0,且||x||=0⇔ x=0;2)齐次性：||k⋅x||=|k|⋅||x||，k∈K；3)三角不等式：||x+y||≤||x||+||y||.则称||x||为V上向量x的范数，简称为向量范数。
注意：2)中|k|当K为实数时为绝对值，当K为复数域时为复数的模。
虽然向量范数是定义在一般的线性空间上的，但是由于前面的讨论，我们知道任何线性空间在一组基下都代数同构于常用的n维向量空间，因此下面我们仅仅讨论n维向量空间就足够了。
范数首先是一个函数，它将线性空间的任意向量映射为非负实数。
范数与函数性质1. 范数是凸函数。
即|| (1-λ)x+λy||≤(1-λ)||x||+λ||y||其中0≤λ≤ 1。
向量的范数类似于向量长度。
性质2. 若||⋅||为线性空间V上的向量范数，则k||⋅|| 仍然为向量范数, 其中k > 0.性质3. 若||⋅||f和||⋅||g为线性空间V上的两个向量范数，则(1). ||⋅||f+ ||⋅||g为V上向量范数。
(2). max{ ||⋅||f, ||⋅||g } 为V上向量范数。
性质4. 若||⋅||f和||⋅||g分别为线性空间V上两个线性交集为0的子空间V1和V2上的两个向量范数，则对任意x∈V1⊕V2,存在唯一分解x= u+v, 其中u∈V1,v∈V2,定义||x||1=||u||f+ ||v||g ,||x||2=max{||u||f,||v||g}则||x||1和||x||2为V1⊕V2上的向量范数。
性质5. (范数与凸集) 若||⋅||为线性空间V上的向量范数，集合Ω={x: ||x||≤ 1}为V上凸集。
反之，若Ω为V上的均衡闭凸集，即x∈Ω,则λ⋅x∈Ω,其中|λ|≤1.其中Ω含有内点，即包含一个小的单位球。
