第2章范数理论及其应用2.1向量范数及l p范数定义：如果V是数域K上的线性空间，且对于V的任一向量x，对应一个实数值||x||，它满足以下三个条件：1)非负性：||x||≥0,且||x||=0⇔ x=0;2)齐次性：||k⋅x||=|k|⋅||x||，k∈K；3)三角不等式：||x+y||≤||x||+||y||.则称||x||为V上向量x的范数，简称为向量范数。
注意：2)中|k|当K为实数时为绝对值，当K为复数域时为复数的模。
虽然向量范数是定义在一般的线性空间上的，但是由于前面的讨论，我们知道任何线性空间在一组基下都代数同构于常用的n维向量空间，因此下面我们仅仅讨论n维向量空间就足够了。
范数首先是一个函数，它将线性空间的任意向量映射为非负实数。
范数与函数性质1. 范数是凸函数。
即|| (1-λ)x+λy||≤(1-λ)||x||+λ||y||其中0≤λ≤ 1。
向量的范数类似于向量长度。
性质2. 若||⋅||为线性空间V上的向量范数，则k||⋅|| 仍然为向量范数, 其中k > 0.性质3. 若||⋅||f和||⋅||g为线性空间V上的两个向量范数，则(1). ||⋅||f+ ||⋅||g为V上向量范数。
(2). max{ ||⋅||f, ||⋅||g } 为V上向量范数。
性质4. 若||⋅||f和||⋅||g分别为线性空间V上两个线性交集为0的子空间V1和V2上的两个向量范数，则对任意x∈V1⊕V2,存在唯一分解x= u+v, 其中u∈V1,v∈V2,定义||x||1=||u||f+ ||v||g ,||x||2=max{||u||f,||v||g}则||x||1和||x||2为V1⊕V2上的向量范数。
性质5. (范数与凸集) 若||⋅||为线性空间V上的向量范数，集合Ω={x: ||x||≤ 1}为V上凸集。
反之，若Ω为V上的均衡闭凸集，即x∈Ω,则λ⋅x∈Ω,其中|λ|≤1.其中Ω含有内点，即包含一个小的单位球。
则可以定义函数P(x) 如下：当x≠0时，P(x)= min {λ > 0:x/λ∈Ω }当x=0时，P(x)=0.则P(x)为V上的范数。
证明：1). 显然P(x) ≥ 0, 且P(0)=0.下面我们证明若P(x)=0, 则x=0;用反证法，设x≠0，则由P(x)的定义，任给λ>P(x)=0, 则有x/λ∈Ω。
有因为Ω为有界集。
即存在常数M>0 使得对任意y∈Ω, ||y||≤M. 其中||⋅||为某一给定的范数。
令y=x/λ,则得到||x/λ||≤M,即||x||≤λ⋅M,由于λ为任意大于0的数，若令λ→0 则有||x||=0。
因||⋅||为范数，从而x=0. 这样，我们就证明了1).2). 若x=0, 则P(k x)=k P(x)显然成立。
假设x≠0, 由于x/P(x)∈Ω,且任何λ≥P(x), x/λ∈Ω;而任何λ< P(x), x/λ∉Ω.显然k x/P(kx)∈Ω, 则[(k/|k|)⋅{x /[ P(kx)/|k|] }∈Ω注意k/||k||的幅度为1,从而有Ω的均衡性，我们有x /[ P(kx)/|k|]∈Ω，这样由定义有P(x)≤P(kx)/|k|, 即|k|⋅P(x)≤P(kx). (♥)同样由于x/P(x)∈Ω,注意到k/||k||的幅度为1，从而(kx)/(||k|| P(x) )∈Ω,由定义有P(kx)≤ |k|⋅P(x) (♠)联合(♥)和(♠)，我们有P(kx)=|k| P(x).(3). 设x≠0,y≠0, 则x/P(x)∈Ω, y/P(y)∈Ω,令λ=P(y)/(P(x)+P(y)), 由于Ω为凸集，从而(x+y)/(P(x)+P(y))=(1-λ)⋅ x/P(x)+λ⋅ y/(P(y)∈Ω,这样有P(x+y)的定义，我们有P(x+y)≤P(x)+P(y).当x和y有一个或全部为0时，显然三角不等式仍然成立。
联合1), 2)和3), 从而P(x)为范数。
这个性质说明了范数和均衡凸集之间的一一对应关系。
均衡凸集与范数例1: 向量的p范数：||x||p={|x1|p+|x2|p+…+|x n|p}1/p取p=1,2,和∞便分别得到1范数，2范数和∞范数。
即||x||1=|x1|+|x2|+…+|x n|||x||2={|x1|2+|x2|2+…+|x n|2}1/2||x||∞=max i |x i |其中||⋅||2范数为由内积导出的范数。
Holder 不等式∑∑∑===⎪⎭⎫ ⎝⎛⎪⎭⎫ ⎝⎛≤n i q n i q i p n i p i i i b a b a 1/11/11|||||| p,q>1, 1/p+1/q =1.例2.(加权范数)设A 为实对称正定矩阵，对 x ∈R n ,定义||x||=(x T Ax)1/2称为加权范数。
范数有无穷多， 但它们彼此等价。
即 定理：设||x||α和||x||β为有限维线性空间的任意 两个范数，则存在与x 无关的两个常数c 1,c 2 使得下面式子成立：c 1||x||β ≤ ||x||α ≤ c 2||x||β证明思路 1)范数等价为等价关系,满足传递性;2)任意范数为坐标函数的连续函数；3)在单位圆周上有大于零的极大极小值, 与2-范数等价。
利用范数等价证明:向量收敛的两个定义一致性.即：向量序列x (n )收敛指每个分量数列x i (n )收敛。
向量序列x (n )收敛指||x (n )||的范数序列收敛。
矩阵范数定义2.3 设A ∈C m ⨯n ,定义一个实值函数||A||,它 满足以下三个条件：1)非负性： ||A||≥0,且||A||=0⇔ A=0;2)齐次性：||k ⋅A||=|k|⋅||A||， k ∈C ；3)三角不等式：||A+B||≤||A||+||B||.则称||A||为A 的广义矩阵范数。
很明显矩阵按广义范数收敛和分量收敛 是等价的。
即：1.矩阵序列A (n )收敛指矩阵的每个元素 数列a ij (n )为收敛数列。
2.矩阵序列A (n )收敛指矩阵的广义范数 序列||A (n )||为收敛数列。
%向量范数同类：设||.||a 和||.||b 分别为C n 和C m 的向量范数，设n ≥ m ，任给x ∈C n ,设x=(y T ,0,...,0)T ∈C n , 若满足||x||a =||y||b则称||.||a 和||.||b 为同类的向量范数。
广义矩阵范数同类：设||.||a 和||.||b 分别为C m ⨯n 和C l ⨯k 的广义矩阵范数，设p=min(m,l )， q=min(k,n)任给D ∈ C p ⨯q设A=⎪⎪⎭⎫ ⎝⎛000D ∈C m ⨯n , B=⎪⎪⎭⎫ ⎝⎛000D ∈C l ⨯k 若满足 ||A||a =||B||b则称||.||a 和||.||b 为同类的广义矩阵范数。
%若对C m ⨯n ,C n ⨯l ,C m ⨯l 的同类广义矩阵范数||.|| 有4). 相容性：||AB||≤||A||⋅||B||则称||A||为A 的矩阵范数。
向量范数和矩阵范数的相容性：定义2.4 对于C m ⨯n 上的矩阵范数||.||M 和C m 与C n 的同类范数||.||V ,如果||Ax||V ≤||A||M ||x||V ,任给A ∈C m ⨯n ，x ∈C n 则称矩阵范数||.||M 和向量范数||.||V 相容。
定理(存在性) 任给||.||M 是C m ⨯n 上的矩阵范数， 存在C m 和C n 上的同类向量范数满足 ||Ax||Vm ≤||A||M ||x||Vn ,任给A ∈C m ⨯n ，x ∈C n 证明：任取不为Cn 中不为0的向量a, 定义||x||Vm =||x ⋅a H ||M , x ∈C m ;设||.||N 为和||.||M 同类的为C n ⨯n 的矩阵范数， 定义 ||y||Vn =||y ⋅a H ||N , y ∈C n ;易验证 ||x||Vm , ||y||Vn 分别为C m ,C n 的向量范数。
从而利用矩阵范数相容性可得 任给y ∈C n , ||Ay||Vm =||Ay ⋅a H ||M =||A(y ⋅a H )||M ≤||A||M ||y ⋅a H ||N =||A||M ||y||Vn从而成立结论。
例：Frobenius 范数或称F-范数和||.||2范数相容. ||A||F =Tr(A H A)1/2=(∑ |a ij |2)1/2从属(算子)范数定理:设C m 与C n 的同类范数||.||，对于C m ⨯n 上 的矩阵A 定义函数：||A||=||||max 1||||Ax x =是C m ⨯n 上矩阵范数,且与已知的向量范数相容. 称为之由向量导出的范数,从属范数或算子范数。
这时我们实际上将A 看作线性映射的矩阵表示.定理 设A=(a ij ) ∈C m ⨯n ,x=(ξ1,ξ2,…,ξn )T ∈C n 则从属于向量x 的三种范数||x||1,||x||2和||x||∞ 的矩阵范数依次是：1）||A||1=∑=m i ij j a 1|;|max (列范数)2）||A||2=1λ，其中λ1为A H A 的最大特征值;3) ||A||∞=∑=m j ij i a 1|;|max (行范数)必须特别注意，所有广义矩阵范数都是相互 等价的。
范数的应用1．矩阵非奇异性条件定理：设A ∈C n ⨯n ,且对C n ⨯n 的某矩阵范数||.|| 满足||A||<1,则矩阵I -A 非奇异，且有1) ||(I -A)-1||≤ ||I||/(1-||A||)2) ||I -(I -A)-1||≤||A||/(1-||A||)逆矩阵的摄动定理2.8 设矩阵A ，B ∈C n ⨯n , A 非奇异，且对 C n ⨯n 的某矩阵范数||.||满足||A -1B||<1,则1) 矩阵A+B 非奇异;2) F=I -(I+A -1B)-1,||F||≤ || A -1B ||/(1-|| A -1B ||)3) ||A -1-(A+B)-1||/|| A -1|| ≤||A -1B||/(1-||A -1B||) 特别地 设B=δA, cond(A)=||A||⋅|| A -1|| 则有||A -1-(A+δA)-1||/|| A -1|| ≤||||||||)(1||||||||)(A A A cond A A A cond δδ- 其中 Cond(A)称为A 的条件数，反映矩阵 的摄动对其逆的影响。
矩阵的谱半径及其性质定义设A∈C n⨯n的n个特征值为λ1,λ2,…,λn, 称ρ(A)= max i |λi| 为A的谱半径.定理. 设A∈C n⨯n，则对A的任何一种矩阵范数||.||有ρ(A)≤||A||.证明: 对矩阵范数构造相应的相容向量范数||.||Vn，从而有设λ为A的任意特征值, x为相应特征向量，则有|λ|⋅ ||x||Vn=||λx||Vn=||Ax||Vn≤||A||⋅||x||Vn.从而有|λ|≤||A||，由题设ρ(A)≤||A||.矩阵A的算子范数与谱：矩阵A。
