第二章 范数理论
在第一章我们曾利用内积定义了向量的长度，他是几何向量长度概念的一种推广。虽然当n>3时对定义的向量长度无法作出具体的几何解释，但这样规定的长度具有几何向量长度的基本性质，即非负性，齐次性和三角不等式。本章我们采用公理化的方法，八项量长度的概念推广到更一般的情形，主要讨论向量范数、矩阵范数及其有关的应用。
§2.1 向量范数
定义 2.1 若对任意n C x ∈都有一个实数x
与之对应，且满
足：
（1） 非负性：当x 0 x
0 x 0x 0 ?
==时，；当，；
（2） 齐次性：对任何C x
x l
l l ?，； （3） 三角不等式：对任意n x,y C ?
，
都有x y ,x y +?则称x
为n C 上的向量x 的范数，简称向量范数。
定义中并未给出向量范数的计算方法，只是规定了向量范数应满足的三条公理，称之为向量范数三公理。从范数定义可得范数的下列基本性质。 定理2.1 对任意，n C y x,∈有 （1）x -=x
；
（2）
x .y x
y -?
只证（2）。根据三角不等式，有
x x y y x y y =-+?+ y y x x y
x x
=-+?+
综合二式即得
x y x y
-?
证毕
例 2.1 设12n ().T n x C x x x = ，， 规定
2x =
第一章已表明
2
x
是向量x 的一种范数，并称之为向量2-范数，该范数具
有如下重要的性质，对任意n x C ?
和任意
n 阶酉矩阵U ，有
22Ux .x =
称之为向量
2-范数的
酉不变性。
例2.2 设12n x ().T n C x x x =
，，规定
11
x n
k
k x ==
?
则1x 是向量
x 的一种范数，称为向量1-范数。
证
当
1
11
x 0x 0 x 0x 0x 0.n
k k x =?>==?
时，显然；当时，的每一分量都是，故
对任意λ C , ?
有
n
111
1
x n
k
k k k x l l x
l
x l ===
==邋
又对任意12y (,,).T n n C h h h =
有
1111
1
1
1
()n n
n n
k
k k k k
k k k k k x y x y x
h x h x
m ====+=
+?
=
+
=+邋邋
故
1
x
是n C 上的一种向量范数。 例2.3 设12n x ().T n C x x x = ，，规定
1x max k
k
x = 则
x ￥
是向量x 的一种范数，称为向量￥-
范数。
证 当x 01时，有
x
max 0;k k
x ￥
=>当
x=0时，现然有
x
￥
=0.
对任意C ∈λ，有x max max k k k
k
x
l l x l x l ゥ===
又
对
任
意
12y (,,).
T n n C h h h = 有
x y
max max max k k k
k k
k
k
x
y
x h x h ゥ
+=+?=+
故
x
￥
是n C 上的一种向量范数。为给出其他的向量范数，先
证明如下结论.
引理 2.1 对任意实数00a b
吵和，都有p
q p q
a b a b ?
，其中
11
1q 11p q
p >>+=，，且
证 若0ab =，显然结论成立，下面就只就00a b >>和来讨论，考虑函数
()p q
t t t p q
j -=+
(0)t <<+
因为q 1
(1)
11
'()p p q q t t t
t
t j
+---+-=-= 可见，当01'()0;t t j << 时，（而当1t
?+
时，'()0t j 3（
，故总有()(1)
1 (0t )t j j ?<<+
令11q
p
t a
b
-
=，有
11
1
1
1111()
()()p q p
q q p q p p
q p q
a b a b a b ab ---?=+故结论成立。 定理2.2 对任意k , (k
1,2,,n)k C x h ? ，有
1
11
1
1
(
)()
p q n n
n
p
q
k
k k k k k k x
h x h ===￡邋 （2.1）
其中p>1，q>1，且11
1.p q
+
= 证 当0(1,2,,)k k k n x h === 时，结论成立。下设k ξ不全为0，
k η也不全为
0.由引理2.1得
n
11111n n 1111
1111()(
)
()()()()p q
k k n n k
k k
k
k p q
n
n
n n
p q p q k k p q p q k k k k k k k k k k k k p q x h x h x h x h x h x h =========轾
轾
轾
犏犏犏犏犏犏犏犏犏=?犏犏犏犏
犏犏
犏
犏
犏犏犏犏臌
臌
臌
?邋邋邋邋11
1.p q
+=故结论成立。 称式（2.1）为Holder 不等式。当p=q=2时，即得Cauchy-Schwarz 不等式2
2
2
11
1
()(
)()n
n
n
k
k k k k k k x h x h ===￡邋 （1.5）
例2.4 设12n x ().T n C x x x = ，，，规定
1
1
x ()
n
p
p
k p k x ==?
(1)p
?+
则
p
x
是向量x 的一种范数，称为向量p-范数。
证 易知非负性和齐次性成立，当p=1时，例2.2中已证明三角不等式成立。下设p>1，则对12y (,,).T n n C h h h = ，利
用
定
理
2.2得
1
1
11
111
11
(1)(1)1
1
1
1
x ()(
)()(
)
()n
n
n
p p
p p k k k k
k
k k k p
k k k n
n
n
n
p
q p p
q p p
q
p
q
k k k
k k k
k k k k p q p p p
y
x y x y
x h x x h h x h x x h h x h --===--====+=
+?
+
+
+++=++邋
邋邋
故
x p p q
p p
p
p
y x y
x
y
-+=+?
对于向量p-范数，显然p=1和p=2时，分别得到向量1-范数和2-范数，并且￥-范数也是p ?
时的特殊情形。
定理2.3 设12n x ().T n C x x x =
，，，则
lim p
p x
x
￥
?
=
证 当x=0时，结论成立。下设x 01，又设
t k max k
x
x x ￥
==则有
(
)
1
11t k t
1
n
p
p p
p
p
p k x x n n
x
x x x ゥ=骣
÷?=??÷?÷?桫?
由于
1l
i
m
n p p ?
=故l i m p
p x
x ￥?
=
证毕
下面我们给出一种从已知的某种向量范数构造的向量范数的方法。 定理 2.4 设A m n
n
C ′?
，a 是m C 上的一种向量范数，对任意n x C ?，规定
b a
x Ax
=则b
x
是n
C 中的向量范数。 证 当x=0时，Ax=0，从而0x 0b a x Ax == ；当时，
由rankA=n 知Ax 10，于是
b a
x Ax
=>0.
对任意C ∈λ，有x ()b a a b A x Ax x l l l l ===
又对任意n y C ?
，有
A()A Ay b a a
a b b x y x y x x y +=+?=+故b
x 是n C 中的向量范数。
由于满足A m n
n
C ′?
的矩阵有无穷多个，这样由一个已知的向量范数（不一定是p-范数）就可构造出无穷多个新的向量范数。如取
A=diag(1,2,…,n)则对于任意12n x ().T n C x x x = ，，由n C 上的向
量的1-范数和2-范数可得
11
x A n
k
a k x k x ===
?
2x A b x ==
例2.5 设A 是n 阶Hermite 正定矩阵，对任意n x C ?
，规定
A
x
=
则
A x 是一种向量范数，称为加权范数或椭圆范
数。
证 有定理1.24知，存在矩阵n n n C ?∈P ，使得A=P P H ，于是
A
2
x Px
=
由定理2.4知
A x 是n C 上的一种向量范数。
虽然在n C 中可以定义各种不同的向量范数，且同一向
量按不同范数算出的值一般不等，如对于向量e (1,1,,1).
T n C = 有
12n,e 1e e ￥==
=
但是，不同的范数之间存在着一种重要的关系，为了
描述这种关系，先给出如下的定义。
定义2.2 设
a 和
b 是n C 上的两种向量范数，如果存
在正数βα和，使对任意n x C ∈都有b a
b x x
x a b ＃则称向量范
数
a 与
b 等价。
定理 2.5
n C 上的所有向量范数等价。
证 设12n x ().T n C x x x =
，，a
是n C 上的向量范数，记
12(,,,)n a
x
j x x x = 首先证明),,,(21n ξξξ? 是连续函数，因为对任
意12y (,,).T n n C h h h =
有
12121
1
(,,)(,,)
x
()n n a
a
a n
n
k
k k
k
k k
a
k k a
y
x y
e e j x x x j h h h x
h x h ==-=-?=
-?
邋
而
a
k
e (k=1,2,…,n)都是确定的实数，故当k k (1,2,,)
k
n h x ?
时，有
1212(,,,)(,,,)n n j h h h j x x x ? 即),,,(21n ξξξ? 是连续函数。考虑集合 S=2{|
1,}n x x x C = 这是n C 中的一个有界闭集。根据连续的性
质知，
),,,(21n ξξξ? 在
S 上达到最大值β和最小值α，且0b a
?
.当
x 01时，
2
x
S x ?，且有122222
2
(,,,)
n a a
x x
x x x x x
x x x a j b
?=
即
22
a
x x
x
a b ＃当x=0时，上式也成立，这表明任意向量范
数
a 与向量
2-范数等价。又若
b 是n C 上的向量范数，则存
在正实数，，11βα使得故1
1
x b a
b
x
x a b
b a ＃
即a b
与等价
。
证毕
对于n C 上向量的1－，2－，￥－范数，易知下面二不等式成立
12
x x n x x
x
x
ゥゥ
＃＃
向量范数及其等价性，使得在研究向量序列的收敛问题时表现出简洁性和明显的一致性。见如下的定义和定理。
定义2.3 给定n C 中的向量序列{}()k x ，其中
()()()()12(,,,) (0,1,2,)
k k k k T
n x k x x x == 如果
()lim (1,2,,)k j j k j n x x ?
==
则称向量序列{}()k x 收敛于12n x ().T x x x = ，，简称{}()k x 收敛，
记为()lim k k k x x x x k
?
= + 或()不收敛的向量序列称为是发散
的。
定理2.6
n C 中向量序列{}()k x 收敛于x 的充分必要条件
是，对于n C 上的任意一种向量范数 ，都有()lim
0k k x x ?
-=
证 设()()()()1212(,,,),(,,,)k k k k T T n n x x x x x x x x == ，则有
()()()
()
1
max n
k k k k j
j j
j j j
j
j x x
x
x x
x x x ￥
=-?=-?
?
可
见
()lim (1,2,,)k j j k j n x x ?
== 的充分必要条件是()lim 0k k x x
￥
?
-=。
对于n C 上的任意一种向量范数 ，有等价性知
x x
x x x x
a b ゥ
-??(k)(k)(k)
从而()lim
k k x x
￥
?
-=的充分
必要条件是()lim
0k k x x ? -=。 证毕
§2.2 矩阵范数
由于一个m n ′矩阵可以看做mn 维的向量，因此可以按定义向量范数的方法来定义矩阵范数。但是，矩阵之间还有乘法运算，在研究矩阵范数时应予以考虑。首先研究方阵范数。
一、方阵的范数 定义2.4 若对任意n n A C ′? 都有一个实数
A
与之对应，且
满足：
（1） 非负性：当A O 1
时，0A >；当 A O =时，0A =；
（2） 齐次性：对任何,;C A
A l
l l ?
（3） 三角不等式：对任意,n n A B C ′?，都有;A B A
B +?
（4） 相容性：对任意,n n A B C ′?，都有,AB A B ￡
则称
A
为n n C ′上矩阵A 的范数，简称矩阵范数。
由于定义中前三条公理与向量范数一致，因此矩阵范数与向量范数所具有的性质类似，如
,,
A A A
B A
B -=-?以及n n
C ′上的任意两个矩阵范数等价，又由于矩阵范数定义中相容性公理的出现，使得由向量范数的表达式推广到矩阵情形时，有时需做一些修改。 例2.6 设(),n n
ij n n A a C
′′=
规定1
11
n n
ij
m i j A a ===
邋
则
1
m A
是n n C ′上的一
种矩阵范数，称为矩阵的1m －范数。 证 只证相容性，设B=ij n n ′(b ),则
1
111
111
11
1
1
(
)
[()(
)]
n n n n
n n
n n
n n
m ik kj
ik kj ik kj i j k i j k i j k k AB
a b
a b a b ===========
＃
邋邋邋邋
邋1
1
1111
()()n
n
n
n
ik kj m m i k j k a b A B
======邋邋
故
1
m A
是n n
C ′上的一种矩阵范数。
例2.7 设(),n n
ij n n A a C
′′=
规定F A =
则
F
A 是
n n C ′上的一种矩阵范数，称为矩阵的Frobenius 范数，简称F
－范数。
证 只证相容性，设B=ij n n ′(b ),由Cauchy-Schwarz 不等式（
1.5
）
，
得
F
AB
=
F
F
A B
=
故F
A 是n n C ′上的一种矩阵范
数。
F －范数有下列良好的性质。 定理2.7 设n n A C ′?
，则对任意
n 阶酉矩阵U 和V ，恒有 F F
F
F UA AV
UAV
A ===称之为
F-范数的酉不变性。
证 利用定理1.6，得
F F
F
F
UA A
AV
A ==
最后F F
F UAV
AV
A ==
证毕
需要指出的是，对于(),n n ij n n A a C ′′= 如果将向量的￥
－范数
直接推广到Ａ，即
,max ij
i j
A a =，则矩阵范数定义中前三条公
理成立，但相容性公理却不成立。如取
Ａ＝Ｂ＝1
111
骣÷
?÷?÷÷?桫
，则1A B ==，而AB ＝2222骣÷
?÷?÷÷?桫
。于是AB A B ￡。
因此要做适当的修改。 例2.8 设(),n n ij n n A a C ′′=
规定,A
max ij
m i j
n a ￥
=则
A
m ￥
是n n C ′上的矩
阵范数，称为矩阵的m ￥－范数。
证 只证相容性。设(),n n ij n n B b C ′′=
则
,,11
,,,1
max
max
max max max n n
ik kj
ik kj
m i j
i j
k k n ik kj
kj m m
m i j
i j
i j
k AB
n a
b n a b n a b A n b A B
￥
ゥ
==== ＃=邋?
故
m A
￥
是n n C ′上的一种矩阵范数。
二、与向量范数的相容性
由于矩阵与向量在实际运算中常同时出现，所以矩阵范数和向量范数也会同时出现，因此需要建立矩阵范数与向量范数的联系。 定义2.5 设
m 是n n C ′上的矩阵范数，v 是n C 上的向量
范数，如果对任意
n n A C ′?和n x C ?都有v m v Ax A x ￡则称矩阵范数m 与向量范
数
v 是相容的。
例2.9 证明n n C ′的矩阵1m －范数和F －范数分别与n C 上的向量
1－范数和2－范数相容。 证 设(),n n ij n n A a C ′′=
12(,,,)T n n x C x x x = ，则
111
1
1
(
)n n
n n ik k ik k k k i k Ax a a x x =====
邋
邋
1
11
1
1
11
1
[(
)()]
(
)(
)n n n n
n n
ik k ik
k m i k k i k k a a
A x x x ======?
=邋邋邋
利用Cauchy-Schwarz 不等式，得
22
F Ax A
x
=?
例2.10 证明n n C ′上的矩阵的m ￥－范数分别与n C 上的向量1
－、2－、￥－范数相容。
证 只证矩阵的m ￥－范数与向量￥－范数相容，其余证明留给读者。设
(),n n ij n n A a C ′′= 12(,,,)T n n x C x x x = ，则
,1
1
max
max
max max x
n n
ik k
ik k ik k
i
i
i k
k
k k Ax
a
a n a A x x x ￥
==ゥ=＃=邋
上例表明，与一个矩阵范数相容的向量范数可能不唯一，那么，对于n n C ′上任意给定的一种矩阵范数，是否一定存在与之相容的向量范数呢?对此有下面的结论。 定理 2.8 设
m 是n n C ′上的一种矩阵范数，则称n C 上必存在
与它相容的向量范数。 证 取定0n a
C 刮，对任意n x C ?，规定
H
v m
x xa =则当0x ≠时，H xa O ≠，于是0H
v m
x xa =>；而当
x=0时，H
xa O =，所以H
v m
x xa ==0.对任意C λ∈，有
()H
H
v v
m
m
x x a xa x
λλλλ===
又
对任意
,n
x y C ∈,有
()H
H
H
v v v
v
m
m
x y x y a xa ya x y
+=+≤+=+
故
v
?
是n C 上的一种向量范数，并且对任意,,n n n A C x C ?∈∈有 ()H
H
v m m
v
m
m
Ax Ax a A xa A
x
=≤=即矩阵范数
m ?与向量范
数
v
?
相容。证毕。
三、从属范数
我们知道，单位矩阵在矩阵乘法中的作用类似于1在数的乘法中的作用，但对于矩阵的1m －，F －，和m ￥－范数，有
1
, n
n
n
m F
m I n I I n ∞
===这对于一些理论分析带来不便，
那么能否构造出使
1n I ≡的矩阵范数呢？下面给出的就是
这样一类矩阵范数。
定理2.9 已知n C 上的向量范数
v
?
，对任意n n
A C ?∈，规定 0
1
max
(max )v v
v x x v
Ax A Ax x
≠===则?
是n n C ?上与向量范数
v
?
相容
的矩阵范数，且
1n I ≡，称之为由向量范数v
?
导出的矩阵范
数或从属于向量范数v
?
的矩阵范数，简称导出范数或从属
范数。 证 显然1n I ≡，又由0
max
v
v
x v
v
Ax Ax A x
x
≠=≥
得
v v Ax A x ≤从
而
?
与向量范数
v
?
相容。
当A O =时，A O =；而当A O ≠时，存在(0)n x C ∈使(0)0Ax ≠从
而
(0)(0)
0v
v
Ax A x
≥
>
任意C λ∈，有0
()max
max
v
v
x x v
v
A x Ax A A
x
x
λλλλ≠≠=≤= 又
对
任
意
,n n
A B C ?∈，
有
()max
max
max
v
v v
x x x v
v v A B x
Ax Bx A B x
x
x
≠≠
≠
++=≤+
=
A B
+
()max
max
v
v
x x v
v
AB x A Bx A B A B
x
x
≠≠=≤=故
?
是n n C ?上的矩阵范
数。证毕
矩阵的从属范数的计算归结为求函数的最大值，从分析的角度来看，连续函数在有界闭集上可以达到最大值，但计算却不是很容易，下面给出由向量1－、2－、￥－范数导出的矩阵范数的具体计算公式。 定理2.10 设(),n n ij n n A a C ′′= 记由向量1－、2－、￥－范
数导出的矩阵范数分别为12,,A A A ∞，则有
(1) 11max ;n
ij j
i A a ==∑
(2)
12A λ=为H A A 的最大特征值； (3) 1max .n
ij i
j A a ∞==∑
通常
12,,A A A ∞依次称为矩阵的
1－范数、2－范数、￥－
范数，或称为列和范数、谱范数和行和范数。 证 (1)对12(,,,)0T n x x x x =
，有
11
1
1
1
1
1
1
1
1
1
()
[](max )()(max )n n n n
ij j ij j i j i j n
n n n
n
j
ij ij j
ij j
j
j i i j i Ax a a a a a x ξξξξ
==========≤=≤=∑∑∑∑∑∑∑∑∑
即
11
1
max n
ij
j
i Ax a x =≤∑
设1
1
max n
n
ik
ij
j
i i a a ===∑∑取(0)
(0)
(0)(0)12
(,,),T n x ξξξ= 其中(0) 1 ,0 ,j j k
j k
ξ=?=?
≠? 则(0)
1
1x
=且有
(0)n (0)1
(0)
i=1
1
1
1
1
max n
n n
ij j
ik ij
j
j i i Ax a a a x
ξ
======∑∑∑∑
故
110
1
1
max
max n
ij
x j
i Ax A a x ≠===∑
（2）由定理1.24知，H A A 的特征值为非负实数，设H A A 的n 个特征值为120n λλλ≥≥≥≥ 由于H A A 是Hermite 矩阵，故存在n 阶酉矩阵U ，使
12(,,,)H H n U A AU diag λλλ= 记12(,,,)n U u u u = 其中j (1,2,)u j n = 是
U 的第j 列向量，对任意0,n
x C ≠∈有
1
n
j j
j x k u ==∑可求
得
2x ==
2Ax ===
2
即有2
2
Ax x
￡
取(1)1,x u =则有
(1)212(1)
2
Ax Au x
==
故
2
20
2
max
x Ax A x
1==
（4） 对12(,,,)0T n x x x x =
，有
1
1
1
1
max
max (max )(max )
max()n
n n
ij j
ij j ij j i i
i
j
j j j n
ij i
j Ax
a a a a x
ξ
ξξ∞
===∞
==≤≤=∑∑∑∑
于是
1
max
max n
ij
x i
j Ax A a x
￥
￥1=￥
= ? 设 1
1
max
n n
kj
ij
i
j j a a ===邋
取(2)(2)(2)(2)12(,,,),T n x x x x = 其中(2)
kj
,01 , 0
kj j kj kj a a a a ξ?≠?=??
=?则(2)
1x ￥
=，且
有
(2)
1
(,,,,,,)n
T kj j Ax
a ==****?
于是
(2)
(2
)(
2
)1
1
max
n
n
ij
ij
i
j j Ax A Ax
a
a x
￥
￥￥
==￥
?
?
邋故
1
max n
ij
i
j A a ￥==?
矩阵2－范数有下列良好的性质。
定理2.11 设n n A C ?∈，U 和V 为n 阶酉矩阵，则 （1）H
22
A A =；
（2）
2222UA AV UAV A ===；
（3）若A 是正规矩阵，且12,n l l l ，是A 的n 个特征值，则
2max k
k
A l =。
证 （1）由定理1.26知，H A A 与H AA 有相同的非零特征值，于是
2
2
H
A A
=
（2
）
22
A
UA ===
2
22
2
H H
H
AV
V A A A ===
2
2
2UAV
AV
A ==
（3）当A 是正规矩阵时，存在n 阶酉矩阵U ，使得
12(,,,,)H n U AU diag λλλ=
于是22212(,,,)H H H H H n U A AU U A UU AU diag λλλ==
故
2A max k
k
λ=== 证毕
有其他矩阵范数的计算公式易知：
1
1
A A
,H
m m =F
A A
H
F
=，
A A
,H
m m ￥
￥
=1A A H
￥
=，1
A A
H ￥
=
四、长方阵的范数
前面介绍的主要是方阵的防范数，给相应的定义做一些修改可以推广到吗m*n 矩阵的情形。
首先，在矩阵范数的定义中，相容性公理应改为： 对任意A m n
n
C ′?
，B n l C ′?都有 AB A B
￡上式左边是l m C ?上的矩阵范数，右边分别是
l n n m C ??C 和上的矩阵范数，他们应取为同类的矩阵范数，如均
取为F-范数。
其次，在与向量范数相容性的定义中，对任意A m n
n
C ′?
，x n C ?，有
m Ax A x
v v ￡其中上式左边的v 是m C 上的向量范数，右
边的
v 是n C 上的向量范数，它们应取为同类的向量范数。
最后，在从属范数定义中，对任意A C m n ′?
，有
Ax A max
v
x v
x
1=其中右边分子上的
v 是m C 上的向量范数，
分母上的v 是n C 上的向量范数，它们应取为同类的向量范
数。
对于任意A m n
n C ′?，常用的矩阵范数为如下七种： （1）1
111
A
m m
n
ij m i j a ===
-邋
，范数；
（2）
A
F
=
F-范数；
（3）M
,A max{,}max ij
i j
m n a =，M-范数或最大范数；
（4）
G
,A
ij
i j
a =
，G-范数或几何平均范数；
（5）m
1j
1
A max ij
i a ==?，1-范数或列和范数；
（6）2A =
2-范数或谱范数；
（7）
n
i
1
A
max ij
j a ￥
==?，￥-范数或者行和范数。
其中F-范数和2-范数是酉不变的，1m －范数与向量1－范数相容；F －范数和G －范数与向量2－范数相容；M －范数分别与向量1－、2－、￥－范数相容；而矩阵的1－、￥－、2－范数分别有向量1－、￥－、2－范数导出，从而与相应的向量范数相容。
§2.3 范数应用举例
在§2.1中介绍了向量范数在讨论向量序列极限中的应用，有关范数在矩阵分析中的应用可见下一章，本届主要介绍范数在特征值的估计及数值分析中的应用。
一、矩阵的谱半径 定义 2.6 设A n n C ′?
，12,,,n λλλ为
A 的n 个特征值，称
()max j
j
A r l
=为A 的谱半径。利用定义可得到谱半径的如下性
质：
（1）()(());k k A A r r = （2）22
()()H H A A AA A
r r =
=；
（3）当A 是正规矩阵时，2()A A r =
。
证 （1）设A 的n 个特征值为12,,,n λλλ，则k A 的特征值为
12,,,k k k n λλλ于是
()max (max )(())k k k k j
j j
j
A A r l
l r ===
（2）由矩阵2－范数的计算公式和H H A A AA 与有相同的非零特征值即得；
（3）利用定理 2.11的结果即得。
证毕
有关矩阵的谱半径，有如下的一些估计式。 定理2.13 设
A n n C ′?，
则对n n C ′上的任意矩阵范数·，都
有()A A
r ￡
证 设l 是A 的特征值，x 是A 的对应l 的特征向量，又设
v
·
是n
C 上与矩阵范数·
相容的向量范数，则由Ax=l x ，
可得v v v v x x Ax A x l l ==
从而,()
A A A
l
r ＃即 证毕
例2.11
已知00.20.10.200.20.10.20A 骣÷?÷?÷?÷=-?÷?÷?÷÷?--桫
，试估计A 的谱半径。
解
可求得1
10.4,1,0.6,0.4243.m m F
A A A A A
￥
￥=====
于是()0.4A r ￡
。
实际计算可知A 的特征值为0，－0.4i ，0.4i ，从而()0.4A r =，
可见对此矩阵谱半径的估计很精确，但对多数矩阵来说，估计的结果偏保守。 定理2.14 设A n n C ′?，对任意给定的正数e ，存在某一矩阵
范数
m
·
，使得
()m A A r e ?
证 由定理1.9，存在n n
n
P C ′?
，使得 11
21i n-101 n P AP J l d l d d l -骣÷?÷?÷?÷?÷?÷===?÷?÷÷?÷?÷?÷?桫
，或，令D=diag e e e 2n-1(1,,,,)，则易
验证
111D P APD D JD ---==11
2n-1 n l ed l ed l 骣÷?÷?÷?÷?÷?÷?÷?÷÷?÷?÷?÷?桫
于是
11max()()j
j
D P APD
A l
e r e --￥
?=+对任意,n n B C ′?规定
11
m
B D P APD --￥
=容易验证
m
B
是n n
C ′上的一种矩阵范数，且有 11()
m
A
D P APD
A r e
--￥
=?
证毕
需要指出的是，定理2.14中构造的矩阵范数与给定的矩阵A
3.3 范数 3.3.1 向量范数 在一维空间中，实轴上任意两点距离用两点差的绝对值表示。绝对值是一种度量形式的定义。 范数是对函数、向量和矩阵定义的一种度量形式。任何对象的范数值都是一个非负实数。使用范数可以测量两个函数、向量或矩阵之间的距离。向量范数是度量向量长度的一种定义形式。范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。同一向量，采用不同的范数定义，可得到不同的范数值。 定义3.1对任一向量，按照一个规则确定一个实数与它对应，记该实数记为 ，若满足下面三个性质： （1），有，当且仅当时，（非 负性） （2），，有（齐次性） （3.37）（3），，有（三角不等式） 那么称该实数为向量的范数。 几个常用向量范数 向量的范数定义为 其中，经常使用的是三种向量范数。
或写成 例3.5 计算向量的三种范数。 向量范数的等价性 有限维线性空间中任意向量范数的定义都是等价的。若是上两种不同的范数定义，则必存在,使均有 或 （证明略） 向量的极限 有了向量范数的定义，也就有了度量向量距离的标准，即可定义向量的极限和收敛概念了。
设为上向量序列，若存在向量使，则称向量列是收敛的（是某种向量范数），称为该向量序列的极限。 由向量范数的等价知，向量序列是否收敛与选取哪种范数无关。 向量序列，收敛的充分必要条件为其序列的每个分量收敛，即存在。 若，则就是向量序列 的极限。 例3.6 求向量序列极限向量。 解：算出每个向量分量的极限后得 在计算方法中，计算的向量序列都是数据序列，当小于给定精度时，取 为极限向量。 3.3.2 矩阵范数 矩阵范数定义
向量和矩阵的范数的若干难点导引 矩阵范数的定义 引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。 最容易想到的矩阵范数，是把矩阵m n A C ?∈可以视为一个mn 维的向量（采用所谓“拉 直”的变换），所以，直观上可用mn C 上的向量范数来作为m n A C ?∈的矩阵范数。比如 在1l -范数意义下，111 ||||||m n ij i j A a === ∑∑()12 tr()H A A =； （1.1） 在2l -范数意义下，1 2 211||||||m n F ij i j A a ==?? = ??? ∑∑， （1.2） 注意这里为了避免与以后的记号混淆，下标用“F ”，这样一个矩阵范数，称为Frobenius 范数，或F-范数。可以验证它们都满足向量范数的3个条件。 那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计AB 的“大小”相对于A B 与的“大小”关系。 定义1 设m n A C ?∈，对每一个A ，如果对应着一个实函数()N A ，记为||||A ，它满足以下条件： （1）非负性：||||0A ≥； （1a ）正定性：||||0m n A O A ?=?= （2）齐次性：||||||||||,A A C ααα=∈； （3）三角不等式：||A ||||||||||||,m n A B A B B C ?+≤+?∈ 则称()||||N A A =为A 的广义矩阵范数。进一步，若对,,m n n l m l C C C ???上的同类广义矩阵范数||||?，有 （4）（矩阵相乘的）相容性：||A ||||||||||||AB A B ≤， n l B C ?∈， 则称()||||N A A =为A 的矩阵范数。 我们现在来验证前面（1.1）和（1.2）定义的矩阵范数是否合法？我们这里只考虑（1.2）, 把较容易的（1.1）的验证留给同学们， 三角不等式的验证。按列分块，记1212(,,,),(,,,)n n A a a a B b b b == 。 2 22112||)(,),(),(||||||F n n F b a b a b a B A +++=+ 2222222211||||||||||||n n b a b a b a ++++++= ()()22 121222||||||||||||||||n n a b a b ≤++++ ()()()2222122121222122||||||||2||||||||||||||||||||||||n n n n a a a b a b b b =++++++++ 对上式中第2个括号内的诸项，应用Cauchy 不等式，则有 222||||||||2||||||||||||F F F F F A B A A B B +≤++2(||||||||)F F A B =+ （1.3） 于是，两边开方，即得三角不等式。 再验证矩阵乘法相容性。 2 2 2111 111||||||||m l n m l n F ik kj ik ki i j k i j k AB a b a b ======?? =≤ ??? ∑∑∑∑∑∑
范数：用于度量“量”大小的概念 1. 引言 实数的绝对值：a 是数轴上的点a 到原点0的距离； 复数的模：a bi +=是平面上的点()b a ,到原点()0,0的距 离； 还有其他刻画复数大小的方法（准则）：如 １）b a +； ２）{}max , a b 2. 向量的范数：p-范数 1 1n p p k p k x x =??= ??? ∑ （1） 示例： 1211234515,2345,5x x x x ∞ ???=+-+++= ?-? ?? ?=?==? ?? = ??? ??? 3. 矩阵（算子）的范数 01max max x x Ax A Ax x ≠=== （2） 矩阵的谱半径:设M 是n 阶矩阵，称
()()()(){}12max , ,, n M M M M ρλλλ=L （3） 为该矩阵的谱半径。 记 ()1212,,,T T n T n A ββαααβ?? ? ?== ? ? ??? L M ， 那么， {}{}()1211111211112 max ,,,max max ,,,n k n p p x k T A A Ax A A A A αααβββρ∞=?=?? =?=??=??L L （3） 4. 矩阵的条件数：用于刻画矩阵“病态”程度的概念 ()1 cond A A A -=? 5.利用范数定义点之间的距离 (),,,n n x R y R d x y y x ∈∈?=- 向量的内积、范数及n 维空间距离的度量 令 P 是一数域， P n 是 P 上的向量空间，如果函数 ()?x y P P P n n ，:?→有如下性质： １、共轭对称性：?∈x y P n ，，()()??y x x y ，，=； ２、非负性：?∈x P n ，()?x x ，≥0，()?x x x ，=?=00；
《周国标师生交流讲席010》 向量和矩阵的范数的若干难点导引(二) 一． 矩阵范数的定义 引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。 最容易想到的矩阵范数，是把矩阵m n A C ?∈可以视为一个mn 维的向量（采用所谓“拉 直”的变换），所以，直观上可用mn C 上的向量范数来作为m n A C ?∈的矩阵范数。比如 在1l -范数意义下，111 ||||||m n ij i j A a === ∑∑( ) 12 tr()H A A =； （1.1） 在2l -范数意义下，1 2 211||||||m n F ij i j A a ==??= ??? ∑∑， （1.2） 注意这里为了避免与以后的记号混淆，下标用“F ”，这样一个矩阵范数，称为Frobenius 范数，或F-范数。可以验证它们都满足向量范数的3个条件。 那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计AB 的“大小”相对于A B 与的“大小”关系。 定义1 设m n A C ?∈，对每一个A ，如果对应着一个实函数()N A ，记为||||A ，它满足以下条件： （1）非负性：||||0A ≥； （1a ）正定性：||||0m n A O A ?=?= （2）齐次性：||||||||||,A A C ααα=∈； （3）三角不等式：||A ||||||||||||,m n A B A B B C ?+≤+?∈ 则称()||||N A A =为A 的广义矩阵范数。进一步，若对,,m n n l m l C C C ???上的同类广义矩阵 范数||||?，有 （4）（矩阵相乘的）相容性：||A ||||||||||||AB A B ≤， n l B C ?∈， 则称()||||N A A =为A 的矩阵范数。 我们现在来验证前面（1.1）和（1.2）定义的矩阵范数是否合法？我们这里只考虑（1.2）,把较容易的（1.1）的验证留给同学们， 三角不等式的验证。按列分块，记1212(,,,),(,,,)n n A a a a B b b b ==L L 。 2 22112||)(,),(),(||||||F n n F b a b a b a B A +++=+Λ 2 222222211||||||||||||n n b a b a b a ++++++=Λ ()()22 121222||||||||||||||||n n a b a b ≤++++L ()()()22 22122121222122||||||||2||||||||||||||||||||||||n n n n a a a b a b b b =++++++++L L L 对上式中第2个括号内的诸项，应用Cauchy 不等式，则有 222||||||||2||||||||||||F F F F F A B A A B B +≤++2(||||||||)F F A B =+ （1.3） 于是，两边开方，即得三角不等式。 再验证矩阵乘法相容性。
第四章 矩阵范数理论及其应用 知识要点： 1、向量范数及其性质（范数与赋范空间，n 维向量的1-范数1x 、2-范数2x 、p -范数p x 和∞范数x ∞ ，p p lim x x ∞→∞ =，a P a x Px =，2H H P x Px x P Px ==，有限维赋范 空间的范数是等价的） 2、矩阵范数及其相容性（Frobenius 范数，F E n =，相容性：AB A B ≤，1E ≥） 3、算子范数（定义，列范数，行范数，谱范数） 4、矩阵范数的应用（矩阵序列及幂级数的收敛性，矩阵条件数，摄动理论、矩阵的谱半径） §4.1 向量范数及其性质 一、范数与赋范线性空间 定义1：如果线性空间V 中的任一向量x ，都对应—个实值函数()f x （记为x ），并满足以下三个条件（称为范数公理）： (1)非负性：0x ≠时, x ＞0；0x =时, x =0。 (2)齐次性：ax =a x ,a K ∈，x V ∈。 (3)三角不等式：x y +≤x +y ，,x y V ∈。 则称x 为V 上向量x 的范数（norm ），V 称为赋范线性空间（normed linear space ）。 易证x y -满足距离公理，称之为x 与y 的范数诱导的距离。若0n x x -→，则称n x 收敛于x ，记为n x x →。 例1：对于连续函数空间[,]C a b 中的向量()f x ，可如下定义范数为：1()()b a f t f t dt = ? ， () max () a t b f t f t ∞ ≤≤=，1 () ()b p p p a f t f t dt ?? =???? ?，1p ≤<∞。分别称之为1-范数，∞- 范数，p -范数。 注：需要用到数学专业的一些函数不等式，才能证明上述范数的正确性。 性质1：对于赋范线性空间V 上任意的x ，定义实函数()f x x =，则()f x 为V 上的连续函数，即0x x →时，0()()f x f x →，其中0x V ∈。 证明：由000()()f x f x x x x x -=-≤-可知，0x x →时，0()()f x f x →。 因此，()f x 为V 上的连续函数。
《周国标师生交流讲席010》 向量和矩阵的范数的若干难点导引(二) 一.矩阵范数的定义 引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。 最容易想到的矩阵范数，是把矩阵A C m n可以视为一个mn维的向量(采用所谓“拉 直”的变换)，所以，直观上可用C mn上的向量范数来作为A C m n的矩阵范数。比如 m n 1 在∣1 -范数意义下，IIAl1 ；二Ia ijI= tr(A H A) 2; (1.1 ) 1 Zl mn A2 在I2-范数意义下，∣∣A∣∣F=∑∑同|2，(1.2) Iy j A J 注意这里为了避免与以后的记号混淆，下标用“F”，这样一个矩阵范数，称为Frobenius 范数，或F-范数。可以验证它们都满足向量范数的3个条件。 那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计AB的“大小”相对于A与B 的“大小”关系。 定义1设A C mn,对每一个A ,如果对应着一个实函数N(A),记为IlAll ,它满足以下条件： (1)非负性：|| A||_0 ; (1 a)正定性：A=O mn= IIAII= 0 (2)齐次性：||〉A||=| |||A||, ? C ; (3)三角不等式:||A||A B||—||A|| ||B||, -B C m n 则称N(A)=|| A||为A的广义矩阵范数。进一步，若对C m n,C n 1C m l上的同类广义矩阵 范数|| || ,有 (4)(矩阵相乘的)相容性:|| A || AB ||_|| A|||| B ||, B C n I , 则称N(A) =||A||为A的矩阵范数。 我们现在来验证前面(1.1 )和(1.2 )定义的矩阵范数是否合法？我们这里只考虑(1.2 ),把较容易的(1.1 )的验证留给同学们， 三角不等式的验证。按列分块，记A=√a1,a2,…,a n), B=√b1,b2,…,b n)。 ||A BII F=Ig bj,? b2), ,(a. b n)||F *1 UII2 IIa2 b2||2 Ha n g ||2 (IIa1II2 +IIdIb ) +…+(IIa n Ib +||b n ||2) 2 2 兰 二険||2 IIa n II；2 || q II2II d ||2 …IIa n II2II b n ||2 IIdII2IIb n II2 对上式中第2个括号内的诸项，应用CaUChy不等式，则有 IIA + BIIF≤IIAII F +2||A||F||B||F +IIBII2=(IIAI F +IIBII F)2(1.3 )于是，两边开方，即得三角不等式。 再验证矩阵乘法相容性。
泛函数-正文 又称泛函，通常实（复）值函数概念的发展。通常的函数在R n或C n（n是自然数）中的集合上定义。泛函数常在函数空间甚至抽象空间中的集合上定义，对集合中每个元素取对应值（实数或复数）。通俗地说，泛函数是以函数作为变元的函数。泛函数概念的产生与变分学问题的研究发展有密切关系。设Ω为R n中的区域，Г1表示边界嬠Ω的片断, 表示一函数集合。考虑对应 ,式中F为具有2n+1个自变数的函数:为寻求J(u)的局部极值，在一定条件下取J(u)的加托变分 如果在u=u0达到局部极值，则u0适合欧拉方程δJ(u)=0。在应用中，常以数学或物理的某个微分方程为背景产生一定泛函数，使原问题化成泛函数极值问题。当代分析学中，变分方法有广泛应用。一般把问题化成Tx=0的形式，即对应于某泛函数φ的欧拉方程，其中φ定义在一巴拿赫空间X中的开集S上且加托可微:算子T称为梯度算子,φ称为T的场位。人们常遇到二阶微分系统，由此产生二次泛函数极值问题，是当代变分法常见的研究对象。 泛函数φ:S嶅X→R（X为拓扑空间）称为在x∈S处下半连续，如果对每个实数r<φx，有x的邻域U(x)，使得r<φz,凬z∈U(x)∩S。称φ在x∈S处下半序列连续,如果对每个序列 。其连续性及有界性如同对算子相应的性质所做的规定。 设φ是定义在线性集合S上的实（复）值泛函数。如果φ(x+y)＝φ(x)+φ(y)，φ称为加性的；如果φ（λx）=λφ(x),λ∈R(C)称为齐性的；如果同时有加性及齐性称为线性的。当φ
取实值时,加性得放松为次加性,其定义为：φ(x+y)≤φ(x)+φ(y)；齐性得放松为正齐性，其定义为：?(λx)=λ?(x)(λ≥0)；如果同时有次加性及齐性，则称φ具有次线性；如果对于λ∈(0,1)，有φ(λx+(1-λ)y)≤λφ(x)+(1-λ)φ(y)，则称φ为凸的;如果当x≠y时上式中的≤必为<,则称φ为严格凸的。在一些问题中,容许凸泛函数φ取值＋∞,但φ扝+∞,这时称φ为真凸的。此外,还有所谓凸集S上的拟凸泛函数φ：S嶅K→R（K为线性空间），使φ(tx+(1-t)y)≤max{φx,φy},x,y∈S, t∈(0,1)。在赋范空间K中无界集S上定义的泛函数φ称为强制的,如果有函数с:(0,+∞)→R,с(t)→+∞(t→+∞)使得φ(z)≥с(‖z‖),凬z∈S。 线性泛函数是线性算子理论研究的对象之一，也是研究空间性质及结构的工具。例如，局部凸拓扑线性空间K有对偶空间K，K的元素就是定义在K上的连续线性泛函数。对K可赋予简单收敛拓扑或有界收敛拓扑。偶K、K间的关系对认识空间的性质和研究算子的性质都有基本意义。 相应于多重线性算子有多重线性泛函数。例如，设K1、K2是同一数域上的线性空间,定义在积空间K1×K2上的映射φ:K1×K2→R（或C）称为双线性泛函数,如果K2(K1)中元素固定时φ成为K1(K2)上的线性泛函数。当K1=K2=K，K1及K2中取等同的x∈K，则得φ(x,x),称为二次泛函数。对希尔伯特空间中线性算子谱理论的研究，双线性泛函数形式作为表示工具是方便的。二次泛函数在变分法中的应用更是为人熟知的。 拟赋范空间、局部凸拓扑线性空间、赋范空间等的表征主要在于分别在各空间上定义的次加性泛函数，即拟范数、半范数族、范数等。测度空间中的测度，即对应于某种集合的值也可理解为泛函数。对于给定函数的不定积分也可类似地看待。 范数 向量范数
矩阵论主要研究的是线性空间以及在线性空间中的一些操作，主要是线性变换。当然书中主要是针对有限维的情况来讨论的，这样的话就可以用向量和矩阵来表示线性空间和线性变换，同其他的数学形式一样，矩阵是一种表达形式（notation），而这一方面可以简洁地表达出我们平时遇到的如线性方程和协方差关系的协方差矩阵等，另一方面又给进一步的研究或者问题的简化提供了一个平台。如特征值分析、稳定性分析就对应着诸如统计分布和系统稳定性等实际问题。而一系列的分解则可以方便方程的数值计算。作为矩阵论的学习，我们需要了解具体的一些计算究竟是怎么算的，但更关键的是要知道各个概念和方法的实际意义，各个概念之间的关系。 首先介绍的是线性空间，对于线性空间中的任意一个向量的表示有基（相当于度量单位）和坐标（相当于具体的尺度），基既然作为度量标准了，当然要求对每一个向量都适用，同时这个标准本身也应该尽可能的简洁，那么就得到了基定义的两点约束：１、基的组成向量线性无关；２、线性空间中的任一个向量都可以由基的线性表示。 基作为一种“计量标准”，当然可能会存在多种形式，只要满足上面的两点条件，因而就有必要解决不同的度量标准之间的转换关系，从而得到过渡矩阵的概念，同时可以使用这种转换关系（过渡矩阵）去完成度量量（坐标）之间的转换。 在完成了线性空间这一对象的认识和表达之后，下面需要研究对象和对象之间的关系。这里主要是线性变换，线性变换针对于实际对象主要完成类似于旋转和尺度变换方面的操作，而这种操作也牵涉到表达的问题。为了保持与空间的一致性，我们也同样是在特定的基下来表示，从而线性变换就具体化为一个变换矩阵，并且，在不同的基下对应的变换矩阵当然也不相同，这里的不同的变换矩阵的关系就是相似的概念。 到此，我们完成了空间中向量的表示和线性变换的矩阵表达。这里涉及了基、坐标、过渡矩阵、变换矩阵、相似矩阵这几个重要的概念。上面算是内涵上的认识，下面我们需要知道线性空间里究竟有些什么东西，它是如何组成的，各个组
第二章 范数理论 在第一章我们曾利用内积定义了向量的长度，他是几何向量长度概念的一种推广。虽然当n>3时对定义的向量长度无法作出具体的几何解释，但这样规定的长度具有几何向量长度的基本性质，即非负性，齐次性和三角不等式。本章我们采用公理化的方法，八项量长度的概念推广到更一般的情形，主要讨论向量范数、矩阵范数及其有关的应用。 §2.1 向量范数 定义 2.1 若对任意n C x ∈都有一个实数x 与之对应，且满 足： （1） 非负性：当x 0 x 0 x 0x 0 ? ==时，；当，； （2） 齐次性：对任何C x x l l l ?，； （3） 三角不等式：对任意n x,y C ? ， 都有x y ,x y +?则称x 为n C 上的向量x 的范数，简称向量范数。 定义中并未给出向量范数的计算方法，只是规定了向量范数应满足的三条公理，称之为向量范数三公理。从范数定义可得范数的下列基本性质。 定理2.1 对任意，n C y x,∈有 （1）x -=x ； （2） x .y x y -? 只证（2）。根据三角不等式，有
x x y y x y y =-+?+ y y x x y x x =-+?+ 综合二式即得 x y x y -? 证毕 例 2.1 设12n ().T n x C x x x = ，， 规定 2x = 第一章已表明 2 x 是向量x 的一种范数，并称之为向量2-范数，该范数具 有如下重要的性质，对任意n x C ? 和任意 n 阶酉矩阵U ，有 22Ux .x = 称之为向量 2-范数的 酉不变性。 例2.2 设12n x ().T n C x x x = ，，规定 11 x n k k x == ? 则1x 是向量 x 的一种范数，称为向量1-范数。 证 当 1 11 x 0x 0 x 0x 0x 0.n k k x =?>==? 时，显然；当时，的每一分量都是，故 对任意λ C , ? 有 n 111 1 x n k k k k x l l x l x l === ==邋 又对任意12y (,,).T n n C h h h = 有
I 、向量的范数 向量x ∈R n 的范数f(x )是定义在R n 空间上取值为非负实数且满足下列性质的函数： 1ο 对于所有的x ≠ 0,x ∈R n 有f(x )>0; (非负性） 2ο 对于所有的α∈R 有f(αx ）=αf(x ); （正齐性） 3ο 对于所有的x,y ∈R n 有f(x+y )≤f(x )+f(y ). （三角不等式） 一、 一般情况下，f(x )的具体模式如下： p x = p n i p i x 11 )( ∑=，p 1≥ 也称它为p-范数。 下证p-范数满足上述的三个性质： 1、对于所有的x ∈R n ，x ≠ 0，p n i p i x 11 )(∑ =显然是大于0的，故性质1ο成立。 2、 由p x α = p n i p i x 11 )( ∑=α = αp n i p i x 11 )(∑ = = αp x 知性质2ο成立。 3、欲验证性质3ο ，我们的借助下列不等式： 设p>1,q>1,且p 1 + q 1 = 1，则对所有的0,≥βα有 αββα≥+ q p q p 证： 考虑函数p t p t t - =1)(?，因为)1(1)(11' -= -p t p t ?，由()t '?=0 t=1,又因为01 )1(' '<- =pq ?，所以当t = 1的时候)(t ?取最大值，则有：
p p t t p 111-≤-， 令t = q p β α,代入可得： q p p q p p q p 1111 =-=-??? ? ??βαβα, 化简之后即得： αββα≥+ q p q p 证毕！ 又令∑=) (1i p x x p i α，∑=) (1i q y y q i β，代入上不等式可得： ∑∑+ ) ()(i q i i p i y y x x q q p p ∑∑≥ ) ()(11y x y x i q i p q p i i ，两边同时对i 求和，并利用 关系式p 1 + q 1 = 1可知： ∑∑≥+ = ∑∑∑∑∑) ()(11) ()(1y x y x y y x x i q i p i q i i p i q p i i q q p p 从而有： ∑∑≤∑) ()(11y x y x i q i p q p i i 另一方面，又有： ∑+∑++=-y x y x y x i i p p i i i i 1 )(1 y x y x i i p i i + ≤∑+- y y x x y x i p i p i i i i ∑+∑+--+=1 1 ()()()()()() ∑ ∑ -+∑ ∑ -≤++y y x x y x i p i i q p i p i i q p p q p q 111111 () ()()() ???? ??? ?∑ ∑ -=+∑+y x y x i p i p p i i q p p q 1111
矩阵范数的意义 几何方法是一种数学思维方法。函数和几何是数学的两条主要主线。我们学习各种函数及其性质，比如微积分、复变函数、实变函数、泛函等。而几何是函数形象表达，函数是几何的抽象描述，几何研究“形”，函数研究“数”，它们交织在一起推动数学向更深更抽象的方向发展。 函数图象联系了函数和几何，表达两个数之间的变化关系，映射推广了函数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，任何事物都可以拿来作映射，维数可以是任意维，传统的函数图象已无法直观地表达高维对象之间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的n维空间。 由于映射的对象可以是任何事物，为了便于研究映射的性质以及数学表达，我们首先需要对映射的对象进行“量化”，取定一组“基”，确定事物在这组基下的坐标，事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解为从一个空间中的点到另一个空间的点的映射，而映射本身也是事物，自然也可以抽象为映射空间中的一个点，这就是泛函中需要研究的对象——函数。 从一个线性空间到另一个线性空间的线性映射，可以用一个矩阵来表达，矩阵被看线性作映射，线性映射的性质可以通过研究矩阵的性质来获得，比如矩阵的秩反映了线性映射值域空间的维数，可逆矩阵反映了线性映射的可逆，而矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例。 并不是只有线性空间才有范数的定义，任意空间都可以引入范数，这样的空间称为赋范空间，使得这个空间可以被度量，如希尔伯特空间。 范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数，所以，范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出），要理解矩阵的算子范数，首先要理解向量范数的内涵。矩阵的算子范数，是由向量范数导出的，由形式可以知： 或方阵
矩阵与范数、谱半径、奇异值 矩阵论主要研究的是线性空间以及在线性空间中的一些操作，主要是线性变换。当然书中主要是针对有限维的情况来讨论的，这样的话就可以用向量和矩阵来表示线性空间和线性变换，同其他的数学形式一样，矩阵是一种表达形式（notation），而这一方面可以简洁地表达出我们平时遇到的如线性方程和协方差关系的协方差矩阵等，另一方面又给进一步的研究或者问题的简化提供了一个平台。如特征值分析、稳定性分析就对应着诸如统计分布和系统稳定性等实际问题。而一系列的分解则可以方便方程的数值计算。作为矩阵论的学习，我们需要了解具体的一些计算究竟是怎么算的，但更关键的是要知道各个概念和方法的实际意义，各个概念之间的关系。 首先介绍的是线性空间，对于线性空间中的任意一个向量的表示有基（相当于度量单位）和坐标（相当于具体的尺度），基既然作为度量标准了，当然要求对每一个向量都适用，同时这个标准本身也应该尽可能的简洁，那么就得到了基定义的两点约束：１、基的组成向量线性无关；２、线性空间中的任一个向量都可以由基的线性表示。 基作为一种“计量标准”，当然可能会存在多种形式，只要满足上面的两点条件，因而就有必要解决不同的度量标准之间的转换关系，从而得到过渡矩阵的概念，同时可以使用这种转换关系（过渡矩阵）去完成度量量（坐标）之间的转换。 在完成了线性空间这一对象的认识和表达之后，下面需要研究对象和对象之间的关系。这里主要是线性变换，线性变换针对于实际对象主要完成类似于旋转和尺度变换方面的操作，而这种操作也牵涉到表达的问题。为了保持与空间的一致性，我们也同样是在特定的基下来表示，从而线性变换就具体化为一个变换矩阵，并且，在不同的基下对应的变换矩阵当然也不相同，这里的不同的变换矩阵的关系就是相似的概念。 到此，我们完成了空间中向量的表示和线性变换的矩阵表达。这里涉及了基、坐标、过渡矩阵、变换矩阵、相似矩阵这几个重要的概念。上面算是内涵上的认识，下面我们需要知道线性空间里究竟有些什么东西，它是如何组成的，各个组成成分之间的关系，也就是空间的结构性方面的东西。 首先认识子空间（空间的组成部分），当然既然也是空间，也就要满足空间的加法和数乘的封闭性，要满足那八条定律。后者可以由父空间保证，前面的就要子空间自身素质了。同时要看子空间之间的并、交、直和运算和相应的秩的关系。这里提到了维数，就要多说几句了，空间中的元素往往是连续过渡的，但是对于有限空间而言还有离散的性质，那就是维数，我称其为“不伸则已，一伸则增一”，从这也就说明了为什么可以用若干个子空间的直和可以等价于原线性空
向量范数 在一维空间中，实轴上任意两点距离用两点差的绝对值表示。绝对值是一种度量形式的定义。 范数是对函数、向量和矩阵定义的一种度量形式。任何对象的范数值都是一个非负实数。使用范数可以测量两个函数、向量或矩阵之间的距离。 向量范数是度量向量长度的一种定义形式。范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。同一向量，采用不同的范数定义，可得到不同的范数值。 定义3.1 对任一向量，按照一个规则确定一个实数与它对应，记该实数记为，若满足下面三个性质： 若X是数域K上的线性空间，泛函║·║: X->R 满足： 1. 正定性：║x║≥0，且║x║=0 <=> x=0； 2. 正齐次性：║cx║=│c│║x║； 3. 次可加性(三角不等式)：║x+y║≤║x║+║y║ 。 那么║·║称为X上的一个范数。 常用范数 这里以C^n空间为例，R^n空间类似。 最常用的范数就是p-范数。若x=[x1,x2,...,xn]^T，那么 ║x║p=(|x1|^p+|x2|^p+...+|xn|^p)^{1/p} 可以验证p-范数确实满足范数的定义。其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski)不等式。 当p取1，2，∞的时候分别是以下几种最简单的情形： 1-范数：║x║1=│x1│+│x2│+…+│xn│ 2-范数：║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2 ∞-范数：║x║∞=max(│x1│,│x2│,…,│xn│) 其中2-范数就是通常意义下的距离。 定理https://www.doczj.com/doc/538573856.html,中任意两种向量范数║x║α,║x║β是等价的,即有m,M>0使m║x║α≤║x║β≤M║x║可根据范数的连续性来证明它. 由定理1可得 定理2.设{x(k)}是Cn中向量序列,x是Cn中向量,则║x(k)-x║→0(k→∞) iff xj(k)-xj→0,j=1,2,…,n(k→∞) 其中xj(k)是x(k)的第j个分量,xj是x的第j个分量. 此时称{x(k)}收敛于x,记作x(k)→x(k→∞),或 . 矩阵范数 一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。所以矩阵范数通常也称为相容范数。 如果║·║α是相容范数，且任何满足║·║β≤║·║α的范数║·║β都不是相容范数，那么║·║α称为极小范数。 对于n阶实方阵(或复方阵)全体上的任何一个范数║·║，总存在唯一的实数k>0，使得k║·║是极小范数。 注：如果不考虑相容性，那么矩阵范数和向量范数就没有区别，因为mxn矩阵全体和mn维向量空间同构。 引入相容性主要是为了保持矩阵作为线性算子的特征，和算子范数的相容性一致，并且可以得到Mincowski定理以外的信息。
范数的物理意义 在介绍主题之前，先来谈一个非常重要的数学思维方法：几何方法。在大学之前，我们学习过一次函数、二次函数、三角函数、指数函数、对数函数等，方程则是求函数的零点；到了大学，我们学微积分、复变函数、实变函数、泛函等。我们一直都在学习和研究各种函数及其性质，函数是数学一条重要线索，另一条重要线索——几何，在函数的研究中发挥着不可替代的作用，几何是函数形象表达，函数是几何抽象描述，几何研究“形”，函数研究“数”，它们交织在一起推动数学向更深更抽象的方向发展。 函数图象联系了函数和几何，表达两个数之间的变化关系，映射推广了函数的概念，使得自变量不再仅仅局限于一个数，也不再局限于一维，任何事物都可以拿来作映射，维数可以是任意维，传统的函数图象已无法直观地表达高维对象之间的映射关系，这就要求我们在观念中，把三维的几何空间推广到抽象的n 维空间。 由于映射的对象可以是任何事物，为了便于研究映射的性质以及数学表达，我们首先需要对映射的对象进行“量化”，取定一组“基”，确定事物在这组基下的坐标，事物同构于我们所熟悉的抽象几何空间中的点，事物的映射可以理解为从一个空间中的点到另一个空间的点的映射，而映射本身也是事物，自然也可以抽象为映射空间中的一个点，这就是泛函中需要研究的对象——函数。 从一个线性空间到另一个线性空间的线性映射，可以用一个矩阵来表达，矩阵被看线性作映射，线性映射的性质可以通过研究矩阵的性质来获得，比如矩阵的秩反映了线性映射值域空间的维数，可逆矩阵反映了线性映射的可逆，而矩阵的范数又反映了线性映射的哪些方面的性质呢？矩阵范数反映了线性映射把一个向量映射为另一个向量，向量的“长度”缩放的比例。 范数是把一个事物映射到非负实数，且满足非负性、齐次性、三角不等式，符合以上定义的都可以称之为范数，所以，范数的具体形式有很多种（由内积定义可以导出范数，范数还也可以有其他定义，或其他方式导出），要理解矩阵的算子范数，首先要理解向量范数的内涵。矩阵的算子范数，是由向量范数导出的，由形式可以知： v 1u,v u x Ax max A == 或方阵 v 1 v v x Ax max A == 由矩阵算子范数的定义形式可知，矩阵A 把向量x 映射成向量Ax ，取其在向量x 范数为1所构成的闭集下的向量Ax 范数最大值作为矩阵A 的范数，即矩阵对向量缩放的比例的上界，矩阵的算子范数是相容的。由几何意义可知，矩阵的算子范数必然大于等于矩阵谱半径（最大特征值的绝对值），矩阵算子范数对应一个取到向量Ax 范数最大时的向量x 方向，谱半径对应最大特征值下的特征向量的方向。而矩阵的奇异值分解SVD ，分解成左右各一个酉阵，和拟对角矩阵，可以理解为对向量先作旋转、再缩放、最后再旋转，奇异值，就是缩放的比例，最大奇异值就是谱半径的推广，所以，矩阵算子范数大于等于矩阵的最大奇异值，酉阵在此算子范数的意义下，范数大于等于1。此外，不同的矩阵范数是等价的。 范数理论是矩阵分析的基础，度量向量之间的距离、求极限等都会用到范数，范数还在机器学习、模式识别领域有着广泛的应用。
一、范数的定义 若X是数域K上的线性空间，泛函║·║: X->R 满足： 1. 正定性：║x║≥0，且║x║=0 <=> x=0； 2. 正齐次性：║cx║=│c│║x║； 3. 次可加性(三角不等式)：║x+y║≤║x║+║y║ 。 那么║·║称为X上的一个范数。 （注意到║x+y║≤║x║+║y║中如令y=-x，再利用║-x║=║x║可以得到 ║x║≥0，即║x║≥0在定义中不是必要的。） 如果线性空间上定义了范数，则称之为赋范线性空间。 注记：范数与内积，度量，拓扑是相互联系的。 1. 利用范数可以诱导出度量：d(x,y)=║x-y║，进而诱导出拓扑，因此赋范线性空间是度量空间。 但是反过来度量不一定可以由范数来诱导。 2. 如果赋范线性空间作为(由其范数自然诱导度量d(x,y)=║x-y║的)度量空间是完备的，即任何柯西(Cauchy)序列在其中都收敛，则称这个赋范线性空间为巴拿赫(Banach)空间。 3. 利用内积<·,·>可以诱导出范数：║x║=
范数的定义 设 X 是数域K 上线性空间，称║˙║为X 上的范数 (norm) ，若它满足： 1.正定性：║ x║≥ 0，且║ x║=0 <=> x=0 ； 2.齐次性：║ cx║=│c│║ x║； 3.次可加性 ( 三角不等式 ) ：║ x+y║≤║ x║+║y║ 。 注意到║ x+y║≤║ x║+║y║中如令y=-x ，再利用║- x║=║x║可以得到║ x║≥ 0，即║x║≥0在定义中不是必要的。 如果线性空间上定义了范数，则称之为赋范线性空间。注记： 范数与内积，度量，拓扑是相互联系的。 1.利用范数可以诱导出度量： d(x,y)= ║x - y║，进而诱导出拓扑，因此赋范线性空间是度量 空间。 但是反过来度量不一定可以由范数来诱导。 2.如果赋范线性空间作为( 由其范数自然诱导度量d(x,y)=的，即任何柯西(Cauchy) 序列在其中都收敛，则称这个赋范线性空间为║x- y║的 ) 度量空间是完备 巴拿赫 (Banach) 空间。 3.利用内积 <˙, ˙>可以诱导出范数：║ x║=
m n 1 2 2 2 F 1 2 n F 1 2 1 2 n 2 1 2 2 1 2 1 2 2 2 1 2 2 《周国标师生交流讲席 010》 向量和矩阵的范数的若干难点导引(二) 一． 矩阵范数的定义 引入矩阵范数的原因与向量范数的理由是相似的，在许多场合需要“测量”矩阵的“大小”，比如矩阵序列的收敛，解线性方程组时的误差分析等，具体的情况在这里不再复述。最容易想到的矩阵范数，是把矩阵 A ∈ C m ?n 可以视为一个 mn 维的向量（采用所谓“拉直” 的变换），所以，直观上可用C mn 上的向量范数来作为 A ∈ C m ?n 的矩阵范数。比如 在l - 范数意义下， || A || = ∑∑| a | = (tr( A H A )) 2 ； （1.1） 1 1 i =1 ij j =1 1 ? m n 2 ? 2 在l 2 -范数意义下， || A ||F = ∑∑| a ij | ? ， （1.2） ? i =1 j =1 ? 注意这里为了避免与以后的记号混淆，下标用“F”，这样一个矩阵范数，称为 Frobenius 范数，或 F-范数。可以验证它们都满足向量范数的 3 个条件。 那么是否矩阵范数就这样解决了？因为数学上的任一定义都要与其对象的运算联系起来，矩阵之间有乘法运算，它在定义范数时应予以体现，也即估计 AB 的“大小”相对于 A 与B 的“大小”关系。 定义 1 设 A ∈ C m ?n ，对每一个 A ，如果对应着一个实函数 N ( A ) ，记为|| A || ，它满足以下条件： （1）非负性： || A ||≥ 0 ； （1a ）正定性： A = O m ?n ? || A ||= 0 （2）齐次性： || A ||=|||| A ||, ∈ C ； （3）三角不等式： || A || A + B ||≤|| A || + || B ||, ?B ∈ C m ?n 则称 N ( A ) =|| A || 为 A 的广义矩阵范数。进一步，若对C m ?n , C n ?l , C m ?l 上的同类广义矩阵范数|| ? || ，有 （4）（矩阵相乘的）相容性： || A || AB ||≤|| A |||| B ||，则称 N ( A ) =|| A || 为 A 的矩阵范数。 B ∈ C n ?l ， 我们现在来验证前面（1.1）和（1.2）定义的矩阵范数是否合法？我们这里只考虑（1.2）, 把较容易的（1.1）的验证留给同学们， 三角不等式的验证。按列分块，记 A = (a 1 , a 2 , , a n ), B = (b 1 , b 2 , , b n ) 。 || A + B ||2 =|| (a + b ), (a + b ), ,(a + b ) ||2 =|| a 1 + b 1 ||2 + || a + b 2 ||2 + + || a + b n ||2 ≤ (|| a || + || b || ) 2 + + (|| a || + || b || )2 = (|| a ||2 + + || a ||2 ) + 2 (|| a || || b || + + || a || || b || ) + (|| b ||2 + + || b ||2 ) 对上式中第 2 个括号内的诸项，应用 Cauchy 不等式，则有 || A + B ||2 ≤|| A ||2 +2 || A || || B || + || B ||2 = (|| A || + || B || )2 （1.3） F F F F F F F 于是，两边开方，即得三角不等式。 再验证矩阵乘法相容性。 1 2 n 2 n n n n n 2 n