向量和向量范数

3.3 范数3.3.1 向量范数在一维空间中，实轴上任意两点距离用两点差的绝对值表示。

绝对值是一种度量形式的定义。

范数是对函数、向量和矩阵定义的一种度量形式。

任何对象的范数值都是一个非负实数。

使用范数可以测量两个函数、向量或矩阵之间的距离。

向量范数是度量向量长度的一种定义形式。

范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。

同一向量，采用不同的范数定义，可得到不同的范数值。

定义3.1对任一向量，按照一个规则确定一个实数与它对应，记该实数记为，若满足下面三个性质：（1），有，当且仅当时，（非负性）（2），，有（齐次性）（3.37）（3），，有（三角不等式）那么称该实数为向量的范数。

几个常用向量范数向量的范数定义为其中，经常使用的是三种向量范数。

或写成例3.5 计算向量的三种范数。

向量范数的等价性有限维线性空间中任意向量范数的定义都是等价的。

若是上两种不同的范数定义，则必存在,使均有或（证明略）向量的极限有了向量范数的定义，也就有了度量向量距离的标准，即可定义向量的极限和收敛概念了。

设为上向量序列，若存在向量使，则称向量列是收敛的（是某种向量范数），称为该向量序列的极限。

由向量范数的等价知，向量序列是否收敛与选取哪种范数无关。

向量序列，收敛的充分必要条件为其序列的每个分量收敛，即存在。

若，则就是向量序列的极限。

例3.6 求向量序列极限向量。

解：算出每个向量分量的极限后得在计算方法中，计算的向量序列都是数据序列，当小于给定精度时，取为极限向量。

3.3.2 矩阵范数矩阵范数定义定义3.2 如果矩阵的某个非负实函数，记作，满足条件：（1）当且仅当时，（非负性）（2）（齐次性）（3）对于任意两个阶数相同的矩阵有（三角不等式性）（4）矩阵为同阶矩阵（相容性）则称为矩阵范数。

矩阵的算子范数常用的矩阵范数是矩阵的算子范数，可用向量范数定义：设，记方阵的范数为，那么或（3.38）称为矩阵的算子范数或从属范数。

§8 向量,矩阵范数，矩阵的条件数一 、 向量、矩阵范数为了讨论线性方程组近似解的误差估计与研究解方程组迭代法的收敛性，需要在)(nn nRR ⨯或中引进向量序列(或矩阵序列)极限概念。

为此，这就需要对量空间n R (或n n R ⨯矩阵空间)元素的“大小”引进某种度量即向量范数(或矩阵范数)即距离的概念。

(一)向量范数：向量范数是3R 中向量长度概念的推广。

},{1为复数i n nx x x x x C ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡== 称为n 维复向量空间。

},)({为复数ij n n ij n n a a A A C ⨯⨯==称为n n ⨯复矩阵空间。

(2)设nn nCA C x ⨯∈∈,,称T n Hx x x x=≡),,(1 为x 的共轭转置，T H A A =称为A 共轭转置矩阵。

在许多应用中，对向量的范数(对向量的“大小”的度量)都要求满足正定条件，齐次条件和三角不等式，下面给出向量范数的抽象定义。

nR x ∈(或nC x ∈)的某个实值非负函数x x N ≡)(，如果满足下述条件(1)正定性 00,0=⇒⇐=≥x x x (2)齐次性 x ax α=其中R ∈α(或C ∈α)(3)三角不等式 )(,,nn C R y x y x y x ∈∈∀+≤+或，称x x N ≡)(是n R 上(或n C )一个向量范数(或为模)。

由三角不等式可推出不等式 (4)y x y x -≤- 下面给出矩阵计算中一些常用向量范数。

设)(),,(1nn T n C x R x x x ∈∈=或(1)向量的“∞”范数 i n i x x x N ≤≤∞∞=≡1max )((2)向量的“1”范数 ∑==≡ni i x xx N 111)((3)向量的“2”范数 2/1122/122)(),()(∑===≡ni i x x x xx N(4)向量的能量范数 设n n R A ⨯∈为对称正定阵2/1),()(x Ax xx N R x AA n =≡→∈∀称为向量的能量范数。

线性代数中的基础概念常见符号表示，向量范数与矩阵范数常见的符号表示\mathbb{R} : 实数集\mathbb{C} : 复数集\mathbb{R}^n : n维实数空间\mathbb{C}^n : n维复数空间\mathbb{R}^{m\times n} : 所有m \times n的实矩阵构成的集合\mathbb{C}^{m\times n} : 所有m \times n的复矩阵构成的集合\mathbf{x} : 列向量[\mathbf{x}]_i, x_i : 向量\mathbf{x}的第i个元素\mathbf{A} :矩阵a_{ij}, [\mathbf{A}]_{ij}:矩阵第i行的第j个元素向量：\mathbf{x} \in \mathbb{R}^n即\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \\ \vdots \\ x_n \end{bmatrix}, x_i \in \mathbb{R}, i \in \{1, 2, \cdots, n\}\\向量的转置：\mathbf{x} \in \mathbb{R}^n, \mathbf{x}^T = [x_1, x_2, \cdots, x_n] (列向量转置成为了行向量)向量的共轭转置：\mathbf{x} \in \mathbb{C}^n,\mathbf{x}^H = [x_1^*, x_2^*, \cdots, x_n^*]（x_i与x_i^*互为共轭）矩阵:\mathbf{A} \in \mathbb{R}^{m \times n}即\begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & & &\vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \\\end{bmatrix} = \begin{bmatrix} \mathbf{a}_1 &\mathbf{a}_2 & \cdots & \mathbf{a}_n \end{bmatrix},a_{ij} \in \mathbb{R}, \mathbf{a}_j \in \mathbb{R}^m, i \in \{1, 2, \cdots, m\}, j \in \{1, 2, \cdots, n\}\\矩阵的转置：\mathbf{A} \in \mathbb{R}^{m \times n}\mathbf{A}^T = \begin{bmatrix} a_{11} & a_{21} &\cdots & a_{m1} \\ a_{12} & a_{22} & \cdots & a_{m2} \\ \vdots & & & \vdots \\ a_{1n} & a_{2m} & \cdots & a_{mn} \\ \end{bmatrix} \in \mathbb{R}^{n \times m}, \mathbf{B} = \mathbf{A}^T \Leftrightarrow b_{ij} =a_{ij}\\性质：•\mathbf{(AB)}^T = \mathbf{B}^T \mathbf{A}^T•(\mathbf{A}^T)^T = \mathbf{A}•(\mathbf{A+B})^T = \mathbf{A}^T + \mathbf{B}^T矩阵的共轭转置：\mathbf{A} \in \mathbb{C}^{m \times n}\mathbf{A}^H = \begin{bmatrix} a_{11}^* & a_{21}^* & \cdots & a_{m1}^* \\ a_{12}^* & a_{22}^* & \cdots &a_{m2}^* \\ \vdots & & & \vdots \\ a_{1n}^* & a_{2m}^*& \cdots & a_{mn}^* \\ \end{bmatrix} \in \mathbb{R}^{n \times m}, \mathbf{B} = \mathbf{A}^H \Leftrightarrowb_{ij} = a_{ij}^*\\性质：•\mathbf{(AB)}^H = \mathbf{B}^H \mathbf{A}^H•(\mathbf{A}^H)^H = \mathbf{A}•(\mathbf{A+B})^H = \mathbf{A}^H + \mathbf{B}^H矩阵的迹（trace）： \mathbf{A} \in \mathbb{R}^{n\times n}, tr(\mathbf{A}) = \sum_i^n a_{ii}性质：•tr(\mathbf{A}^T) = \mathbf{A}•tr(\mathbf{A+B}) = tr(\mathbf{A}) + tr(\mathbf{B})•tr(\mathbf{AB}) = tr(\mathbf{BA})\mathbf{0} 表示一个元素全为0的向量或矩阵\mathbf{1} 表示一个元素全为1的向量或矩阵单位向量：\mathbf{e}_i = [0, \cdots, 0, 1, 0 \cdots, 0]^T，\mathbf{e}_i只有一个位置为1，其余是0单位矩阵（identity matrix）：\mathbf{I} = \begin{bmatrix} 1 & & & \\ & 1 & & \\ & & \ddots & \\ & & & 1 \end{bmatrix}\\对角矩阵（diagonal matrx）：\text{diag}(a_1, \cdots, a_n) = \begin{bmatrix} a_1 & & \\ & \ddots & \\ & & a_n \end{bmatrix}\\上三角矩阵（upper triangle matrix）\mathbf{L} = \begin{bmatrix} l_{11} & l_{12} & \cdots & l_{ln} \\ & l_{22} & \cdots & l_{2n} \\ & & \ddots & \vdots\\ & & & l_{nn} \end{bmatrix}\\关于上三角矩阵：•上三角矩阵的逆是上三角矩阵•上三角矩阵和上三角矩阵相乘，仍是上三角矩阵下三角矩阵（lower triangle matrix）\mathbf{U} = \begin{bmatrix} u_{11} & & & \\ u_{12} & u_{22} & & \\ \vdots & \vdots & \ddots & \\ u_{1n} &u_{2n} & \cdots & u_{nn} \end{bmatrix}\\关于下三角矩阵：•下三角矩阵的逆是上三角矩阵•下三角矩阵和上三角矩阵相乘，仍是下三角矩阵向量乘法与数乘如\mathbf{x} = [x_1, x_2, \cdots, x_n]^T \in\mathbb{R}^n, \mathbf{y} = [y_1, y_2, \cdots, y_n]^T \in \mathbb{R}^n, \alpha \in \mathbb{R},•向量数乘：\alpha \mathbf{x} = [\alpha x_1, \alpha x_2, \cdots, \alpha x_n]^T•向量乘法（内积）：<\mathbf{x}, \mathbf{y}> =\mathbf{x}^T \mathbf{y} = \sum_{i=1}^n x_i y_i•如果\mathbf{x}^T \mathbf{y} = 0, 则说\mathbf{x}和\mathbf{y}是正交的。

范数的运算方法在数学领域中，范数是衡量向量大小的一种工具，广泛应用于线性代数、数值分析等领域。

范数的运算方法不仅涉及基础的数学理论，还与实际应用紧密相关。

本文将详细介绍几种常见的范数运算方法。

一、向量范数的定义设向量( mathbf{a} = (a_1, a_2, ..., a_n) )，其范数定义为：1.向量的1-范数（Manhattan范数）：[ ||mathbf{a}||_1 = sum_{i=1}^{n} |a_i| ]2.向量的2-范数（Euclidean范数，即欧几里得范数）：[ ||mathbf{a}||_2 = sqrt{sum_{i=1}^{n} a_i^2} ]3.向量的∞-范数（最大范数）：[ ||mathbf{a}||_{infty} = max_{1leq ileq n} |a_i| ]二、范数的运算方法1.范数的加法：对于向量( mathbf{a} ) 和( mathbf{b} )，其1-范数、2-范数和∞-范数的加法满足以下性质：[ ||mathbf{a} + mathbf{b}||_1 leq ||mathbf{a}||_1 + ||mathbf{b}||_1 ] [ ||mathbf{a} + mathbf{b}||_2 leq ||mathbf{a}||_2 + ||mathbf{b}||_2 ] [ ||mathbf{a} + mathbf{b}||_{infty} leq ||mathbf{a}||_{infty} +||mathbf{b}||_{infty} ]2.范数的乘法：对于向量( mathbf{a} ) 和标量( alpha )，其1-范数、2-范数和∞-范数的乘法满足以下性质：[ ||alpha mathbf{a}||_1 = |alpha| ||mathbf{a}||_1 ][ ||alpha mathbf{a}||_2 = |alpha| ||mathbf{a}||_2 ][ ||alpha mathbf{a}||_{infty} = |alpha| ||mathbf{a}||_{infty} ]3.范数的三角不等式：对于向量( mathbf{a} ) 和( mathbf{b} )，其1-范数、2-范数和∞-范数满足以下三角不等式：[ ||mathbf{a} + mathbf{b}||_1 leq ||mathbf{a}||_1 + ||mathbf{b}||_1 ] [ ||mathbf{a} + mathbf{b}||_2 leq ||mathbf{a}||_2 + ||mathbf{b}||_2 ] [ ||mathbf{a} + mathbf{b}||_{infty} leq ||mathbf{a}||_{infty} +||mathbf{b}||_{infty} ]三、总结范数的运算方法在实际应用中具有重要作用，如优化问题、数值分析等领域。

从今天开始，我将开设一个机器学习数学基础的系列。

主要介绍机器学习中经常用到的那些数学知识，方便大家入门。

一说起数学，有人会觉得很难。

其实在这个系列中，我将会以最直白的语言来向你解释这些数学名词，大家不用担心，即使你是零基础，一样可以看得懂。

∙向量我们从向量开始说起，什么是向量？它其实就是用括号括起来的一堆数，只不过这些数都是竖着写的。

比如：它们就分别是1维、2维和3维的向量。

我们一般用小写粗体来表示向量，如x。

如果我们写它代表什么含义呢？“∈”这个符号读作属于，R表示实数集，而n表示维度。

也就是说向量有几个元素，就是几维的向量。

整个式子表示：向量x有n个维度，每个元素的取值都在实数集中。

∙范数范数，又叫做L-p范数。

它是这么定义的：看上去很复杂，其实也容易理解，我们一点点来看。

上面的式子是说，对于给定的一个n维向量w，它的范数就是向量w中的各个元素的绝对值的p次方之和，再开p次的根号（1/p 就相当于开p次根号）。

根据p的取值不同，范数的结果也就不同。

我们常用的p值为12，∞等等。

1. L1范数我们先来看p值为1时的范数，我们称之为L1范数。

把p=1代入上面的式子，得到：可能上面的式子还不够直观，我们再举个例子来看。

假设我们有二维向量w=（x，y），那么w的L1范数就是|x|+|y|。

当范数值固定时，我们还可以画出由所有的点（x，y）构成的图像。

这里不妨假设|x|+|y|=1（当然你可以假设为任意值k，这里假设为1只是为了画图方便），我们大概用手画一下它的图像：图1那么图像为什么是这样子的呢？我们可以研究下公式|x|+|y|=1，其中x和y的正负性是未知的，我们就可以分情况来讨论：① x>0，y>0。

公式化简为x+y=1，它原本的图像是过图1中A、B两点的直线，但现在约束条件是x、y均大于0.所以它最后的图像就是AB线段。

② x>0，y<0。

公式化简为x-y=1，它原本的图像是过图1中A、D两点的直线。