向量和向量范数

向量范数定义1. 设,满足1. 正定性:║x║≥0,║x║=0 iff x=02. 齐次性:║cx║=│c│║x║,3. 三角不等式:║x+y║≤║x║+║y║则称Cn中定义了向量范数,║x║为向量x的范数.可见向量范数是向量的一种具有特殊性质的实值函数.常用向量范数有,令x=( x1,x2,…,xn)T1-范数:║x║1=│x1│+│x2│+…+│xn│2-范数:║x║2=(│x1│2+│x2│2+…+│xn│2)^1/2∞-范数:║x║∞=max(│x1│,│x2│,…,│xn│)易得║x║∞≤║x║2≤║x║1≤n1/2║x║2≤n║x║∞定理中任意两种向量范数║x║α,║x║β是等价的,即有m,M>0使m║x║α≤║x║β≤M║x║可根据范数的连续性来证明它.由定理1可得定理2.设{x(k)}是Cn中向量序列,x是Cn中向量,则║x(k)-x║→0(k→∞) iff xj(k)-xj→0,j=1,2,…,n(k→∞)其中xj(k)是x(k)的第j个分量,xj是x的第j个分量.此时称{x(k)}收敛于x,记作x(k) →x(k→∞),或 .三、矩阵范数定义2. 设,满足1. 正定性:║X║≥0,║X║=0 iff X=02. 齐次性:║cX║=│c│║X║,3. 三角不等式:║X+Y║≤║X║+║Y║4. 相容性: ║XY║≤║X║║Y║则称Cn×n中定义了矩阵范数,║X║为矩阵X的范数.注意, 矩阵X可视为n2维向量,故有前三条性质.因此定理1,2中向量的等价性和向量序列收敛的概念与性质等也适合于矩阵.第四条,是考虑到矩阵乘法关系而设.更有矩阵向量乘使我们定义矩阵范数向量范数的相容性:║Ax║≤║A║║x║所谓由向量范数诱导出的矩阵范数与该向量范数就是相容的.定理3. 设A是n×n矩阵,║?║是n维向量范数则║A║=max{║Ax║:║x║=1}= max{║Ax║/║x║: x≠0}是一种矩阵范数,称为由该向量范数诱导出的矩阵范数或算子范数,它们具有相容性或者说是相容的.单位矩阵的算子范数为1可以证明任一种矩阵范数总有与之相容的向量范数.例如定义:║x║=║X║,X=(xx…x)常用的三种向量范数诱导出的矩阵范数是1-范数:║A║1= max{║Ax║1:║x║1=1}=2-范数:║A║2=max{║Ax║2:║x║2=1}= ,λ1是AHA的最大特征值.∞-范数:║A║∞=max{║Ax║∞:║x║∞=1}=此外还有Frobenius范数: .它与向量2-范数相容.但非向量范数诱导出的矩阵范数.四、矩阵谱半径定义3.设A是n×n矩阵,λi是其特征值,i=1,2,…,n.称为A的谱半径.谱半径是矩阵的函数,但非矩阵范数.对任一矩阵范数有如下关系:ρ(A)≤║A║因为任一特征对λ,x,Ax=λx,令X=(xx…x),可得AX=λX.两边取范数,由矩阵范数的相容性和齐次性就导出结果.定理 3.矩阵序列I,A,A2,…Ak,…收敛于零的充分必要条件是ρ(A)。

范数的运算方法在数学领域中，范数是衡量向量大小的一种工具，广泛应用于线性代数、数值分析等领域。

范数的运算方法不仅涉及基础的数学理论，还与实际应用紧密相关。

本文将详细介绍几种常见的范数运算方法。

一、向量范数的定义设向量( mathbf{a} = (a_1, a_2, ..., a_n) )，其范数定义为：1.向量的1-范数（Manhattan范数）：[ ||mathbf{a}||_1 = sum_{i=1}^{n} |a_i| ]2.向量的2-范数（Euclidean范数，即欧几里得范数）：[ ||mathbf{a}||_2 = sqrt{sum_{i=1}^{n} a_i^2} ]3.向量的∞-范数（最大范数）：[ ||mathbf{a}||_{infty} = max_{1leq ileq n} |a_i| ]二、范数的运算方法1.范数的加法：对于向量( mathbf{a} ) 和( mathbf{b} )，其1-范数、2-范数和∞-范数的加法满足以下性质：[ ||mathbf{a} + mathbf{b}||_1 leq ||mathbf{a}||_1 + ||mathbf{b}||_1 ] [ ||mathbf{a} + mathbf{b}||_2 leq ||mathbf{a}||_2 + ||mathbf{b}||_2 ] [ ||mathbf{a} + mathbf{b}||_{infty} leq ||mathbf{a}||_{infty} +||mathbf{b}||_{infty} ]2.范数的乘法：对于向量( mathbf{a} ) 和标量( alpha )，其1-范数、2-范数和∞-范数的乘法满足以下性质：[ ||alpha mathbf{a}||_1 = |alpha| ||mathbf{a}||_1 ][ ||alpha mathbf{a}||_2 = |alpha| ||mathbf{a}||_2 ][ ||alpha mathbf{a}||_{infty} = |alpha| ||mathbf{a}||_{infty} ]3.范数的三角不等式：对于向量( mathbf{a} ) 和( mathbf{b} )，其1-范数、2-范数和∞-范数满足以下三角不等式：[ ||mathbf{a} + mathbf{b}||_1 leq ||mathbf{a}||_1 + ||mathbf{b}||_1 ] [ ||mathbf{a} + mathbf{b}||_2 leq ||mathbf{a}||_2 + ||mathbf{b}||_2 ] [ ||mathbf{a} + mathbf{b}||_{infty} leq ||mathbf{a}||_{infty} +||mathbf{b}||_{infty} ]三、总结范数的运算方法在实际应用中具有重要作用，如优化问题、数值分析等领域。

从今天开始，我将开设一个机器学习数学基础的系列。

主要介绍机器学习中经常用到的那些数学知识，方便大家入门。

一说起数学，有人会觉得很难。

其实在这个系列中，我将会以最直白的语言来向你解释这些数学名词，大家不用担心，即使你是零基础，一样可以看得懂。

∙向量我们从向量开始说起，什么是向量？它其实就是用括号括起来的一堆数，只不过这些数都是竖着写的。

比如：它们就分别是1维、2维和3维的向量。

我们一般用小写粗体来表示向量，如x。

如果我们写它代表什么含义呢？“∈”这个符号读作属于，R表示实数集，而n表示维度。

也就是说向量有几个元素，就是几维的向量。

整个式子表示：向量x有n个维度，每个元素的取值都在实数集中。

∙范数范数，又叫做L-p范数。

它是这么定义的：看上去很复杂，其实也容易理解，我们一点点来看。

上面的式子是说，对于给定的一个n维向量w，它的范数就是向量w中的各个元素的绝对值的p次方之和，再开p次的根号（1/p 就相当于开p次根号）。

根据p的取值不同，范数的结果也就不同。

我们常用的p值为12，∞等等。

1. L1范数我们先来看p值为1时的范数，我们称之为L1范数。

把p=1代入上面的式子，得到：可能上面的式子还不够直观，我们再举个例子来看。

假设我们有二维向量w=（x，y），那么w的L1范数就是|x|+|y|。

当范数值固定时，我们还可以画出由所有的点（x，y）构成的图像。

这里不妨假设|x|+|y|=1（当然你可以假设为任意值k，这里假设为1只是为了画图方便），我们大概用手画一下它的图像：图1那么图像为什么是这样子的呢？我们可以研究下公式|x|+|y|=1，其中x和y的正负性是未知的，我们就可以分情况来讨论：① x>0，y>0。

公式化简为x+y=1，它原本的图像是过图1中A、B两点的直线，但现在约束条件是x、y均大于0.所以它最后的图像就是AB线段。

② x>0，y<0。

公式化简为x-y=1，它原本的图像是过图1中A、D两点的直线。

3.3 范数3.3.1 向量范数在一维空间中，实轴上任意两点距离用两点差的绝对值表示。

绝对值是一种度量形式的定义。

范数是对函数、向量和矩阵定义的一种度量形式。

任何对象的范数值都是一个非负实数。

使用范数可以测量两个函数、向量或矩阵之间的距离。

向量范数是度量向量长度的一种定义形式。

范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。

同一向量，采用不同的范数定义，可得到不同的范数值。

若X是数域K上的线性空间，泛函║·║: X->R 满足：1. 正定性：║x║≥0，且║x║=0 <=> x=0；2. 正齐次性：║cx║=│c│║x║；3. 次可加性(三角不等式)：║x+y║≤║x║+║y║ 。

那么║·║称为X上的一个范数。

常用范数这里以C^n空间为例，R^n空间类似。

最常用的范数就是p-范数。

若x=[x1,x2,...,xn]^T，那么║x║p=(|x1|^p+|x2|^p+...+|xn|^p)^{1/p}可以验证p-范数确实满足范数的定义。

其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski)不等式。

当p取1，2，∞的时候分别是以下几种最简单的情形：1-范数：║x║1=│x1│+│x2│+…+│xn│2-范数：║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2∞-范数：║x║∞=max(│x1│,│x2│,…,│xn│)其中2-范数就是通常意义下的距离。

矩阵范数一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。

所以矩阵范数通常也称为相容范数。

如果║·║α是相容范数，且任何满足║·║β≤║·║α的范数║·║β都不是相容范数，那么║·║α称为极小范数。

对于n阶实方阵(或复方阵)全体上的任何一个范数║·║，总存在唯一的实数k>0，使得k║·║是极小范数。