当前位置：文档之家 › 矩阵的奇异值分解

矩阵的奇异值分解

  • 格式：doc
  • 大小：594.50 KB
  • 文档页数：8

§2 矩阵的奇异值分解

定义 设A是秩为r的mn复矩阵，TAA的特征值为

1210rrn.

则称ii(1,2,,)in为A的奇异值.

易见，零矩阵的奇异值都是零，矩阵A的奇异值的个数等于A的列数，A的非零奇异值的个数等于其秩.

矩阵的奇异值具有如下性质：

（1）A为正规矩阵时，A的奇异值是A的特征值的模；

（2）A为半正定的Hermite矩阵时，A的奇异值是A的特征值；

（3）若存在酉矩阵,mmnnUVCC，矩阵mnBC，使UAVB，则称A和B酉等价.酉等价的矩阵A和B有相同的奇异值.

奇异值分解定理 设A是秩为r(0)r的mn复矩阵，则存在m阶酉矩阵U与n阶酉矩阵V，使得

HOUAVOO. ①

其中12diag(,,,)r，i(1,2,,)ir为矩阵A的全部非零奇异值.

证明 设Hermite矩阵HAA的n个特征值按大小排列为

1210rrn.

则存在n阶酉矩阵V，使得

12HH()nOVAAVOO. ② 将V分块为 12()VVV，

其中1V，2V分别是V的前r列与后nr列.

并改写②式为

2HOAAVVOO.

则有

H2H112AAVVAAVO， . ③

由③的第一式可得

HH2H1111()()rVAAVAVAVE， 或者.

由③的第二式可得

H222()() AVAVOAVO或者.

令111UAV，则H11rUUE，即1U的r个列是两两正交的单位向量.记作112(,,,)rUuuu，因此可将12,,,ruuu扩充成mC的标准正交基，记增添的向量为1,,rmuu，并构造矩阵21(,,)rmUuu，则

12121(,)(,,,,,,)rrmUUUuuuuu

是m阶酉矩阵,且有 HH1121 rUUEUUO，.

于是可得

HHH1121H2()()OUUAVUAVAVUOOOU，，.

由①式可得

HHHH111222rrrOAUVuvuvuvOO. ④

称④式为矩阵A的奇异值分解.

值得注意的是：在奇异值分解中121,,,,,,rrmuuuuu是HAA的特征向量，而V的列向量是HAA的特征向量，并且HAA与HAA的非零特征值完全相同.但矩阵A的奇异值分解不惟一.

证明2 设Hermite矩阵HAA的n个特征值按大小排列为

1210rrn.

则存在n阶酉矩阵V，使得

12HH()nOVAAVOO. ②

将V分块为12(,,,)nVvvv，它的n个列12,,,nvvv是对应于特征值12,,,n的标准正交的特征向量.

为了得到酉矩阵U，首先考察mC中的向量组12,,,rAvAvAv，由于当i不等于j时有

HHHHH(,)()()0ijjijijiiijiAvAvAvAvvAAvvvvv

所以向量组12,,,rAvAvAv是mC中的正交向量组.

又 2HHH2||||iiiiiiiAvvAAvvv，

所以 ||||iiiAv.

令1iiiuAv，1,2,,ir，则得到mC中的标准正交向量组12,,,ruuu，把它扩充成为mC中的标准正交基11,,,,rrmuuuu，令

11(,,,,)rrmUuuuu

则U是m阶酉矩阵.由已知及前面的推导可得

iiiAvu，1,2,,ir；iAv0，1,,irn；

从而 121(,,,)(,,,,,)nrAVAvvvAvAv00 11120(,,,,,)(,,,)0rmrOuuuuuOO00

ΣOUOO

故有AVUΔ，即HUAVΔ.

例1 求矩阵120202A的奇异值分解.

解 T524240404AA的特征值为1239,4,0，

对应的单位特征向量依次为TTT123111(5,2,4),(0,2,1),(2,1,2)3355vvv.

所以 50251265354325V.

于是可得

()2rA，3002.

计算11121215UAV，则A的奇异值分解为

T300020AUV.

在A的奇异值分解中，酉矩阵V的列向量称为A的右奇异向量，V的前r列是HAA的r个非零特征值所对应的特征向量，将他们取为矩阵V1，则12(,)VVV.酉矩阵U的列向量被称为A的左奇异向量，将U从前r列处分块为12(,)UUU，由分块运算，有

HHHH1111212HHH22122()OUUAVUAVUAVAVAVOOUUAVUAV，

从而 211AVAVUΣ，=0.

因此，有下列结果

（1）2V的列向量组是矩阵A的零空间(){}NAxAx0的一组标准正交基；

（2）1U的列向量组是矩阵A的列空间(){}RAAx的一组标准正交基；

（1）1V的列向量组是矩阵A的零空间(){}NAxAx0正交补H()RA的一组标准正交基；

（1）2U的列向量组是矩阵A的列空间(){}RAAx正交补H()NA的一组标准正交基.

在A的奇异值分解中，酉矩阵U和V不是惟一的.A的奇异值分解给出了矩阵A的许多重要信息.

更进一步，由于12(,,)mUuuu，12(,,,)nVvvv，可借助于奇异值分解，将A表示为

H11H212H0(,,,)0mrnvOvAuuuOOv

HHH111222rrruvuvuv

归纳这一结果，有如下定理. 定理 设mnAC，A的非零奇异值为12r，12,,ruuu是应于奇异值的左奇异向量，12,,,rvvv是应于奇异值的右奇异向量，则

TTT111222rrrAuvuvuv.

上式给出的形式被称为矩阵A的奇异值展开式，对一个kr，略去A的一些小的奇异值对应的项，去矩阵kA为

TTT111222kkkkAuvuvuv.

则kA是一个秩为k的m×n矩阵.可以证明，kA是在所有秩为k的m×n矩阵中，从Frobenius范数的意义下，与矩阵A距离最近的一个矩阵.这在实际中应用广泛.例如，在图像数字化技术中，一副图片可以转换成一个m×n阶像素矩阵来储存，存储量m×n是个数.如果利用矩阵的奇异值展开式，则只要存储A的奇异值i，奇异向量,iiuv的分量，总计r（m+n+1）个数.取m=n=1000，r=100作一个比较，

m×n=，r（m+n+1）=100（1000+1000+1）=.

取A的奇异值展开式，，存储量较A的元素情形减少了80%.另外，可取kr，用kA逼近A，能够达到既压缩图像的存储量，又保持图像不失真的目的.

由矩阵A的奇异值分解可得

TTT111222rrrAuvuvuv

可见，A是矩阵TTT1122,,,rruvuvuv的加权和，其中权系数按递减排列

120r.

显然，权系数大的那些项对矩阵A的贡献大，因此当舍去权系数小的一些项后，仍然能较好的“逼近”矩阵A，这一点在数字图像处理方面非常有用.

矩阵的秩k逼近定义为

TTT111222 1kkkkrAuvuvuv 秩r逼近就精确等于A，而秩1逼近的误差最大.

矩阵的奇异值分解不但在线性方程组，矩阵范数，广义逆，最优化等方面有着广泛的应用.而且在数字计算，数字图像处理，信息检索，心里学等领域也有着极重要的应用.有兴趣的读者可参阅有关教科书，如Steven

J.Leon 的《线性代数》.

３ 矩阵Ａ的奇异值分解与线性变换TA

设A是一个秩为r的m×n复矩阵，即mnAC，rank()rA，则由()TAA可以定义线性变换

:nmTACC.

设矩阵A有奇异值分解HAUΣV，则将矩阵nnVC的列向量组12,,,nvvv取作空间nC的标准正交基；则将矩阵mmUC的列向量组12,,muuu取作空间mC的标准正交基，则在所取的基下，线性变换TA对应的变换矩阵就是Σ.

设nC，在基12,,,nvvv下坐标向量为T12(,,,)nxxxx，Vx.那么在线性变换TA下的像具有形式：

11H()()()00rrxxTAAUΣVVxUΣxU.

其中12,,,r是A的非零奇异值，所以，的像()TA在mC中基12,,muuu下的坐标是

T11(00)rrxxyΣx.

从中可以看出，当rank()rA时，在取定的基下，线性变换()TA的作用是将原像坐标中的前r个分量分别乘以A的非零奇异值12,,,r，后（n-r）分量化为零.如果原像坐标满足条件：

222121nxxx，

则像坐标满足条件：

2221212()()()1rryyy.

在rank()rnA时，等式成立.因此，有如下定理.

定理 设HAUΣV是m×n实矩阵A的奇异值分解，rank()rA，则nR中的单位圆球面在线性变换TA下的像集合是：

（1）若rn，则像集合是mR中的椭球面；

（2）若rn，则像集合是mR中的椭球体.

例2 设矩阵120202A，求3R中的单位圆球面在线性变换:TAy=Ax下的像的几何图形.

解 由例1，矩阵A有如下奇异值分解

T50251230011265210205354325A.

rank()23,nA由定理，单位球面的像满足不等式

221222132yy.

即单位球面的像是实心椭圆2212194yy.

合集下载

奇异值分解法

奇异值分解法

- 1 - 奇异值分解法

奇异值分解是一种基于数学的计算技术，有助于研究者在处理非结构化数据时，对数据中的模式和特征进行识别和分析。主要的应用以及计算机视觉领域，如图像压缩，图像识别，网络指纹识别，特征识别，图像融合，图像检索，脸部识别，图像分类等。它可以有效地提取结构信息，从而改善数值分析误差和结果准确度。

奇异值分解算法最早由犹太数学家图良克提出，用于解决高维数据的维度问题。它的核心是利用奇异向量的分解，将原始数据矩阵分解为有限个相对低维的部分，然后在每个部分内求出最佳的拟合系数，最后将拟合系数合并，即可得出整个原始矩阵。

奇异值分解法的主要步骤是：首先，计算原始数据矩阵的奇异值和奇异向量，然后，根据固有值确定奇异值和奇异向量，确定压缩程度，综合利用奇异值分解和奇异向量，进行特征提取和矩阵重建，从而将复杂的原始矩阵压缩成有限的低维数据，增加模型的处理速度，提高预测准确度。

除了图像处理外，奇异值分解在信号处理，数据挖掘，社交网络分析，自然语言处理，机器学习等领域也都有广泛应用。它可以用来识别微弱的特征，筛选出重要变量，减少数据维度，提高预测准确度，快速处理大型数据集，提高模型效率。

奇异值分解是一种高效的数据分析技术，可以提取原始数据中的有用信息，增强模型的精确性。它的应用非常广泛，可以改善各种计算机视觉任务的性能，为商业，科学和技术发展带来重大的突破和改 - 2 - 进。

然而，奇异值分解也有一些缺点。例如，它要求原矩阵具有有限的解，但是很多实际数据集中存在大量的噪声，它可能会对奇异值分解造成影响，导致分析结果不准确。另外，它也有较高的计算复杂度，不能有效地处理大型数据集。

总而言之，奇异值分解是一种有效的数学分析方法，它可以有效地提取原始数据中的有用信息，为计算机视觉和大数据分析研究提供有益的参考。然而，由于它的计算复杂度较高，要求原矩阵具有有限解，它也存在一定的局限性，需要采取灵活的处理方法以获取更准确有效的分析结果。

奇异值分解的一些特性以及应用小案例

奇异值分解的一些特性以及应用小案例

奇异值分解的一些特性以及应用小案例

一、奇异值分解的特性

1.唯一性：对于任意一个矩阵A，它的奇异值分解是唯一的。也就是说，任意两个不同的SVD分解结果之间，只有奇异向量的顺序和奇异值的正负可能不同。

2.矩阵的逆和伪逆：对于一个非奇异矩阵A，它的逆可以通过对SVD分解后的三个矩阵进行逆乘得到，即A的逆等于VΣ⁺U^T，其中Σ⁺是Σ的逆矩阵的转置。当A是一个奇异矩阵时，可以用伪逆来表示它的逆。

3.奇异值与特征值的关系：对于一个方阵A，它的SVD分解与特征值分解存在一定的关联。A的非零奇异值的平方等于A的非零特征值，而U和V中的列向量分别是A的左特征向量和右特征向量。

二、奇异值分解的应用案例

1.图像压缩：在图像处理中，SVD可以用于对图像进行压缩。将图片矩阵进行SVD分解后，可以利用奇异值的特性，选择数值较大的奇异值，然后将较小的奇异值设为0，以达到降低图像质量的目的。这样就可以减少图像所需的存储空间，同时避免图像失真过大。

2.推荐系统：在推荐系统中，SVD可以用于对用户和物品之间的隐含关系进行建模。将用户-物品评分矩阵进行SVD分解，得到用户特征矩阵和物品特征矩阵，然后可以通过计算用户特征向量和物品特征向量之间的相似度，来预测用户对未评分物品的喜好程度，从而实现个性化的推荐。

3.语言模型：在自然语言处理中，SVD可以用于构建词向量的模型。通过对大量文本数据进行SVD分解，可以得到一个降维后的向量空间，每个词语对应一个向量。这些向量可以捕捉到不同词语之间的语义关系，例如可以用向量表示"男人"-"女人"的关系，从而进行词义相似度计算、文本分类、情感分析等任务。

以上是奇异值分解的一些特性以及应用案例的简要介绍。奇异值分解具有唯一性、与特征值分解有一定的关系，可以用于矩阵的逆和伪逆计算。在实际应用中，SVD被广泛用于图像压缩、推荐系统和语言模型等领域。通过对SVD的理解和应用，可以在相关领域中提供强大的分析和建模能力。

矩阵的特征分解和奇异值分解

矩阵的特征分解和奇异值分解

矩阵的特征分解和奇异值分解

在线性代数中，矩阵的特征分解和奇异值分解是两种重要的分解方法。特征分解可以将一个方阵分解为特征向量和对应的特征值，而奇异值分解则适用于非方阵，将矩阵分解为奇异向量和对应的奇异值。本文将详细介绍这两种分解方法的原理和应用。

一、特征分解

特征分解是将一个方阵分解为特征向量和对应的特征值的过程。对于一个n阶方阵A，存在特征向量x和对应的特征值λ，使得满足下式：

Ax = λx

其中λ是一个标量，x是非零向量。特征分解的步骤如下：

1. 求方阵A的特征多项式：先计算A减去λ乘以单位矩阵I的行列式，得到特征多项式。

2. 求特征多项式的根：解特征多项式的方程，得到所有特征值λ。

3. 求特征向量：对每个特征值λ，带入原方程组(A-λI)x = 0，求解齐次线性方程组，得到特征向量x。

4. 归一化特征向量：对每个特征值对应的特征向量进行归一化处理。

特征分解是一种重要的矩阵分解方式，可以用于求解线性方程组、矩阵运算和特征值问题等。特征分解的结果可以提供矩阵的基本性质和结构信息。 二、奇异值分解

奇异值分解是将一个m×n矩阵分解为奇异向量和对应的奇异值的过程。对于一个m×n矩阵A，存在奇异向量u和v以及对应的奇异值σ，使得满足下式：

Av = σu

其中σ是一个非负标量，u和v是非零向量。奇异值分解的步骤如下：

1. 求矩阵A的转置矩阵A'的乘积AA'的特征值和对应的特征向量。

2. 求矩阵A的乘积A'A的特征值和对应的特征向量。

3. 计算奇异值：将特征值开根号得到矩阵A的奇异值。

4. 求解奇异向量：将特征向量与奇异值对应，得到矩阵A的奇异向量。

奇异值分解是一种常用的矩阵分解方法，它能够提取矩阵的结构信息和重要特征。奇异值分解在信号处理、图像压缩、数据降维和推荐系统等领域得到广泛应用。

三、特征分解与奇异值分解的比较

特征分解和奇异值分解都是将矩阵分解为向量和标量的过程，但它们的目的和应用场景有所不同。

矩阵的奇异值分解

矩阵的奇异值分解

矩阵的奇异值分解（Singular Value Decomposition，SVD）是一种重要的矩阵分解方法，可以将一个复杂的矩阵分解为三个简单的矩阵相乘的形式。SVD 可以应用于各种领域，如图像处理、语音识别、推荐系统等。

SVD 分解将一个 m × n 的矩阵 M 分解为 U × Σ × V^T 的形式，其中 U

是一个 m × m 的酉矩阵（unitary matrix），Σ 是一个 m × n 的矩阵，只有对角线上的元素大于等于 0，V^T 是一个 n × n 的酉矩阵。通常情况下，SVD 可以通过奇异值分解定理进行求解。

首先，我们需要计算矩阵 M × M^T 和 M^T × M 的特征向量和特征值。设 M

是一个 m × n 的矩阵，M^T 是它的转置矩阵，那么 M × M^T 是一个 m × m

的矩阵，M^T × M 是一个 n × n 的矩阵。我们可以通过特征值分解方法求解这两个矩阵的特征向量和特征值。

然后，我们可以将 M × M^T 和 M^T × M 的特征向量和特征值组成两个酉矩阵 U 和 V。特征值的平方根构成了 Σ 矩阵的对角线元素。我们可以将 U 和

V 按照特征值降序排列，以保证 U × Σ × V^T 是一个矩阵。

最后，我们可以利用奇异值分解定理，将 M 分解为 U × Σ × V^T 的形式。这样的分解可以帮助我们理解原始矩阵的结构和特征，提取重要信息，并进行维度降低等操作。在某些情况下，SVD 还可以作为矩阵的伪逆（pseudo-inverse），帮助我们解决线性方程组等问题。

SVD 分解在各个领域都有广泛的应用。在图像处理中，SVD 可以用于图像压缩和降噪等操作。在语音识别中，SVD 可以用于语音特征提取和模式匹配。在推荐系统中，SVD 可以用于用户行为分析和推荐算法的优化。

然而，SVD 分解也有一些局限性。首先，SVD 分解的计算复杂度较高，特别是对于大型矩阵而言，计算开销很大。其次，SVD 分解可能会导致信息的损失，特别是在维度降低的过程中，我们可能会丢失一些重要的信息。