第二章矩阵分解3_矩阵的最大秩分解资料

矩阵的满秩分解§4.3矩阵的满秩分解本节讨论一个n m ⨯复矩阵A 可以分解为两个与A 的秩相同的矩阵之积的问题。

定义4.3.1设n m ⨯复矩阵A 的秩为r ，如果存在两个与A 的秩相同的复矩阵F 与G ，使得FG A =，则称此式为复矩阵A 的满秩分解。

当A 是满秩矩阵时（行满秩或列满秩）A 可以分解为单位矩阵与A 自身的乘积，这个满秩分解叫做平凡分解。

定理4.3.1设n m ⨯复矩阵A 的秩为r 0>，则A 有满秩分解。

证：因为0>=r rankA ，对A 施行初等行变换，可得到阶梯形矩阵⎪⎪⎭⎫ ⎝⎛=0G B ， 其中G 为n r ⨯矩阵，并且0>=r rankG ；因此存在着有限个m 阶初等矩阵之积，记作P ，有B PA =，或者B P A 1-=，将矩阵1-P 分块为()S F P =-1 ，其中F 为r m ⨯矩阵，S 为)(r n m -⨯矩阵，并且r rankF =，r n rankS -=。

则有()FG G S F B P A =⎪⎪⎭⎫ ⎝⎛==-01 ，其中F 是列满秩矩阵，S 是行满秩矩阵。

▌但是，矩阵A 的满秩分解不唯一。

这是因为若取任意一个r 阶非奇异矩阵D ，则有G F G D FD FG A ~~))((1===-。

例1、 求矩阵⎪⎪⎪⎭⎫ ⎝⎛----=122211212101A 的满秩分解。

解：对矩阵A 进行初等行变换()⎪⎪⎭⎫ ⎝⎛==⎪⎪⎪⎭⎫ ⎝⎛--→⎪⎪⎪⎭⎫ ⎝⎛----=0111000001130200012101100122201011210012101G B I A 其中⎪⎪⎭⎫ ⎝⎛-=30202101G 所以⎪⎪⎪⎭⎫ ⎝⎛-=000030202101B ，⎪⎪⎪⎭⎫ ⎝⎛-=111011001P ；而()S F P =⎪⎪⎪⎭⎫ ⎝⎛--=-1120110011，其中⎪⎪⎪⎭⎫ ⎝⎛--=121101F由此可见，所以有()⎪⎪⎪⎭⎫ ⎝⎛--==⎪⎪⎭⎫ ⎝⎛==-12110101FG G S F B P A ⎪⎪⎭⎫ ⎝⎛-30202101。

矩阵的最大秩分解及其应用黄爱梅（01数本26号） 摘要：本文给出矩阵m nC⨯∈A 分解为两个与A 同秩的因子的积的具体方法，并讨论它的一些相关应用。

关键词：满秩分解、列满秩、行满秩、初等变换 正文：定理1：设m nrA C ⨯∈，则存在矩阵m rrB C ⨯∈，使得A BC =。

证：设()1112,A A A P =，其中11m rr A C ⨯∈，它由A 的r 个线性无关列组成，12A 为的其余n r -列所组成的矩阵。

n nn P C ⨯∈为初等列变换矩阵之积。

由于12A 的列均为11A 的列的线性组合，故存在矩阵()r n r D C⨯-∈，使得 1211A A D =于是()()111111,,r A A A D P A I D P == 令()11,,r B A C I D P == 显然有m rrB C ⨯∈,r n r C C ⨯∈且A BC =。

矩阵的这种分解，称为最大秩分解（满秩分解）定理的证明过程给出求B 、C 的方法，可归纳如下：将A 进行初等变换，化为行标准型，即将A 变为如下形式的矩阵。

001**0**0**001**0**0001**0000A ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦r 个元素不全为零的行其中“*”表示不一定为0的元素，在r A 中第个元素为1 外，其余的无素均为0（j r ∈）。

于是A 中12,,,r k k k 列的元素组成的阶矩阵就是B 。

而在r A 中除去下面的n r -个元素全为0行的外，所得的阶矩阵即为C 。

例1 求矩阵141362040141200112116A -⎡⎤⎢⎥--⎢⎥=⎢⎥-⎢⎥----⎣⎦的最大秩分解。

解：将A 进行行初等行变换，化为标准型04136007714000001002010020100200242401212010120213600551000112A -⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥→→→⎢⎥⎢⎥⎢⎥------⎢⎥⎢⎥⎢⎥------⎣⎦⎣⎦⎣⎦即知A 的第1、2、3列线性无关，其他列可被这三列线性表示。

矩阵的分解分析范文矩阵的分解分析是一种重要的数学方法，被广泛应用于多个领域，包括线性代数、数值分析、图论、统计学等。

矩阵分解可以将一个矩阵拆分成几个特定形式的矩阵相乘的形式，从而使得对原矩阵的分析更加简单和高效。

本文将从矩阵的分解基本概念开始，分析常见的矩阵分解方法，并介绍它们在实际问题中的应用。

在矩阵的分解分析中，最基本的概念是矩阵的秩。

矩阵的秩是指矩阵中的线性无关行或列的最大个数。

矩阵的秩与矩阵的特征值和特征向量密切相关。

其中，特征值是矩阵所特有的一个数值，而特征向量则是与特征值相关联的向量。

通过特征值和特征向量的分析，可以得到矩阵的谱分解，也就是将矩阵分解成特征值和特征向量构成的矩阵相乘的形式。

在实际问题中，矩阵的分解分析经常运用到矩阵的对角化。

矩阵的对角化是指将一个矩阵通过合适的相似变换（相似变换指矩阵的相似矩阵和原矩阵的乘积等于乘法交换律）转换为对角矩阵的过程。

而对于对称矩阵，可以通过正交相似变换将其对角化为对角矩阵，即正交对角化。

对称矩阵的正交对角化可以通过求解特征值和特征向量来实现，其中特征向量用来构造正交矩阵。

在实际问题中，特别是在机器学习和数据挖掘中，矩阵的分解分析被广泛应用于协同过滤推荐算法、图像处理、文本分析等领域。

其中，协同过滤推荐算法利用矩阵的分解将用户对物品的评分矩阵分解为低秩的用户矩阵和物品矩阵，从而实现个性化推荐。

图像处理中的奇异值分解可以对图像进行降噪和特征提取，从而辅助图像识别和图像分析。

文本分析中的矩阵分解可以对文档进行主题建模和文档相似性计算，从而实现对大规模文本数据的分析和处理。

总之，矩阵的分解分析是一种重要的数学方法，其应用领域广泛，如线性代数、数值分析、图论、统计学等。

通过矩阵的分解分析，可以简化对矩阵的分析和处理，从而实现对复杂问题的计算和求解。

无论是在理论研究还是在实际应用中，矩阵的分解分析都起着重要的作用，对于提高计算效率和解决实际问题都具有重要意义。

·第二章 矩阵变换和计算一、内容提要本章以矩阵的各种分解变换为主要内容，介绍数值线性代数中的两个基本问题：线性方程组的求解和特征系统的计算，属于算法中的直接法。

基本思想为将计算复杂的一般矩阵分解为较容易计算的三角形矩阵. 要求掌握Gauss （列主元）消去法、矩阵的（带列主元的）LU 分解、平方根法、追赶法、条件数与误差分析、QR 分解、Shur 分解、Jordan 分解和奇异值分解.(一) 矩阵的三角分解及其应用 1．矩阵的三角分解及其应用考虑一个n 阶线性方程组b Ax =的求解，当系数矩阵具有如下三种特殊形状：对角矩阵D ，下三角矩阵L 和上三角矩阵U ，这时方程的求解将会变得简单. ⎪⎪⎪⎪⎪⎭⎫⎝⎛=n d dd D21, ⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=nnn n l l l l l l L21222111, ⎪⎪⎪⎪⎪⎭⎫⎝⎛=nn n n u u u u u u U22212111. 对于b Dx =，可得解为i i i d b x /=,n i ,,2,1 =.对于b Lx =，可得解为1111/l b x =,ii i k k iki i l x lb x /)(11∑-=-=,n i ,,3,2 =.对于b Ux =，可得解为nn n n l b x /=,ii ni k k iki i l x lb x /)(1∑+=-=,1,,2,1 --=n n i .虽然对角矩阵的计算最为简单，但是过于特殊，任意非奇异矩阵并不都能对角化，因此较为普适的方法是对矩阵进行三角分解.1）．Gauss 消去法只通过一系列的初等行变换将增广矩阵)|(b A 化成上三角矩阵)|(c U ，然后通过回代求与b Ax =同解的上三角方程组c Ux =的解．其中第k 步消元过程中，在第1-k 步得到的矩阵)1(-k A 的主对角元素)1(-k kka 称为主元.从)1(-k A 的第j 行减去第k 行的倍数)1()1(--=k kkk jkjk a a l （n j k ≤<）称为行乘数（子）.2）．矩阵A 的LU 分解对于n 阶方阵A ，如果存在n 阶单位下三角矩阵L 和n 阶上三角矩阵U ，使得LU A =, 则称其为矩阵A 的LU 分解，也称为Doolittle 分解．Gauss 消去法对应的矩阵形式即为LU 分解, 其中L 为所有行乘子组成的单位下三角矩阵, U 为Gauss 消去法结束后得到的上三角矩阵. 原方程组b Ax =分解为两个三角形方程组⎩⎨⎧==yUx b Ly .3）．矩阵LU 分解的的存在和唯一性如果n 阶矩阵A 的各阶顺序主子式),,2,1(n k k =D 均不为零, 则必有单位下三角矩阵L 和上三角矩阵U ，使得LU A =, 而且L 和U 是唯一存在的．4）．Gauss 列主元消去法矩阵每一列主对角元以下（含主对角元）的元素中, 绝对值最大的数称为列主元. 为避免小主元作除数、或0作分母，在消元过程中，每一步都按列选主元的Guass 消去法称为Gauss 列主元消去法．由于选取列主元使得每一个行乘子均为模不超过1的数，因此它避免了出现大的行乘子而引起的有效数字的损失.5）．带列主元的LU 分解Gauss 列主元消去法对应的矩阵形式即为带列主元的LU 分解,选主元的过程即为矩阵的行置换. 因此, 对任意n 阶矩阵A ，均存在置换矩阵P 、单位下三角矩阵L 和上三角矩阵U ，使得LU PA =．由于选列主元的方式不唯一, 因此置换矩阵P 也是不唯一的. 原方程组b Ax =两边同时乘以矩阵P 得到Pb PAx =, 再分解为两个三角形方程组⎩⎨⎧==y Ux PbLy .5）．平方根法(对称矩阵的Cholesky 分解)对任意n 阶对称正定矩阵A ，均存在下三角矩阵L 使T LL A =，称其为对称正定矩阵A 的Cholesky 分解. 进一步地, 如果规定L 的对角元为正数，则L 是唯一确定的．原方程组b Ax =分解为两个三角形方程组⎩⎨⎧==y x L bLy T .利用矩阵乘法规则和L 的下三角结构可得21112⎪⎪⎭⎫ ⎝⎛-=∑-=j k jkjj jjla l , jj j k jkikij ij l l la l /11⎪⎪⎭⎫⎝⎛-=∑-=, i=j +1, j +2,…,n , j =1,2,…,n . 计算次序为nn n n l l l l l l l ,,,,,,,,,2322212111 ．由于jj jk a l ≤，k =1,2,…,j ．因此在分解过程中L 的元素的数量级不会增长，故平方根法通常是数值稳定的，不必选主元．6）．求解三对角矩阵的追赶法 对于三对角矩阵⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=---n nn n n b a c b a c b a c b 11122211A , 它的LU 分解可以得到两个只有两条对角元素非零的三角形矩阵⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=--n n n nu d u d u d u l l l 11221132,1111U L . 其中⎪⎪⎩⎪⎪⎨⎧=-====-==--n i c l b u n i u a l b u n i c d i i i i i i i i i ,,3,2,,,3,2,/1,,2,1,1111计算次序是n n u l u l u l u →→→→→→→ 33221. 原方程组b Ax =分解为两个三角形方程组⎩⎨⎧==y Ux b Ly . 计算公式为n i y l b y b y i i i i ,,3,2,,111 =-==-,.1,,2,1,/)(,/1 --=-==+n n i u x c y x u y x i i i i i nn n该计算公式称为求解三对角形方程组的追赶法．当A 严格对角占优时，方程组b Ax =可用追赶法求解, 解存在唯一且数值稳定．7）．矩阵的条件数设A 为非奇异矩阵，⋅为矩阵的算子范数，称1)(cond -=A A A 为矩阵A 的条件数．矩阵的条件数是线性方程组b Ax =, 当A 或b 的元素发生微小变化，引起方程组解的变化的定量描述, 因此是刻画矩阵和方程组性态的量. 条件数越大, 矩阵和方程组越为病态, 反之越小为良态.常用的矩阵条件数为∞-条件数: ∞-∞∞=1)(cond AA A ，1-条件数: 1111)(cond -=AAA ，2-条件数: )()()(cond mi n max 2122A A A A AAA HHλλ==-．矩阵的条件数具有如下的性质： (1) 1)(cond ≥A ;(2) )(cond )(cond 1-=A A ;(3) )(cond )(cond A A =α，0≠α，R ∈α;(4) 如果U 为正交矩阵，则1)(cond 2=U ，)(cond )(cond )(cond 222A AU UA ==.一般情况下，系数矩阵和右端项的扰动对解的影响为定理 2.5 设b Ax =，A 为非奇异矩阵，b 为非零向量且A 和b 均有扰动．若A 的扰动δA 非常小,使得11<-A A δ，则)()(cond 1)(cond bδb AδA AA A A xδx +-≤δ.关于近似解的余量与它的相对误差间的关系有定理2.6 设b Ax =，A 为非奇异矩阵，b 为非零向量，则方程组近似解x ~的事后估计式为bx A b A xx x bx A b A ~)cond(~~)cond(1-≤-≤-.其中称x A b ~-为近似解x ~的余量，简称余量。

引言数学是人类历史中发展最早，也是发展最为庞大的基础学科。

许多人说数学是万理之源，因为许多学科的研究都是以数学做为基础，有了数学的夯实基础，人类才铸就起了众多学科的高楼大厦，所以数学的研究和发展一直在不断的发展壮大。

在数学中有一支耀眼的分支，那就是矩阵。

在古今矩阵的研究发展长河中产生了许多闪耀星河的大家。

英国数学大家詹姆斯·约瑟夫·西尔维斯特，一个数学狂人，正是他的孜孜不倦的研究使得矩阵理论正式被确立并开启了矩阵发展的快速发展通道。

凯莱和西尔维斯特是非常要好的朋友，他也是一位非常伟大的数学大师，正是他们伟大的友谊，加上两人的齐心协力最后他们共同发展了行列式和矩阵的理论。

后来高斯在矩阵方面的研究取得重要的成就，尤其是高斯消去法的确立，加速了矩阵理论的完善和发展。

而在我国，矩阵的概念古已有之。

从最早的数学大家刘徽开始我们古代数学大家都已或多或少的研究了矩阵。

尤其在数学大家刘徽写的《九章算术》中，它最早提出了矩阵的类似定义。

而且是将矩阵的类似定义用在了解决遍乘直除问题里了。

这已经开始孕育出了最早的矩阵形式。

随着时间转移，矩阵的理论不断的完善，在对于那些大型矩阵的计算中如果用基本方法显得过于繁重，于是发展出了矩阵的分解，随着对矩阵分解的不断研究完善，矩阵分解方法和理论也日趋成熟矩阵经常被当做是数学工具，因为在数学问题中要经常用上矩阵的知识。

矩阵是一个表格，要掌握其运算法则，作为表格的运算与数的运算既有联系又有差别，在所有矩阵的运算方法中，矩阵的分解是他们中一种最重要并且也是应用最广泛。

矩阵分解主要是对高斯消去法的延续和拓展。

在一些大型的矩阵计算中，其计算量大，化简繁杂，使得计算非常复杂。

如果运用矩阵的分解，将那些大型矩阵分解成简单的矩阵的乘积形式，则可大大降低计算的难度以及计算量。

这就是矩阵分解的主要目的。

而且对于矩阵的秩的问题，特征值的问题，行列式的问题等等，通过矩阵的分解后都可以清楚明晰的反应出来。

14-3 矩阵分解21.满秩分解2.LU 分解3.QR 分解4.Schur 分解5.奇异值分解31. 满秩分解设矩阵A ∈R m ×n ，且rank A =r (r ≤m ,r ≤n )，则存在矩阵分解：A =FG ，其中F ∈R m ×r ，且rank F =r (列满秩)，G ∈R r ×n ，且rank G =r (行满秩). 称为满秩分解.4满秩分解反映出关于矩阵A 的秩的信息.应用：当r 远小于m 和n 时，利用满秩分解可以去除掉A 中的冗余信息，节省存储量和运算量.52. LU 分解设矩阵A ∈R n ×n ，如果存在单位上三角矩阵L ，下三角矩阵U ，使得A =LU ，则称之为A 的LU 分解.如果存在单位上三角矩阵L ，单位下三角矩阵U ，对角矩阵D ，使得A =LDU ，则称之为LDU 分解.6定理1：矩阵A 的LDU 分解存在唯一(或LU 分解存在)的充要条件是A 的顺序主子式D k ≠0.LU 分解的实现过程实际上就是Gauss 消去法.应用：求解线性方程组Ax =b .方法：初等行变换逆计算LUx=b LY=b Ux=Y7对称正定矩阵的Cholesky 分解A =LL T其中L 为下三角矩阵.83. QR 分解设矩阵A ∈R n ×n ，且非奇异，则存在正交矩阵Q ，非奇异上三角矩阵R ，使得A =QR ，称之为QR 分解(QR decomposition)，且此时分解唯一.设矩阵A ∈R m ×n (m >n )，且列满秩，则存在正交矩阵Q ∈R m ×m ，上三角矩阵R ∈R m ×n ，使得A =QR .9而且此时Q =[Q 1Q 2]，R =[R 1;0]，其中Q 1∈R m ×n 满足Q 1T Q 1=I n ，R 1∈R n ×n 是非奇异上三角矩阵.这样分解式为A =Q 1R 1，称为compact QR decomp .QR 分解的实现方式：GS/MGS ，Givens 变换，Householder 变换.10当A 不是非奇异或列满秩时，情况会怎样？114. Schur 标准型定理2（Schur 分解）设A 是n 阶复矩阵，则存在酉矩阵U 使得,U AU T ∗=其中T 是上三角矩阵，其对角元就是A 的特征值.而且适当选取U ，可使T 的对角元素按任意指定的顺序排列.复矩阵A 称为正规(normal)矩阵，若A *A =AA *.12推论1：(1) A 是正规矩阵的充要条件是存在酉矩阵U 使得U *AU 是对角矩阵.(2) A 是Hermite(对称)矩阵的充要条件是存在酉(正交)矩阵U 使得U *AU 是实对角矩阵.A 的共轭变换阵=A 的逆矩阵，A 为酉矩阵13定理3（实Schur 分解）：设A 是n 阶实矩阵，则存在正交矩阵Q 使得T ,U AU T =其中T 是拟上三角(quasi upper triangular)矩阵，即T 是分块上三角矩阵，对角块是1×1或2×2的块，其中1×1的块对应A 的实特征值，2×2的块对应A 的共轭成对的复特征值.而且适当选取Q ，可使T 的对角块按任意指定的顺序排列.(实)Schur 分解是数值计算特征值的理论基础.144. 奇异值分解(SVD)定理4：设A 是m ×n 的复矩阵，秩为r ，则存在两个酉矩阵U ∈C m ×m ，V ∈C n ×n ，使得,00r U AV ΣΣ∗⎡⎤==⎢⎥⎣⎦其中Σr =diag(s 1,…,s r )，s 1≥s 2≥…≥s r .15定理中的分解式称为A 的奇异值分解(Singular ValueDecomposition).s i 称为A 的奇异值(singular value).V 的第i 列称为属于s i 的右单位奇异向量.U 的第i 列称为属于s i 的左单位奇异向量.16推论2：设A 是m ×n 的复矩阵，秩为r ，则(1) A 的非零奇异值的个数等于A 的秩r ；(2) v r +1,…,v n 构成N (A )的标准正交基；(3) u 1,…,u r 构成R (A )的标准正交基；17(4) 记U =[U 1U 2]，V =[V 1V 2]，其中U 1∈C m ×r ，V 1∈C n ×r 则有111,rr i i i i A U V u v Σσ∗∗===∑称为A 的满秩奇异值分解.SVD 有着广泛的应用，如Google .T T ()(),()().n m R N A R A R N A R A =⊕=⊕。

矩阵的满秩分解及其应用矩阵的满秩分解（rank factorization）是一种用于矩阵的分解的方法，可以将矩阵A 分解为两个秩相同的数量级较小的矩阵U和V，即：A = U·V。

这里，A看作一个mxn矩阵，U看作一个mxk矩阵，V看作一个kxn矩阵，k ≤ min(m,n )，其中m为A的行数，n为A的列数。

矩阵的满秩分解有助于将矩阵A重新组合成多个子矩阵，这样就可以更加方便快捷地处理问题。

因此，它是线性代数中非常有用的一种矩阵分解方法。

它在利用矩阵数据，比如数字图像和视频数据，解决机器学习的问题上也有重要的作用。

满秩分解的应用主要体现在机器学习、计算机视觉、机器智能等方面，主要是矩阵因素分解（matrix factorization）。

其认为给定mxn大小的值矩阵A，存在某种方式，使A可以被重新写成为形式U·V，其中U是一个mxk矩阵，V是一个kxn矩阵，k 为A的秩rssss。

该方法的目的在于发现具有特定意义的两个矩阵U和V，以因素（factor）的形式表示给定的矩阵A。

在机器学习领域，满秩分解的应用有：1）对于推荐系统，可以使用满秩分解技术分析用户的评价历史，从而更好地发现更多的推荐点；2）矩阵因素分解可以在框架形式学习（frame-based learning）中用于发掘特定用户之间存在的复杂关系；3）在自然语言处理（natural language processing）中，满秩分解可以作为文本聚类算法（text clustering algorithms）或文本情感分析（text sentiment analysis）的工具；4）满秩分解同样可以作为概率图模型（probabilistic graphical model）的基本元素，用于解决有向图的推理问题。

满秩分解的另一种用途是数据压缩，这是因为使用rank factorization可以将n×n原矩阵压缩成r×r小矩阵，大约可以减少90%的存储空间。