第四章正规矩阵与矩阵的分解

矩阵分解矩阵分解矩阵分解是将矩阵拆解为数个矩阵的乘积，可分为三⾓分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种.矩阵的三⾓分解、正交三⾓分解、满秩分解将矩阵分解为形式⽐较简单或性质⽐较熟悉的⼀些矩阵的乘积,这些分解式能够明显地反映出原矩阵的许多数值特征,如矩阵的秩、⾏列式、特征值及奇异值等. 另⼀⽅⾯, 构造分解式的⽅法和过程也能够为某些数值计算⽅法的建⽴提供了理论依据. 接下来就讨论⼀下矩阵的三⾓分解.1 矩阵的三⾓分解1.1 矩阵的三⾓分解基本概念与定理定义1.1[]5设m n∈和上三⾓矩L C?A C?∈,如果存在下三⾓矩阵m n阵n m∈, 使得A=LU, 则称A可作三⾓分解或LU分解.U C?定义1.2设A为对称正定矩阵, D为⾏列式不为零的任意对⾓矩阵,则T=成⽴：A A=, U为⼀个单位上三⾓矩阵, 且有A LDU1) 如果L是单位下三⾓矩阵, D是对⾓矩阵, U是单位上三⾓矩阵, 则称分解D=为LD U分解.A L U2) 如果L=LD是下三⾓矩阵, ⽽U是单位上三⾓矩阵, 则称三⾓分解A LUCrout分解;= 为克劳特()3) 如果U DU是单位下三⾓矩阵, U 为上三⾓矩阵, 则称三⾓=分解A LUDoolittle分解;= 为杜利特()U --=== , 称为不带平⽅根的乔累斯基()Cholesky 分解;5) 如果12L D L = , 12D U U= , 则1122A LD U LD D U LU=== , 由于T UL = , 则T A LL= , 称为带平⽅根的乔累斯基()Cholesky 分解. 定理 1.1 n阶⾮奇异矩阵A可作三⾓分解的充要条件是k 0A ≠()1,2,,1k n =- ,这⾥A k为A 的k 阶顺序主⼦阵, 以下同.证明必要性. 设⾮奇异矩阵A 有三⾓分解A L U=, 将其写成分块形式k12k122122212222A L 0U =A A 0U kA U L L这⾥A k ,k L 和k U 分别为A, L和U 的k 阶顺序主⼦阵. ⾸先由0⽽L 0k ≠,U 0k ≠; 因此A =L U0kkk ≠()1,2,,1k n =-.充分性. 对阶数n 作数学归纳法. 当n=1时, 1A =（11a ）=（1）（11a ）,结论成⽴. 设对n k =结论成⽴, 即k =k k A L U , 其中k L 和k U 分别是下三⾓矩阵和上三⾓矩阵. 若k 0A ≠,则由kA =L k k U 易知L k 和k U 可逆. 现证当1n k =+时结论也成⽴, 事实上-1k k k k1TT 1T 1-1k+1,1k 1,1k k k A c 0c A =10c kkk T kk k k k k L U L r a r U a r U L +--+++??= ? ?-.由归纳法原理知A 可作三⾓分解.定理 1.1 给出了⾮奇异矩阵可作三⾓分解的充要条件, 由于不满⾜定理1.1的条件, 所以它不能作三⾓分解. 但110000110011211011202A ?????????? ?===.上例表明对于奇异矩阵,它还能作三⾓分解未必要满⾜定理1.1的条件.⾸先指出,⼀个⽅阵的三⾓分解不是唯⼀的, 从上⾯定义来看,杜利特分解与克劳特分解就是两种不同的三⾓分解,其实,⽅阵的三⾓分解有⽆穷多, 这是因为如果D 是⾏列式不为零的任意对⾓矩阵, 有1()()A LU C D D U LU-== ,其中,LU 也分别是下、上三⾓矩阵, 从⽽A LU = 也使A 的⼀个三⾓分解. 因D 的任意性, 所以三⾓分解不唯⼀. 这就是A 的分解式不唯⼀性问题, 需规范化三⾓分解.定理 1.2 （LD U 基本定理）设A 为n 阶⽅阵,则A 可以唯⼀地分解为A =LD U(1.1)的充分必要条件是A 的前1n -个顺序主⼦式k 0A ≠()1,2,,1k n =- .其中L,U分别是单位下、上三⾓矩阵, D是对⾓矩阵D=diag ()12,,,n d d d ,1k k k A d A -=()1,2,,kn = , 01A =.证明充分性. 若k 0A ≠()1,2,,1k n =- , 则由定理1.1, 即实现⼀个杜利特分解A LU= , 其中L 为单位下三⾓矩阵, U 为上三⾓矩阵,记1112122==()()()()()()1111112122222n n n nn a a a a a a ??=()n A , 因为()u 0i ii ii a ≡≠()1,2,,1i n =- .下⾯分两种情况讨论：1) 若A ⾮奇异,由式(1)有n ?=()()() 121122n nn a a a =A ≠, 所以()n nn nna u =≠,这时令()()()()121122diag n nn D a a a = , 则() ()()1121122111,,,n nn D diag a a a -??= ?.LD D U LDU -=== (1.2)是A 的⼀个LD U 分解.2)若A 奇异,则()u 0i iiii a ≡=,此时令()()()12111221,1(,,,,0)n n n D diag a a a ---= ,()()()()121n-111221,1,,,n n n D diag a a a ---= , α=()1n1u,,,Tn u n - ,则10n T UU α-??≡ =1111110=DU 0001n n n n T T U D U D α------,因此不论哪种情况, 只要k0A ≠()1,2,,1k n =- , 总存在⼀个LD U分解式(1.1),1a kk k kk k A d A -==()1,2,,1kn =- ,01A =.均⾮奇异.若还存在另⼀个LD U 分解111A L D U =, 这⾥1L ,1D , 1U 也⾮奇异,于是有111L D U L D U =(1.3)上式两端左乘以11L -以及右乘以1U -和1D -, 得111111L L D U U D---=, (1.4)但式(1.4)左端是单位下三⾓矩阵, 右端是单位上三⾓矩阵, 所以都应该是单位阵, 因此1LL I-=,1111D U UDI--=,即1L L =,111--=. 由后⼀个等式类似地可得11U UI-=,11D D I-=,即有1U U=,1D D=.2) 若A 奇异, 则式(1.3)可写成分块形式1111100001000110001T T T T T L D U L D U ααββ= ? ? ? ? ? ???????????, 其中1L, 1L 是1n -阶单位下三⾓阵; U , 1U 是1n -阶上三⾓阵; D,1D 是1n -阶对⾓阵; α, 1α,β, 1β是1n -维列向量. 由此得出111111=D U D DUD ααββαββα???? ? ???, 其中1L, 1D , 1U 和L ,D, U均⾮奇异, 类似于前⾯的推理, 可得1L =L ,1D =D , 1U =U ,1=αα,T T1=ββ.必要性. 假定A 有⼀个唯⼀的LD U 分解, 写成分块的形式便是1111A 00=0101n n n n T T nn n x D L U ya d αβ----,(1.5)其中1n L -,1D n -, 1n U -, 1n A -分别是L,A的1n -阶顺序主⼦矩阵;x , y, α,β为1n -维列向量. 由式(1.5)有下⾯的矩阵⽅程:1111n n n n A L D U ----=, (1.6)11TTn n yD U β--=,(1.7)11n n x L D α--=, (1.8)1Tnn n na D d βα-=+. (1.9)否则, 若10n A -=, 则由式(1.6)有111110n n n n n A L D U D -----===.于是有1110n n n L D D ---==, 即11n n L D --奇异. 那么对于⾮其次线性⽅程组(1.8)有⽆穷多⾮零解, 不妨设有α', 使11n n L D x α--'=, ⽽α'=α.同理, 因11n n D U --奇异, ()1111TTT n n n n L D U D ----=也奇异,故有ββ'≠, 使11TTn n U D yβ--=, 或11TTn n D U yn nn n d a D βα-'''=-, 则有1111000101n n n n T T nn nA x D L U y a d αβ----'= ? ? ? ?'',这与A 的LD U 分解的唯⼀性⽭盾, 因此10n A -≠.考察1n -阶顺序主⼦矩阵1n A -由式(1.6)写成分块形式, 同样有2222n n n n A L D U ----=. 由于10n D -≠, 所以20n D -≠, 可得222220n n n n n A L D U D -----==≠, 从⽽20n A -≠. 依此类推可得0k A ≠()1,2,,1k n =- .综上所述, 定理证明完毕.推论 1[]3 设A 是n 阶⽅阵, 则A 可惟⼀进⾏杜利特分解的充分必要条件是A 的前1n -个顺序主⼦式11110k k k kka a A a a =≠,1,2,,1k n =- , 其中L 为单位上三⾓矩阵, 即有11121212223132121111n nnn n n n n u u u l u u l l A u l l l -=并且若A 为⾮奇异矩阵, 则充要条件可换为: A的各阶顺序主⼦式全不为零, 即:0k A ≠,1,2,,k n = .推论 2[]3 n 阶⽅阵A 可惟⼀地进⾏克劳特分解111212122212111n nn n nnl u u ll u A LUl l l==的充要条件为11110k k k kka a A a a =≠, 1,2,,1k n =- .若A 为奇异矩阵, 则0nn l =, 若A 为⾮奇异矩阵, 则充要条件也可换为0k A ≠, 1,2,,k n = .定理 1.3[]3 设A 为对称正定矩阵, 则A 可惟⼀地分解为T A LDL =, 其中L 为下三⾓矩阵, D 为对⾓矩阵, 且对⾓元素是L 对⾓线元素的倒数. 即2212n n nnl l l L l l l ?? ?=, 1122111nn l l D l ?? ? ? ? ?=. 其中11/j ijij ik jk kkk l a l l l -==-∑,1,2,,ni = , 1,2,,j i = .。

矩阵分解法
矩阵分解法是一种被广泛应用于矩阵和数据分析领域的数学方法，它能够对复杂的数据集进行简单而有效的分解，为更深入的分析提供基础。

本文将详细介绍矩阵分解法的基本原理及各种应用，以及它能够解决的相关问题。

矩阵分解法的基本概念是使用矩阵的特定分解技术，将一个大的复杂的矩阵分解成若干较小的更简单的矩阵，这些矩阵之间可能存在一定的关系。

最常用的矩阵分解方法是奇异值分解（Singular Value Decomposition，SVD），它能够有效地将一个矩阵分解成三个矩阵，这三个矩阵可以用来描述矩阵的行、列和特征。

其中，最重要的矩阵是特征值矩阵，它能够描述矩阵中特征之间的关系，这些特征信息可以作为进一步分析的依据。

同时，这些特征也能够影响到矩阵的值，从而有助于解决机器学习和数据挖掘中的关系推断问题，从而获得新的结论。

此外，矩阵分解还可以用于对数据进行统计和预测，这是因为矩阵分解能够提取出高维数据中隐藏的模式，从而将复杂的数据集简化为易于理解的表示形式。

因此，矩阵分解法在实际的数据分析中有着重要的应用，如文本分类、推荐系统和图像识别等。

另外，矩阵分解法还能够帮助数据科学家们解决压缩和特征选择的问题。

首先，矩阵分解能够帮助我们压缩数据集，从而节省存储空间；其次，这种方法也可以帮助我们提取出有用的特征，从而达到减少计算负担的目的。

（尾）总之，矩阵分解法是一种极其重要的数学方法，它可以帮助我们对复杂的数据集进行分解，提取有用信息，从而为进一步分析提供基础，同时还可以用于压缩和特征选择等目的。

因此，矩阵分解法可以说是数据科学领域的一个重要的数学工具，值得进一步关注和研究。

正定矩阵必存在LU分解正定矩阵是定义在线性代数中的一种重要的矩阵类型，它具有一些非常有用的性质。

其中之一是，正定矩阵必定存在LU分解。

在本篇文章中，我们将深入研究正定矩阵和它的LU分解。

一、正定矩阵的定义与性质1.1 定义在线性代数中，正定矩阵是指一个对称矩阵 A，满足对于任意非零向量 x ，都有 x^T A x>0。

此处，x^T 代表 x 的转置。

正定矩阵的定义可表述为：如果 A 是一个 n 阶矩阵，当且仅当对于任意非零向量 x，都有 x^T A x>0，则 A 是正定矩阵。

正定矩阵的一个显著特点是，它的所有特征值都是正数。

这个特性可以通过谱分解得到。

1.2 性质正定矩阵具有一些重要的性质。

这里列举其中的三个：性质1：正定矩阵的所有特征值都是正数。

性质2：正定矩阵的所有主子矩阵都是正定矩阵。

性质3：正定矩阵是可逆矩阵。

且它的逆矩阵也是正定矩阵。

二、LU分解LU分解是一种矩阵分解方法，将一个矩阵分解成一个下三角矩阵L 和一个上三角矩阵 U 的乘积，即 A=LU。

其中，L 是“下三角”，它的对角线上元素都是 1；U 是“上三角”矩阵，它的对角线元素不为零。

下三角矩阵的定义是，在主对角线上和右上角的元素都是零的矩阵。

同理，上三角矩阵也是在主对角线下和左下角的元素都是零的矩阵。

下面，我们来介绍一种求解正定矩阵的LU分解的方法。

3.1 Cholesky分解Cholesky分解是一种求解正定矩阵的LU分解的方法。

其基本思路是，将正定矩阵 A 分解成 L 和它的转置矩阵 L^T 的乘积，即 A=LL^T。

具体实现步骤如下：步骤1：将正定矩阵A 分解成 L L^T 的形式。

其中，L 是一个下三角矩阵。

L的第一行第一列为第一行第一列元素的平方根。

步骤2：求出 L 的逆矩阵 L^-1。

步骤3：将 L^-1 与 L^T 相乘，得到 A 的逆矩阵，即 A^-1。

因为A是正定矩阵，所以它的逆矩阵也是正定矩阵。