12.第十二讲 矩阵分解之二

矩阵的分解一、矩阵的三角分解 定义 3.1 设.n nA F⨯∈(1) 若,n n L U F ⨯∈分别为下三角矩阵和上三角矩阵，,A LU =则称A 可作LU 分解。

(2) 若,n n L U F ⨯∈分别是对角线元素为1的下三角矩阵和上三角矩阵，D 为对角矩阵。

,A LDU = 则称A 可作LDU 分解。

用Gauss 消去法，一个方阵总可以用行初等变换化为上三角矩阵，若只用第i 行乘以数k 加到第j 行（i j <）型初等变换就能把A 化为上三角矩阵U ，则有下三角形可逆矩阵,P 使,PA U =从而有LU 分解：1.A P U -=例1 设223477245A ⎡⎤⎢⎥=⎢⎥⎢⎥-⎣⎦，求A 的LU 分解和LDU 分解。

解 为求,P 对下面的矩阵做如下行初等变换：3223100223100()477010031210245001068101223100031210006521A I ⎡⎤⎡⎤⎢⎥⎢⎥=→-⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦⎡⎤⎢⎥→-⎢⎥⎢⎥-⎣⎦因此 100223210,031521006P PA ⎡⎤⎡⎤⎢⎥⎢⎥=-=⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦. 令1100223210,031121006L P U -⎡⎤⎡⎤⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥-⎣⎦⎣⎦则223031.006A L LU ⎡⎤⎢⎥==⎢⎥⎢⎥⎣⎦再利用初等变换，有31121002121030131216001A ⎡⎤⎢⎥⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦就得到A LDU =其中 311210021210,3,0131216001L D U ⎡⎤⎢⎥⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥===⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥-⎢⎥⎣⎦⎣⎦⎢⎥⎢⎥⎣⎦一般来说，,LU LDU 分解一般不是惟一的。

下面讨论方阵的LU 和LDU 分解的 存在性和唯一性。

定理 3.1 设(),n nij n n A a F ⨯⨯=∈ 则A 有惟一LDU 分解A LDU =的充分必要条件是A 的顺序主子式1112121222012......0,1,2,...,;1,...............k k k k k kka a a a a a k n a a a ∆=≠=∆=其中 121,;1,2,...,...k k k n d d D d k n d -⎡⎤⎢⎥∆⎢⎥===⎢⎥∆⎢⎥⎣⎦证明：只证充分性：对A 的阶数n 进行归纳证明11111111,()(1)()(1)n A a a L DU ==== 所以定理对1n =成立，设定理对1n -成立，即 (1)(1)111()ij n n n n n A a L D U -⨯----== 则对,n 将A 分块成1n n Tnnn A A u a τ-⎡⎤=⎢⎥⎣⎦其中 121,12,1(,,...,),(,,...,),TTn n n n n n n n n n a a a u a a a τ--==设111100,1001n n n n n n T T n nn nn A L D V v u a l d τ----⎡⎤⎡⎤⎡⎤⎡⎤=⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎣⎦⎣⎦ 比较两边，则有1111,n n n n A L D U ----= (3.1)11n n n n L D v τ--= (3.2)11T Tn n n n u l D U --= (3.3) 1T nn n n n n a l D v d -=+ (3.4)由归纳假设（3.1）式成立。

矩阵分解矩阵分解矩阵分解是将矩阵拆解为数个矩阵的乘积，可分为三⾓分解、满秩分解、QR分解、Jordan分解和SVD（奇异值）分解等，常见的有三种.矩阵的三⾓分解、正交三⾓分解、满秩分解将矩阵分解为形式⽐较简单或性质⽐较熟悉的⼀些矩阵的乘积,这些分解式能够明显地反映出原矩阵的许多数值特征,如矩阵的秩、⾏列式、特征值及奇异值等. 另⼀⽅⾯, 构造分解式的⽅法和过程也能够为某些数值计算⽅法的建⽴提供了理论依据. 接下来就讨论⼀下矩阵的三⾓分解.1 矩阵的三⾓分解1.1 矩阵的三⾓分解基本概念与定理定义1.1[]5设m n∈和上三⾓矩L C?A C?∈,如果存在下三⾓矩阵m n阵n m∈, 使得A=LU, 则称A可作三⾓分解或LU分解.U C?定义1.2设A为对称正定矩阵, D为⾏列式不为零的任意对⾓矩阵,则T=成⽴：A A=, U为⼀个单位上三⾓矩阵, 且有A LDU1) 如果L是单位下三⾓矩阵, D是对⾓矩阵, U是单位上三⾓矩阵, 则称分解D=为LD U分解.A L U2) 如果L=LD是下三⾓矩阵, ⽽U是单位上三⾓矩阵, 则称三⾓分解A LUCrout分解;= 为克劳特()3) 如果U DU是单位下三⾓矩阵, U 为上三⾓矩阵, 则称三⾓=分解A LUDoolittle分解;= 为杜利特()U --=== , 称为不带平⽅根的乔累斯基()Cholesky 分解;5) 如果12L D L = , 12D U U= , 则1122A LD U LD D U LU=== , 由于T UL = , 则T A LL= , 称为带平⽅根的乔累斯基()Cholesky 分解. 定理 1.1 n阶⾮奇异矩阵A可作三⾓分解的充要条件是k 0A ≠()1,2,,1k n =- ,这⾥A k为A 的k 阶顺序主⼦阵, 以下同.证明必要性. 设⾮奇异矩阵A 有三⾓分解A L U=, 将其写成分块形式k12k122122212222A L 0U =A A 0U kA U L L这⾥A k ,k L 和k U 分别为A, L和U 的k 阶顺序主⼦阵. ⾸先由0⽽L 0k ≠,U 0k ≠; 因此A =L U0kkk ≠()1,2,,1k n =-.充分性. 对阶数n 作数学归纳法. 当n=1时, 1A =（11a ）=（1）（11a ）,结论成⽴. 设对n k =结论成⽴, 即k =k k A L U , 其中k L 和k U 分别是下三⾓矩阵和上三⾓矩阵. 若k 0A ≠,则由kA =L k k U 易知L k 和k U 可逆. 现证当1n k =+时结论也成⽴, 事实上-1k k k k1TT 1T 1-1k+1,1k 1,1k k k A c 0c A =10c kkk T kk k k k k L U L r a r U a r U L +--+++??= ? ?-.由归纳法原理知A 可作三⾓分解.定理 1.1 给出了⾮奇异矩阵可作三⾓分解的充要条件, 由于不满⾜定理1.1的条件, 所以它不能作三⾓分解. 但110000110011211011202A ?????????? ?===.上例表明对于奇异矩阵,它还能作三⾓分解未必要满⾜定理1.1的条件.⾸先指出,⼀个⽅阵的三⾓分解不是唯⼀的, 从上⾯定义来看,杜利特分解与克劳特分解就是两种不同的三⾓分解,其实,⽅阵的三⾓分解有⽆穷多, 这是因为如果D 是⾏列式不为零的任意对⾓矩阵, 有1()()A LU C D D U LU-== ,其中,LU 也分别是下、上三⾓矩阵, 从⽽A LU = 也使A 的⼀个三⾓分解. 因D 的任意性, 所以三⾓分解不唯⼀. 这就是A 的分解式不唯⼀性问题, 需规范化三⾓分解.定理 1.2 （LD U 基本定理）设A 为n 阶⽅阵,则A 可以唯⼀地分解为A =LD U(1.1)的充分必要条件是A 的前1n -个顺序主⼦式k 0A ≠()1,2,,1k n =- .其中L,U分别是单位下、上三⾓矩阵, D是对⾓矩阵D=diag ()12,,,n d d d ,1k k k A d A -=()1,2,,kn = , 01A =.证明充分性. 若k 0A ≠()1,2,,1k n =- , 则由定理1.1, 即实现⼀个杜利特分解A LU= , 其中L 为单位下三⾓矩阵, U 为上三⾓矩阵,记1112122==()()()()()()1111112122222n n n nn a a a a a a ??=()n A , 因为()u 0i ii ii a ≡≠()1,2,,1i n =- .下⾯分两种情况讨论：1) 若A ⾮奇异,由式(1)有n ?=()()() 121122n nn a a a =A ≠, 所以()n nn nna u =≠,这时令()()()()121122diag n nn D a a a = , 则() ()()1121122111,,,n nn D diag a a a -??= ?.LD D U LDU -=== (1.2)是A 的⼀个LD U 分解.2)若A 奇异,则()u 0i iiii a ≡=,此时令()()()12111221,1(,,,,0)n n n D diag a a a ---= ,()()()()121n-111221,1,,,n n n D diag a a a ---= , α=()1n1u,,,Tn u n - ,则10n T UU α-??≡ =1111110=DU 0001n n n n T T U D U D α------,因此不论哪种情况, 只要k0A ≠()1,2,,1k n =- , 总存在⼀个LD U分解式(1.1),1a kk k kk k A d A -==()1,2,,1kn =- ,01A =.均⾮奇异.若还存在另⼀个LD U 分解111A L D U =, 这⾥1L ,1D , 1U 也⾮奇异,于是有111L D U L D U =(1.3)上式两端左乘以11L -以及右乘以1U -和1D -, 得111111L L D U U D---=, (1.4)但式(1.4)左端是单位下三⾓矩阵, 右端是单位上三⾓矩阵, 所以都应该是单位阵, 因此1LL I-=,1111D U UDI--=,即1L L =,111--=. 由后⼀个等式类似地可得11U UI-=,11D D I-=,即有1U U=,1D D=.2) 若A 奇异, 则式(1.3)可写成分块形式1111100001000110001T T T T T L D U L D U ααββ= ? ? ? ? ? ???????????, 其中1L, 1L 是1n -阶单位下三⾓阵; U , 1U 是1n -阶上三⾓阵; D,1D 是1n -阶对⾓阵; α, 1α,β, 1β是1n -维列向量. 由此得出111111=D U D DUD ααββαββα???? ? ???, 其中1L, 1D , 1U 和L ,D, U均⾮奇异, 类似于前⾯的推理, 可得1L =L ,1D =D , 1U =U ,1=αα,T T1=ββ.必要性. 假定A 有⼀个唯⼀的LD U 分解, 写成分块的形式便是1111A 00=0101n n n n T T nn n x D L U ya d αβ----,(1.5)其中1n L -,1D n -, 1n U -, 1n A -分别是L,A的1n -阶顺序主⼦矩阵;x , y, α,β为1n -维列向量. 由式(1.5)有下⾯的矩阵⽅程:1111n n n n A L D U ----=, (1.6)11TTn n yD U β--=,(1.7)11n n x L D α--=, (1.8)1Tnn n na D d βα-=+. (1.9)否则, 若10n A -=, 则由式(1.6)有111110n n n n n A L D U D -----===.于是有1110n n n L D D ---==, 即11n n L D --奇异. 那么对于⾮其次线性⽅程组(1.8)有⽆穷多⾮零解, 不妨设有α', 使11n n L D x α--'=, ⽽α'=α.同理, 因11n n D U --奇异, ()1111TTT n n n n L D U D ----=也奇异,故有ββ'≠, 使11TTn n U D yβ--=, 或11TTn n D U yn nn n d a D βα-'''=-, 则有1111000101n n n n T T nn nA x D L U y a d αβ----'= ? ? ? ?'',这与A 的LD U 分解的唯⼀性⽭盾, 因此10n A -≠.考察1n -阶顺序主⼦矩阵1n A -由式(1.6)写成分块形式, 同样有2222n n n n A L D U ----=. 由于10n D -≠, 所以20n D -≠, 可得222220n n n n n A L D U D -----==≠, 从⽽20n A -≠. 依此类推可得0k A ≠()1,2,,1k n =- .综上所述, 定理证明完毕.推论 1[]3 设A 是n 阶⽅阵, 则A 可惟⼀进⾏杜利特分解的充分必要条件是A 的前1n -个顺序主⼦式11110k k k kka a A a a =≠,1,2,,1k n =- , 其中L 为单位上三⾓矩阵, 即有11121212223132121111n nnn n n n n u u u l u u l l A u l l l -=并且若A 为⾮奇异矩阵, 则充要条件可换为: A的各阶顺序主⼦式全不为零, 即:0k A ≠,1,2,,k n = .推论 2[]3 n 阶⽅阵A 可惟⼀地进⾏克劳特分解111212122212111n nn n nnl u u ll u A LUl l l==的充要条件为11110k k k kka a A a a =≠, 1,2,,1k n =- .若A 为奇异矩阵, 则0nn l =, 若A 为⾮奇异矩阵, 则充要条件也可换为0k A ≠, 1,2,,k n = .定理 1.3[]3 设A 为对称正定矩阵, 则A 可惟⼀地分解为T A LDL =, 其中L 为下三⾓矩阵, D 为对⾓矩阵, 且对⾓元素是L 对⾓线元素的倒数. 即2212n n nnl l l L l l l ?? ?=, 1122111nn l l D l ?? ? ? ? ?=. 其中11/j ijij ik jk kkk l a l l l -==-∑,1,2,,ni = , 1,2,,j i = .。

第十二讲 矩阵特征值估计特征值计算较困难，希望找到简便的特征值界限或分布范围的估计方法。

一、 特征值界的估计定理1. 设n n A R ⨯∈，λ为A 的任意特征值，则有()Im Mλ≤其中，ij ji1i ,j na a Mm a x2≤≤-=证明：设x 为A 的属于特征值λ的单位特征向量，即A xx=λ，Hx x 1=，则 Hx A xλ=→()()HHHH Hx A x xA x x A xλ===()()()HHHT2jIm xAAxxAAx λ-λ=λ=-=-将x 写成[]T12n x,,,=ξξξ()()nnHTi ij ji ji 1j 1xAAx a a ==-=ξ-ξ∑∑()()()n ni ij ji ji 1j 1nn i ij ji ji 1j 12I m a a a a ====λ=ξ-ξ≤ξ-ξ∑∑∑∑n'i j ij jii ,j 1a a ==ξξ-∑（'∑表示不含i ＝j ）n'i ji ,j 12M=≤ξξ∑()2n22'i j i ,j 1I m M=⎛⎫λ≤ξξ ⎪⎝⎭∑()n22'i ji ,j 1M n n 1=≤-ξξ∑()n222'iji ,j 1M n n 1==-ξξ∑nnnnn2222424'ijijiiii ,j 1i ,j 1i 1i 1i 1=====ξξ=ξξ-ξ≤ξ-ξ∑∑∑∑∑()n22iii 11==ξ-ξ∑不妨写为： ()()()n2222221122ii i 3111==ξ-ξ+ξ-ξ+ξ-ξ∑()()()222222n112222iii 311122=⎛⎫⎛⎫ξ+-ξξ+-ξ ⎪⎪≤++ξ-ξ ⎪ ⎪⎪ ⎪⎝⎭⎝⎭∑12≤取等号的条件为221212ξ=ξ=，但2x1=，所以其它2iξ=∴()Im Mλ≤定理2. 设n n A R ⨯∈，λ为A 的任意特征值，则有 n λ≤ρ()R e n λ≤τ ()I m n sλ≤其中，ij1i,j nm a x a ≤≤ρ=，ij ji1i,j nm a x a a ≤≤τ=+，ij ji1i,j nsm a x a a ≤≤=-二、 盖尔圆法定义：设()n nijn nAa C⨯⨯=∈,由方程nii i ijj 1i jz a R a =≠-≤=∑所确定的圆称为A 的第i 个盖尔圆，i R 称为盖尔圆的半径。

线性代数中的矩阵分解方法矩阵分解方法是线性代数中的关键概念之一，它通过将一个矩阵分解为多个简化的矩阵形式，从而简化计算和分析。

在本文中，我们将介绍线性代数中常见的矩阵分解方法，并讨论它们的应用和优势。

一、LU分解LU分解是将一个方阵分解为一个下三角矩阵L和一个上三角矩阵U的过程。

通过LU分解，我们可以方便地求解线性方程组，计算逆矩阵等操作。

LU分解的过程可以通过高斯消元法来实现，如下所示：[ A ] = [ L ] [ U ]其中，[ A ]是需要分解的方阵，[ L ]是下三角矩阵，[ U ]是上三角矩阵。

二、QR分解QR分解是将一个矩阵分解为一个正交矩阵Q和一个上三角矩阵R 的过程。

QR分解广泛应用于最小二乘拟合、信号处理和图像处理等领域。

QR分解的过程可以通过Gram-Schmidt正交化方法来实现，如下所示：[ A ] = [ Q ] [ R ]其中，[ A ]是需要分解的矩阵，[ Q ]是正交矩阵，[ R ]是上三角矩阵。

三、奇异值分解（SVD）奇异值分解是将一个矩阵分解为一个正交矩阵U、一个对角矩阵Σ和一个正交矩阵V的过程。

SVD广泛应用于图像压缩、降噪和数据降维等领域。

奇异值分解的过程可以通过特征值分解和奇异值分解算法来实现，如下所示：[ A ] = [ U ] [ Σ ] [ V ]^T其中，[ A ]是需要分解的矩阵，[ U ]是正交矩阵，[ Σ ]是对角矩阵，[ V ]是正交矩阵。

四、特征值分解特征值分解是将一个方阵分解为一个特征向量矩阵P和一个特征值对角矩阵D的过程。

特征值分解广泛应用于谱分析、动力系统和量子力学等领域。

特征值分解的过程可以通过求解特征值和特征向量来实现，如下所示：[ A ] = [ P ] [ D ] [ P ]^(-1)其中，[ A ]是需要分解的方阵，[ P ]是特征向量矩阵，[ D ]是特征值对角矩阵。

五、Cholesky分解Cholesky分解是将一个对称正定矩阵分解为一个下三角矩阵L和其转置矩阵的乘积的过程。

矩阵分解总结
矩阵分解总结：
矩阵分解是一种被广泛应用于各个领域的数学方法，它将一个复杂的矩阵表示
为几个简化的矩阵相乘的形式。

矩阵分解在数据压缩、机器学习、信号处理等领域中具有重要的作用。

一种常见的矩阵分解方法是奇异值分解（SVD），它将一个矩阵分解为三个矩
阵的乘积，分别是左奇异向量矩阵、奇异值对角矩阵和右奇异向量矩阵。

SVD在
图像处理、推荐系统等领域中得到了广泛的应用。

另一种常见的矩阵分解方法是QR分解，它将一个矩阵分解为一个正交矩阵和
一个上三角矩阵的乘积。

QR分解在线性回归、最小二乘法等问题中起到了重要的
作用。

矩阵分解还有其他多种方法，如LU分解、Cholesky分解等。

它们各自在不同
领域具有独特的优势和应用。

矩阵分解的目标是将一个大型、复杂的问题简化为多个小型、简单的问题，进而提高计算效率和问题求解的准确性。

通过矩阵分解，我们可以发现矩阵中的隐藏模式、结构和特征，从而更好地理
解和处理数据。

无论是在科学研究、工程技术还是商业应用中，矩阵分解都起到了重要的作用，为进一步的数据分析和决策提供了有力支持。

总结起来，矩阵分解是一种重要的数学方法，它将复杂的矩阵拆解为简单的因子，以便更好地分析和处理数据。

不同的矩阵分解方法在不同领域有着广泛的应用，为数据科学和工程技术领域带来了重要的进展。

矩阵理论中的矩阵分解算法矩阵是线性代数中的重要概念，常被用于描述线性映射、线性变换、方程组等问题。

在矩阵运算中，矩阵分解是一种常见的方法，它将一个大型复杂的矩阵分解成一些维度更小、结构更简单的矩阵，使得问题的解决更加高效。

在矩阵计算、数据分析、信号处理、图像处理等领域中，矩阵分解算法被广泛应用。

本文将简要介绍几种经典的矩阵分解算法。

1. LU分解LU分解是最基本的矩阵分解算法之一。

对于一个$n\times n$的矩阵$A$，如果可以将其分解为一个下三角矩阵$L$和一个上三角矩阵$U$的积，即$A=LU$，则称$A$可以进行LU分解。

其中下三角矩阵$L$的对角线元素全为1，上三角矩阵$U$的对角线元素即为矩阵$A$的主元，即$A_{ii}=U_{ii}$。

LU分解可以在$O(n^3)$的时间内完成，是一种较为简单和实用的矩阵分解算法。

LU分解可用于求解线性方程组、求行列式和矩阵的逆矩阵等问题。

2. QR分解QR分解是一种将矩阵分解为正交矩阵和上三角矩阵的积的方法，即$A=QR$。

对于一个$n\times n$的矩阵$A$，$Q$是一个正交矩阵，即$Q^TQ=I_n$，$R$是一个上三角矩阵。

QR分解可以在$O(n^3)$的时间内完成。

QR分解可以用于计算线性最小二乘问题、求解特征向量和特征值等问题。

3. SVD分解SVD分解全称奇异值分解（Singular Value Decomposition），是一种将矩阵分解为三个矩阵乘积的方法：$A=U\Sigma V^T$，其中$U$是一个正交矩阵，$\Sigma$是一个对角矩阵，$V$也是一个正交矩阵。

其中，$\Sigma$的对角线上的元素称为奇异值，它们是矩阵$A$奇异值分解的重要参数，反映了矩阵$A$的性质。

SVD分解可以在$O(n^3)$的时间内完成。

SVD分解常常用于图像处理、数据降维、矩阵压缩等问题。

4. Cholesky分解Cholesky分解是一种将对称正定矩阵分解为一个下三角矩阵和其转置矩阵的积的方法。