矩阵分析第四章 矩阵分解§4.1: 矩阵的满秩分解 §4.2: 矩阵的正交三角分解 §4.3: 矩阵的奇异值分解 §4.4: 矩阵的极分解 §4.5: 矩阵的谱分解矩阵分解前言矩阵分解定义: 将一个已知矩阵表示为另一些较为简单或 较为熟悉的矩阵的积(或和)的过程称为矩阵分解. 例:(1)对任意n阶正规矩阵A,存在酉阵U∈Un×n使 A=Udiag(λ1,…,λn)U*, 其中λ1,…,λn为A的所有特征值的任一排列. (2)对任意n阶正定矩阵A,存在可逆阵Q∈Cnn×n使A=Q*Q,或存 在唯一正定阵B使A=BB. 矩阵分解意义:有利于研究已知的矩阵. 例如,利用正定阵A的平方根B为正定阵可证: 对任意Hermite阵H,AH或HA都有实特征值.1( AH∼(A1/2)-1AHA1/2=A1/2HA1/2∈Hn×n )2初等变换与初等矩阵(p73)三类初等变换: (行(列)变换←→左(右)乘) (1)将矩阵A的两行互换等价于用第一类初等矩阵P(i,j)左 乘A; (2)将矩阵A的第i行乘以k≠0等价于用第二类初等矩阵 P(i(k))=diag(1,…,1,k,1,…,1)左乘A. (3)将矩阵A的第j行乘以k≠0后再加到第i行等价于左乘第 三类初等矩阵P(i,j(k)).P (i , j ) =⎛1 ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ 1 0 1 1 1 0 1 1初等变换与初等矩阵举例⎛1 ⎞⎛ 1 4 7 ⎞ ⎛ 1 4 7 ⎞ ⎜ 0 1 ⎟⎜ 2 5 8 ⎟ = ⎜ 3 6 9 ⎟ ; ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 1 0 ⎟⎜ 3 6 9 ⎟ ⎜ 2 5 8 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠ ⎛1 4 7⎞⎛1 ⎞ ⎛ 1 7 4⎞ ⎜ 2 5 8⎟⎜ 0 1⎟ = ⎜ 2 8 5⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 3 6 9⎟⎜ 1 0⎟ ⎜ 3 9 6⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎛1 ⎞⎛1 4 7⎞ ⎛ 1 4 7 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ 0.2 ⎟ ⎜ 2 5 8 ⎟ = ⎜ 0.4 1 1.6 ⎟ ; ⎜ ⎜ 1⎟⎜ 3 6 9 ⎟ ⎜ 3 6 9 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎛1 4 7⎞⎛1 ⎞ ⎛ 1 4 7 / 9⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 2 5 8⎟⎜ 1 ⎟ = ⎜ 2 5 8/9⎟ ⎜ 3 6 9⎟⎜ 1/ 9 ⎟ ⎜ 3 6 1 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠---- i ---- j⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ 1⎠P (i , j ( k )) =⎛1 ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝1k 1⎞ ⎟ ⎟ ⎟ ---⎟ ⎟ ⎟ ---⎟ ⎟ ⎟ 1⎠i j3⎛1 ⎞⎛ 1 2 3⎞ ⎛ 1 2 3 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ −4 1 ⎟ ⎜ 4 5 6 ⎟ = ⎜ 0 −3 −6 ⎟ ; ⎜ 1⎟⎜ 7 8 9⎟ ⎜ 7 8 9 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠−3 ⎞ ⎛ 1 2 0 ⎞ ⎛ 1 2 3⎞⎛1 ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 4 5 6⎟⎜ 1 ⎟ = ⎜ 4 5 −6 ⎟ ⎜7 8 9⎟⎜ 1 ⎟ ⎜ 7 8 −12 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠4初等变换与初等矩阵的性质3类初等矩阵都是可逆的(行列式不为0). 将A依次作初等矩阵P1,…,Pr对应的行(列)初等变换等价 于左(右)乘A以可逆矩阵Pr…P1(P1…Pr). 可适当选第一类初等矩阵的乘积P使PA(AP)的行(列)是A 的行(列)的任意排列; 可适当选第三类初等矩阵 P(i,j(k))中的k使P(i,j(k))A的(i,j)元变为0; 可适当选第二类初等矩阵P(i(k))中的k使P(i(k))A的非 零(i,i)元变为1. 存在初等矩阵的乘积P和Q,使PAQ= ,其中r=rankA.初等变换与初等矩阵的性质续命题:设A∈Crm×n前r列线性无关,则用初等行变换可把A变为⎛ Er ⎜ ⎝ 0 ⎛1 ⎜ ⎜ D⎞ ⎜ = ⎜ ⎟ 0 ⎠ ⎜ ⎜ ⎜ ⎜ ⎝ 1 1 * * * * *⎞ ⎟ *⎟ *⎟ ⎟ *⎟ ⎟ ⎟ ⎟ ⎠一般地,∀A∈Crm×n都存在m,n阶可逆阵P和Q使PAQ=5证:因前r列线性无关,故用第一类初等矩阵左乘可使A的 (1,1)元≠0. 再用第二类初等矩阵左乘可使a11=1; 最后用若干第三类初等矩阵左乘可使A的第一列=e1. 因前2列线性无关,故新的第2列与e1线性无关且≠0, 故用第一类行变换可使(2,2)元≠0,…可使A的第2列=e2. ….可使A的第r列=er.此时空白处必为0元.安徽大学 章权兵1矩阵分析§4.1: 矩阵的满秩分解⎛ 1 ⎜ A = ⎜ −2 ⎜ 0 ⎝ 0 0 0 0⎞ ⎛1 ⎟ ⎜ 1 ⎟ , 没 有 P ∈ C 33 × 3 使 P A = ⎜ ⎟ ⎜ 0⎠ ⎝0 0 0 0⎞⎛1 ⎟⎜ 1⎟⎜0 0⎟⎜0 ⎠⎝ 0 0 1 0⎞ ⎛ 1 ⎟ ⎜ 1 ⎟ = ⎜ −2 0⎟ ⎜ 0 ⎠ ⎝ 0 1 0 0⎞ ⎟ 0⎟ 0⎟ ⎠1⎞ ⎟ ⎟. 0⎟ ⎠定义:对任意矩阵A∈Crm×n,A=BC 称为A的一个满秩分 解,如果B∈Crm×r,C∈Crr×n. 例:⎛1 ⎜ ⎜1 ⎜0 ⎝ 1 2 1 2 3 1 3 ⎞ ⎛1 ⎟ ⎜ 2 ⎟ = ⎜1 − 1⎟ ⎜ 0 ⎠ ⎝ 1⎞ ⎟⎛ 1 2 ⎟⎜ ⎜0 1 ⎟⎝ ⎠ ⎛1 4 ⎞ ⎜ ⎟ = ⎜1 ⎟ 1 1 − 1⎠ ⎜ ⎝0 0 1 2⎞ ⎟⎛ 1 3 ⎟⎜ ⎜0 1 ⎟⎝ ⎠ −1 0 1 1 5 ⎞ ⎟ − 1⎟ ⎠⎛ 1 ⎜ A P ( 2, 3) = ⎜ − 2 ⎜ 0 ⎝⎛ 1 0 0 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 0.5 0 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ PAQ = P (2,1(0.5)) AP (2, 3) = ⎜ 0.5 1 0 ⎟ ⎜ −2 1 0 ⎟ = ⎜ 0 1 0 ⎟ ⎜ 0 0 1⎟⎜ 0 0 0⎟ ⎜ 0 0 0⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠m=3,n=4,r=2. 注:可能存在不仅是常数差别的两个实质不同的满 秩分解.矩阵满秩分解的存在定理定理4.1.1:任意矩阵A∈Crm×n,都有满秩分解: A=BC,B∈Crm×r,C∈Crr×n. 证:由初等矩阵性质知: 存在可逆阵P∈Cmm×m和Q∈Cnn×n,使 PAQ= 从而 A⎛ Er ⎜ ⎜ 0 ⎝ 0 ⎞ ⎛ Er ⎟=⎜ 0⎟ ⎜ 0 ⎠ ⎝ ⎛ Er ⎞ -1 ⎜ ⎟ ( E r =P ⎝ 0 ⎠ ⎞ ⎟ ⎟ (E r ⎠ 0)存在定理中矩阵B,C的决定对于A的前r列线性无关的情形:⎛E PA = ⎜ r ⎝ 0 D ⎞ ⎛ Er ⎞ = (Er 0 ⎟ ⎜ 0 ⎟ ⎠ ⎝ ⎠ D)⎛E A = P −1 ⎜ r ⎝ 0D⎞ Er ⎞ −1 ⎛ ⎟= P ⎜ ⎟ (Er 0 ⎠ ⎝ 0 ⎠D ) = BC其中0)⎛E ⎞ B = P −1 ⎜ r ⎟ ; C = ( Er ⎝0⎠D)Q-10)= BC,⎛ 其中B=P-1 ⎜Er ⎞ ⎜ 0 ⎟ ,C= ⎟ ⎝ ⎠(ErQ-1满足所要求的条件.C是PA的前r行(即所有非0行)组成的矩阵, B和C的秩显然都是r.10矩阵B的进一步决定对于A的前r列线性无关的情形: 要求PA的前r列化为(Er,0)T,故有 B=P-1(Er,0)T ⇒ PB=(Er,0)T=PA1, 其中,A1为A前r列组成的子矩阵,由此推出B=A1. (参看P.183-184定理的证明及例4.1.1,例4.1.2) 对下例,A的第1,3两列也线性无关. 令A1为A第1,3两列组成的子矩阵,并将A的第1,3 两列化为(E2,0)T,C为所得矩阵的前2行. 则不难看出也有 A=BC和B=A1.求矩阵满秩分解的初等变换方法再以A= ⎜ 1 ⎜⎛1 1 2 3 ⎞ ⎟ 2 3 2 ⎟ 为例作说明如下: ⎜ 0 1 1 −1⎟ ⎝ ⎠①用初等行变换把A前两列变为(E2 0)T⎛1 1 2 3 ⎞ ⎛1 1 2 3 ⎞ ⎛1 0 1 4 ⎞ ⎛1 1⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎛1 0 1 4 ⎞ ⎜ 1 2 3 2 ⎟ → ⎜ 0 1 1 −1 ⎟ → ⎜ 0 1 1 −1⎟ = ⎜ 1 2 ⎟ ⎜ 0 1 1 −1⎟ ⎠ ⎜ 0 1 1 −1 ⎟ ⎜ 0 1 1 −1 ⎟ ⎜ 0 0 0 0 ⎟ ⎜ 0 1 ⎟ ⎝ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ a1 a2 ②用初等行变换把A的1,3两列变为(E2 0)T ⎛1 1 2 3 ⎞ ⎛1 1 2 ⎜ ⎟ ⎜ ⎜1 2 3 2 ⎟ → ⎜0 1 1 ⎜ 0 1 1 −1 ⎟ ⎜ 0 1 1 ⎝ ⎠ ⎝ 3 ⎞ ⎛ 1 −1 0 5 ⎞ ⎛ 1 2 ⎞ ⎟ ⎜ ⎟ ⎜ ⎟ ⎛ 1 −1 0 5 ⎞ −1 ⎟ → ⎜ 0 1 1 − 1 ⎟ = ⎜ 1 3 ⎟ ⎜ ⎟ 0 1 1 −1 ⎠ −1 ⎟ ⎜ 0 0 0 0 ⎟ ⎜ 0 1 ⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠a1 a3安徽大学 章权兵2矩阵分析关于矩阵满秩分解的注矩阵满秩分解不唯一;但同一矩阵的两个满秩分 解的因式矩阵之间存在密切关系(见定理4.1.2). A∈Crm×n ⇒ r=rank A ≤ min{m,n} A的秩等于它的行秩,列秩或行列式秩. A的行(列)秩是它的行(列)最大线性无关组的行 (列)数;A的行列式秩是其非0子式的最大阶数. A=BC ⇒ rank A≤rank B 且 rank A≤rank C rank A=rank A*13引理4.3.1引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 证:因方程组Ax=0的解空间维数等于n-rank A, (*) 故为了证明 rank(A*A)=rank A 只须证明下列两个方程组有相同的解空间即可 Ax=0 ⑴ ⑵ A*Ax=0 显然,x满足⑴ ⇒ x满足⑵. x满足⑵ ⇒ x*A*Ax=0,即(Ax,Ax)=0 ⇒ Ax=0,即x满足⑴. 注:利用A的任意性以A*代A由(*)得 rank A=rank A*=rank((A*)*A*)=rank(AA*)同一矩阵两个满秩分解间的关系定理4.1.2:若A=BC=B1C1均为A∈Crm×n 的满秩分解, 则存在θ∈Crr×r,使得B=B1θ,C=θ-1C1. 证:若A=BC=B1C1,则BCC*=B1C1C*. 由p.190引理4.3.1知:rank(CC*)=rank C=r, 从而 CC*∈Crr×r为可逆矩阵,且满足B=B1C1C*(CC*)-1. 由上式推出r≥rank(C1C*)≥rank B=r,即rank(C1C*)=r. 进而 θ=C1C*(CC*)-1∈Crr×r,满足B=B1θ. 同理可证 C=(B*B)-1B*B1C1=θ′C1,θ′∈Crr×r. 因此,BC=B1C1 ⇒ B1θθ′C1=B1C1 ⇒ B1*B1θθ′C1C1* = B1*B1C1C1* 引理4.3.1 ⇒ θθ′=E ⇒ θ′=θ-1定理4.1.2的补充命题:设A=B1C1为A∈Crm×n的满秩分解, 则A=BC是A的满秩分解,当且仅当 ∃θ∈Crr×r, B=B1θ,C=θ-1C1. 证: 必要性由定理4.1.2给出. 充分性. 若存在θ使(*)成立,则B,C给出A的满秩分解： BC=B1C1=A. (*)§4.2: 矩阵的正交三角分解满秩矩阵的分解 行(列)满秩矩阵的分解 一般矩阵的分解满秩矩阵的正交三角分解定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=UR(或A=LU),其中 U∈Un×n,R(L)为正线上(或下)三角矩阵. 证:(存在性)令A=(α1, … ,αn),则α1, … ,αn线性无关, 用Schmidt方法从α1, … ,αn得标准正交组ν1,…,νn满足⎧ ⎪ ⎪ ⎨ ⎪ ⎪α ⎩α 1 = C 11ν 11αn2= C 21ν1+ C 22 ν22∀i,Cii=‖βi‖>0n= C n 1ν+ Cn2ν+ ... + C nn νC 21 C 22于是其中,U=(ν1,…,νn)为酉矩阵,R为正线上三角矩阵.⎛ C 11 ⎜ A= (α 1 ,..., α n ) = (ν 1 ,..., ν n ) ⎜ ⎜ ⎜ ⎜ ⎝C n1 ⎞ ⎟ C n2 ⎟ ⎟ ⎟ C nn ⎟ ⎠=UR,安徽大学 章权兵3矩阵分析β1=α1 , β2=α2-((α2,β1)/(β1,β1))β1 , β3=α3-((α3,β1)/(β1,β1))β1-((α3,β2)/(β2,β2))β2 , . . . νi=(1/‖βi‖)βi, βi=‖βi‖νi, i=1,2,… α1=β1=‖β1‖ν1; C11=‖β1‖>0 α2=((α2,β1)/(β1,β1))β1+β2=C21ν1+‖β2‖ν2;C22=‖β2‖>0正交三角分解唯一性证明定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=UR(或A=LU), 其中U∈Un×n,R(L)为正线上三角矩阵. (唯一性) 设还有U′∈Un×n和正线上三角矩阵R′使A=U′R′. 则有 UR=U′R′ ⇒ U′*U = R′R-1 = W 矩阵 W=U′*U∈Un×n,且W=R′R-1 仍然是正线上三角矩阵. (正线上三角阵的逆和积仍是正线上三角阵) 于是,由p.162的引理3.9.1知 W=E. 即 (U′)*U=R′R-1=E. 由此式立即推出:U=U′E=U′ & R′=ER=R. 得证唯一性.α3=C31ν1+C32ν2+‖β3‖ν3; . . .C33=‖β3‖>0正交三角分解下三角情形的证明定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=LU,其中 U∈Un×n,L为正线下三角矩阵. 证: ∀A∈Cnn×n ⇒ AT∈Cnn×n. 存在唯一的U′∈Un×n和正线上三角矩阵R,使AT=U′R. 于是A=(AT)T=(U′R)T=RTU′T=LU, 其中,U=U′T∈Un×n,L=RT为正线下三角矩阵.列(行)满秩矩阵的正交三角分解定理4.2.2:∀A∈Crm×r(Crr×n)都可唯一地分解为A=UR (A=LU), 其中U∈Urm×r(Urr×n),R(L)为r阶正上线(下)三角矩阵. (定理4.2.1为m=n=r时的特例) 证:(存在性)令A=(α1, … ,αr),则α1, … ,αr线性无关, 用Schmidt方法求得标正组ν1,…,νr满足⎧ ⎪ ⎪ ⎨ ⎪ ⎪α ⎩αr2α 1 = C 1 1ν 1 = C 2 1ν 1 + C 2 2ν22∀i,Cii>0.r= C r 1ν 1 + C r 2ν+ . . . + C r rν因此A=UR,其中U=(ν1,…,νr)∈Urm×r, R=⎛ C 11 ⎜ ⎜ ⎜ ⎜ ⎝C 21 C 22C r1 ⎞ ⎟ Cr2 ⎟ ⎟ ⎟ C rr ⎠定理4.2.2唯一性证明定理4.2.2: ∀A∈Crm×r都可唯一地分解为A=UR,其中 U∈Urm×r,R为r阶正线上三角矩阵. (唯一性) 设还有U′∈Urm×r和正线上三角矩阵R′∈Cr×r 使A=U′R′. 则有 R*R=A*A=(R′)*R′, 于是由定理3.9.1⑹,A*A是正定Hermite矩阵. 故A*A可唯一地表示为乘积R*R,其中R为正线上三角阵. 因此必有R=R′. 进而,由UR=U′R′给出U=U′,得证唯一性.一般矩阵的正交三角分解定理4.2.3:∀A∈Crm×n可分解为A=U1R1L2U2,其中U1∈Urm×r, U2∈Urr×n,R1和L2分别为r阶正线上三角和下三角矩阵. 证:由矩阵的满秩分解知: 存在列满秩矩阵B和行满秩矩阵C使A=BC. 存在U1∈Urm×r和r阶正上线上三角矩阵R1使得B=U1R1. 存在r阶正线下三角矩阵L2和U2∈Urr×n使得C=L2U2. 从而A=U1R1L2U2满足条件.安徽大学 章权兵4矩阵分析用UR(LU)分解方法解方程组例4.2.1:用UR(LU)方法解方程组 Ax=b (*) − 2 ⎞ 1 ⎛ 1 ⎞ 其中 ⎛ − 3 ⎜ ⎟ ⎜ ⎟⎜ 1 A = ⎜ 1 ⎜ ⎜ 2 ⎝ 1 1 − 1 − 1 0 1 ⎟ ⎜ 0 ⎟, b = ⎜ 2 ⎟ ⎜ ⎟ ⎜ 1 ⎠ ⎝ ⎟ ⎟. ⎟ ⎟ ⎠§4.3: 矩阵的奇异值分解引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 引理4.3.2: ∀A∈Cm×n,AA*∈Cm×m 与 A*A∈Cn×n 均为 半正定Hermite矩阵. 证:由(A*A)*=A*A 和 ∀x∈Cn,x*A*Ax=(Ax,Ax)≥0 得证:A*A∈Cn×n 为半正定Hermite矩阵. 同理可证: AA*∈Cm×m 为半正定Hermite矩阵.解:令A=(α1,α2,α3),易见α1,α2,α3线性无关, 用Schmidt方法得标准正交组ν1,ν2,ν3如教本所示. 则A=UR,R为正线上三角矩阵,U=(ν1,ν2,ν3)∈U34×3 于是 R=U*A,代入(*)式得 URx=b ⇒ Rx=U*b ⇒ x=R-1U*b 最后求得 x=(-5/2,-1/2,3)T.AA*∈Cm×m与A*A∈Cn×n的特征值定理4.3.1: ∀A∈Cm×n, AA*∈Cm×m与A*A∈Cn×n的非零特 征值(正特征值)全同. 证法1:不难验证下列矩阵等式:⎛ AA* 0 ⎞⎛ Em A ⎞ ⎛ AA* ⎜ * ⎟⎜ ⎟=⎜ ⎜ A 0 ⎟⎜ En ⎟ ⎜ A* ⎠ ⎝ ⎝ ⎠⎝⎜ 因S= ⎜ ⎝ ⎛ Em定理4.3.1的另一证法证法2:设λ≠0是AA*的非零特征值: AA*x=λx, λ≠0,x≠0 则 A*x≠0, A*A(A*x)=λ(A*x) 所以λ也是A*A的非零特征值. 同理可证： A*A的任一非零特征值也是AA*的非零特征值.AA* A⎞ ⎛ Em A ⎞⎛ 0 ⎟=⎜ ⎟⎜ En ⎟⎜ A* A* A ⎟ ⎜ ⎠⎝ ⎠ ⎝0 ⎞ ⎟ A* A⎟ ⎠0 ⎞ −1 0 ⎞ ⎛ AA * 0 ⎞ A⎞ ⎛ 0 ⎛ 0 ⎟ = S⎜ * ⎜ ⎜ ⎟S ~ ⎜ * ⎜ ⎟ ⎟ * ⎟ * ⎟ En ⎟ 可逆,故 ⎜ A* 0 ⎟ ⎝ A A A⎠ ⎝ A A A⎠ ⎠ ⎠ ⎝ *)=0与det(λE-A*A)=0有相同非零解, 从而det(λE-AA得证AA*与A*A有相同的非零特征值.奇异值的概念定义4.3.1:∀A∈Crm×n,AA*∈Cm×m或A*A∈Cn×n 的正特征 值的算术平方根称为A的正奇异值(简称奇异值, 共有r个记为 α1,…,αr). 例:求A= ⎜ − 1 ⎜⎜ 0 ⎝ ⎛ 1 0⎞ ⎟ 1⎟∈ C 0⎟ ⎠3× 2 2正规矩阵的奇异值定理4.3.2:正规矩阵的奇异值是其非零特征值的模. 证:设A为正规矩阵,则有U∈Un×n使 A=Udiag(λ1, … ,λn)U* A*=Udiag(λ 1 ,..., λ n )U* 从而 AA*=Udiag(|λ1|2, … ,|λn|2)U* 得证A的正奇异值是A的非零特征值的模.的奇异值.解: A*A=⎜ −1 ⎜⎝⎛2−1⎞ ⎟ 1⎟ ⎠,det(λE-A)=λ2-3λ+1的两个根:(3±√5)/2 均为正, A的奇异值为:α1=((3+√5)/2)1/2;α2=((3-√5)/2)1/2. 例4.3.1:见P.191.安徽大学 章权兵5矩阵分析矩阵的酉等价关系定义:设A,B∈Cm×n,若有S∈Cmm×m,T∈Cnn×n 使B=SAT,则称B 与A等价;若有U∈Um×m,V∈Un×n使B=UAV,则称B与A酉等价. 不难证明Cm×n中的等价或酉等价关系R是等价关系. ∀A∈Cm×n,ARA：A=EmAEn (ARB⇒BRA)： A=UBV⇒B=U*AV*,U*∈Um×m,V*∈Un×n (ARB & BRC⇒ARC)：A=UBV & B=U′CV′⇒A=UU′CV′V 注1: A与B酉等价当且仅当它们有相同的奇异值. 注2: ∀A∈Cm×n的酉等价类中有一个最简单形状的矩阵 (见定理4.3.3). ( A∈Crm×n等价于diag(Er,0)=PAQ )奇异值分解定理1定理4.3.3:令α1,…,αr为A∈Crm×n的全部正奇异值; ∆=diag(α1,…,αr),则有U∈Um×m,V∈Un×n使 U*AV= ⎜ 0 ⎜⎛ ∆ 0⎞ ⎟ =D∈C m×n r 0⎟ ⎝ ⎠(*)U满足U*AA*U是对角矩阵,V满足V*A*AV是对角矩阵. ( A=UDV*称为A的奇异值分解式) 证: 因AA*为m阶半正定矩阵,故有U∈Um×m使⎛ ∆2 0⎞ ⎟ 0⎟ ⎝ ⎠ 分块U=(U1,U2),则U1∈Urm×r,U2∈Um-rm×(m-r)U*AA*U=diag(α12,…,αr2,0,…0)= ⎜ 0 ⎜对角阵 次酉阵奇异值分解定理1续⎛ ∆2 ⎜ ⎝ 0 ⎛ U1* ⎞ ⎛ U1* AA *U1 U1* AA *U 2 ⎞ 0 ⎞ ⎛ U1* ⎞ ⎟ ⎟ = ⎜ * ⎟ AA *(U1 , U 2 ) = ⎜ * ⎟ ( AA *U1 , AA *U 2 ) = ⎜ * * U2 ⎠ 0 ⎠ ⎝U 2 ⎠ ⎝ ⎝ U 2 AA *U1 U 2 AA *U 2 ⎠奇异值分解定理1续令 V1=(v1,…,vr),则v1,…,vr为标准正交组. 将此标正组扩大为Cn的标正基:v1,…,vr,vr+1,…,vn, 令V=(v1,…,vn)=(V1,V2)∈Un×n,其中V2=(vr+1,…,vn). 易见 0=V1*V2=∆-1U1*AV2 ⇒ U1*AV2=0 综合以上得⎛ U * AV U 1* AV2 ⎞ ⎛U * ⎞ ⎟ U * AV = ⎜ 1* ⎟ A(V1 , V2 ) = ⎜ 1* 1 ⎜ U AV U * AV ⎟ ⎜U ⎟ 2 2⎠ ⎝ 2 1 ⎝ 2⎠ ⎛ U * AA * U 1∆−1 =⎜ 1 ⎜ 0 ⎝ 0 ⎞ ⎛ ∆2 ∆−1 ⎟=⎜ 0⎟ ⎜ 0 ⎠ ⎝ 0⎞ ⎛ ∆ 0⎞ ⎟=⎜ ⎟ 0⎟ ⎜ 0 0⎟ ⎠ ⎠ ⎝比较(1,1)块得 ∆2=U1*AA*U1 比较(2,2)块得 0=U2*AA*U2=(U2*A)(U2*A)* ⇒ U2*A=0. ( ∀M∈Cm×n,MM*=0 ⇒ 0=tr(MM*)=Σ2 i,j|mij|⇒ ∀i,j,mij=0 ⇒ M=0 ) 令 V1=A*U1∆-1∈Cn×r 则 V1*V1=∆-1U1*AA*U1∆-1=∆-1∆2∆-1=E ⇒ V1∈Urn×r奇异值分解定理2定理4.3.4:令α1,…,αr为A∈Crm×n的全部正奇异值; ∆=diag(α1,…,αr),则有U1∈Urm×r,V1∈Urn×r 使 A=U1ΔV1 . 证:由定理4.3.3直接推出⎛∆ A = U ⎜ ⎜ 0 ⎝ 0 0 ⎞ ⎟V ⎟ ⎠*关于奇异值分解定理的注(1)定理4.3.3的证明同时给出了因子矩阵U,V的求法. (U(V)是使AA*(A*A)酉相似对角化的变换矩阵) (2)矩阵U,V的列分别是AA*,A*A的对应特征向量. 证: 只证U(类似可证V). U*AA*U=diag(λ1,…,λm),λi为AA*的特征值. 令 U=(u1,…,um), 则 (AA*u1,…,AA*um)=AA*(u1,…,um) =(u1,…,um)diag(λ1,…,λm) =(λ1u1,…,λmum) ⇒ ∀i,AA*ui=λiui A*A=VD*U*UDV*=Vdiag(λ1,…,λm)V* ⇒ ∀i,A*Avi=λivi= (U 1 , U2⎛∆ )⎜ ⎜ 0 ⎝0 0⎞ ⎛ V 1* ⎟⎜ * ⎟⎜ V ⎠⎝ 2⎞ ⎟ ⎟ ⎠⎛V * ⎞ = (U 1∆ , 0 )⎜ 1* ⎟ = U 1∆ V1* ⎜V ⎟ ⎝ 2⎠安徽大学 章权兵6矩阵分析奇异值分解例1例4.3.1: 求 A=⎛1 ⎜ ⎜0 ⎜0 ⎝ 2⎞ ⎟ 0⎟ 0⎟ ⎠奇异值分解例2例:求 A= 解: AA* =⎛1 ⎜ ⎜2 ⎝ 0 0 0⎞ ⎟ 0⎟ ⎠的奇异值分解式.的奇异值分解式.解: AA*=diag(5,0,0),σ(AA*)={5,0,0},Δ=(√5). U1∈U13×1是AA*对应于5的单位特征向量x=(1,0,0)T,U=E3. V1=A*U1∆-1= ⎜ ⎜⎛1 ⎝2 0 0 ⎛1⎞ 0 ⎞⎜ ⎟ ⎟⎜ 0 ⎟ ⎟ 0 ⎠⎜ ⎟ ⎝0⎠⎛1 ⎜ ⎜2 ⎝2⎞ * ⎟ 4 ⎟ ,σ(AA )={5,0},r=1,Δ=(√5). ⎠U1∈U12×1是AA*对应于5的单位特征向量x=(1/√5,2/√5)T V1=A*U1∆-1 = ⎜ 0⎜0 ⎝ ⎛1 ⎜ 2⎞ ⎟⎛ 0 ⎟⎜ ⎜ 0 ⎟⎝ ⎠1 5 2 5( )=1 51 5⎛1⎞ ⎜ ⎟ ⎜ 2⎟ ⎝ ⎠, V=1 5⎛1 ⎜ ⎜2 ⎝− 2⎞ ⎟ 1 ⎟ ⎠⎞ ⎟ ⎟ ⎠( )=1 51 5⎛1 ⎜ ⎜0 ⎜0 ⎝2⎞ ⎛1⎞ ⎟⎛ 1 ⎞ ⎜ ⎟ 0 ⎟⎜ ⎟ = ⎜ 0 ⎟ ⎜2⎟ 0 ⎟⎝ ⎠ ⎜ 0 ⎟ ⎠ ⎝ ⎠所以A的奇异值分解式是 A=UDV*= ⎜ 0 ⎜⎝0 ⎛1 ⎜ 0 1 0 0⎞⎛ 5 ⎜ 0⎟⎜ 0 ⎟ 1⎟⎜ 0 ⎠⎝ 0⎞ ⎟⎛ 0⎟⎜ 0⎟⎝ ⎠1 5 −2 5 1 2 5⎛1⎞ ⎞ ⎜ ⎟ ⎟ = ⎜0⎟ 5 ⎠ ⎜0⎟ ⎝ ⎠( 5 )(1 52 5)=U1∆ V 1*所以A的奇异值分解式是 ⎛ 15 * = ⎜ A = U1ΔV1 ⎜ 2 ⎝ 5⎞ ⎟( ⎟ ⎠5 ) (1, 0 , 0 )§4.4: 矩阵的极分解定义:令A∈Cn×n,A=HU或A=UH称为A的极分解式,如果 U∈Un×n,H∈Cn×n 是半正定Hermite矩阵. 特例: n=1时,由复数的指数表示式 a=ρeiθ 有 A=(a)=(ρ)(eiθ)=HU, H=(ρ)是半正定Hermite矩阵,U=(eiθ)是酉矩阵. 下面的定理证明： 矩阵的极分解式存在并且是唯一的.满秩方阵的极分解定理4.4.1: ∀A∈Cnn×n,存在U∈Un×n 和n阶正定Hermite矩阵 H1,H2 使 A=H1U (H12=AA*,即H1=√(AA*))或 A=UH2;并且这 样的分解式是唯一的. 证: 由定理3.9.1和定理3.9.4, 正定Hermite矩阵A*A存在唯一正定矩阵H2=(A*A)1/2. 令U=AH2-1, 则 U*U=(AH2-1)*AH2-1 =H2-1A*AH2-1=H2-1H22H2-1=E, 从而U∈Un×n使A=UH2;因H2可逆且唯一,故U也唯一. ( 另一半的证明: A=UH2=UH2U*U=H1U, H1=UH2U*为正定Hermite矩阵. AA*=H1UU*H1=H12 & H1为正定Hermite阵 ⇒ H1唯一. )非满秩方阵的极分解定理4.4.2: ∀A∈Crn×n,存在U∈Un×n和唯一n阶秩r半正定 Hermite矩阵H1,H2使A=H1U (H12=AA*,即H1=√(AA*)) 或 A=UH2 (即H2=√(A*A)). 证:存在性 由奇异值分解定理有U1,V∈Un×n使A=U1DV*, D=diag(α1,…,αr,0,…,0). 令H1=U1DU1*,H2=VDV*,U=U1V*,则H1,H2,U满足要求 A=U1DU1*U1V*=H1U; A=U1V*VDV*=UH2. 唯一性 若A=H1U,则AA*=H12 ⇒H1=(AA*)1/2唯一. 注:也可用上述方法证明定理4.4.1. 思考:定理4.4.2中U是否唯一? 不一定唯一! 没有U=AH2-1矩阵极分解的一个经典应用定理4.4.3: ∀A∈Cn×n 为正规矩阵当且仅当存在 U,U′∈Un×n和(同一个)n阶半正定Hermite矩阵H使 A=HU=U′H. 证:必要性 设A*A=AA*.由定理4.4.2,存在U∈Un×n和n 阶半正定Hermite矩阵H1,H′使A=H1U=UH′. 因此 H1=(AA*)1/2=(A*A)1/2 =H′. (AA*=H1UU*H1=(H1)2,A*A=H′U*UH′=(H′)2) 充分性 设A=HU=U′H. 则 AA*=HU(HU)*=H2 , A*A=(U′H)*U′H=H2 =AA*安徽大学 章权兵7。
