机
器
学
习
期
末
报
告
成员：白子轩，安勇正，李文涛，王琳时间：2016年4月9日
主成分分析（PCA ）与奇异值分解（SVD)原理及其应用
一、导论
在实际问题研究中，多变量问题是经常会遇到的。变量太多，无疑会增加分析问题的难度与复杂性，而且在许多实际问题中，多个变量之间是具有一定的相关关系的。
为了解决这些问题，最简单和最直接的解决方案是削减变量的个数，但这必然又会导致信息丢失和信息不完整等问题的产生。为此，人们希望探索一种更为有效的解决方法，它既能大大减少参与数据建模的变量个数，同时也不会造成信息的大量丢失。主成分分析正式这样一种能够有效降低变量维数，并已得到广泛应用的分析方法。
二、主成分分析（PCA ）
主成分分析是数学上对数据降维的一种方法。其基本思想是设法将原来众多的具有一定相关性的指标123,,,
p X X X X (比如p 个指标），重新组合成一组较
少个数的互不相关的综合指标m F 来代替原来指标。那么综合指标应该如何去提取，使其既能最大程度的反映原变量X 所代表的信息，又能保证新指标之间保持相互无关（信息不重叠）。
设1F 表示原变量的第一个线性组合所形成的主成分指标，即
11112121...p p
F a X a X a X =+++,由数学知识可知，每一个主成分所提取的信息量可
用其方差来度量，其方差1()Var F 越大，表示1F 包含的信息越多。常常希望第一主成分1F 所含的信息量最大，因此在所有的线性组合中选取的1F 应该是
123,,,
p X X X X 的所有线性组合中方差最大的，故称1F 为第一主成分。如果第一
主成分不足以代表原来p 个指标的信息，再考虑选取第二个主成分指标2F ，为有效地反映原信息，1F 已有的信息就不需要再出现在2F 中，即2F 与1F 要保持独立、不相关，用数学语言表达就是其协方差12(,)0Cov F F =，所以2F 是与1F 不相
关的123,,,p X X X X 的所有线性组合中方差最大的，故称2F 为第二主成分，依
此类推构造出的12m F F F 、、为原变量指标123,,,p X X X X 第一、第二、……、
第m 个主成分。
11111221221122221122...............p p p p
m m m mp p
F a X a X a X F a X a X a X F a X a X a X =+++??=+++??
??=+++? 根据以上分析得知：
(1)i F 与j F 互不相关，即(,)0i j Cov F F =,并有()'i i i V r F a a a =∑，其中Σ为X 的协方差阵
(2)1F 是123,,,
p X X X X 的一切线性组合（系数满足上述要求）中方差最大
的,即m F 是与12-1m F F F 、、都不相关的123,,,p X X X X 的所有线性组合中方差最
大者。
12m F F F m p
≤、、（）为构造的新变量指标，即原变量指标的第一、第二、……、第m 个主成分。
由以上分析可见，主成分分析法的关键就是确定原来变量(1,2,)j X j p =在
诸主成分(1,2,
)j F i m =上的荷载(1,2,;1,2,)ij a i m j p ==。从数学上可以证
明，原变量协方差矩阵的特征根是主成分的方差，所以前m 个较大特征根就代表前m 个较大的主成分方差值；原变量协方差矩阵前m 个较大的特征值i λ（这样取才能保证主成分的方差依次最大）所对应的特征向量就是相应原变量在主成分
i F 上的载荷i a ，为了加以限制，载荷系数i a 启用的是i λ对应的单位化的特征向量，
即有'i i a a =1。
三、主成分分析法的计算步骤
主成分分析的具体步骤如下：
（1）计算协方差矩阵
计算样品数据的协方差矩阵：()ij p p s ?=∑，其中
1
1()()1n
ij ki i kj j k s x x x x n ==---∑ i ，j=1，2，…，p
（2）求出Σ的特征值i λ及相应的正交化单位特征向量i a
Σ的前m 个较大的特征值120m λλλ≥≥
>,就是前m 个主成分对应的方
差，i λ对应的单位特征向量i a 就是原来变量在主成分i F 上的载荷系数，则原变量的第i 个主成分i F 为：
'i i F a X
=
主成分的方差（信息）贡献率用来反映信息量的大小，i α为：
1/m
i i i i αλλ==∑
（3）选择主成分
最终要选择几个主成分，即12m F F F 、、中m 的确定是通过方差（信息）累计贡献率()G m 来确定
1
1
()/p
m
i k i k G m λλ===∑∑
当累积贡献率大于85%时，就认为能足够反映原来变量的信息了，对应的m 就是抽取的前m 个主成分。 （4）计算主成分得分
计算样品在m 个主成分上的得分：
1122...i i i pi p F a X a X a X =+++ 12,i m =?，，
实际应用时，指标的量纲往往不同，所以在主成分计算之前应先消除量纲的
影响。消除数据的量纲有很多方法，常用方法是将原始数据标准化，即做如下数据变换：
*1,2,...,;1,2,...,ij j
ij j
x x x i n j p s -=
==
其中：11n j ij i x x n ==∑，2
21
1()1n j ij j i s x x n ==--∑ 根据数学公式知道，①任何随机变量对其作标准化变换后，其协方差与其相
关系数是一回事，即标准化后的变量协方差矩阵就是其相关系数矩阵。②另一方面，根据协方差的公式可以推得标准化后的协方差就是原变量的相关系数，亦即，标准化后的变量的协方差矩阵就是原变量的相关系数矩阵。也就是说，在标准化前后变量的相关系数矩阵不变化。
四、奇异值分解（SVD ）
定义：设A 为m*n 阶矩阵，H A A 的n 个特征值的非负平方根叫作A 的奇异值，记为()i A σ。如果把H
A A 的特征值记为()i A λ，则12
()()H i i A A A σλ=。
定理（奇异值分解）设A 为m*n 阶复矩阵，则存在m 阶酉阵U 和n 阶酉阵V ，使得：
**'A U S V =
其中12(,,
),0(1,
),()r i S diag i r r rank A σσσσ=>==。
推论：设A 为m*n 阶实矩阵，则存在m 阶正交阵U 和n 阶正交阵V ，使得
**'A U S V =，其中12(,,),0(1,
),()r i S diag i r r rank A σσσσ=>==。
T m n m m m n n n A U V ????=??∑
奇异值分解提供了一些关于A 的信息，例如非零奇异值的数目（S 的阶数）和A 的秩相同，一旦秩r 确定，那么U 的前r 列构成了A 的列向量空间的正交基，另外V 的从右向左n r -列为A 的kernel 的基。
由A 的奇异值分解
111222T r r r A U V u v u v u v τττσσσ==++
∑
可见，A 是矩阵1122,,,r r u v u v u v τττ的加权和，其中12,,r σσσ是权重。若将奇异
值按递减顺序排列
120r σσσ≥≥≥≥
显然，奇异值大的项对矩阵A 的贡献大。因此，当舍去了权重小的部分项后仍然能够较好地“逼近”A ，这一特性常被用来压缩图像。 矩阵A 的秩k 逼近定义为
111222,1r r r A u v u v u v k r τττσσσ≈++
≤≤
五、奇异值分解（SVD)与主成分分析（PCA ）的关系
PCA 的全部工作简单点说，就是对原始的空间中顺序地找一组相互正交的坐标轴，第一个轴是使得方差最大的，第二个轴是在与第一个轴正交的平面中使得方差最大的，第三个轴是在与第1、2个轴正交的平面中方差最大的，这样假设在N 维空间中，我们可以找到N 个这样的坐标轴，我们取前r 个去近似这个空间，这样就从一个N 维的空间压缩到r 维的空间了，但是我们选择的r 个坐标轴能够使得空间的压缩使得数据的损失最小。
还是假设我们矩阵每一行表示一个样本，每一列表示一个feature ，用矩阵的语言来表示，将一个m*n 的矩阵A 的进行坐标轴的变化，P 就是一个变换的矩阵从一个N 维的空间变换到另一个N 维的空间，在空间中就会进行一些类似于旋转、拉伸的变化。
m n n n m n A P A ???=
而将一个m*n 的矩阵A 变换成一个m*r 的矩阵，这样就会使得本来有n 个feature 的，变成了有r 个feature 了（r n <)，这r 个其实就是对n 个feature 的一种提炼，我们就把这个称为feature 的压缩。用数学语言表示就是：
m n n r m r A P A ???=
但是这个怎么和SVD 扯上关系呢？之前谈到，SVD 得出的奇异向量也是从奇异值由大到小排列的，按PCA 的观点来看，就是方差最大的坐标轴就是第一个奇异向量，方差次大的坐标轴就是第二个奇异向量…我们回忆一下之前得到的SVD 式子：
T m n m r r r r n A U V ????≈∑
在矩阵的两边同时乘上一个矩阵V ，由于V 是一个正交的矩阵，所以V 转置乘以V 得到单位阵I ，所以可以化成后面的式子
T m n r n m r r r r n r n A V U V V ??????≈∑ m n r n m r r r A V U ????≈∑
将后面的式子与A P ?那个m* n 的矩阵变换为m * r 的矩阵的式子对照看看，在这里，其实V 就是P ，也就是一个变化的向量。这里是将一个m*n 的矩阵压缩到一个m*r 的矩阵，也就是对列进行压缩，如果我们想对行进行压缩（在PCA 的观点下，对行进行压缩可以理解为，将一些相似的sample 合并在一起，或者将一些没有太大价值的sample 去掉）怎么办呢？同样我们写出一个通用的行压缩例子：
r m m n r n P A A ???=
这样就从一个m 行的矩阵压缩到一个r 行的矩阵了，对SVD 来说也是一样的，我们对SVD 分解的式子两边乘以U 的转置'U
T T r m m n r r r n U A V ????≈∑
这样我们就得到了对行进行压缩的式子。可以看出，其实PCA 几乎可以说是对SVD 的一个包装，如果我们实现了SVD ，那也就实现了PCA 了，而且更好的地方是，有了SVD ，我们就可以得到两个方向的PCA ，如果我们对'A A 进行特征值的分解，只能得到一个方向的PCA 。
六、利用主成分分析（PCA ）进行降维
9个学生各科成绩如下，
能不能把数据的六个变量用几个综合变量表示？ 这几个综合变量包含原来多少信息呢？
我们现在用主成分分析法求解，得到如下结果：
结果分析：
如用x1,x2,x3,x4,x5,x6分别表示原先的六个变量，而用y1,y2,y3,y4,y5,y6表示新的主成分，那么，第一和第二主成分为
11234560.29880.46690.15520.50340.41770.4906y x x x x x x =---+++ 21234560.53550.31520.58600.20240.40100.2622y x x x x x x =+++++
在y1表示式中x1的系数为-0.2988，这就是说第一主成分和数学变量的相关系数为-0.2988。相关系数(绝对值）越大，主成分对该变量的代表性也越大。从第二个特征根开始，累计方差贡献率就超过了85%，也就是说，可以通过第一、第二主成分来大致表示原来的数据信息。而且可以说，第一、第二主成分表达了原来信息的85.10%。
七、利用奇异值分解（SVD）进行图像处理
先对图像进行灰度处理，转化为二维图像，然后利用SVD算法，对图片进行压缩处理，结果如下：
原图大小14kb
秩k=1（维）大小9kb
秩k=20（维）大小11kb
秩k=40（维）大小12kb
秩k=60（维）大小13kb
结果分析：
秩k越大，图像重构越完善，图像越清晰，但压缩后图片比较大；秩k 越小，图像重构越粗糙，图像月模糊，但压缩后图像比较小。
参考文献：
主成分分析和因子分析，吴喜之，2012,,5,25
奇异值分解压缩图像，Dsp Tian，2012,10,24
SVD分解算法及其应用，十一城，2013,7,14
附录一：
%主成分分析算法
%读入文件数据
X=load('data.txt');
%标准化处理
[p,n]=size(X);
for j=1:n
mju(j)=mean(X(:,j));
sigma(j)=sqrt(cov(X(:,j)));
end
for i=1:p
for j=1:n
Y(i,j)=(X(i,j)-mju(j))/sigma(j);
end
end
sigmaY=cov(Y);
%求X标准化的协差矩阵的特征根和特征向量
[T,lambda]=eig(sigmaY);
for i=1:n
for j=i:n
if lambda(i,i) a=lambda(i,i); lambda(i,i)=lambda(j,j); lambda(j,j)=a; b=T(:,i); T(:,i)=T(:,j); T(:,j)=b; end end end disp('特征根(由大到小):'); disp(lambda); disp('特征向量:'); disp(T); %方差贡献率;累计方差贡献率 Xsum=sum(sum(lambda,2),1); for i=1:n fai(i)=lambda(i,i)/Xsum; end for i=1:n psai(i)= sum(sum(lambda(1:i,1:i),2),1)/Xsum; end disp('方差贡献率:'); disp(fai); disp('累计方差贡献率:'); disp(psai); 附录二： %奇异值分解算法 clear all; close all; clc; RGB=imread ('a1.jpg'); %读入像 a=rgb2gray(RGB); [m n]=size(a); a=double(a); r=rank(a); [s v d]=svd(a); %re=s*v*d'; re=s(:,:)*v(:,1:1)*d(:,1:1)'; figure; imshow(mat2gray(re)); imwrite(mat2gray(re),'1.jpg') re=s(:,:)*v(:,1:20)*d(:,1:20)'; figure; imshow(mat2gray(re)); imwrite(mat2gray(re),'2.jpg') re=s(:,:)*v(:,1:40)*d(:,1:40)'; figure; imshow(mat2gray(re)); imwrite(mat2gray(re),'3.jpg') re=s(:,:)*v(:,1:60)*d(:,1:60)'; figure; imshow(mat2gray(re)); imwrite(mat2gray(re),'4.jpg') 特征值：一矩阵A作用与一向量a，结果只相当与该向量乘以一常数λ。即A*a=λa，则a 为该矩阵A的特征向量，λ为该矩阵A的特征值。 奇异值：设A为m*n阶矩阵，A H A的n个特征值的非负平方根叫作A的奇异值。记 (A) 为σ i 上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing） 另外在这里抱怨一下，之前在百度里面搜索过SVD，出来的结果都是俄罗斯的一种狙击枪（AK47同时代的），是因为穿越火线这个游戏里面有一把狙击枪叫做 SVD，而在Google上面搜索的时候，出来的都是奇异值分解（英文资料为主）。想玩玩战争游戏，玩玩COD不是非常好吗，玩山寨的CS有神马意思啊。国内的网页中的话语权也被这些没有太多营养的帖子所占据。真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢制作游戏，搞Data Mining的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。 前面说了这么多，本文主要关注奇异值的一些特性，另外还会稍稍提及奇异值的计算，不过本文不准备在如何计算奇异值上展开太多。另外，本文里面有部分不算太深的线性代数的知识，如果完全忘记了线性代数，看本文可能会有些困难。 一、奇异值与特征值基础知识： 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 人机交互大作业 ——人脸识别 “人脸识别”系统设计文档 人脸识别的意义及应用 人脸识别是指对视频或图像中的人脸进行发现，追踪，进而识别出是特定个体的一种生物特征技术，也是生物特征识别中最主要的研究方向之一。人脸识别在日常生活中有着非常广泛的应用市场。下面列举了一些人脸识别的主要应用：1.监控系统 监控系统在日常生活中非常常用，是防盗系统的主要组成部分之一。人工智能的监控系统的一大优势就是可以将人类从每天对着监视器的枯燥工作中解脱出来。将监视的工作交给计算机来做，有几个优势。一是可以365天，24小时不间断的工作。二是可以不知疲倦，不会因为时间长而分散注意力。但是人工智能的监控系统仍面临着很多问题，比如漏识别，识别误差等等。2.身份验证 身份验证系统可以应用的范围也很广。比如现有的银行存取款系统，当人的银行卡和密码同时丢失时，卡中的钱就可能被转走。但是如果在取款机上安装一个人脸识别系统，在提供银行卡和密码时，同时需要进行面部认证，这样就会大大降低个人财产损失的风险。 3.考勤系统 考勤系统通常用在公司里。传统的考勤系统需要给每个员工分配一张考勤卡，每天上下班需要去打卡。这样会给员工带来一定的不便。如果员工忘记带卡，或者卡有损坏，就会耽误打卡。而且专门设立打卡地点，不仅上下班打卡不方便，而且还会出现替打卡的情况。使用人脸识别系统，可以在不被觉察的情况下，自然地实现员工的考勤。减少了很多不必要的麻烦。 4.视频、图像检索 随着人们对图像，视频等需求的不断扩展，网络上的图像和视频信息量也在以极快的速度增长。在如此庞大的信息库中快速查找到用户需要的信息成了现在研究的一个重要方向。而现在最主流的方式是在视频和图像上附带描述信息。这种描述信息可以被发布人随意更改，很多时候会对用户产生误导，浪费了时间。而用人脸识别进行图像和视频的检索，在检索某些特定人相关的资源时，会大大提高搜索结果的质量。再配合上描述关键词，能使人更快速寻找到所需信息。 人脸识别的优势和困难 人脸识别相对于传统的身份验证技术，和现有的虹膜识别，指纹识别等技术有一个显著的优势，就是可以自然地获取识别对象的身份信息，而不需要识别对象刻意的配合。虹膜识别和指纹识别都需要识别对象的配合。在这种情况下，识别对象可以有意识的进行伪装和欺骗。而人脸识别是在人们不经意的时候对人们图像的采集和识别，不会引起识别对象的注意。因此从某种意义上更容易获得真实的信息。 虽然人脸识别有着不可比拟的优势，但是在实现方面还有着很大的困难。 基于奇异值分解的图像压缩及实现 本文利用奇异值分解方法，来对图片进行压缩，过程中我们 利用Matlab 编程来达到这个目的。 一：实验方法及原理 奇异值：矩阵A 的奇异值定义如下：设n *m r C A ?（r>0），且A A T 的特征值分别为 0n 1r r 21==??=≥≥??≥+λλλλλ （1） 则称i i λσ= （i=1，2，…，n ）为A 的奇异值。 奇异值分解定理：设Σ=diag(r 21...σσσ，， ，)，由式（1）可知，i σ（i=1，2，…，r ）为A 的非零奇异值。U 为m 阶酉矩阵（n 阶复 方阵U 的n 个列向量是U 空间的一个标准正交基，则U 是酉矩阵），V 为n 阶酉矩阵，若满足矩阵等式 （2） 则称式（2）为A 的奇异值分解。若U 写成U =[m 21u ......u u ，， ，]的形式，V 写成V=[n 21v ......v v ，， ，]的形式，则式（2）可写成如下形式： （3） 由于大的奇异值对图像的贡献大，小的奇异值对图像的贡献小，所以可以从r 个奇异值生成矩阵中选取前k 个（k （4） 近似表示图像A。 存储图像A需要mn个数值，存储图像k A需（m+n+1）k个数值，若取 （5） 则可达到压缩图像的目的，比率 （6） 称为压缩率 二：实验过程 1.实验数据来源： 本实验所需要的实验原图片是lena.bmp，处理后的图片设置为lena2.bmp。并获取图片的描述矩阵，为512*512阶8位的方阵。 设为A，同时也是原始矩阵，本实验主要是对A进行奇异值分解，用一个更小阶的矩阵来描述A，从而达到实验目的。 2.实验过程： 提取图像lena.bmp数据，将图片读入Matlab中，存储的是数据矩阵并且设置为512*512的矩阵A，将矩阵A中的数据转换为double型，以适应svd函数的要求，运用函数[U,S,V]=svd(A)进行图像的奇异值分解，分别得到对角奇异值矩阵S为512*1阶，以 C语言课程设计报告 课程名称：计算机综合课程设计 学院：土木工程学院 设计题目：矩阵特征值分解 级别： B 学生姓名： 学号： 同组学生：无 学号：无 指导教师： 2012年 9 月 5 日 C语言课程设计任务书 （以下要求需写入设计报告书） 学生选题说明: 以所发课程设计要求为准，请同学们仔细阅读； 本任务书提供的设计案例仅供选题参考；也可自选，但难易程度需难度相当； 鼓励结合本专业（土木工程、力学）知识进行选题，编制程序解决专业实际问题。 限2人选的题目可由1-2人完成（A级）；限1人选的题目只能由1人单独完成（B级）；设计总体要求: 采用模块化程序设计； 鼓励可视化编程； 源程序中应有足够的注释； 学生可自行增加新功能模块（视情况可另外加分）； 必须上机调试通过； 注重算法运用，优化存储效率与运算效率； 需提交源程序(含有注释)及相关文件(数据或数据库文件)； (cpp文件、txt或dat文件等) 提交设计报告书，具体要求见以下说明。 设计报告格式： 目录 1．课程设计任务书（功能简介、课程设计要求）； 2．系统设计（包括总体结构、模块、功能等，辅以程序设计组成框图、流程图解释）； 3．模块设计（主要模块功能、源代码、注释（如函数功能、入口及出口参数说明，函数调用关系描述等）； 4．调试及测试：（调试方法，测试结果的分析与讨论，截屏、正确性分析）； 5．设计总结：（编程中遇到的问题及解决方法）； 6．心得体会及致谢； 参考文献 1.课程设计任务书 功能简介： a）输入一个对称正方矩阵A，从文本文件读入； b）对矩阵A进行特征值分解，将分解结果：即U矩阵、S矩阵输出至文本文件； c）将最小特征值及对应的特征向量输出至文本文件； d）验证其分解结果是否正确。 提示：A=USU T,具体算法可参考相关文献。 功能说明： 矩阵特征值分解被广泛运用于土木工程问题的数值计算中，如可用于计算结构自振频率与自振周期、结构特征屈曲问题等。 注：以三阶对称矩阵为例 2.系统设计 3.模块设计 #include 现代信号处理 学号： 小组组长： 小组成员及分工： 任课教师： 教师所在学院：信息工程学院 2015年11月 论文题目 基于奇异值分解的MVDR方法及其在信号频率估计领域的 应用 摘要：本文主要是介绍和验证MVDR的算法，此算法应用于信号频率估计的领域中。我们通过使用经典的MVDR算法验证算法的可行性，再通过引用了奇异值分解的思想对MVDR方法进行了改进，在验证这种改进思想的方法可行性时，我们发现基于这种奇异值分解的MVDR方法在信号频率估计上具有提高检测精度的特性，这也说明了这种思想在应用信号频率估计时是可行的。 关键词：MVDR算法奇异值分解信号频率估计 论文题目（English） MVDR method based on singular value decomposition and its application in signal frequency estimation Abstract:In this paper, the algorithm of MVDR is introduced, and the algorithm is applied to the field of signal frequency estimation. By using the classical MVDR algorithm to verify the feasibility of the algorithm, and then through the use of the idea of singular value decomposition to improve the MVDR method, in the verification of the feasibility of the method, we found that the MVDR method based on the singular value decomposition has the characteristics of improving the detection accuracy in signal frequency estimation. It also shows that this idea is feasible in the application of signal frequency estimation. Key words: MVDR method Singular value decomposition Signal frequency estimation 现代信号处理学号： 小组组长： 小组成员及分工： 任课教师： 教师所在学院：信息工程学院2015年11月 论文题目 基于奇异值分解的MVDR方法及其在信号频率估计领域的 应用 摘要：本文主要是介绍和验证MVDR的算法，此算法应用于信号频率估计的领域中。我们通过使用经典的MVDR算法验证算法的可行性，再通过引用了奇异值分解的思想对MVDR方法进行了改进，在验证这种改进思想的方法可行性时，我们发现基于这种奇异值分解的MVDR方法在信号频率估计上具有提高检测精度的特性，这也说明了这种思想在应用信号频率估计时是可行的。 关键词：MVDR算法奇异值分解信号频率估计 论文题目（English） MVDR method based on singular value decomposition and its application in signal frequency estimation Abstract:In this paper, the algorithm of MVDR is introduced, and the algorithm is applied to the field of signal frequency estimation. By using the classical MVDR algorithm to verify the feasibility of the algorithm, and then through the use of the idea of singular value decomposition to improve the MVDR method, in the verification of the feasibility of the method, we found that the MVDR method based on the singular value decomposition has the characteristics of improving the detection accuracy in signal frequency estimation. It also shows that this idea is feasible in the application of signal frequency estimation. Key words: MVDR method Singular value decomposition Signal frequency estimation 现代佶号处理学号： 小组组长： 小组成员及分工： 任课教师： 教师所疫学院：信息工程学院 2015年11月 基于奇畀值分鮮的MVDR方法及其在信号频率估计领城的 应用 摘要：本丈主要是介绍和验证MVDR的算出，此算岀应用于信号频率估计的领城中。我们通过使用经典的MVDR算去验证算比的可行性，再通过引用了奇异值分解的思想对MVDR方法进行了孜进，准.脸证这种改进思想的方法可行性肘，我们发现基于这种奇异值分鮮的MVDR 方岀在信号频率估计上具有提壽检测赫度的特性，这色说朗了这种思想＞4应用信号频率估计肘是可行的。 论丈题tl (English丿 MVDR method based on singular value decomposition and its application in signal frequency estimation Abstract:In this paper, the algorithm of MVDR is introduced, and the algorithm is applied to the field of signal frequency estimation. By using the classical MVDR algorithm to verify the feasibility of the algorithm, and then through the use of the idea of singular value decomposition to improve the MVDR method, in the verification of the feasibility of the method, we found that the MVDR method based on the singular value decomposition has the characteristics of improving the detection accuracy in signal frequency estimation. It also shows that this idea is feasible in the application of signal frequency estimation. Key words：MVDR method Singular value decomposition Signal frequency estimatio n 奇异值分解及其应用 This model paper was revised by the Standardization Office on December 10, 2020 PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing） 奇异值与特征值基础知识 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。比如说下面的一个矩阵： 它其实对应的线性变换是下面的形式： 矩阵奇异值分解在图像压缩中的应用 电子科技大学 微固学院 贾旺旺 [摘要]本文首先介绍了矩阵的奇异值分解(SVD)定理，然后讨论了基于矩阵奇异值分解的图像压缩编码原理，最后文中给出了实例，并用matlab 编程实现了图像的压缩和重构，发现随着图像压缩比的减小，图像传输时间增大，但重构后得到的图像失真度减小了。 [关键词]奇异值分解 图像压缩 压缩比 一.引言 随着网络的快速发展，数据量的增长也十分迅速，这使人们必须想办法如何能以最少的存储空间，最大的传输效率来进行数据的存储和传输。如在宇航中，拍摄得到的图像文件一般都比较大且数量也很多，它的存储，传输和处理会受到一定的限制，因此图像压缩就显得格外重要。图像压缩技术就是要减少图像数据中的冗余信息从而以更加高效的格式存储和传输数据。 图像压缩的基本方法包括无损压缩的行程长度编码，熵编码法；有损压缩的色度抽样法，变换编码，分形压缩等。近几年，基于矩阵奇异值分解的图像压缩方法也得到了很多学者的关注[1] 。因为图像的像素点具有矩阵的结构，我们可以利用奇异值分解来对任意阶数的矩阵操作。本文就是利用了矩阵的奇异值分解，达到了图像压缩的目的。 二. 矩阵奇异值分解原理[2] 引理 1 的非零特征值相同 的特征值均为非负实数，则有 设H H H H H H n m r AA A A AA A A AA rank A A rank A rank C A ,)3(,)2()()()()1(==∈? ) ()()()(00)(0 0)()1(:1111111A A rank A rank A A rank A rank Ax Ax Ax Ax A x Ax A x X k n Ax A k A A rank H H H H H H H H H =?≤?=?==?=?-=?=维，记为的解空间为设证明0 ),(),(),(),(0)2(≥?===≤?=λααλλααααααλααA A A A A A H H 我所理解的奇异值分解SVD 1、 奇异值与奇异值分解定理 奇异值定理： 设m n A C ?∈，r=rank(A)，则一定存在m 阶酉矩阵U 和n 阶酉矩阵V 和对角矩阵1212(,, ,)(1,2,,)r r i diag i r σσσσσσσ∑=≥≥≥=，且，而 ，使得H A U V =∑，称为A 的奇异值分解。 复数域内的奇异值： 设(0)m n H r A C r A A ?∈>，的特征值为1210r r n λλλλλ+≥≥ ≥>=== 则称1,2, ,)i i n σ==为A 的正奇异值；当A 为零矩阵时，它的奇异值都是零。易见，矩阵A 的奇异值的个数等于A 的列数，A 的非零奇异值的个数等于rank(A)。 2、 奇异值分解的理解 奇异值σ跟特征值类似，在矩阵Σ中也是从大到小排列，而且σ的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前r 大的奇异值来近似描述矩阵。 r r r T r r r T v u v u v u V U V U A σσσ+++=∑=∑= 222111即A 可表示为r 个秩为一的举证的和，这是A 得奇异值分解的紧凑格式。 3、 奇异值分解特征 奇异值分解的第一个特征是可以降维。A 表示 n 个 m 维向量 ,通过奇异值分解可表示成 m + n 个 r 维向量 ,若A 的秩 r 远远小于 m 和 n ,则通过奇异值分解可以大大降低 A 的维数。可以计算出 ,当 r 矩阵的奇异值分解（SVD）及其应用 版权声明： 本文由LeftNotEasy发布于https://www.doczj.com/doc/7c11713035.html,, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@https://www.doczj.com/doc/7c11713035.html, 前言： 上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值分解的一种解释。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Sem antic Indexing） 另外在这里抱怨一下，之前在百度里面搜索过SVD，出来的结果都是俄罗斯的一种狙击枪（AK47同时代的），是因为穿越火线这个游戏里面有一把狙击枪叫做SVD，而在Google上面搜索的时候，出来的都是奇异值分解（英文资料为主）。想玩玩战争游戏，玩玩COD不是非常好吗，玩山寨的CS有神马意思啊。国内的网页中的话语权也被这些没有太多营养的帖子所占据。真心希望国内的气氛能够更浓一点，搞游戏的人真正是喜欢制作游戏，搞Data Mining的人是真正喜欢挖数据的，都不是仅仅为了混口饭吃，这样谈超越别人才有意义，中文文章中，能踏踏实实谈谈技术的太少了，改变这个状况，从我自己做起吧。 前面说了这么多，本文主要关注奇异值的一些特性，另外还会稍稍提及奇异值的计算，不过本文不准备在如何计算奇异值上展开太多。另外，本文里面有部分不算太深的线性代数的知识，如果完全忘记了线性代数，看本文可能会有些困难。 一、奇异值与特征值基础知识： 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 1）特征值： 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 第八章 矩阵的特征值与特征向量的数值解法 某些工程计算涉及到矩阵的特征值与特征向量的求解。如果从原始矩阵出发,先求出特征多项式,再求特征多项式的根，在理论上是无可非议的。但一般不用这种方法，因为了这种算法往往不稳定．常用的方法是迭代法或变换法。本章介绍求解特征值与特征向量的一些方法。 §1 乘幂法 乘幂法是通过求矩阵的特征向量来求特征值的一种迭代法,它适用于求矩阵的按模最大的特征值及对应的特征向量。 定理８·1 设矩阵Ａn ×n 有n 个线性无关的特征向量X ｉ（ｉ=1,２,…,n)，其对应的特征值λi (ｉ ＝1,2，…，n)满足 ｜λ１|＞|λ2｜≧…≧|λn ｜ 则对任何ｎ维非零初始向量Z ０，构造Ｚk ＝ AZ k-1 11()lim ()k j k k j Z Z λ→∞ -= (8·1) 其中(Ｚk )ｊ表示向量Z k 的第ｊ个分量。 证明 : 只就λｉ是实数的情况证明如下。 因为A 有n 个线性无关的特征向量X i ,(i = １,2,…,n)用X ｉ(ｉ = 1,2,…，n)线性表示,即Z 0=α1X 1 + α2Ｘ2 +用A 构造向量序列{Z k }其中 ? 21021010, ,k k k Z AZ Z AZ A Z Z AZ A Z -=====， (8.2） 由矩阵特征值定义知ＡＸi =λi X i (i=1,２, …,n),故 ? 0112211122211121k k k k k n n k k k n n n k n k i i i i Z A Z A X A X A X X X X X X ααααλαλαλλλααλ===++ +=+++???? ??=+ ?????? ? ∑ (８.3） 同理有 1 1 11 1121k n k i k i i i Z X X λλααλ---=? ? ????=+ ????? ? ? ∑ (8．４) 将(8.３）与(8．4)所得Ｚk 及Z k-１的第j 个分量相除，设α1≠0，并且注意到 |λi |<|λ1|(i=1,２,…，n ）得 §2 矩阵的奇异值分解 定义 设A 是秩为r 的m n ?复矩阵，T A A 的特征值为 1210r r n λλλ>λλ+≥≥ ≥===. 则称i σ=(1,2, ,)i n =为A 的奇异值. 易见，零矩阵的奇异值都是零，矩阵A 的奇异值的个数等于A 的列数，A 的非零奇异值的个数等于其秩. 矩阵的奇异值具有如下性质： （1）A 为正规矩阵时，A 的奇异值是A 的特征值的模； （2）A 为半正定的Hermite 矩阵时，A 的奇异值是A 的特征值； （3）若存在酉矩阵,m m n n ??∈∈U V C C ，矩阵m n ?∈B C ，使=UAV B ，则称A 和B 酉等价.酉等价的矩阵A 和B 有相同的奇异值. 奇异值分解定理 设A 是秩为r (0)r >的m n ?复矩阵，则存在m 阶酉矩阵U 与n 阶酉矩阵V ，使得 H ?? ==?? ?? O U AV O O ∑?. ① 其中12diag(,,,)r σσσ=∑，i σ(1,2,,)i r =为矩阵A 的全部非零奇异值. 证明 设Hermite 矩阵H A A 的n 个特征值按大小排列为 1210r r n λλλ>λλ+≥≥ ≥===. 则存在n 阶酉矩阵V ，使得 1 2 H H ()n λλ???? ??==??? ??? ??? ? O V A A V O O ∑. ② 将V 分块为 12()=V V V ， 其中1V ，2V 分别是V 的前r 列与后n r -列. 并改写②式为 2 H ??=? ??? O A AV V O O ∑. 则有 H 2H 112==A AV V A AV O ， ∑. ③ 由③的第一式可得 H H 2H 1111()()r ==V A AV AV AV E ， 或者∑∑∑. 由③的第二式可得 H 222()() ==AV AV O AV O 或者. 令111-=U AV ∑，则H 11r =U U E ，即1U 的r 个列是两两正交的单位向量.记作112(,,,)r =U u u u ， 因此可将12,,,r u u u 扩充成m C 的标准正交基， 记增添的向量为1, ,r m +u u ，并构造矩阵21(, ,)r m +=U u u ，则 12121(,)(,, ,,, ,)r r m +==U U U u u u u u 是m 阶酉矩阵,且有 H H 1121 r ==U U E U U O ，. 于是可得 H H H 1 121H 2()()????===???? ???? O U U AV U AV AV U O O O U ，，∑∑. 由①式可得 H H H H 111222r r r σσσ??==+++???? O A U V u v u v u v O O ∑. ④ 称④式为矩阵A 的奇异值分解. 值得注意的是：在奇异值分解中121,, ,,, ,r r m +u u u u u 是H AA 的特征 向量，而V 的列向量是H A A 的特征向量，并且H AA 与H A A 的非零特征值 PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。特征值和奇异值在大部分人的印象中，往往是停留在纯粹的数学计算中。而且线性代数或者矩阵论里面，也很少讲任何跟特征值与奇异值有关的应用背景。奇异值分解是一个有着很明显的物理意义的一种方法，它可以将一个比较复杂的矩阵用更小更简单的几个子矩阵的相乘来表示，这些小矩阵描述的是矩阵的重要的特性。就像是描述一个人一样，给别人描述说这个人长得浓眉大眼，方脸，络腮胡，而且带个黑框的眼镜，这样寥寥的几个特征，就让别人脑海里面就有一个较为清楚的认识，实际上，人脸上的特征是有着无数种的，之所以能这么描述，是因为人天生就有着非常好的抽取重要特征的能力，让机器学会抽取重要的特征，SVD是一个重要的方法。 在机器学习领域，有相当多的应用与奇异值都可以扯上关系，比如做feature reduction的PCA，做数据压缩（以图像压缩为代表）的算法，还有做搜索引擎语义层次检索的LSI（Latent Semantic Indexing） 奇异值与特征值基础知识 特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。两者有着很紧密的关系，我在接下来会谈到，特征值分解和奇异值分解的目的都是一样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧： 特征值 如果说一个向量v是方阵A的特征向量，将一定可以表示成下面的形式： 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的特征向量组成的矩阵，Σ是一个对角阵，每一个对角线上的元素就是一个特征值。我这里引用了一些参考文献中的内容来说明一下。首先，要明确的是，一个矩阵其实就是一个线性变换，因为一个矩阵乘以一个向量后得到的向量，其实就相当于将这个向量进行了线性变换。比如说下面的一个矩阵： 它其实对应的线性变换是下面的形式： 因为这个矩阵M乘以一个向量(x,y)的结果是： 矩阵的奇异值分解及数值实现 1.引言 矩阵的奇异值分解是数学研究中一种重要的方法, 除了其理论价值外,在工程领域中的应用也很普遍。例如: 在最优化问题、特征值问题、广义逆矩阵计算、高质量的统计计算、信号和图像处理、系统辨识、滤波器设计、谱估计、时间序列分析、控制理论和酉不变范数理论等领域, 奇异值分解都占有极其重要的作用同时它在求线性方程组的数组时也经常使用。它的核心在于在求出矩阵的有效秩的同时不改变矩阵的有关度量特性, 这对统计和检测数据的处理有很重要的作用。但矩阵奇异值分解的严重不足之处在于速度慢、计算量和存储量相当大, 并且到现在仍然没有计算矩阵的奇异值分解的快速算法。因此研究奇异值分解的快速算法,在理论上和工程实际中都有重要意义。 2.矩阵的奇异值分解 在数值分析中,矩阵的奇异值分解具有相当重要的作用, 因此在求矩阵的奇异值分解时, 必须掌握矩阵的奇异值分解的理论及相关概念。 2.1 矩阵的奇异值相关定义 定义2.1.1对于任一个mn阶复(实)矩阵A,设AH(AT)为A的共轭转置矩阵，则AHA的n个特征值的非负平方根称为A的奇异值,也就是A共有n个奇异值，且全部》0。AHA是一个半正定矩 阵,所以它的特征值》0。 设A?HYCmn(r>0),AHA的特征值 为？％d1>?%d夢…》?%dr>?%dr+1=- =?%dn=0则 称？％li=(i=1,2,…,n)为A的奇异值。 从定义可以看出以下性质: (1)mn 矩阵的奇异值的个数等于列数; (2)AHA和AAH的非零特征值相同,A的非零奇异值的个数等 于r?%ZnkA。 定义2。1。2设A为复数域C上的n阶矩阵,如果存在 数？％d?HY(和非零的n维向量x,使得Ax=?%dx就称？％d是矩阵A 的特征值,x是A的属于(或对应于)特征值？％d的特征向量。 定义2。1。3 设mn矩阵A?HYCmn,r?%ZnkA=r(r>0),则AHA 和AAH的特征值都是非负实数。 3.矩阵奇异值分解的性质 既然矩阵奇异值分解在计算中有如此重要的作用, 当然它就具有一些重要的性质, 并且这些性质的应用也相当广泛。 性质3.1 A的奇异值由A惟一确定，但酉矩阵U和V不惟一，故矩阵A的奇异值分解一般不惟一。 性质 3.2 奇异值分解可以计算出矩阵的条件数。 设A?HYCmn且存在可逆矩阵P使得 P- 1AP=di?%Zg(?%d1 …,？％dn),则称？UP-1?U|| PII 为矩阵A关于特征值问题的条件数, 记为k(P) 。 特征值分解及奇异值分解在数字图像中的应用 摘要：目前，随着科学技术的高速发展，现实生活中有大量的信息用数字进行存储、处理和传送。而传输带宽、速度和存储器容量等往往有限制，因此数据压缩就显得十分必要。数据压缩技术已经是多媒体发展的关键和核心技术。图像文件的容量一般都比较大，所以它的存储、处理和传送会受到较大限制，图像压缩就显得极其重要。当前对图像压缩的算法有很多，特点各异，类似JPEG 等许多标准都已经得到了广泛的应用。本文在简单阐述了矩阵特征值的数值求解理论之后，介绍了几种常用的求解矩阵特征值的方法，并最终将特征值计算应用到图像压缩中。以及奇异值分解(Singular Value Decomposition ，SVD) 。奇异值分解是一种基于特征向量的矩阵变换方法，在信号处理、模式识别、数字水印技术等方面都得到了应用。由于图像具有矩阵结构，有文献提出将奇异值分解应用于图像压缩[2]，并取得了成功，被视为一种有效的图像压缩方法。本文在奇异值分解的基础上进行图像压缩。 关键词：特征值数值算法；奇异值分解；矩阵压缩；图像处理 引言 矩阵的特征值计算虽然有比较可靠的理论方法，但是，理论方法只适合于矩阵规模很小或者只是在理论证明中起作用，而实际问题的数据规模都比较大，不太可能采用常规的理论解法。计算机擅长处理大量的数值计算，所以通过适当的数值计算理论，写成程序，让计算机处理，是一种处理大规模矩阵的方法，而且是一种好的方法。常用的特征值数值方法包括幂法、反幂法、雅克比方法、QR 分解法等。其中，幂法适用于求解矩阵绝对值最大的特征值，反幂法适合求解矩阵的逆矩阵的特征值，雅克比方法适合求解对称矩阵的特征值，QR分解法主要使用于求中小型矩阵以及对称矩阵的全部特征值。矩阵乘以一个向量的结果仍是同维数的一个向量。因此，矩阵乘法对应了一个变换，把一个向量变成同维数的另一个向量，变换的效果当然与方阵的构造有密切关系。图像压缩处理就是通过矩阵理论减少表示数字图像时需要的数据量，从而达到有效压缩。数字图像的质量很大程度上取决于取样和量化的取样数和灰度级。取样和量化的结果是一个实际的矩阵。图像压缩是数据压缩技术在数字图像上的应用，它的目的是减少图像数据中的冗余信息从而用更加高效的格式存储和传输数据。图像数据之所以能被压缩，就是因为数据中存在着冗余。图像数据的冗余主要表现为：图像中相邻像素间的相关性引起的空冗余；图像序列中不同帧之间存在相关性引起的时间冗 矩阵的奇异值分解 在数字图像处理的应用浅析 学院：··· 专业：·· 姓名：·· 学号：·· 2011年11月6日 目录 一、绪论 ................................................................................................................................. - 1 - 二、数字图像处理简介 ............................................................................................................. - 2 - 三、矩阵的奇异值分解原理 ..................................................................................................... - 4 - 3.1 矩阵的奇异值 ............................................................................................................. - 4 - 3.2 矩阵的奇异值分解（SVD） ....................................................................................... - 4 - 四、奇异值分解的图像性质 ..................................................................................................... - 5 - 五、图像的奇异值分解压缩方法 ............................................................................................. - 7 - 5.1 奇异值分解压缩原理分析 ......................................................................................... - 7 - 5.2 奇异值分解压缩应用过程 ......................................................................................... - 8 - 六、小结 ................................................................................................................................. - 9 - 中心对称矩阵在矩阵特征分解中的应用 摘要 本文针对偶数阶中心对称矩阵，引入偶数阶置换矩阵，探索了矩阵特征分解的新方法。该方法是通过对矩阵的分块，将复杂大型矩阵特征值问题，转化为几个小矩阵特征值求解，使得问题计算的复杂度大大缩减。 关键词：中心对称矩阵 置换矩阵 特征分解 定义1：如果n m ?矩阵P=（ij p ）满足 1,1+-+-=j n i m ij p p 其中n j m i ≤≤≤≤1,1 则P 是中心对称矩阵[1] 形如???? ??a b b a ，???? ? ??a b c d e d c b a 都是中心对称矩阵。 定义2：如果?????? ? ??==?111)( n n ij n J J ，则n J 为n 阶置换矩阵 设n J 为n 阶置换矩阵，则用n J 左乘（或右乘）矩阵P ，可以将其行（或列）按反序重新排列。 定理1：n m ?矩阵P 是中心对称矩阵当且仅当 n m PJ P J = 证明：若n m PJ P J =，因为E J n =2，则n m PJ J P =，且 [][]1,1,1+-+-+-===j n i m j i m n ij n m ij p PJ PJ J p 其中n j m i ≤≤≤≤1,1 因此P 是中心对称矩阵。 反之，若P 是中心对称矩阵，则显然有n m PJ P J =. 定理2：设P 和Q 都是n 阶中心对称矩阵，则P+Q ，PQ 和cP （c 为任意实数）仍是中心对称矩阵 证明：设P 和Q 都是n 阶中心对称矩阵，则由定理1， Q P QJ J PJ J J Q P J n n n n n n +=+=+)(， PQ QJ J PJ J J PQ J n n n n n n ==))(()(， cP PJ J c J cP J n n n n ==)()(. 因此，P+Q ，PQ 和cP 仍是中心对称矩阵。 引理1：对于偶数阶（n=2s ）置换矩阵J ，存在变换矩阵Q ，使得Q T J n Q 为E s 0-E s ?è ????÷÷ 证明：设T u )0,,0,1(1 =，则T n u J )1,,0,0(1 =，T n u J )0,,0,1(12 =，故0112=-u u J n 即0))(()(112=-+=-u E J E J u E J n n n ，所以 T n u E J )1,,0,1()(1 =+,T n u E J )1,,0,1()(1 -=-分别是n J 的属于特征值1，-1的 特征向量。同样，设T u )0,,1,0(2 =，有0222=-u u J n ，所以T )0,1,0,,0,1,0( 和 T )0,1,0,,0,1,0( -分别是属于特征值1，-1的特征向量。当P 为偶数阶（n=2s ）时，继续做下去，可得n=2s 个相互正交的特征向量，将它们排列为变换矩阵Q 的列向量，得 ??? ? ??-=????????????? ??---=s s s s E J J E Q 2111111111111121 ，特征值分解与奇异值分解
基于奇异值分解的人脸识别
基于奇异值分解的图像压缩及实现
雅克比法求矩阵特征值特征向量
基于奇异值分解的MVDR谱估计
基于奇异值分解的MVDR谱估计
基于奇异值分解的MVDR谱估计
奇异值分解及其应用
基于奇异值分解的图像压缩处理
我所理解的奇异值分解
矩阵的奇异值分解及其应用
第八章矩阵的特征值与特征向量的数值解法
矩阵的奇异值分解
奇异值分解及其应用
矩阵的奇异值分解及数值实现
特征值分解及奇异值分解在数字图像中的应用
矩阵的奇异值分解在数字图像处理的应用
中心对称矩阵在矩阵特征分解中的应用
相关主题
文本预览