线性代数之线性变换说明

最近想明白特点值、特点值到底有什么物理意义，搜到了这篇文章，共享一下。。。

来源： 孙哲的日记

[1. 特点的数学意义]

咱们先考察一种线性转变，例如x,y坐标系的椭圆方程能够写为x^2/a^2+y^2/b^2=1，那么坐标系关于原点做旋转以后，椭圆方程就要发生变换。咱们能够把原坐标系的(x,y)乘以一个矩阵，取得一个新的(x',y')的表示形式，写为算子的形式确实是(x,y)*M=(x',y')。那个地址的矩阵M代表一种线性变换：拉伸，平移，旋转。那么，有无什么样的线性变换b(b是一个向量)，使得变换后的结果，看起来和让(x,y)*b像是一个数b乘以了一个数字m*b? 换句话说，有无如此的矢量b，使得矩阵A*b如此的线性变换相当于A在矢量b上面的投影m*b? 若是有，那么b确实是A的一个特点向量，m确实是对应的一个特点值。一个矩阵的特点向量能够有很多个。特点值能够用特点方程求出，特点向量能够有特点值对应的方程组通解求出，反过来也一样。例如，设A为3阶实对称矩阵，a1=(a,-a,1)T是Ax=0的解，a2=(a,1,-a)T是(A+E)x=0的解，a≠2,那么常数a=? 因为a1=(a,-a,1)T是Ax=0的解,说明a1=(a,-a,1)T是A的属于0的特点向量，a2=(a,1,-a)T是(A+E)x=0的解，说明a2=(a,1,-a)T是A的属于-1的特点向量。实对称矩阵属于不同特点值的特点向量式正交的，因此a^2-a-a=0,a≠2,因此a=0。 仍是太抽象了，具体的说，求特点向量的关系，确实是把矩阵A所代表的空间，进行正交分解，使得A的向量集合能够表示为每一个向量a在各个特点向量上面的投影长度。例如A是m*n的矩阵,n>m，那么特点向量确实是m个(因为秩最大是m)，n个行向量在每一个特点向量E上面有投影，其特点值v确实是权重。那么每一个行向量此刻就能够够写为Vn=(E1*v1n,E2*v2n...Em*vmn)，矩阵变成了方阵。若是矩阵的秩更小，矩阵的存储还能够紧缩。再: 由于这些投影的大小代表了A在特点空间各个分量的投影，那么咱们能够利用最小2乘法，求出投影能量最大的那些分量，而把剩下的分量去掉，如此最大限度地保留了矩阵代表的信息，同时能够大大降低矩阵需要存储的维度，简称PCA方式。

举个例子，关于x,y平面上的一个点(x,y)，我对它作线性变换，(x,y)*[1,0;0,-1]，分号代表矩阵的换行，那么取得的结果确实是(x,-y)，那个线性变换相当于关于横轴x做镜像。咱们能够求出矩阵[1,0;0,-1]的特点向量有两个，[1,0]和[0,1]，也确实是x轴和y轴。什么意思呢? 在x轴上的投影，通过那个线性变换，没有改变。在y轴上的投影，乘以了幅度系数-1，并无发生旋转。两个特点向量说明了那个线性变换矩阵关于x轴和y轴这两个正交基是线性不变的。关于其他的线性变换矩阵，咱们也能够找到类似的，N个对称轴，变换后的结果，关于这N个对称轴线性不变。这N个对称轴确实是线性变换A的N个特点向量。这确实是特点向量的物理含义所在。因此，矩阵A等价于线性变换A。 关于实际应用的矩阵算法中，常常需要求矩阵的逆：当矩阵不是方阵的时候，无解，这是需要用到奇异值分解的方法，也确实是A=PSQ，P和Q是互逆的矩阵，而S是一个方阵，然后就能够够求出伪逆的值。同时，A=PSQ能够用来降低A的存储维度，只要P是一个是瘦长形矩阵，Q是宽扁型矩阵。关于A超级大的情形能够降低存储量好几个数量级。

[2. 物理意义]

特点向量有什么具体的物理意义? 例如一个驻波通过一条绳索，绳索上面的每一个点组成一个无穷维的向量，那个向量的特点向量确实是特点函数sin(t)，因为是时变的，就成了特点函数。每一个点特点值确实是每一个点在特按时刻的sin(x+t)取值。再如，从太空中某个角度看地球自转，尽管每一个景物的坐标在不断的变换，可是这种变换关于地球的自传轴有对称性，也确实是关于此轴的平移和拉伸的坐标变换不灵敏。因此地球自转轴，是地球自转这种空间变换的一个特点向量。Google的PageRank，确实是对www链接关系的修正邻接矩阵的，要紧特点向量的投影分量，给出了页面平分。有什么特性呢?

AB和BA有相同的特点向量----设AB的特点向量为x，对应的特点值为b，那么有(AB)x = bx，将上式两边左乘矩阵B，得B(AB)x = (BA)(Bx)

= b(Bx)，故b为BA的特点值，对应的特点向量为Bx。反之亦然。 什么是特点矩阵和特点值？咱们用整体论来考虑，假设P(A)=(1,2,3)是A的3个特点向量。那么P(A^2)确实是(1^2,2^2,3^2)，P能够看作是一种算子。固然，算子的特性是需要用部份/细节详细证明的。一旦证明，就能够够作为整体的特点。特点值有什么特性？说明矩阵能够分解成N维特点向量的投影上面，这N个特点值确实是各个投影方向上的长度。由于n*n矩阵A能够投影在一个正交向量空间里面，那么任何N维特点向量组成的矩阵都能够是线性投影变换矩阵，那么I确实是一个同用的线性变换投影矩阵。因此关于特点值m，必然有是够成了一个没有线性无关向量的矩阵Aa=ma两边同乘以I取得

Aa=maI，因此(A-mI)a=0有非0解，那么|A-mI|=0(能够用终归法，若是那个行列式不是0，那么N个向量线性无关，在N维空间中只能相交于原点，不可能有非0解)。因此能够推出一些很有效的性质，例如A=[1/2,1,1;0,1/3,1;0,0,1/5]，那么只要知足|A- mI|=0的值确实是特点值，显然特点值数组当即能够取得(1/2,1/3,1/5)。一个n*n的矩阵A，秩=1，那么最大线性无关组=1组，特点向量=1个，任意n维非零向量都是A的特点向量。特点向量本身不是定死的，这就比如坐标系能够旋转一样。一旦特点向量的各个方向确信了，那么特点值向量也就确信了。求特点值的进程确实是用特点方程：|A-mE|=0,P(1/A)=1/P(A)，能够证明。有什么物理含义呢？一个N维线性无关的向量，去掉其中的一维，那么就有至少两个向量是线性相关的了，因此行列式=0。特点矩阵有什么作用？把矩阵转变为正定矩阵，也确实是A=P^-1BP，如此的变换，A是对角阵。 线性代数的研究，是把向量和矩阵作为一个整体，从部份的性质动身，推到出整体的性质，再由整体的性质取得各类应用和物理上的概念。当矩阵A是一个符号的时候，它的性质会和实数a有很多相似的地址。科学的定理看起来老是递归着的。再举一个例子，高数的大体概念有微分，积分，倒数，那么我立刻能够想到中值定理就应该有3个，形式上别离是微分，积分和倒数。

[3. 应用的场景]

线性变换的缺点：线性变换PCA能够用来处置图像(能够搜一下百度有详细的介绍)。如2维的人像识别：

1. 咱们把图像A看成矩阵，进一步看成线性变换矩阵，把那个训练图像的特点矩阵求出来(假设取了n个能量最大的特点向量)。用A乘以那个n个特点向量，取得一个n维矢量a，也确实是A在特点空间的投影。

2. 尔后在识别的时候同一类的图像(例如，来自同一个人的脸部照片)，以为是A的线性相关图像，它乘以那个特点向量，取得n个数字组成的一个矢量b，也确实是B在特点空间的投影。那么a和b之间的距离确实是咱们判定B是不是A的准那么。 只是，PCA有天生的缺点，确实是线性矢量的相关性考察有"平移无关性"优势的同时，也完全忽略了，2维图形中，矢量分量之间的顺序是成心义的，顺序不同能够代表完全不同的信息。还有，确实是图像B必需是A的某种伸缩(由特点向量空间决定的)，才能被专门好的投影到A的特点向量空间里面，若是B包括了A中的某种旋转因素，那么PCA能够完全失效。因此实际应用中PCA的方式做图像识别，识别率并非高，它要求图像有某种严格的方向对齐和归一化。因此PCA一样不用来做直接的特点提取而是用来做特点矩阵的降维。固然，降维的结果用于分类并非睬想，咱们能够进一步做最小二承法拉开类间距离的Fisher变换。可是Fisher变换会引入新的弱点，那确实是关于训练类别的数据变得更灵敏了，分类成效上升的代价是通用性下降，当类型数量急剧膨胀的时候，分类成效的函数仍然是直线下降的----可是仍是比直接PCA的分类成效好得多。PCA"主观"的以为，一个类型的第N+1个矩阵能够由之前已知的[1,N]个矩阵通过拉成向量来线性表出。显然这只是一个美好的主观愿望，因为即便新的输入矩阵是原有矩阵作了一些行列的初等变换如互换等，这种拉直以后的线性表出也可能全然就不存在(2维的PCA一样无法克服那个客观不存在的设定)，于是，当应用到实际的时候，只能试图做优化没，用最小二乘距离来判定，"以为"那个矩阵确实是属于某个分类。由于PCA训练的特点矩阵是一个类别一个矩阵，这些矩阵组成的子空间之间又无法保证正交，于是投影的结果也不具有全然意义上的分类特性。那个算法是个有效的算法，可是理论上全然确实是无解。 K-L变换是PCA的一个应用形式。假设图像类型C有N个图像，那么把每一个图像拉直成一个向量，N个图像的向量组成一个矩阵，求矩阵的特点向量(列向量)。那么用原先的N个图像乘以这些列向量求出平均值，确实是咱们的特点图像。能够看到特点图像和原图像有相似的地址，可是去掉了和拉伸，平移相关的一些形变信息。在取得了鲁棒性的同时，捐躯了很多精准性。因此它比较适合特定范围图像的Verification工作，也确实是判定图像P是不是属于类型C。对照一下神经网络：说白了把函数y=f(x)的映射，变成了[y]=[f(x)]的向量映射。输入输出的点(entry)是固定的。而真实的神经系统，并无明显的内部处置和外部接口的区分。因此所有的神经网络理论，名字上是神经网络，实质上，差得很远。

[4. 关于谱]

什么是"谱"(Spectrum)? 咱们明白音乐是一个动态的进程，可是乐谱却是在纸上的，静态的存在。关于数学分析工具，研究时变函数的工具，能够研究傅立叶变换对应的频率谱；关于概率问题，尽管每次投色子的结果不一样，可是能够求出概率散布的功率谱密度。数学作为一种形而上学工具，研究的重点，确实是那个转变世界当中那些不变的规律。

[5. 能用于分类吗]

所谓的特点矩阵，确实是原矩阵如何与一个x维的数量矩阵相似。Lamda(i)说明了相似投影与一个x维线性空间的第i维坐标轴，Lamda(i)是放缩比例。Lamda(i)之间的顺序是不重要的，因为坐标轴之间的互换是初等线性变换，不阻碍代数拓扑的性质。特点向量xi说明A如何把线性组合投影到一个坐标轴上。所谓的特点向量，确实是一组正交基集合。

在图像处置的问题域中，把图像看成矩阵本身，那么图像的分类问题确实是同类矩阵被以为有相同或代数近似的"不变量"。显然，"同类"是一个主观假设划定的类，而不是通过计算来"确信"的类。这致使了一个问题，所谓的不同类型，其意义是关于人的主观明白得能力而言，是先验的，不是通过计算取得的后验，它本身不代表任何数理逻辑上的可判定信息。若是以矩阵的特点向量或特点值矩阵作为分类的信息，没有任何证据能够幸免不同的"类"的矩阵能够有加倍近似的特点值。所谓的矩阵分解方式，类内最小距离方式(Fisher)，都有一个令人不愉快地前提，那确实是本身就要保证类内的矩阵，其欧式距离足够小----那个欧式距离的大小往往又和人的几何拓扑直观不符)。由于矩阵本身不具有预概念的拓扑学信息，那么同类图像间欧式距离增加的时候，无法做到良好的分类。同时，图像的类要分的越多，那么这种子空间之间的交叠现象就越严峻，及时再去从每一个类别的子空间中去寻觅线性不变的子空间或因子，也无法排除这种交叠性----Fisher