下载文档原格式
主成分分析（Principal Component Analysis ，PCA ）主成分分析（Principal Component Analysis ，PCA ）是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。
计算主成分的目的是将高维数据投影到较低维空间。
给定n 个变量的m 个观察值，形成一个n ′m 的数据矩阵，n 通常比较大。
对于一个由多个变量描述的复杂事物，人们难以认识，那么是否可以抓住事物主要方面进行重点分析呢？如果事物的主要方面刚好体现在几个主要变量上，我们只需要将这几个变量分离出来，进行详细分析。
但是，在一般情况下，并不能直接找出这样的关键变量。
这时我们可以用原有变量的线性组合来表示事物的主要方面，PCA 就是这样一种分析方法。
PCA 主要用于数据降维，对于一系列例子的特征组成的多维向量，多维向量里的某些元素本身没有区分性，比如某个元素在所有的例子中都为1，或者与1差距不大，那么这个元素本身就没有区分性，用它做特征来区分，贡献会非常小。
所以我们的目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使特征留下的都是“精品”，而且计算量也变小了。
对于一个k维的特征来说，相当于它的每一维特征与其他维都是正交的（相当于在多维坐标系中，坐标轴都是垂直的），那么我们可以变化这些维的坐标系，从而使这个特征在某些维上方差大，而在某些维上方差很小。
例如，一个45度倾斜的椭圆，在第一坐标系，如果按照x,y坐标来投影，这些点的x和y的属性很难用于区分他们，因为他们在x,y轴上坐标变化的方差都差不多，我们无法根据这个点的某个x属性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小，所以可以考虑只保留这些点的长轴属性，来区分椭圆上的点，这样，区分性比x,y轴的方法要好！所以我们的做法就是求得一个k维特征的投影矩阵，这个投影矩阵可以将特征从高维降到低维。
主成分分析（Principal Component Analysis ，PCA ）主成分分析（Principal Component Analysis ，PCA ）是一种掌握事物主要矛盾的统计分析方法，它可以从多元事物中解析出主要影响因素，揭示事物的本质，简化复杂的问题。
计算主成分的目的是将高维数据投影到较低维空间。
给定n 个变量的m 个观察值，形成一个n ′m 的数据矩阵，n 通常比较大。
对于一个由多个变量描述的复杂事物，人们难以认识，那么是否可以抓住事物主要方面进行重点分析呢？如果事物的主要方面刚好体现在几个主要变量上，我们只需要将这几个变量分离出来，进行详细分析。
但是，在一般情况下，并不能直接找出这样的关键变量。
这时我们可以用原有变量的线性组合来表示事物的主要方面，PCA 就是这样一种分析方法。
PCA 主要用于数据降维，对于一系列例子的特征组成的多维向量，多维向量里的某些元素本身没有区分性，比如某个元素在所有的例子中都为1，或者与1差距不大，那么这个元素本身就没有区分性，用它做特征来区分，贡献会非常小。
所以我们的目的是找那些变化大的元素，即方差大的那些维，而去除掉那些变化不大的维，从而使特征留下的都是“精品”，而且计算量也变小了。
对于一个k维的特征来说，相当于它的每一维特征与其他维都是正交的（相当于在多维坐标系中，坐标轴都是垂直的），那么我们可以变化这些维的坐标系，从而使这个特征在某些维上方差大，而在某些维上方差很小。
例如，一个45度倾斜的椭圆，在第一坐标系，如果按照x,y坐标来投影，这些点的x和y的属性很难用于区分他们，因为他们在x,y轴上坐标变化的方差都差不多，我们无法根据这个点的某个x属性来判断这个点是哪个，而如果将坐标轴旋转，以椭圆长轴为x轴，则椭圆在长轴上的分布比较长，方差大，而在短轴上的分布短，方差小，所以可以考虑只保留这些点的长轴属性，来区分椭圆上的点，这样，区分性比x,y轴的方法要好！所以我们的做法就是求得一个k维特征的投影矩阵，这个投影矩阵可以将特征从高维降到低维。
主成分分析PCA介绍PCA的基本思想是找到投影向量，使得数据在该投影上的方差最大。
通过选择方差最大的投影向量，我们可以保留尽可能多的原始数据信息。
具体来说，PCA首先计算数据的协方差矩阵，然后对该矩阵进行特征值分解，得到特征向量和特征值。
特征向量就是我们要找的投影向量，而特征值表示数据在特征向量上的方差。
选择前k个特征向量，就可以将原始数据映射到k维空间中。
这样，通过选择适当的k值，既可以降低数据的维度，又可以尽量保留原始数据的信息。
PCA的应用非常广泛。
首先，PCA可以用于数据预处理，包括去除噪声、异常值和缺失值，以及数据标准化和归一化。
其次，PCA可以用于数据降维，减少冗余特征，提高计算效率。
特别是在高维数据集上，PCA可以减少特征的个数，提高模型的训练速度和结果的精确度。
此外，PCA还可以用于数据可视化，将高维数据投影到二维平面上，以便更好地理解数据的分布和结构。
除了基本的PCA方法外，还有一些对其进行改进和扩展的方法。
其中，核主成分分析（Kernel PCA）是一种非线性的PCA方法，通过将数据映射到高维特征空间来处理非线性关系。
自适应主成分分析（Adaptive PCA）可以根据数据的分布自动选择合适的特征数目。
增量主成分分析（Incremental PCA）可以处理大规模数据集，并能够在数据流中进行在线学习和更新。
然而，PCA也有一些限制和缺点。
首先，PCA假设数据服从线性分布，对于非线性关系的数据可能会失效。
其次，PCA只能找到数据集中的线性主成分，无法处理复杂的非线性关系。
最后，PCA对异常值和噪声敏感，可能会导致降维结果的偏差。
总的来说，PCA是一种常用的数据降维方法，可以在保留原始数据信息的同时，减少特征的个数，提高计算效率和模型的准确度。
通过选择适当的投影向量和特征数目，PCA可以应用于各种学科和领域，有助于数据分析和模式识别的进展。
但需要注意其在处理非线性数据和异常值方面的局限性，以及对噪声的敏感性。
主成分分析—PCA⼀.定义 主成分分析（principal components analysis)是⼀种⽆监督的降维算法，⼀般在应⽤其他算法前使⽤，⼴泛应⽤于数据预处理中。
其在保证损失少量信息的前提下，把多个指标转化为⼏个综合指标的多元统计⽅法。
这样可达到简化数据结构，提⾼分信息效率的⽬的。
通常，把转化⽣成的综合指标称为主成分，其中每个成分都是原始变量的线性组合，且每个主成分之间互不相关，使得主成分⽐原始变量具有某些更优越的性能。
⼀般，经主成分分析分析得到的主成分与原始变量之间的关系有：（1）每个主成分都是各原始变量的线性组合（2）主成分的数⽬⼤⼤骚鱼原始变量的数⽬（3）主成分保留了原始变量的绝⼤多数信息（4）各主成分之间互不相关⼆.过程 其过程是对坐标系旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，在新坐标系中，各坐标轴的⽅向就是原始数据变差最⼤的⽅向。
（参见《多元统计分析》P114-117,新坐标轴Y1和Y2，⽤X1和X2的线性组合表⽰，⼏何上是将坐标轴按逆时针⽅向旋转⼀定的⾓度⽽得出） 详细版：数据从原来的坐标系转换到新的坐标系。
转换坐标系时，以⽅差最⼤的⽅向作为新坐标轴⽅向（数据的最⼤⽅差给出了数据的最重要的信息）。
第⼀个新坐标轴选择的是原始数据中⽅差最⼤的⽅法，第⼆个新坐标轴选择的是与第⼀个新坐标轴正交且⽅差次⼤的⽅向。
重复以上过程，重复次数为原始数据的特征维数。
在重复中，我们不断地得到新的坐标系。
Generally,⽅差集中于前⾯⼏个综合变量中，且综合变量在总⽅差中所占的⽐重依次递减，⽽后⾯新的坐标轴所包含的⽅差越来越⼩，甚⾄接近0。
实际应⽤中，⼀般只要挑选前⼏个⽅差较⼤的主成分即可。
那么，我们如何得到这些包含最⼤差异性的主成分⽅向呢？事实上，通过计算数据矩阵的协⽅差矩阵，然后得到协⽅差矩阵的特征值及特征向量，选择特征值最⼤（也即包含⽅差最⼤）的N个特征所对应的特征向量组成的矩阵，我们就可以将数据矩阵转换到新的空间当中，实现数据特征的降维（N维）。
主成分pca主成分分析（Principal Component Analysis，PCA）是一种常用的数据降维方法，它可以将高维数据转化为低维数据，并保留原始数据的大部分信息。
PCA最初被提出来是为了解决多变量统计分析中的共线性问题，但现在已经广泛应用于各个领域中。
一、PCA概述1.1 PCA定义PCA是一种线性变换技术，它将高维数据转化为低维数据。
在这个过程中，PCA通过寻找最大方差方向来确定新的特征空间，并将原始数据映射到这个新的特征空间中。
1.2 PCA应用领域PCA被广泛应用于各个领域，包括图像处理、语音识别、生物信息学、金融等。
其中，在图像处理领域中，PCA被用于降噪和特征提取；在生物信息学领域中，PCA被用于基因表达谱分析和蛋白质结构预测；在金融领域中，PCA被用于资产组合优化和风险管理。
二、PCA数学原理2.1 方差和协方差在介绍PCA的数学原理之前，我们需要先了解一些基本概念。
方差是衡量一个随机变量离其平均值的距离的度量，而协方差是衡量两个随机变量之间线性关系的度量。
2.2 特征值和特征向量特征值和特征向量是PCA中非常重要的概念。
在PCA中，我们需要将原始数据映射到一个新的特征空间中。
这个新的特征空间由一组正交的基向量组成，每个基向量都对应一个特征值。
这些基向量被称为特征向量，它们是通过求解协方差矩阵的特征值和特征向量得到的。
2.3 PCA步骤PCA可以分为以下几个步骤：（1）去均值化：将原始数据减去其均值，得到零均值数据。
（2）计算协方差矩阵：计算零均值数据的协方差矩阵。
（3）求解特征值和特征向量：对协方差矩阵进行特征分解，得到一组正交基向量和对应的特征值。
（4）选择主成分：根据前k个最大的特征值所对应的k个主成分，构建新的低维空间。
（5）映射到新空间：将原始数据映射到新的低维空间中。
三、PCA实例分析为了更好地理解PCA，我们可以通过一个简单的实例来说明其应用过程。
3.1 数据准备假设我们有一个包含两个变量（x和y）的数据集，其中每个变量都有10个观测值。
主成分分析（PCA）原理详解PCA的基本原理如下：1.数据标准化：对数据进行标准化处理，使得每个特征的均值为0，方差为1、这一步骤是为了保证不同特征的量纲一致，避免一些特征因数值过大而对分析结果造成影响。
2.计算协方差矩阵：协方差矩阵描述了数据特征之间的相关性。
通过计算标准化后的数据的协方差矩阵，可以得到不同特征之间的相关性信息。
3.计算特征值和特征向量：对协方差矩阵进行特征值分解，得到特征值和对应的特征向量。
特征向量表示了数据在各个方向上的投影情况，特征值则表示了各个特征向量的重要程度。
4.选择主成分：根据特征值的大小，选择最重要的K个特征向量作为主成分。
特征值越大，表示该特征向量所代表的特征在数据中的方差越大，所能解释的信息也越多。
5.构造降维后的数据集：将选取的K个特征向量组合成一个转换矩阵，将原始数据映射到新的K维空间中。
通过这个转换过程，可以实现降维并且保留较多的信息。
总结起来，PCA的主要思想是通过计算特征向量和特征值，找到数据中最重要的方向（主成分），然后通过投影到这些主成分上实现数据的降维。
PCA的应用包括数据可视化、特征选择、噪声过滤等。
例如，在数据可视化中，将高维数据降至二维或三维空间，有助于观察数据之间的分布情况。
在特征选择中，选择最能代表数据信息的主成分可以减少特征的数量，并且仍能保留较多的重要信息。
在噪声过滤中，提取数据中的主成分，滤除噪声成分，能够提高数据的质量和可靠性。
需要注意的是，PCA的有效性依赖于数据之间存在线性关系的假设。
对于非线性关系较强的数据，PCA不一定能够有效降维，这时可以采用核主成分分析等非线性降维方法。
以上是对PCA原理的详细解析。
通过PCA，我们能够将高维数据转换为一组更易理解和处理的低维特征，从而发现数据中的潜在结构、关系和模式，为后续分析和建模提供有益的信息。
主成分分析（PCA）数学原理详解PCA的数学原理可以分为以下几个步骤：1.数据中心化PCA首先将原始数据进行中心化处理，即将每个特征的均值减去相应特征的平均值，这是因为PCA假设数据围绕着原点分布，中心化可以消除数据的平移影响。
2.协方差矩阵的计算PCA的关键是计算数据的协方差矩阵。
协方差矩阵描述了不同特征之间的相关性。
对于一个n维的数据集，协方差矩阵是一个n×n的矩阵，其中第(i,j)个元素表示第i个特征和第j个特征的协方差。
协方差矩阵的计算公式如下：$C = \frac{1}{n-1} \sum _{i=1}^{n}(X_i - \overline{X})(X_i - \overline{X})^T$其中，X是一个n×m的矩阵，表示n个样本的m个特征，$\overline{X}$ 表示特征均值向量协方差矩阵是一个对称矩阵，通过对协方差矩阵的特征值分解，可以得到特征值和特征向量。
3.特征值和特征向量的计算对协方差矩阵进行特征值分解，可以得到特征值和对应的特征向量。
特征值代表了数据在特征向量方向上的方差，而特征向量表示了数据的主成分方向。
设协方差矩阵为C，有如下特征值方程：$Cv = \lambda v$其中，v是特征向量，λ是特征值。
将特征值按从大到小的顺序排序，选择前k个最大的特征向量，即主成分，作为新的基向量。
这些特征向量构成了一个新的坐标系，用于表示原始数据的新坐标。
4.数据转换将原始数据投影到新的坐标系上，得到降维后的数据。
设原始数据集为X，新的基向量为V（由前k个特征向量组成），降维后的数据集为Y，可以通过如下公式计算：$Y=XV$其中，X是一个n×m的矩阵，表示n个样本的m个特征，V是一个m×k的矩阵，Y是一个n×k的矩阵。
通过PCA降维，可以获得降维后的数据集Y，它是一个n×k的矩阵。
总结：主成分分析（PCA）通过计算数据的协方差矩阵，得到协方差矩阵的特征值和特征向量。
主成分分析（PCA）定义 主成分分析（Principal Component Analysis）也称为主分量分析，主要是利⽤降维的思想，把多指标转化为少数⼏个综合指标（即主成分），其中每⼀个主成分都能够反映原始变量的⼤部分信息，并且所含信息互不重复。
优点：降低数据的复杂性，识别最重要的多个特征。
缺点：不⼀定需要，且可能损失有⽤信息。
适⽤数据类型：数值型数据。
求解 PCA由所选的解码函数所决定。
具体地，为了简化解码器，使⽤矩阵乘法将编码映射回R n，即g(c) = Dc，其中D ∈R n×l是定义解码的矩阵。
⾸先，我们根据⼀个输⼊x得到⼀个最优编码c*。
⼀种⽅法是最⼩化原始输⼊向量x和重构向量g(c*)之间的距离。
可以使⽤范数来衡量他们之间的距离。
在PCA算法中，我们使⽤L2范数：c* = arg min c ||x - g(c)||2，我们可以⽤平⽅L2范数替代L2范数，因为两者在相同的值c上取得最⼩值（L2 范数是⾮负的，并且平⽅运算在⾮负值上是单调递增的。
）：c* = arg min c ||x - g(c)||22 = (x - g(c))T(x - g(c))=x T x - x T g(c) - g(c)T x + g(c)T g(c) （1.1） 标量 g(c)T x 的转置等于本⾝。
除去上式中不依赖与c的项，得到如下优化⽬标：c* = arg min c - 2 x T g(c) + g(c)T g(c) （1.2） 将g(c) = Dc代⼊上式，(矩阵D的正交性和单位范数约束)得c* = arg min c - 2 x T Dc + c T D T Dc = arg min c - 2 x T Dc + c T I l c = arg min c - 2 x T Dc + c T c （1.3） 通过向量微积分求解最优化问题：▽c( - 2 x T Dc + c T c ) = 0- 2 D T x + 2 c = 0解得 c = D T x 最优编码x只需要⼀个矩阵-向量乘法操作。
PCA(主成分分析)的原理与应用简介主成分分析（PCA）是一种常用的多变量数据降维技术，用于发现数据中的主要模式与关系。
通过PCA，可以将高维数据转换为低维表示，从而减少计算复杂度、去除冗余信息、提取关键特征等。
本文将介绍PCA的基本原理和常见的应用场景。
1. PCA的基本原理PCA的基本思想是通过线性变换将原始数据投影到新的坐标系中，新的坐标系由一组互相正交的基向量构成。
这些基向量被称为主成分，每个主成分都是原始数据的一个线性组合。
通过保留最重要的主成分，可以实现数据降维。
1.1 数据标准化在应用PCA之前，通常需要对原始数据进行标准化处理。
标准化可以使不同特征的数据具有相同的尺度，避免某些特征对PCA结果的影响过大。
常见的标准化方法有均值方差标准化和最大最小值标准化。
1.2 协方差矩阵与特征值分解PCA的核心是通过计算协方差矩阵来确定主成分。
协方差矩阵反映了不同维度之间的相关性。
通过对协方差矩阵进行特征值分解，可以得到特征值和特征向量。
特征值表示了数据在对应特征向量方向上的方差，特征向量则表示了变换后的坐标系中各维度的方向。
1.3 选择主成分在进行特征值分解后，主成分的选择是根据特征值的大小进行的。
通常保留较大的特征值对应的特征向量作为主成分，因为这些特征值表示了数据的主要变化模式。
1.4 重构数据通过选取主成分，可以将原始数据投影到新的坐标系中。
重构数据可以通过将原始数据乘以选取的主成分对应的特征向量来实现。
2. PCA的应用场景PCA有广泛的应用场景，以下列举一些常见的应用领域。
2.1 降维与特征选择在高维数据中，存在大量冗余和噪音信息。
通过使用PCA，可以将高维数据降低到较低的维度，并保留重要的特征，从而提高数据的表示效果和计算效率。
2.2 数据压缩与图像处理PCA在数据压缩和图像处理中也有广泛的应用。
通过PCA，可以用较少的数据表示信息量较大的图像，从而实现图像的压缩和存储。
同时，还可以对图像进行去噪、增强和特征提取等操作。
主成分分析法(PCA)在实际问题中.我们经常会遇到研究多个变量的问题.而且在多数情况下.多个变量之间常常存在一定的相关性。
由于变量个数较多再加上变量之间的相关性.势必增加了分析问题的复杂性。
如何从多个变量中综合为少数几个代表性变量.既能够代表原始变量的绝大多数信息.又互不相关.并且在新的综合变量基础上.可以进一步的统计分析.这时就需要进行主成分分析。
I. 主成分分析法(PCA)模型（一）主成分分析的基本思想主成分分析是采取一种数学降维的方法.找出几个综合变量来代替原来众多的变量.使这些综合变量能尽可能地代表原来变量的信息量.而且彼此之间互不相关。
这种将把多个变量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。
主成分分析所要做的就是设法将原来众多具有一定相关性的变量.重新组合为一组新的相互无关的综合变量来代替原来变量。
通常.数学上的处理方法就是将原来的变量做线性组合.作为新的综合变量.但是这种组合如果不加以限制.则可以有很多.应该如何选择呢？如果将选取的第一个线性组合即第一个综合变量记为1F .自然希望它尽可能多地反映原来变量的信息.这里“信息”用方差来测量.即希望)(1F Var 越大.表示1F 包含的信息越多。
因此在所有的线性组合中所选取的1F 应该是方差最大的.故称1F 为第一主成分。
如果第一主成分不足以代表原来p 个变量的信息.再考虑选取2F 即第二个线性组合.为了有效地反映原来信息.1F 已有的信息就不需要再出现在2F 中.用数学语言表达就是要求0),(21 F F Cov .称2F 为第二主成分.依此类推可以构造出第三、四……第p 个主成分。
（二）主成分分析的数学模型 对于一个样本资料.观测p 个变量p x x x ,,21.n 个样品的数据资料阵为：⎪⎪⎪⎪⎪⎭⎫⎝⎛=np n n p p x x x x x x x x x X 212222111211()p x x x ,,21=其中：p j x x x x nj j j j ,2,1,21=⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=主成分分析就是将p 个观测变量综合成为p 个新的变量（综合变量）.即⎪⎪⎩⎪⎪⎨⎧+++=+++=+++=ppp p p p pp p p x a x a x a F x a x a x a F x a x a x a F 22112222121212121111 简写为：p jp j j j x x x F ααα+++= 2211p j ,,2,1 =要求模型满足以下条件：①j i F F ,互不相关（j i ≠.p j i ,,2,1, =） ②1F 的方差大于2F 的方差大于3F 的方差.依次类推 ③.,2,1122221p k a a a kp k k ==+++于是.称1F 为第一主成分.2F 为第二主成分.依此类推.有第p 个主成分。
主成分分析（PCA）详解（附带详细公式推导）1.假设有一个m维的数据集X，其中每个数据点有n个样本。
需要将其降维到k维，且k<m。
2. 首先需进行数据的中心化，即对每个维度的数据减去该维度的均值，即X' = X - mean(X)。
3.然后计算协方差矩阵C=(1/n)*X'*X'^T，其中X'^T表示X'的转置。
4.对协方差矩阵C进行特征值分解，得到特征值和对应的特征向量。
5.接下来，将特征值按从大到小的顺序排列，选取前k个最大的特征值及其对应的特征向量。
6. 最后，将选取的k个特征向量组成一个投影矩阵W =[e1,e2,...,ek]，其中ei表示第i个特征向量。
7.对中心化的数据集进行降维，Y=W*X'，其中Y即为降维后的数据。
上述推导过程中，协方差矩阵C的特征值代表了数据的方差，特征向量则代表了数据的主成分。
选取最大的k个特征值和对应的特征向量，即实现了数据的降维。
PCA的应用包括但不限于以下几个方面：1.数据可视化：PCA能够将高维度的数据映射到二维或三维空间，从而方便数据的可视化展示。
2.数据预处理：PCA能够降低数据的维度，从而减少噪声和冗余信息，提升后续模型的精度和效率。
3.特征提取：PCA能够提取数据中最重要的特征，从而辅助后续建模和特征工程。
4.噪声过滤：PCA能够降低数据的维度，从而过滤掉一些无关的噪声信息。
需要注意的是，PCA只能应用于线性数据，并且假设数据的方差和协方差是固定的。
同时，PCA对于数据中非线性关系的捕捉能力较弱，因此在处理非线性数据时，需考虑使用其他非线性降维方法，如核主成分分析（Kernel PCA）等。
综上所述，PCA是一种常用的多变量数据降维技术，在数据分析和机器学习领域有着广泛的应用。
通过线性变换，PCA将高维度的数据投影到低维空间中，从而减少数据的维度，并保留了数据中的主要信息。
PCA原理1因为经常做一些图像和信号处理的工作，要用到主元分析（Principal Components Analysis）作为工具。
写出来供自己和朋友参考。
PCA是一种统计技术，经常应用于人面部识别和图像压缩以及信号去噪等领域，是在高维数据中提取模式的一种常用技术。
要了解PCA首先要了解一些相关的数学知识，这里主要介绍协方差矩阵、特征值与特征矢量的概念。
1、协方差矩阵协方差总是在两维数据之间进行度量，如果我们具有超过两维的数据，将会有多于两个的协方差。
例如对于三维数据（x, y, z维），需要计算cov(x,y)，cov(y,z)和cov(z,x)。
获得所有维数之间协方差的方法是计算协方差矩阵。
维数据协方差矩阵的定义为（1）这个公式告诉我们，如果我们有一个n维数据，那么协方差矩阵就是一个n行n 列的方矩阵，矩阵的每一个元素是两个不同维数据之间的协方差。
对于一个3维数据（x,y,z），协方差矩阵有3行3列，它的元素值为：(2)需要注意的是：沿着主对角线，可以看到元素值是同一维数据之间的协方差，这正好是该维数据的方差。
对于其它元素，因为cov（a,b）=cov（b,a），所以协方差矩阵是关于主对角线对称的。
2、特征值和特征矢量只要矩阵大小合适，就可以进行两矩阵相乘，特征矢量就是其中的一个特例。
考虑图2.1中两个矩阵和矢量乘法。
图2.1 一个非特征矢量和一个特征矢量的例子图2.2 一个缩放的特征矢量仍然是一个特征矢量在第一个例子中，结果矢量不是原来因子矢量与整数相乘，然而在第二个例子中，结果矢量是原来因子矢量的4倍，为什么会这样呢？该矢量是一个2维空间矢量，表示从原点(0,0)指向点(3,2)的箭矢。
方矩阵因子可以看作是转换矩阵，一个矢量左乘该转换矩阵，意味着原始矢量转换为一个新矢量。
特征矢量来自于转换特性。
设想一个转换矩阵，如果用其左乘一个矢量，映射矢量是它自身，这个矢量（以及它的所有尺度缩放）就是该转换矩阵的特征矢量。
主成分分析（principal components analysis，PCA）又称：主分量分析，主成分回归分析法什么是主成分分析法主成分分析也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。
它是一个线性变换。
这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。
主成分分析经常用减少数据集的维数，同时保持数据集的对方差贡献最大的特征。
这是通过保留低阶主成分，忽略高阶主成分做到的。
这样低阶成分往往能够保留住数据的最重要方面。
但是，这也不是一定的，要视具体应用而定。
[编辑]主成分分析的基本思想在实证问题研究中，为了全面、系统地分析问题，我们必须考虑众多影响因素。
这些涉及的因素一般称为指标，在多元统计分析中也称为变量。
因为每个变量都在不同程度上反映了所研究问题的某些信息，并且指标之间彼此有一定的相关性，因而所得的统计数据反映的信息在一定程度上有重叠。
在用统计方法研究多变量问题时，变量太多会增加计算量和增加分析问题的复杂性，人们希望在进行定量分析的过程中，涉及的变量较少，得到的信息量较多。
主成分分析正是适应这一要求产生的，是解决这类题的理想工具。
同样，在科普效果评估的过程中也存在着这样的问题。
科普效果是很难具体量化的。
在实际评估工作中，我们常常会选用几个有代表性的综合指标，采用打分的方法来进行评估，故综合指标的选取是个重点和难点。
如上所述，主成分分析法正是解决这一问题的理想工具。
因为评估所涉及的众多变量之间既然有一定的相关性，就必然存在着起支配作用的因素。
根据这一点，通过对原始变量相关矩阵内部结构的关系研究，找出影响科普效果某一要素的几个综合指标，使综合指标为原来变量的线性拟合。
一、简介PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题时，比如经常用的图像的查询问题，在一个几万或者几百万甚至更大的数据库中查询一幅相近的图像。
这时，我们通常的方法是对图像库中的图片提取响应的特征，如颜色，纹理，sift，surf，vlad等等特征，然后将其保存，建立响应的数据索引，然后对要查询的图像提取相应的特征，与数据库中的图像特征对比，找出与之最近的图片。
这里，如果我们为了提高查询的准确率，通常会提取一些较为复杂的特征，如sift，surf等，一幅图像有很多个这种特征点，每个特征点又有一个相应的描述该特征点的128维的向量，设想如果一幅图像有300个这种特征点，那么该幅图像就有300*vector（128维）个，如果我们数据库中有一百万张图片，这个存储量是相当大的，建立索引也很耗时，如果我们对每个向量进行PCA处理，将其降维为64维，是不是很节约存储空间啊？对于学习图像处理的人来说，都知道PCA是降维的，但是，很多人不知道具体的原理，为此，我写这篇文章，来详细阐述一下PCA及其具体计算过程：二、PCA详解1、原始数据：为了方便，我们假定数据是二维的，借助网络上的一组数据，如下：x=[2.5, 0.5, 2.2, 1.9, 3.1, 2.3, 2, 1, 1.5, 1.1]Ty=[2.4, 0.7, 2.9, 2.2, 3.0, 2.7, 1.6, 1.1, 1.6, 0.9]T2、计算协方差矩阵什么是协方差矩阵？相信看这篇文章的人都学过数理统计，一些基本的常识都知道，但是，也许你很长时间不看了，都忘差不多了，为了方便大家更好的理解，这里先简单的回顾一下数理统计的相关知识，当然如果你知道协方差矩阵的求法你可以跳过这里。
（1）协方差矩阵：首先我们给你一个含有n个样本的集合，依次给出数理统计中的一些相关概念：均值：标准差：方差：既然我们都有这么多描述数据之间关系的统计量，为什么我们还要用协方差呢？我们应该注意到，标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集，最简单的大家上学时免不了要统计多个学科的考试成绩。
主成分分析（PCA）主成分分析（Principal Component Analysis, PCA）是将原本鉴定到的所有代谢物重新线性组合，形成一组新的综合变量，同时根据所分析的问题从中选取2-3个综合变量，使它们尽可能多地反映原有变量的信息，从而达到降维的目的。
同时，对代谢物进行主成分分析还能从总体上反应组间和组内的变异度。
总体样本PCA 分析采用PCA 的方法观察所有各组样本之间的总体分布趋势，找出可能存在的离散样本，综合考虑各种因素（样品数，样品珍贵程度，离散程度）决定离散点的除去与否。
所有样本PCA 得分图见下图（对样本进行两两分析的PCA得分图）。
图1 主成分分析得分图百泰派克采用XCMS 软件对代谢物离子峰进行提取。
将25 个实验样本和QC 样本提取得到的峰，归一化后进行PCA 分析，如图所示QC 样本（黑色）紧密聚集在一起，表明本次试验的仪器分析系统稳定性较好，试验数据稳定可靠，在试验中获得的代谢谱差异能反映样本间自身的生物学差异。
图2 总样品的PCA得分图How to order?关于百泰派克北京百泰派克生物科技有限公司（Beijing Bio-Tech Pack Technology Company Ltd. 简称BTP）成立于2015年，是国家级高新技术企业，业务范围主要围绕蛋白和小分子代谢物检测两大板块，从事蛋白质和小分子代谢物的理化性质分析及结构解析等相关技术服务，为客户提供高性价比、高效率的技术服务。
深耕蛋白鉴定、定量蛋白组（iTRAQ/TMT、label free、DIA/SWATCH）、PRM靶蛋白定量、蛋白和抗体测序、蛋白修饰（二硫键、糖基化、磷酸化、乙酰化、泛素化等）、靶向和非靶向代谢物检测。
百泰派克生物科技检测平台包括：检测分析平台、蛋白质组学分析平台、代谢组学分析平台、蛋白质从头测序平台、生物制药分析平台和流式细胞多因子检测平台。
公司拥有独立的质谱实验室、色谱实验室、细胞培养室和免疫学实验室，以及高分辨率质谱仪和高效液相色谱。
主成分分析PCA一.K-L变换K-L变换是Karhunen-Loeve变换的简称，是一种特殊的正交变换。
它是建立在统计特性基础上的一种变换，有的文献也称其为霍特林（Hotelling）变换，因为他在1933年最先给出将离散信号变换成一串不相关系数的方法。
K-L变换的突出优点是它能去相关性，而且是均方误差（Mean Square Error，MSE）意义下的最佳变换。
下面就简单的介绍一下K-L变换了。
设，随机向量X ∈R n(n阶列向量)，它的均值向量为m X，则其协方差矩阵可以表示为C x= E{(X-m x)*(X-m x)T} （2.1）C x是一个n*n阶的实对称阵。
K-L变换定义了一正交变换A ∈R n*n，将X ∈R n的向量映射到用Y ∈R n代表的向量，并且使Y向量中各分量间不相关：Y = A*(X-m x) （2.2）因为Y的各分量间不相关，则其协方差矩阵C y为对角阵，即C y= diag(λ1,λ2,...,λn)而矩阵A总是可以找到的，因为对于实对称阵，总能找到一个正交阵A，使得AC x A T的运算结果为对称阵。
K-L变换中，将A的每一行取为C x的特征向量，并且将这些特征向量按对应的特征值大小进行降序排序，使最大特征值对应的特征向量在A的第一行，而最小特征值对应的特征向量在A的最后一行。
而C y是C x对角化后的结果，所以两个矩阵的特征值是一致的（λ1,λ2,...,λn）。
这样就可以通过矩阵A实现由随机向量X到随机向量Y的K-L变换了，而由X = A T Y +m x （2.3）就可以实现Y反变换到X。
若选择的最大k个特征值对应的k个特征向量，组成k×n 的转换矩阵A，则变换后Y降为k维的，则由Y对X的恢复公式如下：X‘ = A K Y +m x （2.4）这时候C y= diag(λ1,λ2,...,λk)，X与X’之间的均方误差可以由下式表达：λk+1+.λk+2...+λn（2.5）上面我们提到了对于特征值λ是从大到小排序的，那么这时候通过式子2.5可以表明通过选择k个具有最大特征值的特征向量来降低误差。
