pca 原理

【模式识别】PCA原理、推导及实现

⽬录

主成分分析

主成分分析(Principal Component Analysis, PCA) 是⼀种线性的特征提取⽅法，同时也是⼀种线性的降维(dimensionality reduction)⽅法.

PCA的原理推导可以从两⽅⾯进⾏最⼤化⽅差法最⼩平⽅误差，其中最⼩平⽅误差法是通过求解⼀个线性函数实现对样本中每个点的拟合，所以设定的优化⽬标函数是到样本中所有元素的

距离的总和最⼩；最⼤化⽅差法就是找到⼀组基向量，使得当原数据变换到以该组基向量组成的坐标中时可以保留最多的原始信息，⽽原始信息的多少是通过⽅差来衡量。

下⽂通过最⼤化⽅差法来推导步骤和原理。

1.前提知识：矩阵的线性变换

以坐标(1,1)(2,2)(3,3)为例，若将这三个数据点变换到以(1√2,1√2)(−1√2,1√2)为基的坐标中，则相应的坐标该是多少？(这种也叫在新的基空间中的投影值是多少？)

在原坐标空间中，基底是(1,0)(0,1),所以这⼏个数据点的坐标表⽰如下：

1001123123=123123

当空间的基底变为(1√2,1√2)(−1√2,1√2)时，则原数据点的坐标在此空间中可以表⽰为：

1√2−1√21√21√2123123=0002√24√26√2

从上述的计算可以看出，某原始数据点(⽤列向量表⽰)左乘⼀个基矩阵(⽤⾏向量表⽰)，所得结果就是原始数据点在新的基坐标空间中的坐标表⽰(⽤列向量表⽰)或者叫投影值。

其实⽤向量内积来看的话，某数据点向量(坐标)与空间中的基向量分别作内积，则与每⼀个基向量都会得到⼀个内积的标量，⽽把这⼏个标量组合起来表⽰成向量形式，就是该数据点

在这个基向量空间中的坐标表⽰(投影)

将以上形式推⼴，若有m个数据向量(列向量)，有n个基向量，则这m个数据向量在这n个基向量的空间中的坐标表⽰(投影值)可以这样计算:

K1K2K3⋮KnP1P2P3⋯Pm=K1P1K1P2⋯K1PmK2P1K2P2⋯K2PmK3P1K3P2⋯K3Pm⋮⋮⋱⋮KnP1KnP2⋯KnPm=A

PCA-主成分分析的原理及解释

主成分分析（principal component analysis，PCA）PCA利⽤正交变换将线性相关变量表⽰的观测数据转换为少数⼏个由线性⽆关变量表⽰的数据。

线性⽆关的变量称为主成分，其个数通常⼩于原始变量的个数，所以属于⽆监督学习中的降维⽅法。

⼀、PCA的解释—最⼤⽅差理论

由上图可以看到，x1和x2两个变量之间具有线性相关性。已知其中⼀个变量x1的取值时，对另⼀个变量x2的预测不是完全随机的，反之亦然。

为了减少这种相关性，我们对坐标系进⾏旋转变换（正交变换），将数据投影到新坐标系的坐标轴上，那如何选择坐标系呢？

我们将数据在每⼀轴上的坐标值的平⽅表⽰相应变量的⽅差，并且这个坐标轴上的⽅差是最⼤的（在所有可能的新坐标系中）。找到第⼀坐标轴后，然后选择与第⼀坐标轴

正交，且⽅差次之的⽅向作为第⼆坐标轴，如上图(b)。

主成分分析旨在选取正交变换中⽅差最⼤的变量，那为什么⽅差最⼤，变量之间的相关性越⼩？

答：数据在某个⽅向上的轴的⽅差越⼤，那么说明数据分布得更为分散，相关性越⼩。在信号处理领域，信号具有较⼤的⽅差，噪声具有较⼩的⽅差，信号与噪声之⽐称为

信噪⽐。⽽信噪⽐越⼤，意味着数据的质量越好。

回忆⼀下，线性代数的相关内容？

正交矩阵：满⾜条件ATA=E或者AAT=E的n阶⽅阵称为正交矩阵。

判定正交矩阵的充分必要条件为：A的列（⾏）向量都是单位向量，且两两正交。

设A为正交矩阵，则线性变换y=Ax称为正交变换。正交变换保证向量的内积和长度不变，具有保形性。

回忆⼀下，协⽅差和相关系数的知识？

协⽅差和相关系数都可以⽤来描述两个分量之间相互关系的数字特征。

协⽅差Cov(X,Y)=E[(X−EX)(Y−EY)]。

相关系数ρXY=Cov(X,Y)√DX⋅√DY。

相关系数（协⽅差）变⼤，X与Y的线性相关程度就变⼤。推导：

Processing math: 100%矩阵和向量求导的相关公式：：

matlab pca函数详解 -回复

PCA (Principal Component Analysis)是一种常用的降维技术，它通过线性变换将原始数据转换为一组新的无关变量，称为主成分。本文将详细介绍Matlab中的PCA函数，并逐步解释其使用方法和原理。

一、PCA函数介绍

在Matlab中，pca函数用于执行PCA操作。其语法如下：

[coeff,score,latent,tsquared,explained,mu] = pca(X)

其中，X表示输入的数据矩阵。接下来，让我们逐个解释每个输出变量的含义和用法。

1. coeff：主成分系数矩阵

coeff是一个大小为[p,p]的矩阵，其中p是原始数据矩阵X的列数。每一列是一个主成分向量，按照特征值降序排列。通过将数据投影到主成分系数矩阵的列向量上，可以得到降维后的数据。

2. score：主成分得分矩阵

score是一个大小为[n,p]的矩阵，其中n是原始数据矩阵X的行数。它表示每个样本在每个主成分上的得分。得分可以用于可视化和分类等任务。

3. latent：主成分的特征值向量

latent是一个长度为p的向量，其中存储了每个主成分的特征值。特征值可以用来评估每个主成分的重要性。

4. tsquared：每个样本的Hotelling T平方统计量

tsquared是一个大小为[n,1]的矩阵，其中存储了每个样本在投影空间中的Hotelling T平方统计量。该统计量可以用于检测异常值。

5. explained：方差解释百分比向量

explained是一个长度为p的向量，其中存储了每个主成分解释的方差百分比。它可以帮助我们选择保留多少主成分。通常，我们选择解释方差百分比大于某个阈值的主成分。

6. mu：每个特征的均值向量

mu是一个长度为p的向量，其中存储了每个特征的均值。在PCA执行之前，数据会被减去均值，以确保每个特征的均值为零。

PCA原理1

因为经常做一些图像和信号处理的工作，要用到主元分析（Principal Components

Analysis）作为工具。写出来供自己和朋友参考。

PCA是一种统计技术，经常应用于人面部识别和图像压缩以及信号去噪等领域，是在高维数据中提取模式的一种常用技术。要了解PCA首先要了解一些相关的数学知识，这里主要介绍协方差矩阵、特征值与特征矢量的概念。

1、 协方差矩阵

协方差总是在两维数据之间进行度量，如果我们具有超过两维的数据，将会有多于两个的协方差。例如对于三维数据（x, y, z维），需要计算cov(x,y)，cov(y,z)和cov(z,x)。获得所有维数之间协方差的方法是计算协方差矩阵。维数据协方差矩阵的定义为

（1）

这个公式告诉我们，如果我们有一个n维数据，那么协方差矩阵就是一个n行n列的方矩阵，矩阵的每一个元素是两个不同维数据之间的协方差。

对于一个3维数据（x,y,z），协方差矩阵有3行3列，它的元素值为：

(2) 需要注意的是：沿着主对角线，可以看到元素值是同一维数据之间的协方差，这正好是该维数据的方差。对于其它元素，因为cov（a,b）=cov（b,a），所以协方差矩阵是关于主对角线对称的。

2、特征值和特征矢量

只要矩阵大小合适，就可以进行两矩阵相乘，特征矢量就是其中的一个特例。考虑图2.1中两个矩阵和矢量乘法。

图2.1 一个非特征矢量和一个特征矢量的例子

图2.2 一个缩放的特征矢量仍然是一个特征矢量

在第一个例子中，结果矢量不是原来因子矢量与整数相乘，然而在第二个例子中，结果矢量是原来因子矢量的4倍，为什么会这样呢？该矢量是一个2维空间矢量，表示从原点(0,0)指向点(3,2)的箭矢。方矩阵因子可以看作是转换矩阵，一个矢量左乘该转换矩阵，意味着原始矢量转换为一个新矢量。

特征矢量来自于转换特性。设想一个转换矩阵，如果用其左乘一个矢量，映射矢量是它自身，这个矢量（以及它的所有尺度缩放）就是该转换矩阵的特征矢量。 特征矢量有什么特性呢？首先只有方阵才有特征矢量，而且并不是所有方阵都有特征矢量，如果一个nXn方阵有特征矢量，那么它有n个特征矢量。