特征提取与特征选择

将这些特征找出来 并进行合理表示就是 特征提取的任务；
8.1.2 特征提取的定义与必要性
定义：
特征提取(Feature Extraction)： 用映射（或变换）的方法把原始特征转换为数量较少的 新特征的过程。
必要性：
(1)过多的原始特征使得模式识别的计算复杂度过高； (2)在原始特征中包含有对分类没有帮助甚至有害的冗 余信息，需要去除；
3
x2 x3 x1
v1
2
1
步骤：
v2
1 2 3
2 / 3 1/ 3 （1）求协方差矩阵：C 1/ 3 2 / 3
（2）协方差矩阵的特征值分解：
（3）投影：yij
1 1
2 / 2 v1 2 / 2
2 1/ 3
2/2 v2 2 / 2
vi
y ji
为提取的第i个主方向 是测试样本x j 的第i个主成分（特征）
8.2.1 主成分分析（续）
例：已知三个样本的坐标如下图所示，试用主成分分析方法进行特征提取。
1 x 零均值化： 1 1 2 x2 3 3 x3 2 1 x1 1 0 x2 1 1 x3 0
（4）随机过程
（5）多元分析 “学以致用”；
1 2 3 4 5
0 1 0 1 0 0 1
转化成列向量
1 2 3
特征提取
“1”
1
0
0 35
1 33 0 34 0 35
x1 x x2
模式“1”的图片
（原始特征）
通过直接测量得到的特征称为原始特征；
8.1.1 特征提取的必要性（续）
例2：表情识别
原始特征过多，不利于识别；
vT i xj
y11 v1T x1 2
y12 vT 2 x1 0
8.2.1 主成分分析（续）
物理意义（二维情形）:
v2
v1
各样本点到

v1
方向的距离的平方和最小；
v1
方向与
v2
方向构成了新的坐标系；
PCA的实质是对原坐标系进行平移和旋转变换，使 得新坐标系的原点与给定样本集的均值点重合 。
Principal plane
x
PCA
x wz ε
先验:
p z ~ N 0, I
d / 2
2 给定： p x | z 2
exp x wz / 2 2

2

x
后验： p z | x ~ N x , M
2
x
Latent plane z PPCA
50 100
150
200

250 50
256×256 抽样
100
150
200
250
1
5
10
特征提取
1
15
20
提取的特 征个数
11
25
30 5 10 15 20 25 30
1024
32×32 =1024
（原始特征）
8.1.1 特征提取的必要性（续）
例3：指纹识别
指纹图象虽然很复 杂，但真正能用于识 别的特征并不多；
a12 s1 a22 s2
矩阵形式： x As
8.2.2 独立成分分析（续）
与主成分分析的区别
PCA ICA
Kurtosis 准则：
Kurt y E y 3 E y
4

2

2
投影
y vT x
y vT x
max Kurt y
GTM (Bishop, 1998, generative topographical mapping)
8.2.3 其它特征提取方法简介（续）
主成分分析
混合概率主成分分析
主曲线分析
三种特征提取方法比较
在三种特征提取方法中，主曲线分析方法效果最好；
8.2.3 其它特征提取方法简介（续）
例：用主曲线提取手写数字特征
or
Negentropy准则：
J y H y gauss H y
求取 原则
算法
max D y
max
J y
H y p y log p y dy
特征值 分解
非线性数 值优化
8.2.2 独立成分分析（续）
例：用独立成分分析分离混合信号
例：用核主成分分析方法进行特征提取
PCA
. 第一主方向 第二主方向
KPCA
原始样本
第一主方向
第二主方向
第三主方向
8.3
特征选择的基本概念
8.3.1 特征选择的必要性
特征选择(Feature Selection)：
从原始特征中挑选出一些最有代表性、可分性能最好的特征。
例：二维特征选择
1 1
1
1 1
-1 若只选择第1个特征
1 若只选择第2个特征
1
-1 1
1
-1
1
1
8.3.2 特征选择面临的问题及解决之道
特征选择面临的两个问题： （1）有一个选择的标准。即要选出使某一可分性达最大的一组特征； （2）找一个较好的算法。即要在允许的时间内找出最优的一组特征；
8.2.1 主成分分析（续）
物理意义（三维情形）:
若样本呈椭
球状分布，则三 个主方向分别是 椭球的三个轴。
8.2.1 主成分分析（续）
源代码解析： function [v,latent,explained,xtest_project]=lpca(x,xtest,numpc) % % % % x xtest v numpc - 学习样本 - 测试样本 - 提取的特征向量 - 提取的特征数目
主成分分析
提取的特征间不相关;
独立成分分析
提取的特征间相互独立;
8.2.2 独立成分分析（续）
研究动机：鸡尾酒问题
s1
x1 x2
Speaker (Sources) Recorder
已知： x1 未知：
a11 a21
x2
a12 a22
s2
待求： s1
s2
x1 a11 x2 a21
Mixture Sources
x1 a11 x2 a21 x a 3 31
a12 a22 a32
a13 s1 a23 s2 a33 s3
8.2.3 其它特征提取方法简介
概率主成分分析（PPCA）：
不同的主曲线提取方法对比
用主曲线提取的特征
人工提取上述特征容易，用计算机提取上述特征困难些；
8.2.3 其它特征提取方法简介（续）
核主成分分析（KPCA）：
R
KPCA： 在核空间 中进行主 成分分析

F
R
F
(x1 )
(x 2 )
v
v
ＰＣＡ
ＫＰＣＡ
8.2.3 其它特征提取方法简介（续）
PPC (K. Y. Chang, 1998,)
BR (Banfield and Raftery, 1992) 主曲线 T (Tibshirani, 1992) D (Delicado, 2001) PCA
K (Ké gl, 1999)
RPM (Smola, 1999)
HS (Hastie and Stuetzle, 1988)
独立
相关系数：
Cov x, y D x D y
P x, y p x p y
两个随机变量不相关，它 们不一定相互独立； 两个随机变量相互独立， 它们一定不相关；
0
不相关 完全相关
1 a, b
Py a bx 1
1 N 保证 xi 0 N i 1
[n,m] =size(x); [ntest,mtest]=size(xtest); avg = mean(x);
8.2.1 主成分分析（续）
centerx = (x - avg(ones(n,1),:)); avgtest=mean(xtest); centerxtest=(xtest-avg(ones(ntest,1),:)); [U,latent,v] = svd(centerx./sqrt(n-1),0); latent = diag(latent).^2;
（2）特征值 分解： （1）求协 方差矩阵：
1 N C xi xT i N i 1
Cvi i vi
（3）投影：
xtest_project=centerxtest*v(:,1:1:numpc);
y vT i x
8.2.2 独立成分分析
预备知识：不相关与独立
不相关 已知两个随机变量 x 和 y ，有
8.2.3 其它特征提取方法简介（续）
混合概率主成分分析（MPPCA）：
PPCA
PPCA使得PCA具有概率背景；
MPPCA
MPPCA具备更精细的特征分析功能；
8.2.3 其它特征提取方法简介（续）
主曲线（PC）与主曲面（PS）分析：
HS (Hastie and Stuetzle, 1988)
PPS (K. Y. Chang, 2001, probabilistic principal surfaces) 主曲面 APS (LeBlanc, 1994, adaptive principal surfaces) SOM (Kohonen, 1995, self-organizing maps)
8.2
常见特征提取方法
8.2.1 主成分分析
前提:
1 N xi 0 N i 1
（首先检查样本的均值是否为0， 若不为0，则进行零均值化）
1 N T 步骤： （1）求协方差矩阵： C xi xi N i 1
（2）协方差矩阵的特征值分解： Cvi i vi
T y v （3）投影： ji i xj
第8章 特征提取与特征选择
Chapter 8: Feature extraction and feature selection
本章主要内容
8.1
8.2 8.3
wenku.baidu.com
特征提取的基本概念
常见特征提取方法 特征选择的基本概念
(熟悉)
(重点)
(熟悉)
8.1
特征提取的基本概念
8.1.1 特征提取的必要性
例1：数字识别
常用特征选择方法 最优搜索算法； （教材P199） 次优搜索算法； （教材P202）
特征选择的几种新方法：（教材P205） （1）模拟退火算法； （2）Tabu搜索算法； （3）遗传算法；
附：向大家推荐的10门数学课：
（1）最优化理论
（2）矩阵论 （3）离散数学 （6）计算方法 （7）数学物理方程 （8）微分方程数值解 （9）模糊数学 （10）泛函分析 数学是解决问题的利器；