第六部分：特征提取及选择六
z基本概念
z类别可分性判据
z特征选择中的直接挑选法
(一)基本概念
数据获取预处理特征提取
与选择信号空间
特征空间
与择分类
分类决策
分类器设计特征的提取与选择是模式识别中重要而困难的一个环节： 分析各种特征的有效性并选出最有代表性的特征是模式识别的关键一步。
降低特征维数在很多情况下是有效设计分类器的重要课题
课题。
1 三大类特征
物理、结构和数学特征
物理和结构特征：易于为人的直觉感知，但有
易于为人的直觉感知但有时难于定量描述，因而不易用于机器判别。时难于定量描述，因而不易用于机器判别
数学特征：易于用机器定量描述和判别，如基于统计的特征。
两类鱼
Sea bass Sea bass
Salmon
Pattern
Classification
特征1：长度
特征2：亮度
2 特征形成及实例
特征形成(acquisition)：
信号获取或测量→→原始测量
¾信号获取或测量
¾原始特征
实例：
¾数字图象中的各像素灰度值
¾人体的各种生理指标
原始特征分析：
¾原始测量不能反映对象本质
¾高维原始特征不利于分类器设计：计算量大，冗余，样本分布十分稀疏。
3 获取有效信息的方法
类提取有效信息、压缩特征空间的方法：：
两类提取有效信息、压缩特征空间的方法
和特征选择
特征提取和特征选择
特征提取
特提特选
特征提取(extraction)：用映射（或变换）的方法把原
始特征变换为较少的新特征。
特征选择(selection)从原始特征中挑选出一些最有代 ()：从原始特征中挑选出些最有代
表性，分类性能最好的特征。
的选择与提取与具体问题有很大关系，目前没有特征的选择与提取与具体问题有很大关系，目前没有特征的选择与提取与具体问题有很大关系
* 特征
的选择与提取与具体问题有很大关系目前没有理论能给出对任何问题都有效的特征选择与提取方法。
4 特征的选择与提取举例
细胞自动识别：
原始测量：（正常与异常）细胞的数字图像
原始特征：（特征的形成，找到一组代表细胞性质的特征）：细胞面积，胞核面积，形状系数，光密度，核内纹理核浆比
纹理，核浆比
压缩特征：原始特征的维数仍很高，需压缩以便于分类•特征选择：挑选最有分类信息的特征
特征选择挑选最有分类信息的特征
•特征提取：数学变换
–傅立叶变换或小波变换
–用PCA方法作特征压缩
(max)
)'J →5 目的及方法
目的：1212(,,,)'(,,,', n m x x x x y y y y m n
=→=L L 直接选择法
分支定界法；
用回归建模技术确定相关特征等方法。
变换法
在使判据J →max 的目标下，对n个原始特征进行变换降维，即对原n维特征空间进行坐标变换，然后再取子空间。主要方法有：
基于可分性判据的特征选择 基于误判概率的特征选择 离散K-L 变换法(DKLT )(
基于决策界的特征选择等方法。
(二)类别可分性判据：(Class Separability Measures) 1 概述
准则—类别可分性判据:刻划特征对分类的贡献。 构造的可分性判据J ij 应满足下列要求：
(1) 与误分概率P(e)(或误分概率的上界、下界)有单调关系，J ij 最大值时，P(e)最小。
(2) 当特征相互独立时，判据有可加性，即
d
J x x x J x =L 121
(,,,)()
ij d ij k k =∑式中x k ，是对象不同种类特征的测量值，J ij (●)表示j 使用括号中特征时第i 类与第j 类的可分性判据函数。
(3)判据具有“距离”的某些特性：
0J ij >0，当i ≠j 时J ij =0，当i=j 时J J ij = J ji
(4) J ij 对特征数目单调不减，即加入新的特征后，判据值
不减
L L 12121(,,,)(,,,,)
ij d ij d d J x x x J x x x x +≤所构造的可分性判据并不一定要求同时具有上述四个性质。
用两类概密函数的重迭程度来度量可分性，构造3 基于类概率密度函数的可分性判据
基于类概密的可分性判据J p ，它应满足：1) J p ≥0；
2)当两类密度函数完全不重迭时，J p =max ；3)当两类密度函数完全重合时，J p =0；4)相对两个概密具有“对称性”。
1(|)
p x ωr 12(|)(|)
p x p x ωω=r r 2(|)
p x ωr (a)(b)
(1) Bhattacharyya 判据(J B )⎧(受相关定义与应用的启发，构造B-判据)
[]1/212ln (|)(|)B J p x p x dx ωω⎫=−⎨⎬
∫r r
r Ω⎩⎭
在最小误分概率准则下，误分概率
[][]
1/2
012()()()exp B P e P P J ωω≤−
