当前位置：文档之家 › 模式识别 第七章 特征提取与选择

模式识别 第七章 特征提取与选择

  • 格式：ppt
  • 大小：1.29 MB
  • 文档页数：49

下载文档原格式

  / 49

合集下载

模式识别(7-2)特征的选择与提取

模式识别(7-2)特征的选择与提取



5 4
,

54
试用K-L变换作一维数据压缩。
思路：1）求总体均值向量；2）求产生矩阵ψ ； 3）求产生矩阵的特征值λi 及特征向量 i ；
4）按λi排序，确定变换矩阵W； 5）利用 y W T x 求新的一维样本。
K－L变换的一些典型应用
上面我们从数学的角度分析了K-L变换的 性质。归结起来，它消除了各分量之间的 相关性，因而用它来描述事物时，可以减 少描述量的冗余性，做到用最经济有效的 方法描述事物。下面结合一些应用实例来 说明如何运用K-L变换的这一性质。
但是由于它的正交基函数族是从训练样本集中计算出 来的，因此并不存在一种对任何数据都适用的K-L变 换基，一般的作法是先用一组训练数据计算出K-L变 换基，然后用这组基来分析其它数据。
K－L变换的性质
K－L变换的性质
K－L变换的性质
K－L变换的产生矩阵
当样本所属类别未知时：
x的相关函数矩阵 x的协方差矩阵
§7.3 基于K－L展开式的特征提取
图6-3b
图6-3(b)中的向量A与B在一个二维空间定义，它们两者分别含有成 分为(a1,a2)与(b1,b2)，a1与b1是两者的同一种成分，a2与b2则是 另一种成分。故它们的点积定义为a1b1+a2b2，在这种条件下就不 需要积分，而只是简单求和。
§7.3 基于K－L展开式的特征提取
K－L变换的一些典型应用
4．人脸图象合成
用K-L变换构造参数模型的另一种典型用途是人 脸图象合成。从下面的例子中可以看出，有目 的地控制各个分量的比例，也就是通过调整参 数向量。可以将一幅不带表情图象改变成带各 种表情的图象，称为人脸表情图象合成。
为了对复杂事物进行经济有效的描述，我们希望将其分解 成相互独立的成分，譬如我们分析其快速变化的成分时， 就希望它只不再混杂其它成分。
特征选择和特征提取

特征选择和特征提取

细胞自动识别：
原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质
的特征）：细胞面积，胞核面积，形状系数，光 密度，核内纹理，核浆比
压缩特征：原始特征的维数仍很高，需压缩以便 于分类
• 特征选择：挑选最有分类信息的特征 • 特征提取：数学变换
– 傅立叶变换或小波变换 – 用PCA方法作特征压缩
– 特征值
对于一个N N的矩阵A，有N个标量k，k 1， N，满足 A k I 0 k 称为矩阵的一组特征值。
如果给定的矩阵是奇异的，那么N个特征值中至
少有一个为0。
矩阵的秩
定义为矩阵非零特征值的个数。
矩阵的条件数 定义为最大特征值与最小特征值
的比值的绝对值。
病态矩阵
条件数很大。
jd1
jd1

因为uj是确定性向量，所以有


u T jE x xT uj u T jR uj
j d 1
j d 1
R r ij E (x ix j) E x x T
求解最小均方误差正交基
特征 提取
用Lagrange乘子法，可以求出满足正交条件下的ε 取极值时 的坐标系统：
特征形成 (acquisition)： 信号获取或测量→原始测量 原始特征
实例： 数字图象中的各像素灰度值 人体的各种生理指标
原始特征分析： 原始测量很大程度上不能反映对象本质
高维原始特征不利于分类器设计：计算量大， 冗余，样本分布十分稀疏。
二、特征的选择与提取
两类提取有效信息、压缩特征空间的方法： 特征提取和特征选择
PCA的求解：特征向量常被叫做“主分量”，每个样 本被它在前几个主分量上的投影近似表示，U张成的空 间称为原空间的子空间，PCA实际上就是在子空间上的 投影.
特征提取与特征选择的区别与联系(七)

特征提取与特征选择的区别与联系(七)

特征提取与特征选择的区别与联系特征提取和特征选择是机器学习和模式识别领域中常用的两种特征处理方法。

它们都是在原始特征空间中对特征进行加工和处理，以便更好地应用于后续的分类、聚类或回归任务。

虽然它们都是对特征进行处理，但是它们的目的和方法却有很大的不同。

下面我们将详细探讨特征提取与特征选择的区别与联系。

特征提取是指从原始特征中抽取出新的特征表示。

在实际应用中，原始特征往往具有冗余和噪声，通过特征提取可以将原始特征进行变换，得到更具有辨识度和可分性的特征表示。

常见的特征提取方法包括主成分分析（PCA）、线性判别分析（LDA）、独立成分分析（ICA）等。

这些方法通过线性或非线性的变换，将原始特征映射到一个新的特征空间中，以便更好地进行后续的分类或聚类任务。

特征选择则是从原始特征中选择出子集，以降低维度、提高模型的泛化能力和减少计算复杂度。

特征选择方法包括过滤式、包裹式和嵌入式三种。

过滤式方法通过对特征进行打分或排序，然后选择得分高的特征作为子集；包裹式方法则是将特征选择看作一个搜索问题，针对具体的学习算法进行搜索；嵌入式方法则是将特征选择融入到学习器的训练过程中。

这些方法都是通过评估特征子集的质量，选择对模型性能影响最大的特征子集。

特征提取和特征选择在目的和方法上存在着很大的不同。

特征提取的目的是通过变换原始特征，得到更具有可分性和辨识度的新特征表示，从而提高模型的性能；而特征选择的目的则是通过选择出对模型性能影响最大的特征子集，降低维度、提高泛化能力和减少计算复杂度。

从方法上看，特征提取是通过线性或非线性的变换，将原始特征映射到一个新的特征空间中；而特征选择则是在原始特征空间中进行子集选择，保留对模型性能影响最大的特征子集。

特征提取和特征选择虽然在目的和方法上有很大的不同，但是它们之间也存在着联系。

首先，特征提取可以看作是一种特殊的特征选择，它通过对原始特征进行变换和映射，得到一个新的特征表示，实质上也是在选择对模型性能影响最大的特征子集。

特征选择、特征提取MATLAB算法实现（模式识别）

特征选择、特征提取MATLAB算法实现（模式识别）

特征选择、特征提取MATLAB算法实现（模式识别）6特征选择6.1问题对“threethreelarge.m”数据，采⽤任意⼀种特征选择算法，选择2个特征6.2思路采⽤简单特征选择法（simple feature selection approach）,⾸先计算每⼀个特征的分类能⼒值，再选择出其中最⼤分类能⼒的l个特征。

6.3结果eigs=8.92340.00000.0767SelectedFeature=13也就是说，选取x和z坐标作为特征。

6.4代码%特征选择代码，见FSthrthrlrg.m⽂件m1=[0,0,0];m2=[0,0,0];m3=[0,0,0];m=[0,0,0];for i=1:200m1(1)=m1(1)+(x1(i,1)-m1(1))/i;m1(2)=m1(2)+(x1(i,2)-m1(2))/i;m1(3)=m1(3)+(x1(i,3)-m1(3))/i;end;for i=1:190m2(1)=m2(1)+(x2(i,1)-m2(1))/i;m2(2)=m2(2)+(x2(i,2)-m2(2))/i;m2(3)=m2(3)+(x2(i,3)-m2(3))/i;end;for i=1:210m3(1)=m3(1)+(x3(i,1)-m3(1))/i;m3(2)=m3(2)+(x3(i,2)-m3(2))/i;m3(3)=m3(3)+(x3(i,3)-m3(3))/i;end;m(1)=(m1(1)+m2(1)+m3(1))/3;m(2)=(m1(2)+m2(2)+m3(2))/3;m(3)=(m1(3)+m2(3)+m3(3))/3;sw1=zeros(3,3);sw2=zeros(3,3);sw3=zeros(3,3);sw=zeros(3,3);sb=zeros(3,3);for i=1:200sw1=sw1+([x1(i,1),x1(i,2),x1(i,3)]-m1)'*([x1(i,1),x1(i,2),x1(i,3)]-m1);end;for i=1:190sw2=sw2+([x2(i,1),x2(i,2),x2(i,3)]-m2)'*([x2(i,1),x2(i,2),x2(i,3)]-m2);end;for i=1:210sw3=sw3+([x3(i,1),x3(i,2),x3(i,3)]-m3)'*([x3(i,1),x3(i,2),x3(i,3)]-m3);end;N1=200;N2=190;N3=210;N=N1+N2+N3;p1=N1/N;p2=N2/N;p3=N3/N;sw1=sw1/N1;sw2=sw2/N2;sw3=sw3/N3;sw=p1*sw1+p2*sw2+p3*sw3;sb=p1*(m1-m)'*(m1-m)+p2*(m2-m)'*(m2-m)+p3*(m3-m)'*(m3-m);s=inv(sw)*sb;j1=trace(s)eigs=eig(s)';eigsIndex=[1,2,3];%冒泡法排序，注意的是特征值顺序变化的同时要与相对应的下标同步for i=1:3for j=i:3if(eigs(i)eigstemp=eigs(i);eigs(i)=eigs(j);eigs(j)=eigstemp;eigsIndextemp=eigsIndex(i);eigsIndex(i)=eigsIndex(j);eigsIndex(j)=eigsIndextemp;end;end;end;%降序排列后的特征值，直接选取前L个特征SelectedFeature=[eigsIndex(1),eigsIndex(2)]%FSthrthrlrg.m程序结束6.5讨论从实验结果中我们可以看到y特征的分类能⼒最⼩，这⼀点可以从实验数据中得到验证——三类数据在y⽅向的分布⼏乎是相同的（见下图）。

模式识别7-特征选择和提取

模式识别7-特征选择和提取

为一般来说，原来的n个数据各自在不同程度上反映
了识别对象的某些特征，简单地删去某些特征可能会
丢失较多的有用信息。
• 如果将原来的特征做正交变换，获得的每个数据都是
原来n个数据的线性组合，然后从新的数据中选出少
数几个，使其尽可能多地反映各类模式之间的差异，
而这些特征间又尽可能相互独立，则比单纯的选择方
➢遗传算法
单独最优特征组合
特征
选择
计算各特征单独使用时的可分性判据J并加
以排队，取前d个作为选择结果
不一定是最优结果
当可分性判据对各特征具有(广义)可加性，
该方法可以选出一组最优的特征来，例：
➢各类具有正态分布
➢各特征统计独立
➢可分性判据基于Mahalanobis距离
d
J ij ( x1 , x2 ,..., xd ) J ij ( xk ) J D (x) (μi μ j )T 1(μi μ j )
k 1
顺序前进法
特征
选择
自下而上搜索方法。
每次从未入选的特征中选择一个特征，使得
它与已入选的特征组合在一起时所得的J值
为最大，直至特征数增加到d为止。
该方法考虑了所选特征与已入选特征之间的
相关性。
顺序后退法
特征
选择
该方法根据特征子集的分类表现来选择特征
搜索特征子集：从全体特征开始，每次剔除
➢ 当特征独立时有可加性：
k 1
➢ 单调性：
J ij ( x1 , x2 ,..., xd ) J ij ( x1 , x2 ,..., xd , xd 1 )
常见类别可分离性判据：基于距离、概率分布、熵
函数
模式识别(7-1)特征的选择与提取

模式识别(7-1)特征的选择与提取

细胞自动识别：
原始测量：（正常与异常）细胞的数字图像
原始特征（特征的形成，找到一组代表细胞性质的 特征）：细胞面积，胞核面积，形状系数，光密度， 核内纹理，和浆比
压缩特征：原始特征的维数仍很高，需压缩以便于 分类
特征选择：挑选最有分类信息的特征 特征提取：数学变换
傅立叶变换或小波变换 用PCA方法作特征压缩
基于距离的可分性判据
计算所有样本平均距离作为判据 Jd (x) tr(Sw Sb )
其中“tr”表示矩阵的迹（对角线元素的和）。
各类特征向量之间的平均距离可写成：
1
Jd (x) 2
c
Pi
i 1
c
Pj
j 1
1 nin j
ni n j
(xk(i) , xl( j) )
k 1 l 1
其中Pi、Pj 分别表示各类的先验概率，ni、nj分别是第i与j
基于距离的可分性判据
如果推广至c类别情况，同时考虑各类的先验概率Pi 不等，则可将上列各式表示成：
c
Sb = Pi(mi m)(mi m)T i 1 c
Sw = PiEi[(mi m)(mi m)T ] i 1
其中， m 为总均值向量，Pi表示各类别的先验
概率，Ei表示i类的期望符号。
基于距离的可分性判据
Fisher准则时曾用过两个描述离散度的矩阵。一个 是类间离散矩阵Sb
Sb = (m1 - m2 )(m1 - m2 )T
另一个是类内离散度矩阵SW
Si = (x - mi )(x - mi )T , xX i
Sw = S1 + S2
i 1, 2
以上式子是针对两类别情况的，如果推广至c 类别情况？
)T (x(ki)
第七章特征选择与提取

第七章特征选择与提取


7.3.2 非最优搜索方法
非最优，但某些情况下最优，实现简单
（1）单独最优组合
选前d 个单独最佳的特征
（2）SFS 法（Sequential Forward Selection：顺序前进，前向贯序）
从底向上
每加入一个特征寻优一次，使加入该特征后所得组合最大
特点：考虑了特征间的相关性，但某特下一经入选，即无法淘汰
将
m个特征变为 m 2 个新特征 --- 二次特征
最简单为线性变换：
或从等维变换中选择若干个（cf，K－L，PCA）
必要时也可进行升维（非线性）变换
➢监督的特征选择与提取：以训练样本为依据
➢非监督的特征选择与提取：
从未知数据出发，需利用知识或假定。比如以方差最大为准则
为什么要进行特选择与提取？
计算上的考虑
变换为新特征，称为特征提取。例如傅立叶变换，小波变换，PCA变换，
ICA变换，Gabor变换，一些几何、统计特征等
特征选择(Feature Selection)：从原始特征中挑选出一些最有代表性、
可分性能最好的特征来，称为特征选择。
Made in CV&PRLab of SDU
➢特征提取（特征变换，特征压缩）
当各类协差相差不大时，用此种判据较好。
Made in CV&PRLab of SDU
补充：几种常见的距离度量
Made in CV&PRLab of SDU
选择原则：
i. 实际分类问题需要，找与分类性能关系密切者。
ii. 计算简单，易于实现。
iii. 数学上容易处理。
准则函数的递推计算问题
每增/减一个特征，只影响向量中的一个元素，矩阵的一行和一列。
特征选择与特征提取

特征选择与特征提取

第五章 特征选择与特征提取5.1 问题的提出前面主要介绍的是各种分类器的设计方法，实际上我们已经完全可以解决模式识别的问题了。

然而在实际应用中，在分类器设计之前，往往需要对抽取出的特征进行一下处理，争取尽量减小特征的维数。

在实践中我们发现，特征的维数越大，分类器设计的难度也越大，一维特征的识别问题最容易解决，我们只要找到一个阈值t ，大于t 的为一类，小于t 的为一类。

同时特征维数越大，要求的训练样本数量越多，例如在一维的情况下，10个训练样本就可以比较好的代表一个类别了，而在10维空间中，10个训练样本则是远远不够的。

这一章中我们就来介绍一下减小特征维数的方法。

一般来说模式识别系统的输入是传感器对实物或过程进行测量所得到的一些数据，其中有一些数据直接可以作为特征，有一些数据经过处理之后可以作为特征，这样的一组特征一般称为原始特征。

在原始特征中并不一定每个特征都是有用的，比如在识别苹果和橙子的系统中，我们可以抽取出的特征很多，（体积，重量，颜色，高度，宽度，最宽处高度），同样还有可能抽取出其它更多的特征。

在这些特征中对分类有用的是（颜色，高度，最宽处高度），其它特征对识别意义不大，应该去除掉。

这样的过程称为是特征选择，也可以称为是特征压缩。

特征选择可以描述成这样一个过程，原始特征为N 维特征()12,,,TN x x x =X ，从中选择出M 个特征构成新的特征矢量()11,,,MTi i i Y x x x =，M N <。

同时，特征矢量的每一个分量并不一定是独立的，它们之间可能具有一定的相关性，比如说高度和最宽处的高度，高度值越大，最宽处的高度值也越大，它们之间具有相关性，我们可以通过一定的变换消除掉这种相关性，比如取一个比值：最宽处的高度/高度。

这样的过程称为特征提取。

特征提取可以描述为这样一个过程，对特征矢量()12,,,TN x x x =X 施行变换：()i i y h =X ，1,2,,i M =，M N <，产生出降维的特征矢量()12,,,TM Y y y y =。

模式识别基本工作流程

模式识别基本工作流程

模式识别基本工作流程模式识别基本工作流程主要包含以下步骤：1.信息获取：这是模式识别的第一步，将对象转化为计算机可以运算的符号，也就是将事物所包含的各种信息通过采集转换成计算机能接受和处理的数据。

对于各种物理量，可以通过传感器将其转换成电信号，再由信号变换部件对信号的形式、量程等进行变换，最后经A/D采样转换成对应的数据值。

2.预处理：预处理环节通过各种滤波降噪措施，降低干扰的影响，增强有用的信息。

在此基础上，生成在分类上具有意义的各种特征。

预处理生成的特征可以仍然用数值来表示，也可以用拓扑关系、逻辑结构等其他形式来表示，分别用于不同的模式识别方法。

3.特征提取与选择：特征提取是将识别样本构造成便于比较、分析的描述量即特征向量。

特征选择是从已提取的特征中选择一部分特征作为建模的数据，以免特征的维数太大。

有时可采用某种变换技术，得到数目上比原来少的综合性特征用于分类，称为特征维数压缩，也成为特征提取。

4.分类器设计：分类器设计是通过训练过程将训练样本提供的信息变为判别事物的判别函数。

5.分类决策：分类决策是对样本特征分量按判别函数的计算结果进行分类，是模式识别的核心和难点。

其主要方法是计算待识别事物的属性，分析它是否满足是某类事物的条件。

满足这种数学式子与否就成为分类决策的依据。

此外，模式识别的方法主要有四类：数据聚类（用于非监督学习）、统计分类（用于监督学习）、结构模式识别（通过对基本单元判断是否符合某种规则）和神经网络（可同时用于监督或者非监督学习，通过模拟人脑，调节权重来实现）。

综上所述，模式识别的工作流程涵盖了从数据获取到分类决策的多个环节，每个环节都有其特定的任务和方法，共同构成了完整的模式识别过程。

特征选择提取

特征选择提取

特征选择与提取特征的选取是模式识别的基础、关键。

特征选择的好坏将直接影响到分类器设计的好坏。

故从原特征的形成，到特征提取和特征选择，每一步骤都显得尤为重要。

同时特征的选取它也是模式识别的难点，如何获取如何获得在追求最优解的同时代价（计算量或时间）却最小的方法。

一、原特征选择的依据在运用模式识别进行分类器设计之前，毫无疑问，首先要进行广泛采集能够反映研究对象的状态、本质及性质等特征。

比如，就如大家平时的讲话当中，充斥着许多描述性情节，就需从怎样描述其对象才能让大家认知，找出一大堆的描述词来对能反映的特征进行修饰。

就像两个同学在分开多年以后再次遇到，其中的一个人想向另一个人打听一个不在场的同学现况，但是可能由于心奋突然一时之间想不起他的名字，这是他就会向对方提供一堆信息，比如曾用过的绰号、相貌、体型、走路的体态及说话的方式等等。

这些就是泛泛的原特征，可能描述者稍加思索就可以从中找出几个甚至一个关键特征能够让对方明白他讲的是谁。

比如当听者收到“当时班里男生里面个子最高的（班里最高的比其他人高都的很明显，）”或“班里最漂亮的女生（班里其他女生都惨不忍睹）”这样的话时，他就知道说的是谁了。

而其它的许多特征也在描述中起到了一定的作用，一定数量的特征也可能是对方判定。

故原特征选定的好坏对于整个分类器的设计过程起到了第一个瓶颈。

原特征的选定应分两种情况：一种是特征之间主次很明显。

向上面例子中讲的那样设计（描述）对象的特征对于设计者来说，已经比较清楚，哪个特征是最主要特征，最能反映事物的，哪个次之，哪个再次之，排序很明显，没有犯难的。

这时原特征选定就比较简单，只需根据“专家知识”就能定特征。

一种是特征之间的主次不明显，哪个重要哪个不重要让人犹豫不决，这时的原特征不能依赖于“专家知识”来定特征，而应该对犹豫不决的特征都收集起来，交给下个环节运用数学方法进行海选。

同样，上例当中的听者收到“当时班里男生里面个子最高的（但是那时班里个子高的有好几个，而且都差不多）”或“班里最漂亮的女生（班里其他女生都个个漂亮）”的话时却因满足条件的太多了，难以产生联想。

计算机模式识别之特征提取

计算机模式识别之特征提取

k =1 L 2 B
可分性 判据
(k )
Otsu灰度图像二值化算法演示及程序分析:
特征提取与K-L变换
特征提取：用映射（或变换）的方法把原始 特征变换为较少的新特征 J ( x * ) = a r g m a x J ( x ) PCA (Principle Component Analysis)方法： 进行特征降维变换，不能完全地表示原有的 对象，能量总会有损失。希望找到一种能量 最为集中的的变换方法使损失最小。 K-L (Karhunen-Loeve)变换：最优正交线性 变换，相应的特征提取方法被称为PCA方法
基于距离的可分性判据
类间可分性:=所有样本间的平均距离：
c 1 c 1 J d ( x ) = ∑ Pi ∑ Pj 2 i =1 j =1 ni n j
可分性 判据
δ (x (ki ) , x (l j ) ) ∑∑
k =1 l =1
பைடு நூலகம்ni
nj
(8-1) squared Euclidian
类间 距离
1 J c = − ∑ P(ωi | x ) log 2 P (ωi | x ) c ⎡ ⎤ 2 2 J c = 2 ⎢1 − ∑ P (ωi | x ) ⎥ ⎣ i =1 ⎦ i =1 c
可分性 判据
熵函数期望表征类别的分离程度：
J (• ) = E
{J [ P ( ω
c
1
| x ) , ..., P ( ω c | x ) ]}
= u Tj x
ˆ ˆ ⎦ ε = E ⎡ (x − x )T (x − x )⎤ ⎣
2 j
j= d +1
∑
∞
⎤ ⎡ y ⎥ = E ⎢ ⎦ ⎣

模式识别讲义-特征提取和特征选择共38页

ቤተ መጻሕፍቲ ባይዱ
16、业余生活要有意义，不要越轨。——华盛顿 17、一个人即使已登上顶峰，也仍要自强不息。——罗素·贝克 18、最大的挑战和突破在于用人，而用人最大的突破在于信任人。——马云 19、自己活着，就是为了使别人过得更美好。——雷锋 20、要掌握书，莫被书掌握；要为生而读，莫为读而生。——布尔沃
END
模式识别讲义-特征提取和特征选择
11、用道德的示范来造就一个人，显然比用法律来约束他更有价值。—— 希腊
12、法律是无私的，对谁都一视同仁。在每件事上，她都不徇私情。—— 托马斯
13、公正的法律限制不了好的自由，因为好人不会去做法律不允许的事 情。——弗劳德
14、法律是为了保护无辜而制定的。——爱略特 15、像房子一样，法律和法律都是相互依存的。——伯克

模式识别讲义-特征提取和特征选择38页PPT

1、不要轻言放弃，否则对不起自己。
2、要冒一次险!整个生命就是一场冒险。走得最远的人，常是愿意 去做，并愿意去冒险的人。“稳妥”之船，从未能从岸边走远。-戴尔咖啡，喝起来是苦涩的，回味起来却有 久久不会退去的余香。
模式识别讲义-特征提取和特征选择 4、守业的最好办法就是不断的发展。 5、当爱不能完美，我宁愿选择无悔，不管来生多么美丽，我不愿失 去今生对你的记忆，我不求天长地久的美景，我只要生生世世的轮 回里有你。
55、 为 中 华 之 崛起而 读书。 ——周 恩来
谢谢！
51、 天 下 之 事 常成 于困约 ，而败 于奢靡 。——陆 游 52、 生 命 不 等 于是呼 吸，生 命是活 动。——卢 梭
53、 伟 大 的 事 业，需 要决心 ，能力 ，组织 和责任 感。 ——易 卜 生 54、 唯 书 籍 不 朽。——乔 特

模式识别特征的选择和提取


上面推导出的特征还有其它意义上的 最优性质。
一个分布的熵定义为 H = -E[㏑p(y)] 粗略地说，当分布很平、延伸很广时，熵最 大。如果x是零均值的高斯分布，那么可以 证明所选择的特征向量具有最大熵。
这些特征向量沿最大方差方向，这样
的方向是最随机的，最不确定的，这些方向 应保留下来作为特征。对最不确定的事，若 有信息（测量），最有用。
u jT Rku j
，k=1，2，…，c
j m 1
由于Ri是半正定的，且λ max≤1，
∴ εk的大小为下式限定：
0≤ εk≤n-m， k =1，2，…,c
这样，使（**）式最大等价于使下式
最小（k≠i）
n
(n－m)－εk =
ujTuj ujTRkuj
jm1
n
= ujT(I Rk)uj jm1
要选两个特征，应选e1 、e2方向，均方 误差是λ3 = 2.
表示模式的特征和用于分类的特征的不同
（1） 均值大小的影响 若均值较大，均值就会起大作用，特征在
均值方向。 当两类问题的均值相差较大时，可以分类；
但若均值差不多，则不会有好的效果。
m
∵ R=Σ+mmT
（2）也可以使用协方差矩阵，以均值 为参考点，相对于均值。
2．从两类的特征值中，不管哪一类，选 最大的m个特征值所对应的特征向量。
一般地说，这两种方法谁好谁坏和具体
问题有关。
一旦特征向量选好后，则特征变换由
下式确定：
y = Tx =
← ej1T → ← ej2T →
：
STx，
← ej1T →
其中S是满足STQS = I的矩阵。
* 2. C类时的情况

模式识别第7,8,9,10章

第七章特征选择1.基于类内类间距离的可分性判据Fisher线性判别采用了使样本投影到一维后类内离散度尽可能小，类间离散度尽可能大的准则来确定最佳的投影方向，这就是一个直观的类别可分性判别。

这一思想可以可用来定义一系列基于类内类间距离的判别。

2.基于熵的可分性判据，熵J E越小，可分性越好3.特征选择的最优算法一种不需要进行穷举法但仍能取得最优解的方法是分支定界法，基本思想是：设法将所有可能特征选择组合构建成一个树状的结构，按照特定的规律对树进行搜索，使得搜索过程尽可能早地可以达到最优解而不必遍历整个树。

4.特征选择的次优算法单独最优特征的组合；顺序前进法；顺序后退法；增l减r法。

5.把分类器与特征选择集成来一起、利用分类器进行特征选择的方法通常被称作包裹法；于此对应，利用单独的可分性准则来选择特征在进行分类的方法为过滤法。

第八章特征提取1.主成分分析方法主成分分析其出发点是从一组特征中计算出一组按重要性从大到小的排列的新特征，它们是原有特征的线性组合，并且相互之间是不相关的。

在模式识别中应用主成分分析的方法，通常的做法是首先用样本估算协方差矩阵或自相关矩阵，求解其特征方程，得到各个主成分方向，选择适当数目的主成分作为样本的新特征，将样本投影到这些主成分方向上进行分类或聚类。

2.K-L变换a.定义：K-L变换是模式识别中常用的一种特征提取方法，其最基本的形式原理上与主成分分析是相同的，但K-L变换能够考虑到不同的分类信息，实现监督的特征提取。

b. K-L变换的重要性质：K-L变换是信号的最佳压缩表示；K-L变换的新特征是互不相关的；用K-L坐标系表示原数据，表示熵最小。

3.特征提取与特征选择特征选择的含义是从D个特征选出d（<D）个特征，另一种把特征空间降维的方法是特征提取，即通过适当的变换把D个特征转换成d（<D）个新特征第九章非监督模式识别1.非监督模式识别非监督模式识别分为两大类，一是基于样本的概率分布模型进行聚类划分，另一类是直接根据样本间的距离或相似性度量进行聚类。

特征提取与选择


T
X
(i ) k
X l( j )
(6-7)
分别用 mi 和 m 表示第 i 类样本的均值向量与总体样本的均值向量，有
mi
1 ni
c
X
k 1
ni
(i) k
(6-8)
m Pm i i
i 1
(6-9)
将式（6-8）和式（6-9）代入式(6-6)，得
c 1 J d ( X ) Pi i 1 ni
第6章
特征提取与选择
模式识别的主要任务是设计分类器，将样本划分为相应的类别，获得好的分类性能。而 前面章节讨论的分类器设计方法， 都是认为样本的特征已经确定， 各类样本都分布在由该特 征所决定的空间内。 因此分类器设计问题是一个使用什么方法， 将已确定的特征空间合理划 分的问题。 分类器设计方法固然重要， 但样本的特征选择与提取也是模式识别系统的一个关 键的问题。 好的特征可以使同类样本的分布更具加紧密， 不同类别样本则在该特征空间中更 加分开，这就为分类器设计奠定了良好的基础。反之，如果不同类别的样本在该特征空间中 混杂在一起， 再好的设计方法也无法提高分类器的准确性。 本章要讨论的问题就是给定训练 样本集，如何设计特征空间的问题。
, X d ) J ij ( X1, X 2 ,
, X d , X d 1 )
在实际应用，有些判据并不一定同时能满足上述四个条件，但并不影响其使用。
6.2.基于距离的可分性判据
基于距离的可分性判据的实质是 Fisher 准则的延伸，即同时考虑样本的类内聚集程度 与类间的离散程度这两个因素。 这种判据对特征空间优化的结果较好地体现类内密集、 类间 分离的目的， 也就是说， 一些不能体现类间分隔开的特征在对特征空间进行优化的过程中很 可能被剔除了。 基于距离度量在几何上具有直观性， 因为一般情况下同类样本在特征空间呈聚类状态， 即从总体上说同类样本由于具有共性，因此类内样本间距离应比类间样本间距离小。Fisher 准则正是以使类间距离尽可能大同时又保持类内距离较小这一思想设计的。 同样在特征选择 与特征提取中也使用类似的思想，称为基于距离的可分性判据。 为了度量类内、类间的距离，也可用另一种描述方法，即描述样本的离散程度的方法。 在讨论 Fisher 准则时曾用过两个描述离散度的矩阵。一个是类间离散矩阵 S b ，即

特征的提取和选择

Sw W T SwW , Sb W T SbW
* *
• 离散度矩阵的准则函数为
按 J1 t r( S w S b ) 说明，变换后为 J1 (W ) t r[(W T S wW ) -1W T S bW ]
* -1 *
• 对W各分量求偏导数并令其为零可确定W值； 或根据线性代数中的相关矩阵对角化定理也可 确定W。 • 经推导，使J 最大的变换W分别为
⑸ 特征类型 • 特征取值有连续的和离散的两种，离散一般为 二元的0或1。 • 特征有标称的、顺序的、区间尺度的和区间比 例尺度的四种。 ①标称的，用代码状态表示特征。如可设男性为 1，女性为0。 ②顺序的，是有意义的排序，如成绩的好坏可用 4，3，2，1表示。 ③区间尺度的，两个值之间的差异是有意义的， 如类间均值向量，两地的温度等。 ④区间比率尺度，即两个特征值之间比率是有意 义的，如特征经归一化后用0－1间比率表示。
§1 引言
1.特征 特征选择对分类器的设计及其性能影响很大。 • 特征提取与选择 从众多特征中找出有利于分类的特征。 物理 面向对象，易发现，不易处理 • 特征有 结构 数学－平均值、协方差等统计量 ⑴特征形成 对被识别对象进行测量或计算, 得到一组基本 特征，称为原始特征。这是属于信号采集。
⑵特征预处理：
I ij E[ln p( x | i p( x | i ) ] p( x | i ) ln dx p( x | j ) p( x | j )
• 定义：两类(i,j)总的平均可分性信息称为散度JD p( x | i ) J D [ p( x | i ) - p( x | j )]ln dx X p( x | j )
混合均值向量 1/ 2(1 + 2 ) [0, 1, 0]T 类间离散度矩阵
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
8
7.2 类别可分性判据 (3)
构造可分性判据
判据具有“距离”的某些特性， 判据具有“距离”的某些特性，即 ：
J i j > 0 ，当 i ≠ j 时；
J i j = 0 ，当 i = j 时； Ji j = J ji
(4) 对特征数目是单调不减，即加入新的特征后， 对特征数目是单调不减，即加入新的特征后， 判据值不减。 判据值不减。
13
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 四) 类内距离
1 2 d (ω i ) = Ni r (i ) r (i ) T r (i ) r (i ) ∑ (xk − m ) ( xk − m )
k =1 Ni
类内均方欧氏距离
类内均方距离也可定义为： 类内均方距离也可定义为：
k =1 Ni
i = 1,2, L , c
c r r m = ∑ Pi m ( i ) 各类模式的总体均值矢量
i =1
为相应类的先验概率， Pi 为相应类的先验概率，当用统计量代替先验概 率时，总体均值矢量可表示为： 率时，总体均值矢量可表示为：
c c r r (i ) N i r (i ) 1 c Ni r ( i ) 1 N r m = ∑ Pi m = ∑ m = ∑∑ xk = ∑ xl N i =1 k =1 N l =1 i =1 i =1 N
6
第七章 特征提取与选择
7.2
类别可分性判据
7
7.2 类别可分性判据
构造可分性判据
为确立特征提取和选择的准则： 为确立特征提取和选择的准则：引入类别可分性 判据，来刻划特征对分类的贡献。 判据，来刻划特征对分类的贡献。为此希望所构造 的可分性判据满足下列要求： 的可分性判据满足下列要求： (1) 与误判概率(或误分概率的上界、下界)有单调关系。 与误判概率(或误分概率的上界、下界)有单调关系。 (2) 当特征相互独立时，判据有可加性， 当特征相互独立时，判据有可加性，即 ：
k =1 l =1
15
Ni
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 (七)各类模式之间的总的均方距离
c r 1 c 1 2 d ( x ) = ∑ Pi ∑ Pj 2 i =1 j =1 N i N j
r (i ) r ( j ) ∑∑ d ( xk ,xl )
2 k =1 l =1
r r (i ) 1 d ( x , {a k }) = Ni
2
r r (i ) ∑ d ( x, ak )
2 k =1
12
Ni
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 三) 类内及总体的均值矢量
r (i ) 1 类的均值矢量： 类的均值矢量： m = Ni r (i ) ∑ xk
在特征空间中，当类内模式较密聚， 在特征空间中，当类内模式较密聚，而不同类的 模式相距较远时，从直觉上我们知道分类就较容 模式相距较远时， 易，由各判据的构造可知，这种情况下所算得的 由各判据的构造可知， 判据值也较大。 判据值也较大。由判据的构造我们还可以初步了 解运用这类判据的原则和方法。 解运用这类判据的原则和方法。
r r s 1− s r J C = − ln ∫ p( x ω1 ) p( x ω 2 ) dx
Ω
∆ J C (ω1 , ω 2 ;s ) ∆ J C ( s;x1 , x2 , L , xn )∆ J C ( s ) 0 < s <1
k =1
Ni
r (i ) r r (i ) r T 类间离差 S B = ∑ Pi ( m − m )( m − m )
r r r T 1 N r 总体离差 ST = ∑ ( xl − m )( x l − m ) = SW + S B N l =1
易导出
r d ( x ) = Tr[ SW + S B ] = Tr[ S T ]
1 ( d c (ωi ) = d 2 ( xki ) , xl( i ) ) ∑∑ N i ( N i − 1) k =1 l =1
2 Ni Ni
14
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 五) 类内离差矩阵
Sω i
( 六)
1 = Ni
r (i ) r (i ) r (i ) r (i ) T ∑ (xk − m )( xk − m )
11
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 一) 点与点的距离
1/ 2 r r T r r 1/ 2 n r r 2 d (a , b ) = (a − b ) (a − b ) = ∑ (a k − bk ) k =1
[
]
( 二)
点到点集的距离 用均方欧氏距离表示 均方欧氏距离表示
Ω
∫
1
表示特征空间。在最小误判概率准则下， 式中 Ω 表示特征空间。在最小误判概率准则下，误判 概率有
P0 ( e ) ≤ [P ( ω 1 ) P ( ω 2 ) ] exp [− J B ]
22
1 2
7.2.2基于类的概率密度函数的可分性判据 7.2.2基于类的概率密度函数的可分性判据
（二） Chernoff 判据 ( J C )
10
7.2 类别可分性判据
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据
一般来讲， 一般来讲，不同类的模式可以被区分是由于它们 所属类别在特征空间中的类域是不同的区域。 所属类别在特征空间中的类域是不同的区域。 显然，区域重叠的部分越小或完全没有重叠， 显然，区域重叠的部分越小或完全没有重叠，类 别的可分性就越好。 别的可分性就越好。 因此可以用距离或离差测度（散度） 因此可以用距离或离差测度（散度）来构造类别 的可分性判据。 的可分性判据。
20
7.2.2基于类的概率密度函数的可分性判据 7.2.2基于类的概率密度函数的可分性判据 可用两类概密函数的重叠程度来度量可分性， 可用两类概密函数的重叠程度来度量可分性， 构造基于类概密的可分性判据。 构造基于类概密的可分性判据。此处的所谓重叠 程度是指两个概密函数相似的程度。 程度是指两个概密函数相似的程度。
19
7.2 类别可分性判据
7.2.2基于类的概率密度函数的可分性判据 7.2.2基于类的概率密度函数的可分性判据
考虑两类问题。上图是一维的两类概率分布密度。 考虑两类问题。上图是一维的两类概率分布密度。 表示两类是完全可分的。 (a) 表示两类是完全可分的。 (b)是完全不可分的。 (b)是完全不可分的。 是完全不可分的
[
]
个原始特征中的任意d 个特征， 式中xi1 , xi 2 , L , xid 是n 个原始特征中的任意 个特征， 上式表示直接寻找n 维特征空间中的d 维子空间。 上式表示直接寻找 维特征空间中的 维子空间。 主要方法有：分支定界法、 主要方法有：分支定界法、用回归建模技术确定相 关特征等方法。 关特征等方法。 等方法
分类识别的正确率取决于对象的表示、 分类识别的正确率取决于对象的表示、训练学 习和分类识别算法， 习和分类识别算法，我们在前面各章的介绍中详细 讨论了后两方面的内容。 讨论了后两方面的内容。本章介绍的特征提取与选 择问题则是对象表示的一个关键问题。 择问题则是对象表示的一个关键问题。
3
第七章 特征提取与选择
J i j ( x1 , x 2 ,L, x d ) = ∑ J i j ( x k )
k =1 d
x 式中， 是对不同种类特征的测量值， 式中， 1 , x 2 ,L , x d 是对不同种类特征的测量值，Ji j (⋅)
表示使用括号中特征时第i 类与第j类可分性判据函数 类可分性判据函数。 表示使用括号中特征时第 类与第 类可分性判据函数。
7.1概述 概述
通常在得到实际对象的若干具体特征之 后，再由这些原始特征产生出对分类识别最 有效、数目最少的特征， 有效、数目最少的特征，这就是特征提取与 选择的任务。从本质上讲， 选择的任务。从本质上讲，我们的目的是使 在最小维数特征空间中异类模式点相距较远 类间距离较大）， ），而同类模式点相距较近 （类间距离较大），而同类模式点相距较近 类内距离较小）。 （类内距离较小）。
Ni
Nj
当取欧氏距离时，总的均方距离为 当取欧氏距离时， N N c c r (i ) r ( j ) T r (i ) r ( j ) 1 1 2 r d ( x ) = ∑ Pi ∑ Pj ∑∑ ( xk − xl ) ( xk − xl ) 2 i =1 j =1 N i N j k =1 l =1
2
17
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据
J1 = Tr S S B
[
−1 W
]
Tr[ S B ] J3 = Tr[ SW ]
SB J 2 = ln SW SW + S B ST J4 = = SW SW
18
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据
k =1
Ni
显然 两类之间的距离
1 2 d (ω i , ω j ) = Ni N j
Ni Nj 2 k =1 l =1
d (ω i ) = Tr[ Sωi ]
2
r (i ) r ( j ) ∑∑ d ( xk , xl )
Nj
1 d (ω i , ω j ) = Ni N j
2ቤተ መጻሕፍቲ ባይዱ
r (i ) r ( j ) T r (i ) r ( j ) ∑∑ ( xk − xl ) ( xk − xl )
i j
16
7.2.1基于几何距离的可分性判据 7.2.1基于几何距离的可分性判据 ( 八) 多类情况下总的类内、 多类情况下总的类内、类间及总体离差矩阵