下载文档原格式
模式识别特征选择与提取(总8页)--本页仅作为文档封面，使用时请直接删除即可----内页可以根据需求调整合适字体及大小--模式识别特征选择与提取中国矿业大学计算机科学与技术学院电子信息科学系班级：信科11-1班，学号：08113545，姓名：褚钰博联系方法（QQ或手机）：8，日期：2014 年 06月 10日摘要实际问题中常常需要维数约简，如人脸识别、图像检索等。
而特征选择和特征提取是两种最常用的维数约简方法。
特征选择是从某些事物中提取出本质性的功能、应用、优势等，而特征提取是对特征空间进行变换，将原始特征空间映射到低维空间中。
本文是对主成分分析和线性判别分析。
关键词：特征选择，特征提取，主成分分析，线性判别分析1.引言模式识别的主要任务是利用从样本中提取的特征，并将样本划分为相应的模式类别，获得好的分类性能。
而分类方法与分类器设计，都是在d（变量统一用斜体）维特征空间已经确定的前提下进行的。
因此讨论的分类器设计问题是一个选择什么准则、使用什么方法,将已确定的d维特征空间划分成决策域的问题。
对分类器设计方法的研究固然重要，但如何确定合适的特征空间是设计模式识别系统另一个十分重要，甚至更为关键的问题。
如果所选用的特征空间能使同类物体分布具有紧致性，即各类样本能分布在该特征空间中彼此分割开的区域内，这就为分类器设计成功提供良好的基础。
反之，如果不同类别的样本在该特征空间中混杂在一起，再好的设计方法也无法提高分类器的准确性。
本文要讨论的问题就是特征空间如何设计的问题。
基于主成分分析的特征选择算法的思想是建立在这样的基础上的：主成分分析方法将原始特征通过线性变换映射到新的低维空间时，获得的主成分是去了新的物理意义，难以理解，并且主成分是所有原始特征的线性组合。
所以将主成分分析与特征选择相结合，设计多种相似性度量准则，通过找到与主成分相关的关键特征或者删除冗余、不相关以及没有意义的特征，将主成分又重新映射到原始空间，来理解成主成分的实际意义。
特征的提取和选择
特征提取和选择是机器学习中非常重要的环节，它既可以减少计算量，又可以提高模型的性能。
选择较好的特征可以让模型更加简单，更加容易
和快速的训练出最佳参数，从而使得模型更加精确、效果更好。
一般来说，特征提取和选择有以下几步：
1.特征提取。
特征提取关注的是利用现有特征生成新的特征。
它可以
是特征融合（如结合多个特征生成更强大的特征），也可以是特征变换
（如离散特征变换成连续特征）。
2.无关特征删除。
把没有帮助的特征删除，有助于减少模型的运行时间，提高模型的效果。
3.有关特征选择。
把与目标值有很强关联的特征选择出来，这些特征
被称为有关特征，它们可以帮助模型训练出更好的结果。
4.特征降维。
为了减少特征之间的相关性，减少计算量，与有关特征
相关性比较低的特征可以被删除。
5.特征加权。
调整特征的权重，使得有关特征拥有更大的影响力，从
而帮助模型更好的进行预测。
通过这种特征提取和选择的过程，可以把训练集中拥有相关性比较高
的有用特征保留下来，把没用的特征抛弃，有效的提高模型的性能。
