模式识别特征选择与提取
中国矿业大学计算机科学与技术学院电子信息科学系
班级：信科11-1班，学号：08113545，姓名：褚钰博
联系方法（QQ或手机）：390345438，e-mail:390345438@https://www.doczj.com/doc/8013008030.html,
日期：2014 年06月10日
摘要
实际问题中常常需要维数约简，如人脸识别、图像检索等。而特征选择和特征提取是两种最常用的维数约简方法。特征选择是从某些事物中提取出本质性的功能、应用、优势等，而特征提取是对特征空间进行变换，将原始特征空间映射到低维空间中。
本文是对主成分分析和线性判别分析。
关键词：特征选择，特征提取，主成分分析，线性判别分析
1.引言
模式识别的主要任务是利用从样本中提取的特征，并将样本划分为相应的模式类别，获得好的分类性能。而分类方法与分类器设计，都是在d（变量统一用斜体）维特征空间已经确定的前提下进行的。因此讨论的分类器设计问题是一个选择什么准则、使用什么方法,将已确定的d维特征空间划分成决策域的问题。对分类器设计方法的研究固然重要，但如何确定合适的特征空间是设计模式识别系统另一个十分重要，甚至更为关键的问题。如果所选用的特征空间能使同类物体分布具有紧致性，即各类样本能分布在该特征空间中彼此分割开的区域内，这就为分类器设计成功提供良好的基础。反之，如果不同类别的样本在该特征空间中混杂在一起，再好的设计方法也无法提高分类器的准确性。本文要讨论的问题就是特征空间如何设计的问题。
基于主成分分析的特征选择算法的思想是建立在这样的基础上的：主成分分析方法将原始特征通过线性变换映射到新的低维空间时，获得的主成分是去了新的物理意义，难以理解，并且主成分是所有原始特征的线性组合。所以将主成分分析与特征选择相结合，设计多种相似性度量准则，通过找到与主成分相关的关键特征或者删除冗余、不相关以及没有意义的特征，将主成分又重新映射到原始空间，来理解成主成分的实际意义。
基于线性判别分析的高维特征选择将单个特征的Fisher准则与其他特征选择算法相结合，分层消除不相关特征与冗余特征。不相关特征滤波器按照每个特征的Fisher评价值进行特征排序，来去除噪音和不相关特征。通过对高维数据特征关联性的分析，冗余特征滤波器选用冗余度量方法和基于相关性的快速过滤器算法。分别在不同情境下进行数据分类实验，验证其性能。
2.原理分析
对一原始特征来说，特征选择的方案很多，从N 维特征种选择出M 个特征共有
()!
!!
M N N C M N M =
-中选法，其中哪一种方案最佳，则需要有一个原则来进行指导。
我们进行特征选择和特征提取的最终目的还是要进行识别，因此应该是以对识别最有利原则，这样的原则我们称为是类别的可分性判据。用这样的可分性判据可以度量当前特征维数下类别样本的可分性。可分性越大，对识别越有利，可分性越小，对识别越不利。
人们对的特征的可分性判据研究很多下面几种常用的判据，我们需要根据实际问题，从中选择出一种。
一般来说，我们希望可分性判据满足以下几个条件：
1. 与识别的错误率由直接的联系，当判据取最大值时，识别的错误率最小；
2. 当特征独立时有可加性，即：
)
(),,,(1
21K N
K ij N ij x J x x x J ∑==
ij J 是第i 类和第j 类的可分性判据，ij J 越大，两类的可分程度越大，()12,,
,N x x x 为N 维
特征；
3. 应具有某种距离的特点：
0ij J >，当i j ≠时； 0ij J =，当i j =时；
ij ji J J =；
4. 单调性，加入新的特征后，判据不减小：
()()12121,,,,,,,ij N ij N N J x x x J x x x x +≤。
但是遗憾的是现在所经常使用的各种判据很难满足上述全部条件，只能满足一个或几个条件。 特征提取又称为特征变换，最常采用的特征变换是线性变换，即若D
R x ∈是D 维原始特征，变换后的d 维新特征d
R y ∈为x W y T
= ， 其中，W 是d ?D 维矩阵，称作变换阵。特征提取就是根据训练样本求适当的W ，使得某种特征变换准则最优。
主成分分析方法的出发点是从一组特征中计算出一组按重要性从大到小排序的新特征，他们是原有特征的线性组合，并且相互之间是不相关的。
记p x x x ,,,21 为p 个原始特征，设新特征ξ，i=1, ，p 是这些原始特征的线性组合 x x T i j p
j ij i ααξ==∑=1
，
为了统一i ξ的尺度，要求线性组合的模为1，即
1=i T i αα，
写成矩阵形式是
x A T =ξ，
其中，ξ是由新特征i ξ组成的向量，A 是特征变换矩阵。要求解的是最优的正交变换A ，它使新特征i ξ的方差达到极值。
3.理论证明或说明
特征选择的基本框图为:
一个典型的特征选择算法通常包括四个人基本步骤:
1.子集产生，这是一个搜索过程，通过一定的搜索策略产生候选的特征子集。
2.子集评价，每一个候选的特征子集都根据一定的评价准则得到，并与先前的最优特征子集进行比较。
3.终止条件，算法结束所需要满足的条件，它与子集的产生过程和评价准则的选用有关。
4.结果验证，就是根据一定的先验知识或通过合成现实数据集的测试来证明所选择的特征子集的性能。
基于特征提取主成分分析变换矩阵的一般过程：
训练数据全集
4.实现方法或步骤流程
特征选择顺序前进法
每次从未入选的特征中选择一个特征，使得它与已入选的特征组合到一起所得到的可分性判据最大，直到特征数增加到M 为止。用k X 表示在第k 步时的特征集合，搜索算法如下：
1) 开始时，0X =?，从N 个特征中选择一个()i J x 最大的特征，加入已选特征集，{}1i X x =； 2) 在第k 步，k X 中包含已经选择的k 个特征，对未入选的N k -个特征计算，{}()k
j
J X x ，
其中1,2,
,j N k =-，并且按照由大到小排序，将可分性判据最大的特征l x 加入k X ，
{}1k k
l X X x +=；
3) 直到所选的特征数等于M 为止。
特征抽取的方法—基于离散K-L 变换(DKLT)的特征抽取： 设原始特征为N 为矢量()12,,
,T
N x x x =X ，均值矢量[]E =m X ，相关矩阵T
E ??=??X R XX ，
协方差矩阵()()T
E ??=--??
X C X m X m 。
我们可以对X 作如下的标准正交变换，将其变为矢量()12,,,T
N y y y =Y :
12T T T N ??????=???????
?T T T
Y =T X X T
Y 的每个分量：T i i y =T X ，其中T 为一个N N ?的标准正交矩阵，i T 为其第i 个列矢量，
1,0,T i j i j
i j
=?=?
≠?T T 。也就是说Y 的每个分量是X 每一个分量的线性组合。 同样X 可以表示为：
()()11
212
1N
T N i i i N y y y y -=??????====???????
?∑X T Y TY T T T T
我们要进行特征提取，也就是要用Y 的M 项来代替X ，这种代替必然带来误差，下面我们来对这
个误差进行估计：
令：1
?M
i i
i y ==∑X T ，1M N ≤<，引入的均方误差为： ()()(
)
2
211N N
T
T
i i i i M i M e M E E y E y y =+=+??????=--==???????
?∑∑X X
X X 1
1
N
N
T
T
T
i
i i
i
i M i M E =+=+??=
=
??∑∑X T XX
T T R
T
这又变成一个优化问题，我们希望寻找到一个标准正交矩阵T ，使得()2
e M 最小，因此可以去这
样的准则函数：
()1
1
1N
N
T T i
i i
i
i
i M i M J λ=+=+=
-
-∑∑X
T R
T T T
第一项保证均方误差最小，第二项保证T 为标准正交矩阵，i λ为一待定常数。
()i i i
J
λ?=-=?X R I T 0T ，1,,i M N =+
即：i i i λ=X R T T ，很明显i λ为相关矩阵X R 的特征值，i T 为对应于i λ的特征矢量，由于X R 是一个实对称矩阵，所以12,,
.N T T T 相互正交，T 为一个正交矩阵。均方无差：
()2
1
1
1
N
N N
T T i
i i
i i
i
i M i M i M e M λλ=+=+=+=
=
=∑∑∑X
T R
T T T
根据矩阵论，有这样的结论：一个N N ?的正定实对称矩阵有N 个特征值和特征矢量，这些特征矢量之间是正交的。相关矩阵X R 就是一个实对称矩阵，当训练样本足够多时，也可以满足正定性，根据上式我们知道，当要从N 维特征中提取出M 维特征时，我们只需要统计出特征相关矩阵X R ，然后计算其特征值和特征矢量，选择对应特征值最大的前M 个特征矢量作成一个N M ?特征变换矩阵T ，就可以完成特征提取。步骤如下：
1、 利用训练样本集合估计出相关矩阵T E ??=??X R XX ；
2、 计算X R 的特征值，并由大到小排序：12N λλλ≥≥≥，以及相应的特征矢量：12,,,N T T T ；
3、 选择前M 个特征矢量作成一个变换矩阵[]1
2
M =T T T T ；
4、 在训练和识别时，每一个输入的N 维特征矢量X 可以转换为M 维的新特征矢量：T
Y =T X 。
这种方法是利用相关矩阵X R 进行变换，同样也可以利用协方差矩阵X C 进行变换，还可以利用样
本的散度矩阵W S ，B S ，T S 或者1
W B -S S 进行变换。过程都是一样的，需要计算特征值和特征向量，选
择最大的M 个特征值对应的特征矢量作出变换矩阵。
5.实验设计和结果分析
基于特征相关性的特征选择算法选择c 均值聚类算法来去除冗余。
C 均值算法的基本思想即是通过迭代寻找c 个聚类的一种划分方案，使得用这c 个聚类的均值来代表相应各类样本时所得到的总体误差最小。
C 均值算法的基础是最小误差平方和准则。若i N 是第i 聚类i Γ中的样本数目，i m 是这些样本的均值，即∑Γ∈=
i
y i
i y N m 1
把i Γ中的各样本y 与均值i m 间的误差平方和对所有类相加后为
2
1e ∑∑=Γ∈-=c
i y i i
m y J
e J 是误差平方和聚类准则，它是样本集y 和类别集Ω的函数。
C 均值算法的步骤：
1.选择初始划分，并计算每个聚类的均值以及误差平方和；
2.选择一个备选样本y ，设y i Γ∈；
X1
the first results of kmeans
X2
X 3
X1
X2
X 3
1.无论在聚类时，初始均值如何选取，在程序结果中总能得到相同的分类结果，同时e J 的结果相差很小。 2．当各聚类设定的初始均值不同时，程序结果经过的步骤不同。
3.e J 是随着聚类数目的增加而单调的减少的，当聚类数目等于样本数时e J =0，即每个样本自己成一类。
4.此算法是个局部搜索算法，并不能保证收敛到全局最优解，即不能保证找到所有可能的聚类划分中误差平方和最小的解。算法的结果受到初始划分和样本调整顺序的影响。
6.结论
模式识别技术是人工智能的基础技术，21世纪是智能化、信息化、计算花、网络化的世纪，在这个以数字计算为特征的世纪里，模式识别技术将会获得巨大的发展空间。
特征选择作为数据预处理的一个必要步骤，是模式识别中的一个关键问题。一个模式识别系统的成败，首先取决于所利用的特征是否较好的反映了将要研究的分类问题。而且高维数据是特征选择的一个挑战，研究人员总是努力的寻找着各种方法来尽量提高特征选择的性能。对于特征选择与特征提取，还有许多问题期待解决：高维数据的特征选择，特别是训练样本较少而特征维数极高的数据集；在样本的类别数未知的情况下，设计时间复杂度较低的非监督的特征选择；如何在进行特征选择时，选择有意义的训练样本；将维数约简与距离度量学习相结合；随着特征选择的应用领域不断扩大，当出现新的非线性相关的数据类型时，如何设计新的特征选择算法；将特征选择算法应用于人脸识别与人脸检测中，消除传统人脸识别方法如PCA 和LDA 固有的局限性。
模式识别是一门理论与实践紧密结合的学科，教与学的方式值得我们研究和探索。还可以看出模式识别具有相当大的前景，而且模式识别的应用得到越来越多的人的支持，而且它的成效也十分显著。因此它也得到各国的重视，正因各个单位集体对人工智能的模式识别给予相关的重视，模式识别技术在现今社会也能快速发展。当然，现在的模式识别还不算真正完整，不过人类科技的技术是不断发展的，相信总有一天人工智能中的模式识别会真正融入我们的社会，成为我们人类不可或缺的一部分。而设计具体的、专业的、高效的特征选择算法是一个值得重视值得探索的研究方向。
7.参考文献：
[1] 张学工.模式识别（第三版).北京：清华大学出版社，2010
[2] 朱明，王俊普，蔡庆生.一种最优特征集的选择算法，计算机研究与发展.vol.35(9),pp.803-805,1998
[3] L.Yu,H.Lu,Efficient feature selection via analysis of relevance and redundancy,Machine Learning Research,vol.5,pp.1205-1224,2004
[4] M.Dash,K.Choi,P.Scheuermann and H.Liu,Feature selection for clustering-A filter solution,IEEE Int，l Conf.on Data Mining,pp.115-122,2002
[5] 李弼程，邵美珍等.模式识别原理及应用[M].西安：西安电子科技大学出版社,2008
[6] P.Berkhin,Survey of clustering data mining techniques,Technical Report,Accrue software,2002
模式类别的可分性判据 在讨论特征选择和特征压缩之前，我们先要确定一个选择和提取的原则。对一个原始特征来说，特征选择的方案很多，从N 维特征种 选择出M 个特征共有()!!! M N N C M N M = -中选法，其中哪一种方案最佳， 则需要有一个原则来进行指导。同样，特征的压缩实际上是要找到M 个N 元函数，N 元函数的数量是不可数的，这也要有一个原则来指导找出M 个最佳的N 元函数。 我们进行特征选择和特征提取的最终目的还是要进行识别，因此应该是以对识别最有利原则，这样的原则我们称为是类别的可分性判据。用这样的可分性判据可以度量当前特征维数下类别样本的可分性。可分性越大，对识别越有利，可分性越小，对识别越不利。 人们对的特征的可分性判据研究很多，然而到目前为止还没有取得一个完全满意的结果，没有哪一个判据能够完全度量出类别的可分性。下面介绍几种常用的判据，我们需要根据实际问题，从中选择出一种。 一般来说，我们希望可分性判据满足以下几个条件： 1. 与识别的错误率由直接的联系，当判据取最大值时，识别的错误率最小； 2. 当特征独立时有可加性，即： ()()121 ,,,N ij N ij k k J x x x J x ==∑
ij J 是第i 类和第j 类的可分性判据，ij J 越大，两类的可分程度 越大，()12,,,N x x x 为N 维特征； 3. 应具有某种距离的特点： 0ij J >，当i j ≠时； 0 ij J =，当i j =时； ij ji J J =； 4. 单调性，加入新的特征后，判据不减小： ()()12121,,,,,,,ij N ij N N J x x x J x x x x +≤ 。 但是遗憾的是现在所经常使用的各种判据很难满足上述全部条件，只能满足一个或几个条件。 基于矩阵形式的可分性判据 1. 类内散度矩阵 设有M 个类别，1,,M ΩΩ ，i Ω类样本集()()(){}12,,,i i i i N X X X ，i Ω类 的散度矩阵定义为： () ()() ( )()() ( ) 1 1i N T i i i i i w k k k i S N == --∑X m X m 总的类内散度矩阵为： ()() ()() () ()() () () 1 1 1 1 i N M M T i i i i i w i w i k k i i k i S P S P N ==== Ω= Ω--∑∑∑X m X m 2. 类间散度矩阵 第i 个类别和第j 个类别之间的散度矩阵定义为： () () () ( )() () ( ) T ij i j i j B S =--m m m m 总的类间散度矩阵可以定义为：
中国中文信息学会第七次全国会员代表大会 暨学会成立30周年学术会议 语音识别发展现状与展望中科院自动化研究所徐波 2011年12月4日
报告提纲 ?语音识别技术现状及态势?语音识别技术的行业应用?语音识别技术研究方向?结论与展望
2010年始语音识别重新成为产业热点?移动互联网的兴起成为ASR最重要的应用环境。在Google引领下，互联网、通信公司纷纷把语音识别作为重要研究方向 –Android系统内嵌语音识别技术，Google语音 翻译等； –iPhone4S 上的Siri软件； –百度、腾讯、盛大、华为等都进军语音识别领 域； –我国语音技术领军企业讯飞2010年推出语音云识别、讯飞口讯 –已有的QQ2011版语音输入等等
成熟度分析-技术成熟度曲线 ?美国市场调查咨询公司Gartner于2011年7月发布《2011新兴技术成熟度曲线》报告：
成熟度分析-新兴技术优先矩阵?Gartner评出了2011年具有变革作用的技术，包括语音识别、语音翻译、自然语言问答等。其中语音翻译和自然语言问答有望在5-10年内获得大幅利用，而语音识别有望在2-5年内获得大幅利用；
三十年语音识别技术发展 ---特征提取与知识方面?MFCC，PLP，CMS，RASTA，VTLN；?HLDA, fMPE，neural net-based features ?前端优化 –融入更多特征信息(MLP、TrapNN、Bottle Neck Features等） ?特征很大特点有些是跟模型的训练算法相匹配?大规模FSN图表示，把各种知识源集中在一起–bigram vs. 4-gram, within word dependencies vs. cross-word
模式识别研究进展 刘成林，谭铁牛 中国科学院自动化研究所 模式识别国家重点实验室 北京中关村东路95号 摘要 自20世纪60年代以来，模式识别的理论与方法研究及在工程中的实际应用取得了很大的进展。本文先简要回顾模式识别领域的发展历史和主要方法的演变，然后围绕模式分类这个模式识别的核心问题，就概率密度估计、特征选择和变换、分类器设计几个方面介绍近年来理论和方法研究的主要进展，最后简要分析将来的发展趋势。 1. 前言 模式识别(Pattern Recognition)是对感知信号（图像、视频、声音等）进行分析，对其中的物体对象或行为进行判别和解释的过程。模式识别能力普遍存在于人和动物的认知系统，是人和动物获取外部环境知识，并与环境进行交互的重要基础。我们现在所说的模式识别一般是指用机器实现模式识别过程，是人工智能领域的一个重要分支。早期的模式识别研究是与人工智能和机器学习密不可分的，如Rosenblatt的感知机[1]和Nilsson的学习机[2]就与这三个领域密切相关。后来，由于人工智能更关心符号信息和知识的推理，而模式识别更关心感知信息的处理，二者逐渐分离形成了不同的研究领域。介于模式识别和人工智能之间的机器学习在20世纪80年代以前也偏重于符号学习，后来人工神经网络重新受到重视，统计学习逐渐成为主流，与模式识别中的学习问题渐趋重合，重新拉近了模式识别与人工智能的距离。模式识别与机器学习的方法也被广泛用于感知信号以外的数据分析问题（如文本分析、商业数据分析、基因表达数据分析等），形成了数据挖掘领域。 模式分类是模式识别的主要任务和核心研究内容。分类器设计是在训练样本集合上进行优化（如使每一类样本的表达误差最小或使不同类别样本的分类误差最小）的过程，也就是一个机器学习过程。由于模式识别的对象是存在于感知信号中的物体和现象，它研究的内容还包括信号/图像/视频的处理、分割、形状和运动分析等，以及面向应用（如文字识别、语音识别、生物认证、医学图像分析、遥感图像分析等）的方法和系统研究。 本文简要回顾模式识别领域的发展历史和主要方法的演变，介绍模式识别理论方法研究的最新进展并分析未来的发展趋势。由于Jain等人的综述[3]已经全面介绍了2000年以前模式分类方面的进展，本文侧重于2000年以后的研究进展。
模式识别特征选择与提取 中国矿业大学计算机科学与技术学院电子信息科学系 班级：信科11-1班，学号：08113545，姓名：褚钰博 联系方法（QQ或手机）：390345438，e-mail:390345438@https://www.doczj.com/doc/8013008030.html, 日期：2014 年06月10日 摘要 实际问题中常常需要维数约简，如人脸识别、图像检索等。而特征选择和特征提取是两种最常用的维数约简方法。特征选择是从某些事物中提取出本质性的功能、应用、优势等，而特征提取是对特征空间进行变换，将原始特征空间映射到低维空间中。 本文是对主成分分析和线性判别分析。 关键词：特征选择，特征提取，主成分分析，线性判别分析 1.引言 模式识别的主要任务是利用从样本中提取的特征，并将样本划分为相应的模式类别，获得好的分类性能。而分类方法与分类器设计，都是在d（变量统一用斜体）维特征空间已经确定的前提下进行的。因此讨论的分类器设计问题是一个选择什么准则、使用什么方法,将已确定的d维特征空间划分成决策域的问题。对分类器设计方法的研究固然重要，但如何确定合适的特征空间是设计模式识别系统另一个十分重要，甚至更为关键的问题。如果所选用的特征空间能使同类物体分布具有紧致性，即各类样本能分布在该特征空间中彼此分割开的区域内，这就为分类器设计成功提供良好的基础。反之，如果不同类别的样本在该特征空间中混杂在一起，再好的设计方法也无法提高分类器的准确性。本文要讨论的问题就是特征空间如何设计的问题。 基于主成分分析的特征选择算法的思想是建立在这样的基础上的：主成分分析方法将原始特征通过线性变换映射到新的低维空间时，获得的主成分是去了新的物理意义，难以理解，并且主成分是所有原始特征的线性组合。所以将主成分分析与特征选择相结合，设计多种相似性度量准则，通过找到与主成分相关的关键特征或者删除冗余、不相关以及没有意义的特征，将主成分又重新映射到原始空间，来理解成主成分的实际意义。 基于线性判别分析的高维特征选择将单个特征的Fisher准则与其他特征选择算法相结合，分层消除不相关特征与冗余特征。不相关特征滤波器按照每个特征的Fisher评价值进行特征排序，来去除噪音和不相关特征。通过对高维数据特征关联性的分析，冗余特征滤波器选用冗余度量方法和基于相关性的快速过滤器算法。分别在不同情境下进行数据分类实验，验证其性能。
语音信号特征的提取 摘要 随着计算机技术的发展，语音交互已经成为人机交互的必要手段,语音特征参数的精确度直接影响着语音合成的音质和语音识别的准确率。因此语音信号参数提取是语音信号处理研究中一项非常有意义的工作。 本文采用Matlab软件提取语音信号特征参数，首先对语音信号进行数字化处理，其次，进行预处理，包括预加重、加窗和分帧，本文讨论了预处理中各种参数的选择，以使信号特征提取更加准确。第三，讨论了各种时域特征参数的算法，包括短时能量、短时过零率等。 关键词：语音信号, 特征参数, 提取, Matlab 目录 第一章绪论 1.1语音信号特征提取概况 1.1.1研究意义 语音处理技术广泛应用于语音通信系统、声控电话交换、数据查询、计算机控制、工业控制等领域，带有语音功能的计算机也将很快成为大众化产品，语音将可能取代键盘和鼠标成为计算机的主要输入手段，为用户界面带来一次飞跃。 语音信号特征的提取是语音信号处理的前提和基础，只有分析出可表示语音信号本质特征的参数，才有可能利用这些参数进行高效的语音通信和准确的语音识别，才能建立语音合成的语音库。因此语音信号参数提取是语音信号处理研究中一项非常有意义的工作。 1.1.2 发展现状 语音信号处理是一门综合性的学科，包括计算机科学、语音学、语言学、声学和数学等诸多领域的内容。它的发展过程中，有过两次飞跃。第一次飞跃是1907年电子管的发明和1920年无线电广播的出现，电子管放大器使很微弱的声
音也可以放大和定量测量，从而使电声学和语言声学的一些研究成果扩展到通信和广播部门；第二次飞跃是在20世纪70年代初，电子计算机和数字信号处理的发展使声音信号特别是语音信号，可以通过模数转换器（A/D）采样和量化转换为数字信号，这样就可以用数字计算方法对语音信号进行处理和加工，提高了语音信号处理的准确性和高效性。 语音信号处理在现代信息科学中的地位举足轻重，但它仍有些基础的理论问题和技术问题有待解决，这些难题如听觉器官的物理模型和数学表示及语音增强的技术理论等，目前还有待发展。 1.2 本课题研究内容 本文主要介绍语音信号处理的理论及Matlab的相关内容，然后从Matlab仿真角度验证了录音、预处理、提取语音信号时域特征参数，主要讨论了预处理中各种参数的选择，以使信号特征提取更加准确。再次讨论了各种时域特征参数的算法，包括短时能量、短时过零率等，介绍了各环节的不同软件实现方法。最后对基于Matlab的语音信号特征参数提取进行总结。 第二章Matlab简介 MATLAB是国际上仿真领域最权威、最实用的计算机工具。它是MathWork 公司于1984年推出，它以强大的科学计算与可视化功能、简单易用、开放式可扩展环境，特别是所附带的30多种面向不同领域的工具箱支持，使得它在许多科学领域中成为计算机辅助设计和分析、算法研究和应用开发的基本工具和首选平台。 2.1 发展概况 Matlab是Matrix Laboratory(矩阵实验室的缩写)，最初由美国Cleve Moler 博士在70年代末讲授矩阵理论和数据分析等课程时编写的软件包Linpack与Eispack组成，旨在使应用人员免去大量经常重复的矩阵运算和基本数学运算等繁琐的编程工作。1984年成立的Math Works公司正式把Matlab推向市场，并从事Matlab的研究和开发。1990年，该公司推出了以框图为基础的控制系统仿真工具Simulink，它方便了系统的研究与开发，使控制工程师可以直接构造系统框图进行仿真，并提供了控制系统中常用的各种环节的模块库。1993年，Math Works 公司推出的Matlab4.0版在原来的基础上又作了较大改进，并推出了Windows版，
一、填空与选择填空（本题答案写在此试卷上，30分） 1、模式识别系统的基本构成单元包括：模式采集、特征提取与选择 和模式分类。 2、统计模式识别中描述模式的方法一般使用特真矢量；句法模式识别中模式描述方法一般有串、树、网。 3、聚类分析算法属于（1）；判别域代数界面方程法属于（3）。 （1）无监督分类 (2)有监督分类（3）统计模式识别方法（4）句法模式识别方法 4、若描述模式的特征量为0-1二值特征量，则一般采用（4）进行相似性度量。 （1）距离测度（2）模糊测度（3）相似测度（4）匹配测度 5、下列函数可以作为聚类分析中的准则函数的有（1）（3）（4）。 （1）（2） (3) (4) 6、Fisher线性判别函数的求解过程是将N维特征矢量投影在（2）中进行。 （1）二维空间（2）一维空间（3）N-1维空间 7、下列判别域界面方程法中只适用于线性可分情况的算法有（1）；线性可分、不可分都适用的有（3）。 （1）感知器算法（2）H-K算法（3）积累位势函数法 8、下列四元组中满足文法定义的有（1）（2）（4）。 （1）({A, B}, {0, 1}, {A→01, A→ 0A1 , A→ 1A0 , B→BA , B→ 0}, A) （2）({A}, {0, 1}, {A→0, A→ 0A}, A) （3）({S}, {a, b}, {S → 00S, S → 11S, S → 00, S → 11}, S) （4）({A}, {0, 1}, {A→01, A→ 0A1, A→ 1A0}, A) 9、影响层次聚类算法结果的主要因素有（计算模式距离的测度、（聚类准则、类间距离门限、预定的 类别数目））。 10、欧式距离具有（ 1、2 ）；马式距离具有（1、2、3、4 ）。 （1）平移不变性（2）旋转不变性（3）尺度缩放不变性（4）不受量纲影响的特性 11、线性判别函数的正负和数值大小的几何意义是（正（负）表示样本点位于判别界面法向量指向的 正（负）半空间中；绝对值正比于样本点到判别界面的距离。）。 12、感知器算法1。 （1）只适用于线性可分的情况；（2）线性可分、不可分都适用。
语音识别技术综述 The summarization of speech recognition 张永双 苏州大学 摘要 本文回顾了语音识别技术的发展历史，综述了语音识别系统的结构、分类及基本方法，分析了语音识别技术面临的问题及发展方向。 关键词：语音识别；特征；匹配 Abstact This article review the courses of speech recognition technology progress ,summarize the structure,classifications and basic methods of speech recognition system and analyze the direction and the issues which speech recognition technology development may confront with. Key words: speech recognition;character;matching 引言 语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门交叉学科，所涉及的领域有信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等，甚至还涉及到人的体态语言（如人民在说话时的表情手势等行为动作可帮助对方理解）。其应用领域也非常广，例如相对于键盘输入方法的语音输入系统、可用于工业控制的语音控制系统及服务领域的智能对话查询系统，在信息高度化的今天，语音识别技术及其应用已成为信息社会不可或缺的重要组成部分。 1.语音识别技术的发展历史 语音识别技术的研究开始二十世纪50年代。1952年，AT&Tbell实验室的Davis等人成功研制出了世界上第一个能识别十个英文数字发音的实验系统：Audry系统。
特征提取 SIFT算法提取步骤 SIFT算法提取特征点的主要步骤： （1）检测尺度空间极值点 检测尺度空间极值的目的是确定特征点位置和所在尺度组。即先使用高斯过滤器对原始图像进行若干次连续滤波建立第一个尺度组，再把图形减小到原来的一半，进行同样的高斯滤波形成第二个尺度组。之后，重复操作直到图像小于某一个给定阀值为止。接下来对每个尺度组中的高斯图像进行差分，形成高斯差分尺度组（DoG尺度图像）。
图3-1 尺度空间的构造 在上面建立的DoG尺度空间金字塔中，为了检测到DoG空间的最大值和最小值，DoG尺度空间中中间层(最底层和最顶层除外)的每个像素点需要跟同一层的相邻8个像素点以及它上一层和下一层的9个相邻像素点总共26个相邻像素点进行比较，以确保在尺度空间和二维图像空间都检测到局部极值，如图3-2所示 图3-2 DoG空间局部极值检测 在图3-2中，标记为叉号的像素若比相邻26个像素的DoG值都大或都小，则该点将作为一个局部极值点。被检测工件的高斯滤波图像如图3-3所示。
图3-3 原始图像和部分高斯滤波图像 （2）精确定位极值点 由于DoG值对噪声和边缘较敏感，因此，在上面DoG尺度空间中检测到局部极值点还要经过进一步的检验才能精确定位为特征点。一般通过二阶Taylor 展开式计算极值点的偏移量，获得亚像素定位精度，同时通过阈值设置剔除差异小的点。最终保留下来的点称为特征点，特征点的检测是在尺度空间中进行的，特征点保持为尺度不变量。各层图像特征点如图3-4所示。
图3-4 各层图像的特征点 （3）为每个关键点指定方向参数 σ—尺度空间坐标 O —组(octave)数 S —组内层数 在上述尺度空间中，O 和S ，σ的关系如下： ()[][]2,...,0,1,...,02 ,0+∈-∈=+S s O o s o S s o σσ (3-10)
语音识别改进方法及难点分析 ——《模式识别》结课小论文 学院：化工与环境学院 学号：2120151177 姓名：杜妮
摘要：随着计算机技术的不断发展，人工智能程度也越来越高，作为人工智能的一部分——模式识别也在模型和算法上愈发成熟。本文根据近105年文献，分析最新声音识别的方法和应用。 关键字：模式识别声音识别方法应用 随着人工智能的迅速发展，语音识别的技术越来越成为国内外研究机构的焦点。人们致力于能使机器能够听懂人类的话语指令，并希望通过语音实现对机器的控制。语音识别的研究发展将在不远的将来极大地方便人们的生活。 语音识别大致的流程包括：特征提取、声学模型训练、语音模型训练以及识别搜索算法。作为一项人机交互的关键技术，语音识别在过去的几十年里取得了飞速的发展，人们在研究和探索过程中针对语音识别的各部流程进行了各种各样的尝试和改造，以期发现更好的方法来完成语音识别流程中的各步骤，以此来促进在不同环境下语音识别的效率和准确率。本文通过查阅近10年国内外文献，分析目前语音识别流程中的技术进展和趋势，并在文章最后给出几项语音识别在日常生活中的应用案例，从而分析语音识别之后的市场走势和实际利用价值。 一、语音识别的改进方法 (一)特征提取模块改进 特征提取就是从语音信号中提取出语音的特征序列。提取的语音特征应该能完全、准确地表达语音信号，特征提取的目的是提取语音信号中能代表语音特征的信息，减少语音识别时所要处理的数据量。语音信号的特征分析是语音信号处理的前提和基础，只有分析出可以代表语音信号本质特征的参数，才能对这些参数进行高效的语音通信，语音合成，和语音识别等处理，并且语音合成的好坏，语音识别率的高低，也都取决于语音特征提取的准确性和鲁棒性。目前，针对特定应用的中小词汇量、特定人的语音识别技术发展已较为成熟，已经能够满足通常应用的要求，并逐步投入了实用。而非特定人、大词汇量、连续语音识别仍是
2.1图像模式识别的方法 图像模式识别的方法很多，从图像模式识别提取的特征对象来看，图像识别方法可分为以下几种：基于形状特征的识别技术、基于色彩特征的识别技术以及基于纹理特征的识别技术。其中，基于形状特征的识别方法，其关键是找到图像中对象形状及对此进行描述，形成可视特征矢量，以完成不同图像的分类，常用来表示形状的变量有形状的周长、面积、圆形度、离心率等。基于色彩特征的识别技术主要针对彩色图像，通过色彩直方图具有的简单且随图像的大小、旋转变换不敏感等特点进行分类识别。基于纹理特征的识别方法是通过对图像中非常具有结构规律的特征加以分析或者则是对图像中的色彩强度的分布信息进行统计来完成。 从模式特征选择及判别决策方法的不同可将图像模式识别方法大致归纳为两类:统计模式(决策理论)识别方法和句法(结构)模式识别方法。此外，近些年随着对模式识别技术研究的进一步深入，模糊模式识别方法和神经网络模式识别方法也开始得到广泛的应用。在此将这四种方法进行一下说明。 2.1.1句法模式识别 对于较复杂的模式，如采用统计模式识别的方法，所面临的一个困难就是特征提取的问题，它所要求的特征量十分巨大，要把某一个复杂模式准确分类很困难，从而很自然地就想到这样的一种设计，即努力地把一个复杂模式分化为若干
较简单子模式的组合，而子模式又分为若干基元，通过对基元的识别，进而识别子模式，最终识别该复杂模式。正如英文句子由一些短语，短语又由单词，单词又由字母构成一样。用一组模式基元和它们的组成来描述模式的结构的语言，称为模式描述语言。支配基元组成模式的规则称为文法。当每个基元被识别后，利用句法分析就可以作出整个的模式识别。即以这个句子是否符合某特定文法，以判别它是否属于某一类别。这就是句法模式识别的基本思想。 句法模式识别系统主要由预处理、基元提取、句法分析和文法推断等几部分组成。由预处理分割的模式，经基元提取形成描述模式的基元串（即字符串）。句法分析根据文法推理所推断的文法，判决有序字符串所描述的模式类别，得到判决结果。问题在于句法分析所依据的文法。不同的模式类对应着不同的文法，描述不同的目标。为了得到于模式类相适应的文法，类似于统计模式识别的训练过程，必须事先采集足够多的训练模式样本，经基元提取，把相应的文法推断出来。实际应用还有一定的困难。 2.1.2统计模式识别 统计模式识别是目前最成熟也是应用最广泛的方法，它主要利用贝叶斯决策规则解决最优分类器问题。统计决策理论的基本思想就是在不同的模式类中建立一个决策边界，利用决策函数把一个给定的模式归入相应的模式类中。统计模式识别的基本模型如图2，该模型主要包括两种操作模型：训练和分类，其中训练主要利用己有样本完成对决策边界的划分，并采取了一定的学习机制以保证基于样本的划分是最优的;而分类主要对输入的模式利用其特征和训练得来的决策函数而把模式划分到相应模式类中。 统计模式识别方法以数学上的决策理论为基础建立统计模式识别模型。其基本模型是:对被研究图像进行大量统计分析，找出规律性的认识，并选取出反映图像本质的特征进行分类识别。统计模式识别系统可分为两种运行模式:训练和分类。训练模式中，预处理模块负责将感兴趣的特征从背景中分割出来、去除噪声以及进行其它操作;特征选取模块主要负责找到合适的特征来表示输入模式;分类器负责训练分割特征空间。在分类模式中，被训练好的分类器将输入模式根据测量的特征分配到某个指定的类。统计模式识别组成如图2所示。
模式识别及其在图像处理中的应用 摘要：随着计算机和人工智能技术的发展，模式识别在图像处理中的应用日益广泛。综述了模式识别在图像处理中特征提取、主要的识别方法（统计决策法、句法识别、模糊识别、神经网络）及其存在的问题，并且对近年来模式识别的新进展——支持向量机与仿生模式识别做了分析和总结，最后讨论了模式识别亟待解决的问题并对其发展进行了展望。 关键词：模式识别；图像处理；特征提取；识别方法
模式识别诞生于20世纪20年代，随着计算机的出现和人工智能的发展，模式识别在60年代初迅速发展成一门学科。它所研究的理论和方法在很多学科和领域中得到广泛的重视，推动了人工智能系统的发展，扩大了计算机应用的可能性。图像处理就是模式识别方法的一个重要领域，目前广泛应用的文字识别（ MNO）就是模式识别在图像处理中的一个典型应用。 1.模式识别的基本框架 模式识别在不同的文献中给出的定义不同。一般认为，模式是通过对具体的事物进行观测所得到的具有时间与空间分布的信息，模式所属的类别或同一类中模式的总体称为模式类，其中个别具体的模式往往称为样本。模式识别就是研究通过计算机自动地（或者人为进行少量干预）将待识别的模式分配到各个模式类中的技术。模式识别的基本框架如图1所示。 根据有无标准样本，模式识别可分为监督识别方法和非监督识别方法。监督识别方法是在已知训练样本所属类别的条件下设计分类器，通过该分类器对待识样本进行识别的方法。如图1，标准样本集中的样本经过预处理、选择与提取特征后设计分类器，分类器的性能与样本集的大小、分布等有关。待检样本经过预处理、选择与提取特征后进入分类器，得到分类结果或识别结果。非监督模式识别方法是在没有样本所属类别信息的情况下直接根据某种规则进行分类决策。应用于图像处理中的模式识别方法大多为有监督模式识别法，例如人脸检测、车牌识别等。无监督的模式识别方法主要用于图像分割、图像压缩、遥感图像的识别等。
语音信号特征参数提取方法 阮雄飞微电子学与固体电子学 摘要：在语音技术的发展过程中使用了大量的语音信号特征参数, 好的语音信号特征参数能对语音识别起至关重要的作用。本文对语音信号特征参数提取方法以及国内外研究现状进行了介绍,最后介绍了Hilbert-Huang 这一新兴理论成果以及在特征提取中的应用。 关键词：语音技术特征提取HHT 1 引言 语音信号是一种短时平稳信号，即时变的，十分复杂，携带很多有用的信息，这些信息包括语义、个人特征等，其特征参数的准确性和唯一性将直接影响语音识别率的高低，并且这也是语音识别的基础[1]。特征参数应该能够比较准确地表达语音信号的特征具有一定的唯一性。 上世纪40年代，potter等人提出了“visiblespeech”的概念，指出语谱图对语音信号有很强的描述能力，并且试着用语谱信息进行语音识别，这就形成了最早的语音特征，直到现在仍有很多的人用语谱特征来进行语音识别[2]。后来，人们发现利用语音信号的时域特征可以从语音波形中提取某些反映语音特性的参数，比如：幅度、短时帧平均能量、短时帧过零率、短时自相关系数、平均幅度差函数等。这些参数不但能减小模板数目运算量及存储量而且还可以滤除语音信号中无用的冗余信息。语音信号特征参数是分帧提取的, 每帧特征参数一般构成一个矢量, 所以语音信号特征是一个矢量序列。我们将语音信号切成一帧一帧, 每帧大小大约是20-30ms。帧太大就不能得到语音信号随时间变化的特性, 帧太小就不能提取出语音信号的特征, 每帧语音信号中包含数个语音信号的基本周期。有时希望相邻帧之间的变化不是太大, 帧之间就要有重叠, 帧叠往往是帧长的1/2或1/3。帧叠大, 相应的计算量也大[3]。随着语音识别技术的不断发展时域特征参数的种种不足逐渐暴露出来，如这些特征参数缺乏较好稳定性且区分能力不好。于是频域参数开始作为语音信号的特征比如频谱共振峰等。经典的特征提取方法主要有LPCC（线性预测倒谱系数）、MFCC（美尔频率倒谱系数）、HMM（隐马尔科夫模型）、DTW（动态时间规整）等。 2 语音信号特征参数提取方法
第五章 特征选择与特征提取 5.1 问题的提出 前面主要介绍的是各种分类器的设计方法，实际上我们已经完全可以解决模式识别的问题了。然而在实际应用中，在分类器设计之前，往往需要对抽取出的特征进行一下处理，争取尽量减小特征的维数。在实践中我们发现，特征的维数越大，分类器设计的难度也越大，一维特征的识别问题最容易解决，我们只要找到一个阈值t ，大于t 的为一类，小于t 的为一类。同时特征维数越大，要求的训练样本数量越多，例如在一维的情况下，10个训练样本就可以比较好的代表一个类别了，而在10维空间中，10个训练样本则是远远不够的。这一章中我们就来介绍一下减小特征维数的方法。 一般来说模式识别系统的输入是传感器对实物或过程进行测量所得到的一些数据，其中有一些数据直接可以作为特征，有一些数据经过处理之后可以作为特征，这样的一组特征一般称为原始特征。在原始特征中并不一定每个特征都是有用的，比如在识别苹果和橙子的系统中，我们可以抽取出的特征很多，（体积，重量，颜色，高度，宽度，最宽处高度），同样还有可能抽取出其它更多的特征。在这些特征中对分类有用的是（颜色，高度，最宽处高度），其它特征对识别意义不大，应该去除掉。这样的过程称为是特征选择，也可以称为是特征压缩。 特征选择可以描述成这样一个过程，原始特征为N 维特征()12,,,T N x x x =X ，从中 选择出M 个特征构成新的特征矢量( ) 11,, ,M T i i i Y x x x =，M N <。 同时，特征矢量的每一个分量并不一定是独立的，它们之间可能具有一定的相关性，比如说高度和最宽处的高度，高度值越大，最宽处的高度值也越大，它们之间具有相关性，我们可以通过一定的变换消除掉这种相关性，比如取一个比值：最宽处的高度/高度。这样的过程称为特征提取。 特征提取可以描述为这样一个过程，对特征矢量()12,, ,T N x x x =X 施行变换： ()i i y h =X ，1,2,,i M =，M N <，产生出降维的特征矢量()12,, ,T M Y y y y =。 在一个实际系统的设计过程中，特征的选择和提取过程一般都需要进行，首先进行特征选择，去除掉无关特征，这些特征实践上根本就不需要抽取出来，这部分传感器根本不需要安装，这样也可以减小系统的的成本。然后进行特征提取，降低特征的维数。然后利用降维之后的样本特征来设计分类器。 5.2 模式类别的可分性判据 在讨论特征选择和特征压缩之前，我们先要确定一个选择和提取的原则。对一个原始特
噪音环境下的语音识别 1.引言 随着社会的不断进步和科技的飞速发展，计算机对人们的帮助越来越大，成为了人们不可缺少的好助手，但是一直以来人们都是通过键盘、鼠标等和它进行通信，这限制了人与计算机之间的交流，更限制了消费人群。为了能让多数人甚至是残疾人都能使用计算机，让计算机能听懂人的语言，理解人们的意图，人们开始了对语音识别的研究． 语音识别是语音学与数字信号处理技术相结合的一门交叉学科，它和认知学、心理学、语言学、计算机科学、模式识别和人工智能等学科都有密切关系。 2.语音识别的发展历史和研究现状 2.1国外语音识别的发展状况 国外的语音识别是从1952年贝尔实验室的Davis等人研制的特定说话人孤立数字识别系统开始的。 20世纪60年代，日本的很多研究者开发了相关的特殊硬件来进行语音识别RCA实验室的Martin等人为解决语音信号时间尺度不统一的问题，开发了一系列的时问归正方法，明显地改善了识别性能。与此同时，苏联的Vmtsyuk提出了采用动态规划方法解决两个语音的时闻对准问题，这是动态时间弯折算法DTW(dymmic time warping)的基础，也是其连续词识别算法的初级版．20世纪70年代，人工智能技术走入语音识别的研究中来．人们对语音识别的研究也取得了突破性进展．线性预测编码技术也被扩展应用到语音识别中，DTw也基本成熟。 20世纪80年代，语音识别研究的一个重要进展，就是识别算法从模式匹配技术转向基于统计模型的技术，更多地追求从整体统计的角度来建立最佳的语音识别系统。隐马尔可夫模型(hidden Markov model，删)技术就是其中一个典型技术。删的研究使大词汇量连续语音识别系统的开发成为可能。 20世纪90年代，人工神经网络(artificial neural network，ANN)也被应用到语音识别的研究中，并使相应的研究工作在模型的细化、参数的提取和优化以及系统的自适应技术等方面取得了一些关键性的进展，此时，语音识别技术进一步成熟，并走向实用。许多发达国家，如美国、日本、韩国，已经IBM、Microsoft、Apple、AT&T、Nrr等著名公司都为语音识别系统的实用化开发研究投以巨资。 当今，基于HMM和ANN相结合的方法得到了广泛的重视。而一些模式识
第七章特征提取与选择_总结 7.6 特征选择中的直接挑选法 特征的选择除了我们前面学习的变换法外, 也可以在原坐标系中依据某些原则直接选择特征, 即我们这节课要学的直接挑选法。 7.6.1次优搜索法 (一)单独最优的特征选择 单独选优法的基本思路是计算各特征单独使用时的判据值并以递减排序，选取前d个分类效果最好的特征。一般地讲，即使各特征是统计独立的，这种方法选出的d个特征也不一定是最优的特征组合，只有可分性判据J是可分的，即 这种方法才能选出一组最优特征。 (二)增添特征法 该方法也称为顺序前进法（SFS）这是最简单的自下而上搜索方法，每次从未选入的特征中选择一个特征，使它与已选入的特征组合在一起时J值最大，直到选入特征数目达到指定的维数d为止。 设已选入了k个特征，它们记为X k，把未选入的n-k个特征x j（j=1,2,…,n-k)逐个与已选入的特征X k组合计算J 值，若： 则x1选入，下一步的特征组合为X k+1=X k+x1。开始时，k=0，X0=F，该过程一直进行到k=d为止。 该方法比“单独最优的特征选择法”要好，但其缺点也是明显的：即某特征一旦选入，即使后边的n-k特征中的某个从组合讲比它好，也无法把它剔除。 (三)剔减特征法 该方法也称为顺序后退法(SBS)。这是一种自上而下的搜索方法，从全部特征开始每次剔除一个特征，所剔除的特征应使尚保留的特征组合的值最大。 设已剔除了k个特征，剩下的特征组记为，将中的各特征x j （j=1,2,…,n-k)分别逐个剔除，并同时计算值，若： 则在这轮中x1应该剔除。
这里初值，过程直到k=n-d为止。 (四) 增l 减r 法（l-r 法） 为了克服前面方法（二）、（三）中的一旦某特征选入或剔除就不能再剔除或选入的缺点，可在选择过程中加入局部回溯，例如在第k步可先用方法（二）。，对已选入的k个特征再一个个地加入新的特征到k+1个特征，然后用方法(三) 一个个地剔除r个特征，称这种方法为l减r法（l-r法）。 7.6.2最优搜索法 (一)分支定界法(BAB算法) 寻求全局最优的特征选择的搜索过程可用一个树结构来描述，称其为搜索树或解树。总的搜索方案是沿着树自上而下、从右至左进行，由于树的每个节点代表一种特征组合，于是所有可能的组合都可以被考虑。利用可分性判据的单调性采用分支定界策略和值左小右大的树结构，使得在实际上并不计算某些特征组合而又不影响全局寻优。这种具有上述特点的快速搜索方法，称为分支定界算法。 6选2的特征选择问题 (a)搜索树 (b)搜索回溯示意图 树的每个节点表示一种特征组合，树的每一级各节点表示从其父节点的特征 组合中再去掉一个特征后的特征组合，其标号k表示去掉的特征是。由于每一级只舍弃一个特征，因此整个搜索树除根节点的0级外，还需要n-d级，即全树有n-d级。6个特征中选2个，故整个搜索树需4级，第n-d级是叶节点，有
第八讲特征提取和特征选择 一、基本概念 1、特征的生成 （1）原始特征的采集和转换 通过对原始特征的信号采集，获得样本的原始表达数据， 从原始数据中选择或计算出对分类任务有用的原始特征，并转换成可用 的形式 原始数据： 像素点RGB值矩阵 可用的原始特征： 轮廓特征 颜色特征 纹理特征 数学特征 （2）有效特征的生成 目的： 降低特征维数，减少信息冗余 提升特征的有效性 方法： 特征提取：提高特征对类别的分辨能力
特征选择：寻找对分类最重要的特征 2、 特征提取 通过某种变换，将原始特征从高维空间映射到低维空间。 A ：X →Y ； A 为特征提取器，通常是某种正交变换。 最优特征提取：J(A*)=max J(A)， J 是准则函数 3、 特征选择 从一组特征中挑选出一些最有效的特征，以达到降低特征空间维数的目的。 D d d i S y y y y F x x x S i d D <=∈→;,...,2,1,} ,......,,{:},......,,{:2121 原始特征集合S 中包含D 个特征，目标特征集合F 中包含d 个特征； 最优特征选择：J(F*)=max J(F)， J 是准则函数 4、 准则函数的选取 （1） 准则函数的选取原则 分类正确率是最佳的特征提取和特征选择准则函数，但难以计算。 实用的类别可分性准则函数应满足以下要求： 与分类正确率有单调递增关系 当特征独立时具有可加性：∑==d k k ij d ij x J x x x J 1 )()...21，， ，（ 具有标量测度特性：?? ? ??===≠>ji ij ij ij J J j i J j i J 时 ，当时 ，当00
语音识别 1 《基于深度学习的语音识别应用研究》 语音识别主要作用就是把一段语音信号转换成相对应的文本信息,系统主要由声学特征提取、语言模型、声学模型和解码器等组成。训练识别的过程是从原始波形语音数据中提取的声学特征经过训练得到声学模型,与发声词典、语言模型组成网络,对新来的语音提取特征,经过声学模型表示,通过维特比解码得出识别结果。 特征 系统主要由声学特征提取、语言模型、声学模型和解码器等组成。 音识别中的特征包括:线性预测参数(LinearPredictionCoefficients,LPC)、倒谱系数(Cepstral Coefficients, CEP)、梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients, MFCC)和感知线性预测系数(Perceptual Linear Prediction, PLP)等。 声学模型 声学基元选择 词(Word)、音节(Syllable)、声韵母(Initial/Final) 以及音素(Phone) HMM声学建模 隐马尔科夫模型 声学模型训练准则 最大似然准则 语言模型 统计语言模型,通过概率来表示词序列在语言环境中出现的可能性,并不是基于语法规则的简单判断。 解码器 通过在一个由语言模型、发声词典、声学模型构成的网络空间中 搜索得分较高的状态序列,其中这里的网络空间有动态网络和静态网络,得分主要由声学模型得分和语言模型得分共同决定。 语音识别的深度学习 CNN 将语音看做二维特征输入时，第一维是时域维度，第二维是频域维度，这两维的物理意义完全不同!.
输入层、卷积核、特征图(feature map)都是一维的。 用Kaldi中特征提取工具以帧长25ms、巾贞移10ms,提取原始数据生成39维MFCC特征(12维滤波器输出值加上1维对数能量,以及其一阶差分和二阶差分)。分布满足a, =0及德尔塔=1,这么做可以直接避免训练样本分布的重新估计。 总结 通过深度神经网络提取语音特征的方法、深度神经网络提取声韵母属性的方法和深度学习搭建声学模型的方法的语音识别系统与MFCC特征下GMM-HMM 搭建的系统就词识别率的结果比较可以看出,深度学习网络替换GMM模型做状态输出的系统识别错误率最低,深度神经网络提取声韵母属性的方法的效果次之,深度神经网络提取语音特征效果比深度神经网络提取声韵母属性效果差,但是比MFCC的系统好。 2 卷积神经网络在语音识别中的应用 将语音看做二维特征输入时，第一维是时域维度，第二维是频域维度。 DNN上实验证明，多帧串联的长时特征对模型性能的提高很重要。当前帧的前后几帧串联起来构成长时特征。 频域维度上，一般采用梅尔域的滤波带系数( filterbank) 作为参数( 如图% 中选择+ 个滤波频带) 在送入B++ 训练前，将多帧串联构成长时 特征!所有特征都进行了逐句的均值方差规整! 英文标准连续语音识别库TIMIT 主流的语音识别系统基本上都是以隐马尔科夫模型为基础所建立的 倒谱均值方差归一化、声道长度归一化以及RASTA滤波 用深度学习方法提取语音高层特征通常可以采用MFCC、PLP以及filter-bank 等参数作为输入。
改进型智能机器人的语音识别方法 2、语音识别概述 最近，由于其重大的理论意义和实用价值，语音识别已经受到越来越多的关注。到现在为止，多数的语音识别是基于传统的线性系统理论，例如隐马尔可夫模型和动态时间规整技术。随着语音识别的深度研究，研究者发现，语音信号是一个复杂的非线性过程，如果语音识别研究想要获得突破，那么就必须引进非线性系统理论方法。最近，随着非线性系统理论的发展，如人工神经网络，混沌与分形，可能应用这些理论到语音识别中。因此，本文的研究是在神经网络和混沌与分形理论的基础上介绍了语音识别的过程。 语音识别可以划分为独立发声式和非独立发声式两种。非独立发声式是指发音模式是由单个人来进行训练，其对训练人命令的识别速度很快，但它对与其他人的指令识别速度很慢，或者不能识别。独立发声式是指其发音模式是由不同年龄，不同性别，不同地域的人来进行训练，它能识别一个群体的指令。一般地，由于用户不需要操作训练，独立发声式系统得到了更广泛的应用。所以，在独立发声式系统中，从语音信号中提取语音特征是语音识别系统的一个基本问题。 语音识别包括训练和识别，我们可以把它看做一种模式化的识别任务。通常地，语音信号可以看作为一段通过隐马尔可夫模型来表征的时间序列。通过这些特征提取，语音信号被转化为特征向量并把它作为一种意见，在训练程序中，这些意见将反馈到HMM的模型参数估计中。这些参数包括意见和他们响应状态所对应的概率密度函数，状态间的转移概率，等等。经过参数估计以后，这个已训练模式就可以应用到识别任务当中。输入信号将会被确认为造成词，其精确度是可以评估的。整个过程如图一所示。 图1 语音识别系统的模块图