翻译
- 格式:doc
- 大小:353.00 KB
- 文档页数:6
太原理工大学毕业设计(论文)设计说明书设计(论文)题目:情感语音信号中共振峰参数的提取方法学生:赵智越专业:通信工程班级:通信0902班指导教师:孙颖设计日期:2013年6月17日基于共振峰位置加权光谱特征的情感识别Elif Bozkurt a, Engin Erzin a,*, C?ig dem Erog lu Erdem b, A.Tanju Erdem ca Multimedia, Vision and Graphics Laboratory, College of Engineering, KocUniversity, 34450 Sariyer, Istanbul, Turkeyb Department of Electrical and Electronics Engineering, Bahc es ehir University,34353 Bes iktas , Istanbul, Turkeyc Department of Electrical and Electronics Engineering, O zyeg in University, 34662U sku dar, Istanbul, TurkeyAvailable online 6 May 2011摘要在本文中,我们从语音情感识别功能中提出新的频谱加权梅尔频率倒谱系数(WMFCC)。
这个想法基于一个事实,即共振峰的位置携带与情感有关的信息,因此,至关重要的光谱波段的共振峰的位置,可强调在计算过程中的MFCC特征。
来自频谱加权的线谱频率(LSF)的功能,这是众所周知的是局部的共振峰频率的归一化反调和平均数功能。
上面的方法可以考虑作为早期的频谱内容和共振峰的位置信息的数据融合。
我们还研究决策融合后期单峰分类方法。
我们评估该WMFCC的特征、连同原有光谱和韵律的特征使用HMM基于自发FAU艾博情感语料库的分类。
结果表明,单峰的分类与WMFCC特征表现明显优于标准的光谱分类特征。
最新的决策融合分类器进一步提供了显著的性能改进。
1.介绍情绪敏感的机器智能是基本的人机交互的基本要求。
从这个意义上说,情感语音处理研究的方向转变是从分析行为走向在先进的现实生活中应用人机交互系统自发的讲话(Ververidis and Kotropoulos, 2006; Batliner et al., 2003)。
电信业务和多媒体设备的广泛使用,将需要以人为中心的设计,而不是计算机为中心的设计。
因此,在准确的感知用户的情感状态的相互作用过程中,应用计算机系统将是至关重要的(Zeng et al., 2009)。
最新情绪感知系统包括呼叫中心应用(Lee and Narayanan, 2005; Neiberg and Elenius, 2008; Morrison et al., 2007),智能汽车系统(Schuller et al., 2006)和互动电影系统(Nakatsu et al., 2000)。
尽管广泛的研究,自动语音情感识别在人机交互领域仍然是一个开放的问题。
研究人员主要集中在定义一套通用的功能携带情感线索,并尝试开发分类,有效地模拟这些功能。
情感识别一些常用的语音特征是梅尔频率倒谱系数(MFCC) (Vlasenko et al., 2007; Grimmet al., 2006), the fundamental frequency (F0, pitch),基本频率(F0,针距),它已被引用作为最重要的特性之一,用于确定语音中的情感(Nakatsu et al., 2000; Polzin and Waibel, 2000; Lee et al., 2004),和声道的谐振频率,也称为共振峰(Nakatsu et al., 2000, 2004)。
本文的贡献和范围,可以说在三项:(i) 主要贡献是从语音中为情感识别引进新型光谱加权梅尔频率倒谱系数(WMFCC)功能。
最近,Goudbeek等人在2009年报道说情感对共振峰的定位有相当大的影响。
基于这些信息,我们提出了WMFCC特征,强调在共振峰的位置的关键光谱波段的光谱内容。
频谱加权是从归一化反调和平均函数的线谱频率(LSF)获得的特征。
实验结果表明,所提出的WMFCC特征优于传统的MFCC特征。
(ii) 我们实验评估的隐马尔可夫模型(HMM)分类器的各种拓扑结构使用不同的光谱和韵律特征来获得语音情感识别中关于可能的时间模式存在的某些特征集。
(iii) 我们评估决策融合方法结合多种分类器的情感语音不相关的特征的。
这是众所周知的,在分类系统,数据融合是有效的相关模式时,后期融合时是最佳的方式是不相关的(Sargin等人,2007)。
实验结果表明,决策融合的分类是有益的。
我们根据自发的情感语料库FAU艾博评估建议WMFCC的功能和组合分类(Steidl, 2009),这是一个引起胼明确定义的测试和培训确保扬声器的独立性和在现实生活中不同的房间声学的分区。
我们最好的得分情感识别系统在2009年Interspeech的情感挑战(Schuller et al.,2009)与建议WMFCC功能和分类决策融合,实现显著的性能改进。
此外,我们观察到鉴别情感相关的类语音信号的时空共振峰模式的证据。
本文的其余部分的结构如下。
第二部分定义了建议的情感识别系统的组成部分。
本文的其余部分的结构如下:第二部分定义了建议的情感识别系统的组成部分。
2.1节中介绍建议WMFCC功能所采用的光谱和韵律特征。
2.2节定义了基于情感识别的HMM分类基础,和第2.3节提出基于HMM分类的决策融合方法。
在第3节对实验评估所提出的系统的性能进行了讨论。
最后,第4节是结束语。
2.建议系统Fig. 1. Overview of the proposed emotion recognition system. The system is composed of classifier training and emotion recognition parts. Each spectral and prosody-related feature sequence, f, is used to train hidden Markov model sets, Af, for all emotion classes. The highest log-likelihood scores, pf, are evaluated through Viterbi decoding to be used in the decision fusion.驱动建议的自动语音情感识别系统的框图,在Fig. 1.图中给出。
该系统由三个部分组成:特征提取,分类和后期融合的分类。
特征提取块计算韵律和光谱特征包括建议WMFCC功能。
分类块包括基于HMM的分类。
基于HMM 的分类与几种状况能够模拟的颞集群,每个状况可以代表不同的分布观测。
我们的目标是捕捉情感相关的模式在语法上有意义的语音段使用基于HMM 的分类器。
语法上有意义的大块的讲话代表一个有意义的字序列(S )(Schuller et al., 2009).最后,决策融合受益于不同的或不相关的功能集。
在下面的章节中描述的情感识别系统这三个主要块。
2.1.1. 韵律特征语音韵律特征,包括语调,节奏和力度,模式,进行情绪状态的重要线索(Scherer, 1995).因此,韵律特征例如音调和语音强度可以使用不同的情绪模型。
例如,高值间距与快乐,愤怒和恐惧相关,而悲伤和无聊都与低间距值相关(Scherer, 1995).每一个语法上有意义的讲话块语音的间距特征是每10毫秒的帧估计为30 MS 分析窗口使用自相关方法。
(Deller et al., 1993).由于每个间距值不同,扬声器和系统中所需的独立扬声器,都需要扬声器正常化的应用。
对于语音中的每个块,我们计算的平均间距值都超出非零间距值。
然后,计算每个帧要将平均间距值从非零间距的值中删除。
地区分部之间没有一个有效的间距(零值间距段)都充满了零均值和单位方差的高斯噪声。
无间距差距创建确定性持续观察段,无音调的填充高斯噪声的差距,有助于保持适当的统计参数的HMM 分类培训(Sargin et al., 2007).然后,音高,音调和强度值的一阶导数作为归一化的韵律特征,这将被表示为f P 。
2.1.2.共振峰共振峰是声道滤波器的谐振频率。
共振频率从语音中准确的估计是一个具有挑战性的问题。
国家最先进的共振峰估计从短时语音分析定位候选光谱峰,以及执行时间跟踪。
一般情况下,精度,鲁棒性和计算效率是共振峰估计的主要缺点。
2009年Goudbeek 等报告说,情感共振峰的定位,特别是对前两个共振峰的位置有相当大的影响。
因此,我们采用情感识别前两个共振频率,并表示他们为f F =[F1,F2] ,首相表示向量转置。
我们还计算出第一和第二次导数的二维共振峰的特点,使用下面的回归公式,∑∑-=-=+=∆22222][][k k F F k k n kf n f ,在f F [N]是时间帧的共振峰的特征向量,所以我们定义的共振峰的特征向量为][''∆∆'∆'=F F F FA f f f f 。
共振峰频率用Praat 语音分析软件提取(Boersma andWeenink, 2010)。
五个共振峰频率被跟踪和所有的扬声器的最高的共振峰的最大频率设置为8千赫。
在25毫秒的分析窗口内两个连续帧之间的时间步长分析为10毫秒。
同时,一个50赫兹的截止和每八度倾斜6 dB 高通滤波器作为预加重补偿频谱倾斜。
2.1.3.MFCC 特征在自动语音识别中梅尔频率倒谱系数(MFCC )参数表示的是最广泛使用的光谱特征。
MFCC 特征也被成功地用于情感识别。
我们估计的MFCC 特征在10毫秒间隔使用一个25毫秒的滑动窗。
我们还包括日志能量,第一和第二次导数为特征向量。
由此产生的动态特征向量表示为:][''∆∆'∆'=∆c c c c f f f f 。
2.1.4.LSF 的特点线谱频率(LSF )表示的线性预测(LP )滤波器者在1975年由Itakura 引入。
LSF 特点代表了频谱包络,它的定位与它们的角值共振频率密切相关。
语音线性预测分析假设语音短固定部分可以由一个线性时不变的全极点滤波器的形式表示)(1)(z A z H =,这是一个p 阶模型声道。
LSF 分解是指两个多项式表达p 阶逆滤波器A(Z):)()()(11-+-=Z A z z A z p p 和)()()(11-++=z A z z A z Q p 这是用来代表LP 滤波器:)()(2)(1)(z Q z P z A z H +==。