Enhancement and recognition of noisy speech within an autoregressive hidden Markov model fr

收稿日期:2019-12-28摇摇摇摇摇摇修回日期:2020-04-29基金项目:国家自然科学基金青年项目(61601261);山东省研究生教育质量提升计划项目(SDYY17136)作者简介:吴俊清(1994-),女,硕士,研究方向为语音情感识别、机器学习;倪建成,博士,教授,CCF高级会员(16502S),研究方向为分布式计算、机器学习、数据挖掘。语音情感识别中面向小数据集的CGRU方法吴俊清,倪建成,魏媛媛(曲阜师范大学软件学院,山东曲阜273100)摘摇要:为增强人机交互的和谐,提升语音情感识别的精度,提出一种面向小数据集的CGRU深度学习方法。该方法将原始音频通过上移和下移操作进行语音增强,将增强后的语音信号映射到Mel尺度并生成Mel功率谱图,然后对其做旋转、切角、偏移等图像增强操作,并结合卷积神经网络(CNN)对频域特征的捕捉能力和门控循环单元(GRU)网络对时序信息的特性获取能力构成融合模型CGRU,该模型通过自动学习深度谱特征进行情感识别。实验分别验证了利用谱图特征与手工特征在Emo-DB上的识别效果,并比较了CLSTM与CGRU的时间性能。结果表明,利用谱图特征在CGRU方法上的情感识别精度达到98.39%,超过传统手工特征eGeMAPS在该数据库上的识别效果,提出的方法在语音情感识别任务上获得有竞争力的表现。另外,在相同的训练参数下,CGRU要比CLSTM具有更加良好的时间性能。关键词:语音情感识别;卷积神经网络;门控循环单元;小数据集;谱图特征中图分类号:TP18摇摇摇摇摇摇文献标识码:A摇摇摇摇摇摇摇文章编号:1673-629X(2020)12-0077-06doi:10.3969/j.issn.1673-629X.2020.12.014CGRUMethodforSmallDatasetsinSpeechEmotionRecognitionWUJun-qing,NIJian-cheng,WEIYuan-yuan(SchoolofSoftware,QufuNormalUniversity,Qufu273100,China)Abstract:Inordertoenhancetheharmonyofhuman-computerinteractionandimprovetheaccuracyofspeechemotionrecognition,aCGRUdeeplearningmethodforsmalldatasetsisproposed.Inthismethod,theoriginalaudioisenhancedbymovingupanddown.TheenhancedspeechsignalismappedtotheMelscaletogenerateaMelpowerspectrum,andthenimageenhancementoperationssuchasro鄄tation,biningtheabilityoftheconvolutionalneuralnetwork(CNN)tocapturethefrequencydomainfeaturesandtheabilityofthegatedrecurrentunit(GRU)networktoacquirethetimesequenceinformation,afusionmodelCGRUisformed.Thismodelautomaticallylearnsdeepspectrumfeaturestoperformemotionrecognition.TheexperimentsverifytherecognitioneffectofspectralfeaturesandmanualfeaturesonEmo-DB,andcomparethetimeperformanceofCLSTMandCGRU.TheresultsshowthattheaccuracyofemotionrecognitionusingtheCGRUmethodofspectralfeaturesreaches98.39%,whichexceedstherecognitioneffectofthetraditionalmanualfeatureeGeMAPS.Theproposedmethodachievescompetitiveperformanceonspeechemotionrecognitiontasks.Inaddition,underthesametrainingparameters,CGRUhasbetterperformanceoftimethanCLSTM.Keywords:speechemotionrecognition(SER);convolutionalneuralnetworks;gatedrecurrentunit;smalldatasets;spectralfeature0摇引摇言情感是提升人机交互和谐的重要因素,也是影响人类行为决策的内在驱动。语音中不仅包含大量的语义信息,还蕴含着丰富的情感内涵。语音情感识别的优劣很大程度依赖于特征的构建,而情感作为一种抽象的个体,很难有标准的特征表示,因此如何获取准确的情感特征成为语音情感识别的一大难题。传统的语音特征大致从韵律学特征(如基频、能量、时长)、频谱特征(Mel倒谱系数-MFCC、线性预测倒谱系数-LPCC)和声音质量特征(即人们赋予语音的主观评价指标,用于衡量语音是否纯净、清晰、容易辨识等,如喘息、颤音、哽咽等)[1]提取关联信息,这些特征都是手工构建,需花费大量时间和精力,因此,人们逐渐将注意力放在自动提取特征方面。谱图可以捕捉语音信号间不同的情感特征,是一种流行的特征表示方式,研究表明,使用深度学习方法从谱图图像中自动学习情感特征可以达到甚至超过手动特征的识别效果。文献[2-3]都构建了一种包含静第30卷摇第12期2020年12月摇摇摇摇摇摇摇摇摇摇计算机技术与发展COMPUTERTECHNOLOGYANDDEVELOPMENT摇摇摇摇摇摇摇摇摇摇Vol.30摇No.12Dec.摇2020态系数、一阶系数和二阶系数的三通道的log-mel谱图,文献[2]中使用谱图提取的深度特征较使用韵律和MFCC特征的平均召回率提升了1.7%。文献[4]中使用mel谱图提取深度谱特征,发现利用BLSTM-FCN网络模型计算出的每个频带的深谱特征与传统的语音情感识别的声学特征表示方法相比,在性能上是相当的。1摇相关工作近年来,卷积神经网络在图像识别任务中表现优异[5-7],因此,利用CNN捕捉局部特征的能力实现自动获取识别任务特征,从而代替传统手工特征构建,简化特征提取过程的思想逐渐流行。CNN具有局部连接、权值共享的特性,使模型对平移缩放具有一定的不变性,在各种信号和信息处理任务中的性能优于标准的全连接神经网络[8]。由于它们高精度的识别率,因此在大规模图像识别任务中成为最主要的方法。Mao等人[9]首次使用卷积神经网络(CNN)学习SER的情感显著性特征,并在几个基准数据集上显示出优异的性能。文献[10]通过预训练的AlexNet作为特征提取器对信号生成的谱图提取深度特征,以类似的方式,文献[11]依据caffenet为基准结构删减掉原始三个连续卷积层中的两个,并以灰度谱图作为网络输入,减小训练时间加速模型收敛。CNN可以有效地获取图像高级特征,但受限于卷积网络自身结构特性,因此很难捕捉到时域方向的特征,近期文献表明,研究者更倾向于构建一种结合CNN和RNN的新型网络结构,以此更好地学习谱图时域和频域特征。在文献[12-13]中,研究人员将卷积层和递归层结合起来,以提高基于时域语音信号或原始信号的语音情感识别任务的性能。文献[14]提出了一种结合CNN和LSTM且用于大量词汇语音识别的卷积递归神经网络(Crnn)。实验结果表明,该模型具有较高的语音识别性能。与此同时,AharonSatt等人[15]构建了一种三层卷积连接一层LSTM的深层网络结构用于语音情感识别,该系统与以前没有延迟约束(约束臆3秒)的工作相比,在通用基准测试数据集IEMOCAP上达到最先进的识别精度。文献[16]提出一种基于串联CNN和RNN训练的SER方法,该方法无需使用任何传统的手工功能。将所提方法应用于语音情感数据库中,分类结果证明比使用常规分类方法具有更好的准确性。虽然利用深度学习提取谱图特征成为语音情感识别的一种趋势,但是应用于小数据集上的深度学习研究相对较少,为解决小数据集上存在深度学习过拟合且识别精度低的问题,提出一种基于语音和图像双重增强的卷积神经网络与门控循环单元网络结合的深度学习模型。通过对Emo-DB德语情感语料库进行语音和图像增强,对增强后的Mel功率谱图进行深度学习的模型构建并对识别结果进行评估。2摇模摇型2.1摇模型结构2.1.1摇卷积模块近年来,卷积神经网络在图像识别领域大放异彩,得益于卷积操作强大的特征提取能力,将增强后的语音生成的Mel功率谱图作为卷积神经网络的输入。不同于传统卷积神经网络的结构,在构建前两层卷积层时用BN层代替池化层,这样可以尽可能多地保留局部信息特征,减少池化操作带来的信息丢失,加入的BN层可以加速模型训练并提高泛化性能。尽管卷积网络会学习到不错的抽象特征,但会忽略时间方向的信息,考虑到这个问题,在卷积模块后面接入GRU模块,以便获取时域信息。2.1.2摇GRU模块RNN在反向传播过程中不断进行链式求导,后期会出现梯度消失的现象,导致网络很难学习到距离较远的单元内容。为了解决这一问题,LSTM和GRU[17](门控循环单元)相继而生。GRU是LSTM的一种变体,较LSTM相比只有两个“门冶,单元结构如图1所示。重置门rt决定t-1时刻信息遗忘的程度,计算方式如式(2)所示,rt的值越小说明前一时刻的信息被忽略得越多,其中滓表示“sigmoid冶函数;更新门zt表示t-1时刻的信息保留到当前时刻的程度,当zt越大时,说明前一时刻信息被保留得越多,以此解决递归神经网络中存在的长依赖问题。最终,由式(4)可知,当前时刻信息ht由前一时刻信息ht-1及当前时刻候选集h~t决定。GRU较LSTM模型结构更简单,参数更少,因此更容易训练。

第２５卷第１期　２０１０年１月　数　据　采　集　与　处　理　Ｊｏｕｒｎａｌ　ｏｆ　Ｄａｔａ　Ａｃｑｕｉｓｉｔｉｏｎ＆Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏ１．２５　Ｎｏ．１　Ｊａｎ．２０１０　

引　文章编号：１００４—９０３７（２０１０）０１—００７６—０５　

采用韵律特征的说话人确认系统　

龙艳花　郭　武　戴礼荣　

（中国科技大学电子工程与信息科学系，合肥，２３００２７）　

摘要：在文本无关的说话人识别中，韵律特征由于其对信道环境噪声不敏感等特性而被应用于话者识别任务中。　本文对韵律参数采用基于高斯混合模型超向量的支持向量机建模方法，并将类内协方差特征映射方法应用于模　型超向量上，单系统的性能比传统方法的混合高斯一通用背景模型（Ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌ—ｕｎｉｖｅｒｓａｌ　ｂａｃｋ—　ｇｒｏｕｎｄ　ｍｏｄｅｌ，ＧＭＭ—ＵＢＭ）基线系统有了４Ｏ．１９　的提升。该方法与本文的基于声学倒谱参数的确认系统融合　后，能使整体系统的识别性能有９．２５％的提升。在ＮＩＳＴ（Ｎａｔｉｏｎａｌ　ｉｎｓｔｉｔｕｔｅ　ｏｆ　ｓｔａｎｄａｒｄｓ　ａｎｄ　ｔｅｃｈｎｏｌｏｇｙ　ｍｉｘｔｕｒｅ）２００６说话人测试数据库上，融合后的系统能够取得４．９％的等错误率。　关键词：说话人确认；韵律特征；超向量；类内协方差　中图分类号：ＴＮ９１２．３４　文献标识码：Ａ　

Ｓｐｅａｋｅｒ　Ｖｅｒｉｆｉｃａｔｉｏｎ　Ｂａｓｅｄ　ｏｎ　Ｐｒｏｓｏｄｉｃ　Ｆｅａｔｕｒｅｓ　

Ｌｏｎｇ　Ｙａｎｈｕａ，Ｇｕｏ　Ｗｕ，Ｄａｉ　Ｌｉｒｏｎｇ　（Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ　ｏｆ　Ｃｈｉｎａ，Ｈｅｆｅｉ，２３００２７，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｉｎ　ｔｈｅ　ｔｅｘｔ—ｉｎｄｅｐｅｎｄｅｎｔ　ｓｐｅａｋｅｒ　ｒｅｃｏｇｎｉｔｉｏｎ　ｓｙｓｔｅｍ，ｐｒｏｓｏｄｉｃ　ｆｅａｔｕｒｅｓ　ａｒｅ　ｗｉｄｅｌｙ　

38SYS PRACTICE 系统实践

摘要：序列到序列模型是文本摘要研究领域应用最广泛的方法。但在此方法中，文本语言特征没有得到充分利用，摘要句存在词语丢失和词语重复问题，影响文本摘要的准确性和可读性。为此，论文提出基于特征融合和局部注意力相结合的摘要生成方法FCLA（Feature Combination and Local Attention）模型。利用评论文本的语言特征，提取多个文本特征加以改善输入的特征，建立领域专有词典，利用斯坦福glove词向量作为词嵌入，改进序列到序列模型，在输入层及隐藏层注入位置权重的局部注意力机制，改善生成摘要句效果。论文采用公开的亚马逊商品评论数据集进行实验，结果表明所提出的模型能够有效地提高生成摘要的准确率，可应用于文本摘要任务。关键词：特征融合；序列到序列模型；局部注意力机制；glove词嵌入；评论文本

一、前言

“互联网+”时代的飞速发展，电商平台商品销售

的评价文本信息数据日益强大，充分利用此类评价数据，

分析商品营销状况，解决商品销售问题，对电子商务的

发展具有重要意义。随着自然语言处理技术的崛起，文

本摘要也开始成为了大家深入研究的热点课题之一，文

本摘要总体可分为抽取式和生成式两种方法。2014年

Sutskever[1]等人提出的Seq2Seq序列，主要利用编码器

和解码器两个不同阶段对全局信息进行序列处理，解决

了计算机理解文本的多个难题。2018年ACL会议中，

Jadhav等人[2]提出的SWAP-NET模型在解码的每一步

计算一个Switch概率指示生成词语或者句子，得到词语

和句子的混合序列，最后由产生的句子集合选出摘要。

Rush[3]等人首次将注意力机制运用到文本摘要中，提高了

文本摘要的准确率。传统的RNN网络结构具有长距离依

赖问题，伴随着时间的推移和网络层数的递增，往往会

导致梯度的消失或爆炸两种极端现象，而长短时记忆神

经网络[4]的出现及时解决了此问题。Song[5]等人将LSTM

《基于深度学习的多通道语音增强方法研究》篇一

一、引言

随着深度学习技术的飞速发展，其在语音处理领域的应用日益广泛。多通道语音增强作为一种重要的语音处理技术，可以有效提高语音信号的信噪比，增强语音的清晰度和可懂度。本文旨在研究基于深度学习的多通道语音增强方法，通过对深度学习算法的深入研究，探索其在多通道语音增强中的潜在应用。

二、背景及意义

多通道语音增强技术是利用多个麦克风阵列接收到的信号进行语音增强处理，可以有效抑制噪声、回声等干扰因素，提高语音质量。传统的多通道语音增强方法主要依赖于信号处理技术，如谱减法、Wiener滤波器等。然而，这些方法往往难以在复杂环境下取得理想的增强效果。近年来，深度学习技术的快速发展为多通道语音增强提供了新的解决方案。通过深度学习技术，可以更准确地提取语音特征，实现更高效的噪声抑制和语音质量提升。

三、深度学习在多通道语音增强中的应用

（一）深度学习算法概述

深度学习是一种基于神经网络的机器学习方法，其通过构建多层神经网络来提取输入数据的特征，从而实现复杂的模式识别和预测任务。在多通道语音增强中，深度学习可以用于特征提取、噪声抑制、语音质量提升等方面。 （二）基于深度学习的多通道语音增强方法

1. 特征提取：利用深度神经网络（DNN）或卷积神经网络（CNN）等算法，从多个麦克风接收到的信号中提取出有效的语音特征。

2. 噪声抑制：通过训练深度学习模型，实现对噪声的抑制和消除，提高语音信号的信噪比。

3. 语音质量提升：利用深度学习技术对增强后的语音信号进行进一步处理，提高语音的清晰度和可懂度。

（三）深度学习模型的选择与优化

在多通道语音增强中，选择合适的深度学习模型至关重要。常用的模型包括循环神经网络（RNN）、长短期记忆网络（LSTM）和Transformer等。此外，还需要对模型进行优化，如调整网络结构、选择合适的激活函数、优化器等，以提高模型的性能和泛化能力。