当前位置：文档之家 › MPE-based discriminative linear transform for speaker adaptation

MPE-based discriminative linear transform for speaker adaptation

  • 格式：pdf
  • 大小：88.70 KB
  • 文档页数：4

MPE-BASEDDISCRIMINATIVELINEARTRANSFORMFORSPEAKERADAPTATIONL.WangandP.C.WoodlandMachineIntelligenceLaboratory,CambridgeUniversityEngineeringDepartment,TrumpingtonStreet,Cambridge,CB21PZ,UK.Email:lw256,pcw@eng.cam.ac.uk

ABSTRACTInthispaper,wepresentadiscriminativemethodforspeakeradap-tation,wheretheminimumphoneerror(MPE)criterionisusedtoestimatethediscriminativelineartransform(DLT),includingmeananddiagonalvariancetransforms.TheI-smoothingtech-niqueisessentialtoimprovethegeneralizationofDLTs.Exper-imentsonsupervisedadaptationfornon-nativespeakersontheNorthAmericanBusiness(NAB)Spoke3taskshowthatMPE-basedDLToutperformsbothMLLRandpreviouslyproposeddis-criminativemethodfortransformestimation.Preliminaryexper-imentsonunsupervisedDLTestimationareplottedonconversa-tionaltelephonespeechtranscription.

1.INTRODUCTIONSpeakeradaptationiscrucialtoproduceaspeaker-specificsys-tembaseduponthespeaker-independentHMMsets,givenasmallamountofadaptationutterances.Foravarietyofadaptationtasks,maximumlikelihoodlinearregression(MLLR)formodel-spacetransformationisaneffectiveandefficientapproach.MLLRcanuseaso-calledregression-classtreetoadjustthenumberofgener-atedtransforms,accordingtotheamountofadaptationdataavail-able.Usingthemaximumlikelihood(ML)criteriontoestimatethetransformparameters,MLLRcanbeusedtoestimatemean,diago-nalvariance,orfullvariancetransforms,fortheHMMparameters.MLLRcanbeoperatedineithersupervisedorunsupervisedmode.Sincediscriminativetrainingcriteria[5]suchasmaximummutualinformation(MMI)andminimumphoneerror(MPE)[6,7]havebeensuccessfullyusedtotrainHMM-basedacousticmodels,itisthenexpectedthatthesamediscriminativecriteriacanbenefittheestimationofthelineartransformsforbothadaptivetraining[10]andadaptation.Inrelatedwork[3],theH-criterionwasusedtoestimatediscriminativelineartransform(DLT),wheretheob-jectivefunctionwasdesignedtobeaninterpolationofMLandMMI.Theconditionalmaximumlikelihoodlinearregression[4],anotherderivationoftheMMIcriterion,wasalsoproposedfortransformgeneration.Recently,usingtheminimumclassificationerror(MCE)toestimatethediagonalvariancetransformhasalsobeenexploredandreportedin[9].WealsoinvestigatedtheuseoftheMPEcriterionforconstrainedDLT,whichwasthenappliedtothefeaturesfordiscriminativespeakeradaptivetraining[10].Experimentsonconversationaltelephonespeech(CTS)tran-scriptionforthedirectestimationofHMMparametershavedemon-

(1)whereisthecompositemodelcorrespondingtothewordse-quence,istheprobabilityofthewordsequenceandistheacousticscale.Themeasuresthenumberofphonescorrectlyrecognizedinthesentence.IntheimplementationofMPEtraining,latticesmarkedwithtimeinformationatHMMlevelareusedtorepresentthecorrecttranscriptionsandconfusablehypothesesfromrecognition,asinMMItraining.Usinglatticescanreducethecomputationalloadforgeneratingthestatisticsneededforparameterestimation[5].2.1.TheoptimizationofobjectivefunctionFortheoptimizationofdiscriminativecriteria,theweak-senseaux-iliaryfunctionwasproposed[8,7],incontrasttotheuseofthestandardstrong-senseauxiliaryfunction[7]forMLtraining.Giventheobjectivefunction,theweak-senseauxiliaryfunctionisdefinedtosatisfythefollowingcondition:wherereferstotheoriginalparametersetandrepresentsthenewlyestimatedone.Thisequationimpliesthatifthereisalocalmaximumintheobjectivefunction,itmustalsobealocalmax-imumoftheauxiliaryfunction.Althoughoptimizingtheweak-senseauxiliaryfunctiondoesn’tguaranteeanincreaseintheob-jectivefunction,itcanstilloffertheminimumconditionfortheoptimizationof.Fordiscriminativetraining,theweak-senseauxiliaryfunctionprovidesafeasibleapproachtooptimizetheob-jectivefunctionswithnegativeterms.ConcerningthephoneaccuracyintheMPEobjectivefunction,theauxiliaryfunctionproposedin[8,7]isthenbasedontheloglikelihoodofphonearctomaketheoptimizationtractable,,whichareanalogoustothenumeratoranddenominatortermsintheMMIauxiliaryfunc-tion.Moreimportant,itisproventhatthemodelparameterupdat-ingformulationshavethesimilarformsasthatinMMItraining,providedthatthenumerator/denominatorstatisticshavedifferentdefinitions[7].WhenusingtheMPEcriteriontoestimatelineartransforms,aweak-senseauxiliaryfunctionisthuspresentedfortheoptimiza-tion.AsstandardMLLR[2],MPE-basedDLTisappliedtotrans-formGaussianmeanswithamatrixandabias,where,.WiththequantitydefinedforMPEtraining,,theauxiliaryfunctionconsistsofthreeindividualparts,eachofwhichhasaGaussianexpression,MPEMPE(3)whereistheposteriorprobabilityovertime,atstate,mixturecomponentonconditionofarc.Thefunctiondefinedasbelowdeterminesthatthearcswithpositivewillbeusedtoaccumulatethenumeratorstatistics,whilethosewithnegativevalueswillbeusedtogetdenominatorstatistics.

合集下载

基于声纹识别的目标属性提取算法

基于声纹识别的目标属性提取算法

基于声纹识别的目标属性提取算法发布时间：2021-11-10T06:32:50.101Z 来源：《科技新时代》2021年9期作者：蒋亚东祝海鹏李臻恺杨宇琛高翔[导读] 在话语人性别识别和年龄估计系统(以下简称系统)设计的过程中主要完成的工作内容有:(衢州学院电气与信息工程学院浙江衢州 324000)摘要：声纹识别，生物识别技术的一种，也称为说话人识别，是一种通过声音判别说话人身份的技术。

现目前，语音识别技术的不突飞猛进，声纹识别和语音语义识别方法研究取得了较大发展。

但是依旧存在很多不足的地方，首先尚未找到可以完全表征说话人性别和年龄的特征参数，其次语音特征会随着时间的推移和年龄的增长而变化，同时语音信号在采集时因为外界噪音和采集设备质量问题，导致训练的模型发生一些变化，从而导致识别的结果有差异。

因此本项目的主要目的是在基于目前已有基础上继续完善以上缺陷。

1.前言随着计算机技术和生物认证等技术的快速发展，以及互联网和物联网技术的不断进步，语音识别作为生物识别技术的优势和重要性已经显而易见，基于性别和年龄有关的一些系统已经成功的应用到很多领域。

本项目在分析话语人的语言基础上，依据不同话语人性别和年龄的语音特征存在先天的差异性，从而完成对话语人的性别识别和年龄估计。

在话语人性别识别和年龄估计系统(以下简称系统)设计的过程中主要完成的工作内容有:录制各年龄段和不同性别的语音样本，根据不同实验目的建立三种类型的数据库，一是性别识别数据库，将训练出男女两个模型;二是年龄估计数据库，将年龄在3--82岁之间的说话人依据各年龄段的不同声学特征大致划分为5个区间，即会训练出5个模型;三是本人借鉴前人研究基础上提出的新类型，即同时实现性别识别和年龄估计的数据库，方法是在性别分类的基础上再次按年龄段划分，因此将会训练出10个模型。

分别完成性别识别、年龄估计、同时实现性别识别和年龄估计的实验。

2.声纹识别算法2.1语音信号预处理步骤如下:(1)能量归一化处理。

基于稀疏表征的话者识别

基于稀疏表征的话者识别

基于稀疏表征的话者识别吕小听;李昕;屈燕琴;胡晨【期刊名称】《计算机工程与应用》【年(卷),期】2014(000)020【摘要】近年来，随着信号的稀疏性理论越来越受到人们的关注，稀疏表征分类器也作为一种新型的分类算法被应用到话者识别系统中。

该模型的基本思想是：只要超完备字典足够大，任意待测样本都能够用超完备字典进行线性表示。

基于信号的稀疏性理论，未知话者的向量系数，即稀疏解可以通过L1范数最小化获取。

超完备字典则可视为语音特征向量在高斯混合模型-通用背景模型（GMM-UBM）上进行MAP自适应而得到的大型数据库。

采用稀疏表征模型作为话者辨认的分类方法，基于TIMIT语料库的实验结果表明，所采用的话者辨认方法，能够大大提高说话人识别系统的性能。

%The signal sparse theory has received more and more attentions in recent years. Sparse representation, a new classification method for speaker identification has been applied into the speaker identification system. The main idea based on this new approach is that an unknown test utterance can be represented as a linear combination of the training database while the training patterns are sufficient. According to the sparse theory, the coefficients of unknown test utterances corresponding to the class index of test models could be obtained by L1-norm minimization. Over-complete dictionary could be developed by adapting speech features to Gaussian Mixture Model-Universal Background Model(GMM-UBM) using Maximum-A-Posteriori(MAP)adaptation. This paper makes use of the sparse representation model for speaker identification, and the experiments conducted on TIMIT acoustic-phonetic continuous speech corpus show that the perfor-mance of the proposed method consistently outperforms the state of art speaker identification classifiers.【总页数】4页(P215-217,243)【作者】吕小听;李昕;屈燕琴;胡晨【作者单位】上海大学机电工程与自动化学院，上海 200072;上海大学机电工程与自动化学院，上海 200072;上海大学机电工程与自动化学院，上海 200072;上海大学机电工程与自动化学院，上海 200072【正文语种】中文【中图分类】TP391【相关文献】1.基于HOG特征和稀疏表征的鲁棒性人脸识别 [J], 刘杰;王勇军2.基于稀疏表征多分类器融合的遮挡人脸识别 [J], 邓楠;徐正光;王珺3.基于稀疏与协同联合表征的人脸识别技术❉ [J], 杨凡;史凌祎;叶荣华;赵建民4.基于稀疏表征的SRC人脸识别算法研究及改进 [J], 张仁霖;陈劲松5.基于多尺度模糊熵和稀疏表征分类的管道多重堵塞状态识别 [J], 伍林峰; 冯早; 朱雪峰因版权原因，仅展示原文概要，查看原文内容请购买。

基于改进语谱图的深度学习说话人识别

基于改进语谱图的深度学习说话人识别

现代电子技术Modern Electronics Technique2023年11月1日第46卷第21期Nov. 2023Vol. 46 No. 210 引 言说话人识别也称为声纹识别[1]，与指纹识别、人脸识别等身份认证技术相同，都代表不同人之间的个体差异。

说话人识别是根据每个人的发音特点，以及每个人的发音器官，包括声带、声道等，在大小和形状上的不同来进行区别不同人的声音。

说话人识别技术按照其所要识别的任务及应用场景主要分为两类：说话人验证（Speaker Verification ）及说话人辨认（Speaker Identification ）。

按照其识别内容可以分为三类：文本相关（text⁃dependent ）、文本无关（text⁃independent ），以及文本提示（text⁃prompted ）。

随着社会不断的发展，文本无关的说话人识别也越来越受到重视，本文针对文本无关的说话人辨认进行研究。

传统的说话人识别技术往往对音频提取声学特征，例如梅尔倒谱系数（Mel Frequency Cepstral Coefficient,基于改进语谱图的深度学习说话人识别马志举， 杜庆治， 龙 华， 邵玉斌（昆明理工大学 信息工程与自动化学院， 云南 昆明 650500）摘 要： 为了提高说话人识别系统的性能，提出基于改进语谱图的深度学习说话人识别算法。

语谱图当中包含了语音的内容、情绪、语种以及说话人身份等多种信息，在以往的说话人识别算法中，往往没有考虑到说话人身份特性，采用直接提取语音中的语谱图作为网络输入，而说话人识别系统中需要提取语谱图中表征身份的信息，因此需要在原始语谱图的基础上进行改进。

在语谱图中，基音频率以及共振峰等信息最能表现说话人的身份特征，从而提出根据语音信号中每一帧的基音频率进行自适应梳状滤波，得到改进后的语谱图，再通过卷积神经网络提取说话人特征，从而达到提升识别准确率的效果。

基于深度学习的音频特征提取与语音识别

基于深度学习的音频特征提取与语音识别

基于深度学习的音频特征提取与语音识别音频特征提取和语音识别是人工智能领域中的重要研究方向，通过深度学习算法可以有效地提取音频特征并进行语音识别。

本文将从音频特征提取的基本概念开始介绍，然后探讨深度学习在音频特征提取和语音识别中的应用和优势。

首先，音频特征提取是语音识别的关键步骤之一。

传统的音频特征提取方法包括梅尔频率倒谱系数（MFCC）和线性预测编码（LPC）。

然而，这些方法在复杂的语音环境下可能失效，因为它们难以捕捉到语音信号的高级特征。

为了克服这些问题，深度学习提供了一种新的方法来提取更高级的音频特征。

深度学习通过建立多层神经网络来学习音频数据的特征表示。

其中，卷积神经网络（CNN）在音频特征提取中发挥了重要作用。

CNN通过卷积操作和池化操作来捕捉输入音频的时域和频域信息。

另外，循环神经网络（RNN）也常用于语音识别任务，因为它可以处理变长的语音序列，并对上下文信息进行建模。

近年来，深度学习的一个重要发展是长短时记忆神经网络（LSTM），它在语音识别任务中取得了显著的成果。

深度学习在音频特征提取和语音识别中的应用非常广泛。

首先，深度学习可以提取丰富的语音特征，包括音高、频率、能量和语音变化等。

这些特征可以更好地表示语音信号的语义和上下文信息，极大地提高了语音识别的准确性。

其次，深度学习可以处理多样化的语音输入，包括不同的口音、语速和噪声环境等。

通过使用大规模的训练数据和深度神经网络的鲁棒性，深度学习方法在复杂的语音场景下表现出色。

此外，深度学习还可以结合其他技术，如自然语言处理（NLP），实现更高级的语音识别任务，如语音翻译和语音情感分析等。

然而，深度学习在音频特征提取和语音识别中也面临一些挑战。

首先，深度学习算法对于海量的训练数据和计算资源要求很高。

在训练深度神经网络之前，需要收集和标注大量的语音数据，这对于一些任务来说可能是困难和昂贵的。

其次，深度学习模型往往需要大量的存储和计算资源来进行训练和推理。