说话人日志中可靠静音模型语音活动检测方法

第５Ｏ卷第１期　２０１６年１月　浙　江　大　学　学　报（工学版）　Ｊｏｕｒｎａｌ　ｏｆ　Ｚｈｅｊ　ｉａｎｇ　Ｕｎｉｖｅｒｓｉｔｙ（Ｅｎｇｉｎｅｅｒｉｎｇ　Ｓｃｉｅｎｃｅ）　Ｖｏ１．５０　ＮＯ．１　Ｊａｎ．２Ｏ１６　

ＤＯＩ：１０．３７８５／ｊ．ｉｓｓｎ．１００８—９７３Ｘ．２０１６．０１．０２２　

说话人日志中可靠静音模型语音活动检测方法　

杨登舟　，徐嘉明　，刘　加。，夏善红　

（１．中国科学院电子学研究所，北京１００１９０；２．中国科学院大学电子电气与通信工程学院，北京１０００４９　３．清华大学电子工程系，北京１０００８４）　

摘　要：为了解决传统语音活动检测（ＶＡＤ）技术分离出的语音段掺杂静音以及帧问频繁跳动产生短语音碎片的　问题，提出在说话人日志中能够高效稳定地完成语音活动检测的方法．该方法利用可靠静音模型对语音的区分度　高这个特性，通过循环迭代收敛得到稳定划分．建立静音和语音模型，通过帧间连续性原理进行不确定性解码得到　帧类属信息，开展低能量短时间语音碎片后处理完成语音活动检测．在富标注说话人日志数据集上测试，实验结果　表明，由于对静音模型的描述更加可靠，采用该方法可以减少帧间跳动，减少静音模型对语音的吸收误判，性能比　基于子带熵顺序统计滤波（ＳＥ－ＯＳＦ）方法提高明显．　关键词：说话人日志；富标注；语音活动检测（ＶＡＤ）；高斯模型；维特比解码　中图分类号：ＴＮ　９１２　文献标志码：Ａ　文章编号：１００８—９７３Ｘ（２０１６）０１—０１５１一Ｏ７　

Ｒｅｌｉａｂｌｅ　ｓｉｌｅｎｃｅ　ｍｏｄｅｌ　ｂａｓｅｄ　ｖｏｉｃｅ　ａｃｔｉｖｉｔｙ　ｄｅｔｅｃｔｉｏｎ　

ａｐｐｒｏａｃｈ　ｉｎ　ｓｐｅａｋｅｒ　ｄｉａｒｉｚａｔｉｏｎ　

ＹＡＮＧ　Ｄｅｎｇ—ｚｈｏｕ　，ＸＵ　Ｊｉａ—ｒｕｉｎｇ　～，ＬＩＵ　Ｊｉａ。，ＸＩＡ　Ｓｈａｎ—ｈｏｎｇ　

（１．Ｉｎｓｔｉｔｕｔｅ　ｏｆＥｌｅｃｔｒｏｎｉｃｓ，ＣｈｉｎｅｓｅＡｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ　１００１９０，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ　ｏｆＥｌｅｃｔｒｏｎｉｃ＂，　Ｅｌｅｃｔｒｉｃａｌ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｃｈｉｎｅｓｅ　Ａｃａｄｅｍｙ　ｏｆ　Ｓｃｉｅｎｃｅｓ，Ｂｅｉｊｉｎｇ　１０００４９，Ｃｈｉｎａ；　３．Ｄｅｐａｒｔｍｅｎｔ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｔｓｉｎｇｈｕａ　Ｕｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ　１０００８４，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｐｅｒｆｏｒｍａｎｃｅ　ｏｆ　ｔｒａｄｉｔｉｏｎａｌ　ｖｏｉｃｅ　ａｃｔｉｖｉｔｙ　ｄｅｔｅｃｔｉｏｎ（ＶＡＤ）ｍｅｔｈｏｄｓ　ｉｓ　ｎｏｔ　ｓｔａｂｌｅ　ｏｗｉｎｇ　ｔｏ　ｔｈｅ　

ｉｍｐｕｒｉｔｙ　ｏｆ　ｓｐｅｅｃｈ　ｓｅｇｍｅｎｔｓ　ａｎｄ　ｓｈｏｒｔ　ｔｉｍｅ　ｓｐｅｅｃｈ　ｆｒａｇｍｅｎｔｓ　ｇｅｎｅｒａｔｅｄ　ｂｙ　ｉｎｔｅｒ－ｃｏｎｖｅｒｓｉｏｎ　ｆｒａｍｅｓ．Ａｎ　

ｅｆｆｉｃｉｅｎｔ　ａｎｄ　ｓｔａｂｌｅ　ＶＡＤ　ａｐｐｒｏａｃｈ　ｆｏｒ　ｔｈｅ　ｔａｓｋ　ｏｆ　ｓｐｅａｋｅｒ　ｄｉａｒｉｚａｔｉｏｎ　ｗａｓ　ｐｒｅｓｅｎｔｅｄ．Ｓｔａｂｌｅ　ｓｐｅｅｃｈ　ａｎｄ　ｓｉｌｅｎｃｅ　ｓｅｇｍｅｎｔｓ　ｗｅｒｅ　ｇｏｔ　ｂｙ　ｉｔｅｒａｔｉｖｅｌｙ　ｒｅｔｒａｉｎ　ｔｈｅ　ｓｐｅｅｃｈ　ａｎｄ　ｓｉｌｅｎｃｅ　ｍｏｄｅｌｓ　ｕｎｔｉｌ　ｔｈｅ　ｒｅｌａｔｉｖｅ　ｉｎｖａｒｉａｂｉｌｉｔｙ　

ｔｈａｎｋｓ　ｔｏ　ｔｈｅ　ｄｉｓｃｒｉｍｉｎａｔｉｏｎ　ｏｆ　ｓｉｌｅｎｃｅ　ｍｏｄｅ１．Ｏｕｒ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｉｎｃｌｕｄｅｄ　ｓｅｖｅｒａｌ　ｃｏｍｐｏｎｅｎｔｓ：ｍｏｄｅｌｉｎｇ　

ｓｉｌｅｎｃｅ　ａｎｄ　ｓｐｅｅｃｈ　ａｓ　Ｇａｕｓｓｉａｎ　ｍｏｄｅｌ　ａｎｄ　Ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌ（ＧＭＭ）ｓｅｐａｒａｔｅｌｙ，ｕｎｃｅｒｔａｉｎｔｙ　ｄｅｃｏ—　ｄｉｎｇ　ｕｓｉｎｇ　ｆｒａｍｅ　ｃｏｎｔｉｎｕｉｔｙ　ｒｕｌｅ　ｔｏ　ｇａｉｎ　ｆｒａｍｅ　ａｔｔｒｉｂｕｔｉｏｎ，ｒｅｍｏｖｉｎｇ　ｓｈｏｒｔ—ｔｉｍｅ　ａｎｄ　ｌｏｗ—ｅｎｅｒｇｙ　ｆｒａｇｍｅｎｔｓ　

ｔｏ　ｆｉｎｉｓｈ　ｔｈｅ　ｄｅｔｅｃｔｉｏｎ．Ｔｅｓｔｓ　ｗｅｒｅ　ｃｏｎｄｕｃｔｅｄ　ｏｎ　ｔｈｅ　ｒｉｃｈ　ｔｒａｎｓｃｒｉｐｔｉｏｎ　ｓｐｅａｋｅｒ　ｄｉａｒｉｚａｔｉｏｎ　ｄａｔａｓｅｔ．Ｅｘｐｅｒｉ—　

ｍｅｎｔａ１　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｅ　ｍｅｔｈｏｄ　ｃａｎ　ｒｅｄｕｃｅ　ｔｈｅ　ｉｎｔｅｒ—ｃｏｎｖｅｒｓｉｏｎ　ａｎｄ　ｍａｋｅ　ｌｅｓｓ　ｉｎａｃｃｕｒａｔｅ　ｄｅｃｉｓｉｏｎ　ｓｅｎ—　ｔｅｎｃｉｎｇ　ｓｐｅｅｃｈ　ｔｏ　ｓｉｌｅｎｃｅ，ａｎｄ　ｄｅｍｏｎｓｔｒａｔｅ　ａ　ｓｕｓｔａｉｎｅｄ　ａｄｖａｎｔａｇｅ　ｏｖｅｒ　ｔｈｅ　ｓｕｂ—ｂａｎｄ　ｅｎｔｒｏｐｙ　ｏｒｄｅｒ　ｓｔａｔｉｓｔｉｃｓ　

ｆｉｌｔｅｒ（ＳＥ—ＯＳＦ）ＶＡＤ　ａｌｇｏｒｉｔｈｍ．　

Ｋｅｙ　ｗｏｒｄｓ：ｓｐｅａｋｅｒ　ｄｉａｒｉｚａｔｉｏｎ；ｒｉｃｈ　ｔｒａｎｓｃｒｉｐｔｉｏｎ；ｖｏｉｃｅ　ａｃｔｉｖｉｔｙ　ｄｅｔｅｃｔｉｏｎ（ＶＡＤ）；Ｇａｕｓｓｉａｎ　ｍｏｄｅｌ；Ｖｉｔｅｒｂｉ　

ａｌｉｇｎｍｅｎｔ　

收稿日期：２０１４—１２—１０．　浙江大学学报（工学版）网址　基金项目：国家自然科学基金资助项目（６ｌ３７００３４，６１４０３２２４）．　作者简介：杨登舟（１９８６一），男，博士生，从事说话人识别的研究　通信联系人：刘加，男，教授，博导．ＯＲＣＩＤ：００００—０００２　ｗｗｗ．ｊｏｕｒｎａｌｓ．ｚｊｕ．ｅｄｕ．ｃｎ／ｅｎｇ　

ＯＲＣＩＤ：００００　０００３—０６９６—１４９７．Ｅ—ｍａｉｌ：ｙａｎｇｄｅｎｇｚｈｏｕ＠ｓｉｎａ．ｃｏｒｎ　７　１　５　６－３８０Ｘ．Ｅ—ｍａｉｌ：ｌｉｕｊ＠ｔｓｉ

ｎｇｈｕａ．ｅｄｕ．ｃｎ　第１期　杨登舟，等：说话人日志中可靠静音模型语音活动检测方法　

日志中这方面的需求不同，在单信道、多说话人任务　

中，往往说话人的转换是非常快速的，短到０．３～　１．０　ｓ．此时原本用于统计说话人个性特征的有效帧　

已经不满足条件（在自动说话人识别问题上，Ｄｕｎｎ　等＿１　］指出，有效语音片段的长度小于１　Ｓ，说话人识　

别的识别率将急速下降，往往低于７０　），因此在这　

么短的语音数据下，若还有被误判的非语言参杂其　

中，则要在如此短的时间片段下建立说话人模型，几　乎是不可能的．本文提出的基于可靠静音模型的语　

音活动检测算法在说话人日志系统中使得ＶＡＤ性　

能显著提高，并能够得到更加合理的切分片段，有助　

于后续分割聚类过程的实现．　

２特征与模型　

在语音活动检测已提出的各种方法中，研究人　

员总是想从音频流数据中检测出语音出现的位置，　

在基于模型的语音检测算法中，总是不断地优化语　音模型来提高准确率．现实的情况是一段音频数据　

里出现的人数是不定的，语音的模型取决于语料中　

说话人的模型，而人是不定的，因而语音模型的不确　定性很大，无法用通用模型去刻画语音模型．如果换　

个角度去看，语音活动检测是检测语音出现的位置，　

但是只要得到静音位置，也就知道了语音在什么位　

置．与建立可靠语音模型不同的是，经过过滤增强的　

音频流信号中的静音部分往往是低能量低幅度的随　机信号，静音数据的稳定性和可靠性比语音更强．　

只用能量一个特征维度去表征静音是不全面　的．鉴于ＭＦＣＣ特征在说话人识别领域的优秀表　

现口　，语音信号可以提取ＭＦＣＣ特征，对于静音数　

据，也可以用相同的方法去提取．从ＭＦＣＣ计算的　

过程　。　可以发现，提取静音段的ＭＦＣＣ，即将各静音　

频谱经过三角带通滤波器组，再作离散余弦变换　（ｄｉｓｃｒｅｔｅ　ｃｏｓｉｎｅ　ｔｒａｎｓｆｏｒｍ，ＤＣＴ）．由于静音总能量　有限，落在各子带的能量也有限，于是对静音提取　

ＭＦＣＣ就可以将原本的一维能量特征变换到多维　

特征，而原本的低能量的有限次正负叠加运算可以　

用高斯模型（Ｇａｕｓｓｉａｎ　ｍｏｄｅ１）很好地刻画．此时可　以用联合高斯分布对噪声建模，得到静音的高斯模　

型Ｎ（　，三　）．一帧特征与静音的相似度Ｌ可以通　

过下式计算：　

Ｌ　ｓｉｌ（，）一ｌｏｇ（　×　

ｅｘＰＩ～　１（，Ｉ　）　（ｊｅｔ－Ｉｔｓ）］｝．　将语音信号的ＭＦＣＣ特征建模，语音与噪音的　

特征有不同的分布，通过模型打分决策去判决语音　

和静音．由于这是二值分类问题，建立了基于模型的　

方法，无需设定初始判决门限，很好地解决了传统方　法需要提前训练语料得到判决阈值的弊端．传统方　

法如果允许提前训练好阈值的参数，但不同的阈值　

只能对部分数据适用，因此无法设置全局最优阈值．　

对语音数据特征ＭＦＣＣ的建模，采用高斯混合　模型（Ｇａｕｓｓｉａｎ　ｍｉｘｔｕｒｅ　ｍｏｄｅｌ，ＧＭＭ）［　］．ＧＭＭ　

是用多个高斯概率密度函数（正态分布曲线）精确地　量化特征空间，将一个特征空间分解为若干的基于　

高斯概率密度函数（正态分布曲线）形成的混合模　

型．每个ＧＭＭ模型中高斯概率密度函数的分布个　

数称为混合数（ｍｉｘｔｕｒｅ　ｎｕｍｂｅｒ），各个高斯分布被　赋予不同的权重．给定一段特征ｆ（ｔ，　）　

｛ｔ一０，１，…，Ｎ一１；ｄ一０，１，…，Ｄ一１｝，其中ｔ　

为时间帧，ｄ为特征维度，语音模型ＧＭＭ｛Ｍ，　，Ｕ，　｝的权重为＿Ｈ，，均值向量为“，协方差矩阵为　．特　

征和语音模型的相似度Ｌ为　

Ｌｓｐｅ（，）＝　ｏｇ｛　×　

ｅｘｐｌ一寺（，Ｉ一“　）　（，　一Ｈ　）Ｉ｝．　（２）　

得到语音模型和静音模型之后，可以根据下式　

作硬判决得到帧类属信息．　

ｆ　０，Ｌ　＜Ｌ　。ｌ；　，　＂　ｎ　一１　１，Ｌ　≥Ｌ　．　

３　系统实现　

采用的ＶＡＤ系统实现如图２所示，下面将详　述各个部分的实现过程．　

音频　

数据格式　转换　

标注　模型初始化　ｒ２１　

维纳滤波　（１）　

后处理　（６）　终止（５）　

图２　ＲＳＭ－ＶＡＤ流程图　Ｆｉｇ．２　ＲＳＭ—ＶＡＤ　ｆｌｏｗ　ｄｉａｇｒａｍ　数据预处理和模型初始化　

话筒麦克风采集的音频流数据格式往往各不相　１５４　浙　江　大　学　学　报（工学版）　第５Ｏ卷　

同，需要作规整统一音频参数，以采样频率Ｆ　重新　

采样，设置量化精度Ｐ，音频平均能量标准化．　

由于一般说话人日志中得到的初始音频流背景　噪声很强，音频质量较差，通过维纳滤波可以获得较　

纯净的音频信号，本文采用文献Ｅ１６１的算法．　

按照能量准则可知，信号能量通常高于静音能　量，Ｎｗｅ等口　指出，取平均音频能量的０．６　作为　

门限，低于该门限判为静音，高于该门限判为语音，　

语音虚警率只有２　；取平均能量的３３　作为门限，　高于该门限判为语音，低于该门限判为静音，静音虚　

警率只有４　．对各帧能量进行排序，取分帧数据能　

量较大的Ｐ　比例的数据帧作为语音初始数据．利用　

期望最大化方法（ｅｘｐｅｃｔａｔｉｏｎ　ｍａｘｉｍｉｚａｔｉｏｎ，　ＥＭ）［　］，训练Ｍ个混合数的高斯混合模型　

ＧＭＭ｛Ｍ，ｗ，ｕ，　｝；将能量较小的声　比例的数据训