２０１７年４月 第３８卷第４期 计算机工程与设计
ＣＯＭＰＵＴＥＲ ＥＮＧＩＮＥＥＲＩＮＧ ＡＮＤ ＤＥＳＩＧＮ Ａｐｒ．２０１７ ＶｏＬ ３８ ＮＯ．４
基于改进ＰＮＣＣ和ｉ－ｖｅｃｔｏｒ的说话人识别鲁棒性
史小元，景新幸，曾敏，杨海燕＋
（桂林电子科技大学信息与通信学院，广西桂林５４１００４）
摘要：针对传统的梅尔频率倒谱系数（ＭＦＣＣ）在说话人识别系统中鲁棒性不足的问题，提出一种基于改进幂率归一化
倒谱系数（ＰＮＣＣ）特征算法和身份向量（ｉ－ｖｅｃｔｏｒ）训练模型的方法。与传统的ＭＦＣＣ不同，ＰＮＣＣ利用长时帧估计背景
噪声；在此基础上，通过多窗谱估计、平滑幅度谱包络和均值方差归一化（ＭＶＡ）等技术进一步提升其鲁棒性。以ｉ－ｖｅｃ—
ｔｏｒ为基准模型，在ＴＩＭＩＴ语音库上进行说话人识别实验，实验结果表明，在不同噪声、不同信噪比下，所提算法相比其
它特征有最低的等错误率，鲁棒性最强，在信噪比低于１０ ｄＢ的噪声环境中具有更大优势。
关键词：幂率归一化倒谱系数；身份向量；均值方差归一化；多窗谱估计；鲁棒性；说话人识别
中图法分类号：ＴＰ３９１．４ 文献标识号：Ａ 文章编号：１０００ ７０２４（２０１７）０４—１０７１—０５
ｄ０ｉ：１０．１６２０８／ｊ．ｉｓｓｎｌ０００—７０２４．２０１７．０４．０４２
Ｒｏｂｕｓｔ ｓｐｅａｋｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ＰＮＣＣ ａｎｄ ｉ－ｖｅｃｔｏｒ
ＳＨＩ Ｘｉａｏ－ｙｕａｎ，ＪＩＮＧ Ｘｉｎ－ｘｉｎｇ，ＺＥＮＧ Ｍｉｎ，ＹＡＮＧ Ｈａｉ—ｙａｎ＋
（Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｇｕｉｌｉｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｔｅｃｈｎｏｌｏｇｙ，Ｇｕｉｌｉｎ ５４１００４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｆｏｃｕｓｅｄ ｏｎ ｔｈｅ ｉｓｓｕｅ ｔｈａｔ ｔｈｅ ｒｏｂｕｓｔｎｅｓｓ ｏｆ ｔｒａｄｉｔｉｏｎａｌ Ｍｅｌ ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ（ＭＦＣＣ）ｆｅａｔｕｒｅ ｄｅｇｒａｄｅｓ
ｄｒａｓｔｉｃａｌｌｙ ｉｎ ｓｐｅａｋｅｒ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ，ａ ｋｉｎｄ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ｐｏｗｅｒ ｎｏｒｍａｌｉｚｅｄ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ（ＰＮＣＣ）ａｎｄ
ｉ－ｖｅｃｔｏｒ ｍｏｄｅｌ ｗａｓ ｐｒｏｐｏｓｅｄ．Ｔｈｅ ｄｉｆｆｅｒｅｎｃｅ ｂｅｔｗｅｅｎ ｔｒａｄｉｔｉｏｎａｌ ＭＦＣＣ ａｎｄ ＰＮＣＣ ｗａｓ ｔｈａｔ ＰＮＣＣ ｕｓｅｄ ｌｏｎｇ ｔｅｒｍ ｆｒａｍｅ ｔｏ ｅｓｔｉ—
ｍａｔｅ ｂａｃｋｇｒｏｕｎｄ ｎｏｉｓｅ．Ｏｎ ｔｈｉｓ ｂａｓｉｓ，ｏｎｅ ｗａｙ ｔｈａｔ ｕｓｉｎｇ ｍｕｌｔｉｐｌｅ ｗｉｎｄｏｗｓ ｓｐｅｃｔｒａｌ ｅｓｔｉｍａｔｉｏｎ，ｓｍｏｏｔｈｉｎｇ ｔｈｅ ａｍｐｌｉｔｕｄｅ ｓｐｅｃ
ｔｒａｌ ｅｎｖｅｌｏｐｅ ａｎｄ ａｄｏｐｔｉｎｇ ＭＶＡ ｔｏ ｅｎｈａｎｃｅ ｉｔｓ ｒｏｂｕｓｔｎｅｓｓ ｗａｓ ｐｒｏｐｏｓｅｄ．Ｔｈｅ ｉ－ｖｅｃｔｏｒ ｗａｓ ｓｅｔ ａｓ ｔｈｅ ｂａｓｅｌｉｎｅ ｓｙｓｔｅｍ ｆｏｒ ｓｐｅａｋｅｒ
ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｔｅｓｔ ｉｎ ＴＩＭＩＴ ｓｐｅｅｃｈ ｄａｔａｂａｓｅ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｆｏｒ ｄｉｆｆｅｒｅｎｔ ｎｏｉｓｅｓ ａｎｄ ｄｉｆｆｅｒｅｎｔ ｓｉｇｎａｌ ｎｏｉｓｅ
ｒａｔｉｏｓ（ＳＮＲ），ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｈａｓ ｔｈｅ ｌｏｗｅｓｔ ｅｑｕａｌ ｅｒｒｏｒ ｒａｔｅ ａｎｄ ｔｈｅ ｂｅｓｔ ｒｏｂｕｓｔｎｅｓｓ，ａｎｄ ｗｈｅｎ ＳＮＲ ｉＳ １ｏｗｅｒ ｔｈａｎ １０ ｄＢ，
ｉｔ ｈａｓ ｇｒｅａｔｅｒ ａｄｖａｎｔａｇｅ ｃｏｍｐａｒｅｄ ｔｏ ｏｔｈｅｒ ａｌｇｏｒｉｔｈｍｓ．
Ｋｅｙ ｗｏｒｄｓ：ＰＮＣＣ；ｉ ｖｅｃｔｏｒ；ＭＶＡ；ｍｕｌｔｉｐｌｅ ｗｉｎｄｏｗｓ ｓｐｅｃｔｒａｌ ｅｓｔｉｍａｔｉｏｎ；ｒｏｂｕｓｔ；ｓｐｅａｋｅｒ ｒｅｃｏｇｎｉｔｉｏｎ
０引 言
由于测试环境和训练环境的不同或者听觉环境受到噪
声、信道失真和叠加以及说话人不同的影响，语音识别的
准确性将会有很大的波动，影响系统的性能。因此，系统
鲁棒性的提升已经成为说话人识别领域研究的一个重点。
在过去一段时间，研究者提出了许多算法去解决这一
问题，比如伽马通频率倒谱系数（ＧＦＣＣ）Ｆ１］等。这些传统
的噪声补偿算法存在单一噪声的情况下使得语音识别的准
确性有了实质性的提高，但是在更加复杂的环境下，这一 类的算法通常不能提供识别准确性的显著提高。
由Ｋｉｍ等提出的幂率归一化倒谱系数（ＰＮＣＣ）ｌ＿２］特征
算法，与梅尔频率倒谱系数（ＭＦＣＣ）ｌ３ 和ＧＦＣＣ等算法相
比，在不损失识别性能和计算复杂度的前提下，使语音识
别系统的鲁棒性有了很大的提升。本文在上述研究的基础 上，提出了基于改进ＰＮＣＣ和ｉ－ｖｅｃｔｏｒｌ４ 模型的说话人鲁
棒性识别方法，并且在ＴＩＭＩＴ语音库上进行说话人识别实
验，结合实验结果分析了不同特征算法对说话人识别系统
鲁棒性的影响。实验结果表明，本文提出的改进ＰＮＣＣ算
法相比其它特征有最低的等错误率，鲁棒性最强。
收稿日期：２０１６—０３—０９；修订日期：２０１６—０５ １０ 基金项目：广西区自然科学基金项目（２Ｏ１２ＧｘＮｓＦＡＡ０５３２２１）；广西千亿元产业产学沿用合作基金项目（信科院０１６８）
作者简介：史小元（１９９１一），男，山东泰安人，硕士研究生，研究方向为语音识别、语音信号处理；景新幸（１９６０一），男，湖北武汉人， 博士，教授，研究方向为语音信号处理、非线性电路、集成电路设计；曾敏（１９８８一），女，山东潍坊人，硕士研究生，研究方向为仪器科
学与技术；＋通讯作者：杨海燕（１９７５一），女，山西运城人，硕士，副教授，研究方向为语音信号处理。Ｅ－ｍａｉｌ：ｙｈｙ＠ｇｕｅｔ．ｅｄｕ．ｃ
ｎ 计算机工程与设计 ２０１７年
１ ｉ－ｖｅｃｔｏｒ提取方法
给定Ｍ条训练数据 ， 一｛ Ｉ ｍ一１，２，３，…Ｍ｝，
其中 一｛ ， ， ，…， ｝是维度为Ｄ的特征矢量，
本文使用由改进ＰＮＣＣ特征提取方法提取到的３９维特征矢
量。首先训练统一背景模型ＵＢＭ
Ｋ 更新总体变化矩阵Ｔ
Ｍ Ｍ ∑Ｐ（ｍ）ＴＥ［ｗ（ｍ）ｗｒ（ｍ）］一∑Ｐｙ（ｍ）Ｅ［ｗｒ（ｍ）１ 一１ ＝１ （１１） （４）重复或者中止：重复进行（２）和（３），达到预设
的迭代次数或使目标函数达到收敛。
（ ）一∑ＧＱ（ｙ；ｎｋ，Ｒｋ） （１） ２改进的ＰＮＣＣ特征 一１ 式中： 、Ｑ（ ； ，Ｒ ）定义请参见文献［７］。
用Ｓ一｛Ｃｋ，ｍｋ，尺 ｌ ｋ一１，２，３，…，ｋ｝表示ＧＭＭ－ＵＢＭ
的参数，其中Ｒｋ、ｍｋ定义请参见文献［７３。对于任意一个
Ｄ维的语音特征矢量 ，用（Ｄ×Ｋ）维低维随机超矢量
Ｎ（ｍ）描述文本无关的说话人的差异
Ｎ（优）一Ｎｏ＋Ｔ・ （ ） （２）
式中：叫（ ）、Ｔ定义请参见文献［７］，对于已知的 ，ｓ
和Ｔ，ｉ－ｖｅｃｔｏｒ可以由式（２）得到，用来解决以下问题
Ｔ Ｋ ｗ（ｒｎ）一ａｒｐｇｍａｘⅡⅡｚ（ ；ＮＫ（ ），ＲＫ） ’ ￡一１ ｋ １ （３） 式中：ＮＫ（ｍ）是Ｎ（ｍ）的第Ｋ个Ｄ维低维矢量，其中
（ ｌ ５）一半 Ｌ（４）
∑ ｚ（ ；Ｎｚ（ｍ），Ｒ ） 一１ 将式（４）带入式（３）中，得到
叫（ｍ）＝Ｉ－ （ｍ）『』Ｒ Ｆｙ（ｍ） （５）
其中
Ｚ（ｍ）一ｊ＋ＴｒＰ（ｍ）Ｒ；－ 丁 （６）
式中：ｒ（ｍ）是（Ｄ×Ｋ）×（Ｄ×Ｋ）的块对角矩阵，
（ｍ）Ｉ，）ｘＤ为ｒ（ｍ）的第Ｋ个块成分；Ｆｙ（ｍ）是（Ｄ×Ｋ）的
低维超矢量，Ｐ （ｍ）为Ｆ （ｍ）的第Ｋ个Ｄ低维矢量。
其中
（ｍ）一∑ｐ（ｋ Ｉ ，ｓ） （７） 本文改进的ＰＮＣＣ特征参数提取过程如图１所示。
语音信号
预处理
多窗谱估计
滑动平均滤波器
时一频域归一化 ＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿●’＿＿●。。。。 。。。。—— ．．．．．．．．．．．．．．．．． Ｉ．．．．． ．．．．．一 功率归一化 。。－－＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿－＿＿。。。－。。。。——
．．．．．．．．．．．．．．．．． １ ．．．．．．．．．一 非线性幂函数
差分变换 。。。。。。。。。＿＿●－＿＿＿＿＿—— ±—一 ＤＣＴ变换 。。。。。。。。。。。●。。＿＿。＿—— ．．．．．．．．．． １．．．．一 ＭＹＡ处理
ＩＰＮＣＣ参数 长时功率 二二［
非对称和临时掩蔽 滤波器
权熏平滑
图１改进ＰＮＣＣ提取过程
Ｐｙ，ｋ（ ）一Ｅ Ｐ（ｋ Ｉ ，ｓ）（ 一 ） （８’ ２．１ 多窗谱估计
所以，总体变化矩阵Ｔ可以通过以下步骤求得：
（１）初始化
在［Ｔｈ ，Ｔｈｚ］中随机选择Ｔ，设定Ｔ中每个成分的初
始值，对于每一条训练语料，其相应的 （ｍ）和Ｆｙ， （ｍ）
可由式（７）、式（８）计算得到。 （２）设定Ｅ值
对每一条训练语料，用充足的数据对总体变化矩阵丁
进行估计，计算ｗ（ｍ）的期望值
Ｅ［甜（ｍ）］一／－ （ｍ）丁 Ｒ Ｐｙ（ｍ） （９）
ＥＥｗ（ｍ）ＷＴ（ｍ）］一Ｅ［伽（ ）］Ｅ［叫 （ｍ）］＋／－ （ｍ）
（ｉ０） （３）设定Ｎ的值 在语音信号的前端处理中，特征提取是非常重要的一
部分，在大多数的前端处理中，都是由使用ｈａｍｍｉｎｇ窗的
离散傅里叶变换（ＤＦＴ）或者线性预测模型（Ｉ Ｐ）来计算
频谱特征。ＤＦＴ和ＬＰ模型在干净的语音条件下，性能非
常好。但是，由于环境和声道的变化，会造成频谱的失真，
从而导致识别准确性的急剧下降。
多窗谱估计＿８ 最早应用于语音增强领域，并且在频谱
估计和频谱泄露方面均优于ＤＦＴ和ＬＰ。多窗谱估计采用
多个时域窗函数求得信号的多个子频谱，然后对这些子频
谱加权平均，得到信号的谱估计。由于求得的多个子频谱
近似不相关，因此加权平均后频谱估计的方差会减小，提
高了频谱估计的稳定性，从而使语音识别系统的鲁棒性
