语音特征参数MFCC的提取及识别
耳蜗实质上相当于一个滤波器组，耳蜗的滤波作用是在对数频率尺度上进行的，在1000HZ下，人耳的感知能力与频率成线性关系；而在1000HZ以上，人耳的感知能力与频率不构成线性关系，而更偏向于对数关系，这就使得人耳对低频信号比高频信号更敏感。Mel频率的提出是为了方便人耳对不同频率语音的感知特性的研究。频率与Mel频率的转换公式为：
MFCC在一定程度上模拟了人耳对语音的处理特点，应用了人耳听觉感知方面的研究成果，采用这种技术语音识别系统的性能有一定提高。
MFCC参数的提取1、
预加重处理
预加重处理其实是一个高通滤波器，该高通滤波顺的传递函数为：
其中的取值为0.97，该高通滤波器作用是滤去低频，使语音信号的高频特性更加突现。
2、
分帧及加窗处理
由于语音信号只在较短的时间内呈现平稳性（一般认为
10-30ms），因此将语音信号划分为一个一个的短时段即一帧。同时为避免丢失语音信号的动态信息，相邻帧之间要有一段重叠区域，重叠区域一段为帧长的1/2或1/3。然后再将每帧乘上窗函数，以增加每帧左端和右端的连续性。
3、
各帧信号的FFT变换
对分帧加窗后的各帧信号进行FFT变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信号的功率谱。
4、
三角滤波器系数的求取
定义若干个带通三角滤波器(k)，0<=m<=M，M为滤波器个数，其中心频率为f(m),每个带通三角滤波器的频率响应为
且满足Mel(f(m))-Mel(f(m-1))=Mel(f(m+1))-Mel(f(m))
求得滤波系数为m(i),i=1,…,p，p为滤波器阶数
5、
三角滤波并进行离散余弦变换DCT
C(i)即为所要求提取的特征参数。
特征参数的识别
特征参数的识别主要采用BP神经网络算法进行预测，而在预测前需要用一定数量的样本对网络进行训练，使网络具有联想记忆和预测能力。
网络训练步骤如下：
（1）
网络初始化。确定网络输入层、隐层、输出层数目，输出层到隐层的连接权值及隐层到输出层的连接权值，同时初始化隐层阈值a和输出层阈值b;
（2）
隐层的输出计算。隐层输出式中，l为隐含层节点数；f为隐含层激励函数，本实验选取函数为:
（3）
输出层输出计算。根据隐含层输出H，连接权值和阈值b，计算BP神经网络预测输出O.
（4）
误差计算。根据网络预测输出O和期望输出Y，计算网络预测误差e.
（5）
权值更新。根据网络预测误差e更新网络连接权值,
其中，为学习速率。
（6）
阈值更新。根据网络预测误差e更新网络节点阈值a,b. （7）
判断算法迭代是否结束，若没有结束，返回步骤（2）。
BP神经网络分类
用训练好的BP神经网络分类语音特征信号，根据分类结果分析BP神经网络分类能力。
将四种音乐风格的数据各1500组共6000组MEL特征数据随机抽取4000组进行训练网络，剩下的2000组特征向量进行辨识，得到各类风格的正确率如下：
rightridio =
1.0000
0.9261
0.9129
0.8399
下图为BP网络误差：MATLAB程序如下：
clear;
clc;
%%%%%%%%采集的四种音乐各500000个数据%%%%%%%%%%%%%%%%%%%%%
load f:\课程\voice_reco\c1 x1
load f:\课程\voice_reco\c2 x2
load f:\课程\voice_reco\c3 x3
load f:\课程\voice_reco\c4 x4
%%%%%%%%%%%%%%%对语音信号进行预加重处理%%%%%%%%%%%%%%%%%%
len=length(x1);
heigt=0.98;
for i=2:len
x1(i)=x1(i)-heigt*x1(i-1); end
for i=2:len
x2(i)=x2(i)-heigt*x2(i-1); end
for i=2:len
x3(i)=x3(i)-heigt*x3(i-1);
end
for i=2:len
x4(i)=x4(i)-heigt*x4(i-1);
end
%%%%%%%%%%%%%%MEL三角滤波参数%%%%%%%%%%%%%%%%%%%%%%%%%%%
fh=20000;
melf=2595*log(1+fh/700);
M=24;
i=0:25;
f=700*(exp(melf/2595*i/(M+1))-1);
N=256;
for m=1:24
for
k=1:256
x=fh*k/N;
if (f(m)<=x)&&(x<=f(m+1))
F(m,k)=(x-f(m))/(f(m+1)-f(m));
else if (f(m+1)<=x)&&(x<=f(m+2))
F(m,k)=(f(m+2)-x)/(f(m+2)-f(m+1)); else
F(m,k)=0;
end
end
end
end
m=N/2;
for k=1:12
n=0:23;
dctcoef(k,:)=cos((2*n+1)*k*pi/(2*24));
end
count=floor(length(x1)/m);
%%%%%%%%%%%%%%%四种语音的特征参数的求取%%%%%%%%%%%
c1=zeros(count,12);
for i=1:count-2
x_frame=x1(m*(i-1)+1:m*(i-1)+N);
Fx=abs(fft(x_frame));
s=log(Fx.^2*F');
c1(i,:)=s*dctcoef';
end
c1=zeros(count,12);
for i=1:count-2
x_frame=x2(m*(i-1)+1:m*(i-1)+N); Fx=abs(fft(x_frame));
s=log(Fx.^2*F');
c2(i,:)=s*dctcoef';
end
c3=zeros(count,12);
for i=1:count-2
x_frame=x3(m*(i-1)+1:m*(i-1)+N); Fx=abs(fft(x_frame));
s=log(Fx.^2*F');
c3(i,:)=s*dctcoef';
end
c4=zeros(count,12);
for i=1:count-2
x_frame=x4(m*(i-1)+1:m*(i-1)+N); Fx=abs(fft(x_frame));
s=log(Fx.^2*F');
c4(i,:)=s*dctcoef';
end
%save c1 c1
%save c2 c2
%save c3 c3
%save c4 c5
%四个特征信号矩阵合成一个矩阵
data(1:1500,:)=c1(1:1500,:);
data(1501:3000,:)=c2(1:1500,:);
data(3001:4500,:)=c3(1:1500,:);
data(4501:6000,:)=c4(1:1500,:);
%%%%%%%%%%%特征信号第一列为所属类别%%%%%%%%%%%%%%
for i=1:6000
if
(i>=1)&&(i<=1500)
data(i,1)=1;
else
if(i>=501)&&(i<=3000)
data(i,1)=2;
else if (i>=1001)&&(i<=4500) data(i,1)=3;
else
data(i,1)=4;
end
end
end
end
%从1到2000间随机排序k=rand(1,6000);
[m,n]=sort(k);
%输入输出数据
input=data(:,2:12);
output1 =data(:,1);
%把输出从1维变成4维for i=1:6000
switch
output1(i)
case 1
output(i,:)=[1 0 0 0]; case 2
output(i,:)=[0 1 0 0];
case 3
output(i,:)=[0 0 1 0];
case 4
output(i,:)=[0 0 0 1];
end
end
%随机提取1500个样本为训练样本，500个样本为预测样本input_train=input(n(1:4000),:)';
中国中文信息学会第七次全国会员代表大会 暨学会成立30周年学术会议 语音识别发展现状与展望中科院自动化研究所徐波 2011年12月4日
报告提纲 ?语音识别技术现状及态势?语音识别技术的行业应用?语音识别技术研究方向?结论与展望
2010年始语音识别重新成为产业热点?移动互联网的兴起成为ASR最重要的应用环境。在Google引领下，互联网、通信公司纷纷把语音识别作为重要研究方向 –Android系统内嵌语音识别技术，Google语音 翻译等； –iPhone4S 上的Siri软件； –百度、腾讯、盛大、华为等都进军语音识别领 域； –我国语音技术领军企业讯飞2010年推出语音云识别、讯飞口讯 –已有的QQ2011版语音输入等等
成熟度分析-技术成熟度曲线 ?美国市场调查咨询公司Gartner于2011年7月发布《2011新兴技术成熟度曲线》报告：
成熟度分析-新兴技术优先矩阵?Gartner评出了2011年具有变革作用的技术，包括语音识别、语音翻译、自然语言问答等。其中语音翻译和自然语言问答有望在5-10年内获得大幅利用，而语音识别有望在2-5年内获得大幅利用；
三十年语音识别技术发展 ---特征提取与知识方面?MFCC，PLP，CMS，RASTA，VTLN；?HLDA, fMPE，neural net-based features ?前端优化 –融入更多特征信息(MLP、TrapNN、Bottle Neck Features等） ?特征很大特点有些是跟模型的训练算法相匹配?大规模FSN图表示，把各种知识源集中在一起–bigram vs. 4-gram, within word dependencies vs. cross-word
基于Matlab的语音信号的特征提取与分类语音信号处理是研究数字信号处理技术和语音学知识对语音信号进行处理的新兴学科，是目前发展最为迅速的信息科学研究领域的核心技术之一。本文采用Matlab7.0综合运用GUI界面设计，各种函数调用等对语音信号进行采集、提取、变频、变幅，傅里叶变换、滤波等简单处理。程序界面简练，操作简便，具有一定的实际应用意义。 关键词：语音信号Matlab 信号处理GUI 1、语音信号的低通滤波 本文中设计了一个截止频率为200Hz切比雪夫—Ⅰ型低通滤波器，它的性能指标为：wp=0.075pi, ws=0.125pi, Rp=0.25;Rs=50dB。低通滤波器处理程序如下： [x,fs,bits]=wavread('voice.wav'); wp=0.075;ws=0.125;Rp=0.25;Rs=50; [N,Wn]=cheb1ord(wp,ws,Rp,Rs); [b,a]=cheby1(N,Rp,Wn); [b,a]=cheby1(N,Rp,Wn); X=fft(x); subplot(221);plot(x);title('滤波前信号的波形'); subplot(222);plot(X);title('滤波前信号的频谱'); y=filter(b,a,x); %IIR低通滤波 sound(y,fs,bits);%听取滤波后的语音信号
wavwrite(y,fs,bits,’低通’);%将滤波后的信号保存为“低通.wav” Y=fft(y); subplot(223);plot(y);title(' IIR滤波后信号的波形'); subplot(224);plot(Y);title(' IIR滤波后信号的频谱'); 经过低通滤波器处理后，比较滤波前后的波形图的变化 低通滤波后，听到声音稍微有些发闷，低沉，原因是高频分量被低通滤波器衰减。但是很接近原来的声音。 2、语音信号的高通滤波 运用切比雪夫—Ⅱ型数字高通滤波器，对语音信号进行滤波处理。高通滤波器性能指标：wp=0.6, ws=0.975 ,Rp=0.25;Rs=50dB。高通滤波器处理程序如下： [x,fs,bits]=wavread('voice.wav'); wp=0.6;ws=0.975;Rp=0.25;Rs=50;
语音信号特征的提取 摘要 随着计算机技术的发展，语音交互已经成为人机交互的必要手段,语音特征参数的精确度直接影响着语音合成的音质和语音识别的准确率。因此语音信号参数提取是语音信号处理研究中一项非常有意义的工作。 本文采用Matlab软件提取语音信号特征参数，首先对语音信号进行数字化处理，其次，进行预处理，包括预加重、加窗和分帧，本文讨论了预处理中各种参数的选择，以使信号特征提取更加准确。第三，讨论了各种时域特征参数的算法，包括短时能量、短时过零率等。 关键词：语音信号, 特征参数, 提取, Matlab 目录 第一章绪论 1.1语音信号特征提取概况 1.1.1研究意义 语音处理技术广泛应用于语音通信系统、声控电话交换、数据查询、计算机控制、工业控制等领域，带有语音功能的计算机也将很快成为大众化产品，语音将可能取代键盘和鼠标成为计算机的主要输入手段，为用户界面带来一次飞跃。 语音信号特征的提取是语音信号处理的前提和基础，只有分析出可表示语音信号本质特征的参数，才有可能利用这些参数进行高效的语音通信和准确的语音识别，才能建立语音合成的语音库。因此语音信号参数提取是语音信号处理研究中一项非常有意义的工作。 1.1.2 发展现状 语音信号处理是一门综合性的学科，包括计算机科学、语音学、语言学、声学和数学等诸多领域的内容。它的发展过程中，有过两次飞跃。第一次飞跃是1907年电子管的发明和1920年无线电广播的出现，电子管放大器使很微弱的声
音也可以放大和定量测量，从而使电声学和语言声学的一些研究成果扩展到通信和广播部门；第二次飞跃是在20世纪70年代初，电子计算机和数字信号处理的发展使声音信号特别是语音信号，可以通过模数转换器（A/D）采样和量化转换为数字信号，这样就可以用数字计算方法对语音信号进行处理和加工，提高了语音信号处理的准确性和高效性。 语音信号处理在现代信息科学中的地位举足轻重，但它仍有些基础的理论问题和技术问题有待解决，这些难题如听觉器官的物理模型和数学表示及语音增强的技术理论等，目前还有待发展。 1.2 本课题研究内容 本文主要介绍语音信号处理的理论及Matlab的相关内容，然后从Matlab仿真角度验证了录音、预处理、提取语音信号时域特征参数，主要讨论了预处理中各种参数的选择，以使信号特征提取更加准确。再次讨论了各种时域特征参数的算法，包括短时能量、短时过零率等，介绍了各环节的不同软件实现方法。最后对基于Matlab的语音信号特征参数提取进行总结。 第二章Matlab简介 MATLAB是国际上仿真领域最权威、最实用的计算机工具。它是MathWork 公司于1984年推出，它以强大的科学计算与可视化功能、简单易用、开放式可扩展环境，特别是所附带的30多种面向不同领域的工具箱支持，使得它在许多科学领域中成为计算机辅助设计和分析、算法研究和应用开发的基本工具和首选平台。 2.1 发展概况 Matlab是Matrix Laboratory(矩阵实验室的缩写)，最初由美国Cleve Moler 博士在70年代末讲授矩阵理论和数据分析等课程时编写的软件包Linpack与Eispack组成，旨在使应用人员免去大量经常重复的矩阵运算和基本数学运算等繁琐的编程工作。1984年成立的Math Works公司正式把Matlab推向市场，并从事Matlab的研究和开发。1990年，该公司推出了以框图为基础的控制系统仿真工具Simulink，它方便了系统的研究与开发，使控制工程师可以直接构造系统框图进行仿真，并提供了控制系统中常用的各种环节的模块库。1993年，Math Works 公司推出的Matlab4.0版在原来的基础上又作了较大改进，并推出了Windows版，
语音信号特征参数提取方法 阮雄飞微电子学与固体电子学 摘要：在语音技术的发展过程中使用了大量的语音信号特征参数, 好的语音信号特征参数能对语音识别起至关重要的作用。本文对语音信号特征参数提取方法以及国内外研究现状进行了介绍,最后介绍了Hilbert-Huang 这一新兴理论成果以及在特征提取中的应用。 关键词：语音技术特征提取HHT 1 引言 语音信号是一种短时平稳信号，即时变的，十分复杂，携带很多有用的信息，这些信息包括语义、个人特征等，其特征参数的准确性和唯一性将直接影响语音识别率的高低，并且这也是语音识别的基础[1]。特征参数应该能够比较准确地表达语音信号的特征具有一定的唯一性。 上世纪40年代，potter等人提出了“visiblespeech”的概念，指出语谱图对语音信号有很强的描述能力，并且试着用语谱信息进行语音识别，这就形成了最早的语音特征，直到现在仍有很多的人用语谱特征来进行语音识别[2]。后来，人们发现利用语音信号的时域特征可以从语音波形中提取某些反映语音特性的参数，比如：幅度、短时帧平均能量、短时帧过零率、短时自相关系数、平均幅度差函数等。这些参数不但能减小模板数目运算量及存储量而且还可以滤除语音信号中无用的冗余信息。语音信号特征参数是分帧提取的, 每帧特征参数一般构成一个矢量, 所以语音信号特征是一个矢量序列。我们将语音信号切成一帧一帧, 每帧大小大约是20-30ms。帧太大就不能得到语音信号随时间变化的特性, 帧太小就不能提取出语音信号的特征, 每帧语音信号中包含数个语音信号的基本周期。有时希望相邻帧之间的变化不是太大, 帧之间就要有重叠, 帧叠往往是帧长的1/2或1/3。帧叠大, 相应的计算量也大[3]。随着语音识别技术的不断发展时域特征参数的种种不足逐渐暴露出来，如这些特征参数缺乏较好稳定性且区分能力不好。于是频域参数开始作为语音信号的特征比如频谱共振峰等。经典的特征提取方法主要有LPCC（线性预测倒谱系数）、MFCC（美尔频率倒谱系数）、HMM（隐马尔科夫模型）、DTW（动态时间规整）等。 2 语音信号特征参数提取方法
“启动”的时域波形 1、 语音预加重： 由于语音信号在高频部分衰减，在进行频谱分析时，频率越高，所占的成分越小，进行语音预加重，可以提升语音高频部分，使频谱变得平坦，以方便进行频谱的分析和处理。通常的措施是采用数字滤波器进行预加重，传递函数是：11)(--=z z H α，其中α一般去0.92-0.98之间，所以在计算的时候取0.9375。 预加重后的波形 2、 分帧 加窗 语音信号具有较强的时变特性，其特性是随时间变化的，但是语音的形成过程与发音器官的运动有关，这种物理运动比起声音振动的速度十分缓慢，在较短的时间内，语音信号的特征可以被认为是保持不变的，通常对语音处理是通过截取语音中的一段进行处理的，并且短段之间彼此经常有一些叠加，这一段语音成为一帧语音，语音段的长度称为帧长，对每一帧处理的结果可用一组数来表示。一般取帧长为10—30ms 。采样频率是8000Hz ，所以取的帧长是256，帧移是178。分帧之后加汉明窗。 3、 端点检测 端点检测从背景噪声中找出语音的开始和终止点。 短时能量就是每帧语音信号振幅的平方和。 ∑-==1 0)]([N m n m s E ；
短时能量曲线 短时过零率是每帧内信号通过零点的次数，是信号采样点符号的变化次数。 ∑-=+-=1 )]1(sgn[)](sgn[21N m n m x m x Z ； “启动”的过零率曲线 在实验室的安静的环境下，依靠短时能量和短时过零率就可进行语音信号的起止点判断。当背景噪声较小时，没有语音信号的噪声能量很小，而语音信号的短时能量增大到了一定数值，可以区分语音信号的开始点和终止点。当背景噪声较大时，可以用短时平均过零率和短时能量结合来判断。 基于能量一过零率的端点检测一般使用两级判决法，在开始进行端点检测之前，首先为短时能量和过零率分别确定两个门限。整个语音信号的端点检测可以分为四段：静音、过渡音、语音段、结束时的静音段， （1）如果能量或过零率超越了低门限，就应该开始标记起点，进入过渡段。在过渡段中，由于参数的数值比较小，不能确信是否处于真正的语音段，因此只要两个参数的数值都回落到低门限以下，就将当前状态恢复到静音状态。而如果在过渡段中两个参数中的任一个超过了高门限，就可以确信进入语音段了，并标记起始点。 （2）如果当前状态之前处于语音段，而此时两个参数的数值降低到底门限以下，并且持续时间大于设定的最长时间门限，那么就认为语音结束了，返回到参数值降低到底门限以下的时刻，标记结束点。 端点检测波形
语音识别技术综述 The summarization of speech recognition 张永双 苏州大学 摘要 本文回顾了语音识别技术的发展历史，综述了语音识别系统的结构、分类及基本方法，分析了语音识别技术面临的问题及发展方向。 关键词：语音识别；特征；匹配 Abstact This article review the courses of speech recognition technology progress ,summarize the structure,classifications and basic methods of speech recognition system and analyze the direction and the issues which speech recognition technology development may confront with. Key words: speech recognition;character;matching 引言 语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门交叉学科，所涉及的领域有信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等，甚至还涉及到人的体态语言（如人民在说话时的表情手势等行为动作可帮助对方理解）。其应用领域也非常广，例如相对于键盘输入方法的语音输入系统、可用于工业控制的语音控制系统及服务领域的智能对话查询系统，在信息高度化的今天，语音识别技术及其应用已成为信息社会不可或缺的重要组成部分。 1.语音识别技术的发展历史 语音识别技术的研究开始二十世纪50年代。1952年，AT&Tbell实验室的Davis等人成功研制出了世界上第一个能识别十个英文数字发音的实验系统：Audry系统。
实验十:随机信号分析应用在语音信号分析中 ——音频信号时域特征和频域特征分析【实验目的】 ⑴ 了解随机信号分析的应用领域。 ⑵ 了解如何利用随机信号分析相关知识点对语音信号进行分析。【实验原理】 我们在这里主要研究语音信号检索的部分内容。在语音信号研究中，一般对音频信号需要进行三方面的研究： 1）音频信号的产生，这方面的研究集中在为音频信号建立产生模型，通过产生模型提取音频特征。 2）音频的传播，音频信号如何通过另外介质传播到人的耳朵里。 3）音频的接收，音频信号如何被人所感知。 在这里，我们只涉及到音频信号的产生，而其它方面不涉及。 音频是一种重要媒体。人耳能够听到的音频频率范围是60Hz- 20KHz，其中语音大约分布在300Hz-4KHz之内。人耳听到的音频是连续模拟信号，而计算机只能处理数字化信息。所以要将连续音频信号数字化后才能在计算机上进行处理。音频信号数字化时的采样频率必须高于信号带宽的2倍才能正确恢复信号。 在音频处理中，一般假定音频信号特性在很短时间区间内变化是很缓慢的，所以在这个变化区间内所提取的音频特征保持稳定。这样，对音频信号处理的一个基本概念就是将离散的音频信号分成一定长度单位进行处理，将离散的音频采样点分成一个个音频帧，也就是音频信 号“短时”处理方法。一般一个“短时”音频帧持续时间长度约为几个到几十个微妙。可以从音频信号中提取三类基本特征：时域特征、频域特征和时频特征。 1 时域特征提取 连续音频信号x经过采样后，得到k个采样点x(n)(1≤n≤k)。在音
频时域提取中，认为每个采样点x(n)(1≤n≤k)包含了这一时刻音频信号的所有信息，所以可以直接从x(n)(1≤n≤k)提取信息。可以提取的信息有：短时平均能量、过零率、线性预测系数。 对于采样得到的x(n)(1≤n≤k)音频信号，考虑到信号在段时间内的连贯性，首先把音频信号的K个采样点分割成前后迭代的音频帧，相邻帧之间的迭加率一般为30%-50%，音频处理中的“短时帧”均是这样得到的。 ① 短时平均能量 短时平均能量指在一个短时音频帧内采样点所聚集的能量。它能够方便的表示整个时间段内幅度的变化。其定义如下： 短时平均能量特征可以直接应用到有声/静音检测中，短时平均能量某一短时帧平均能量低于一个事先设定的阀值，则短时帧为静音，否则为非静音。如果静音的短时祯数超过了一定比例，则将这个例子判为静音音频例子。 2 过零率 过零率指在一个短时帧内，离散采样信号值由正到负和由负到正变化的次数。它可以有效的刻画不同的音频信号。其定义如下： 其中, 对于语音信号，辅音信号过零率低，而元音信号的过零率高。语音信号开始和结束都大量集中了辅音信号，所以在语言信号中，开始和结束部分得过零率会有明显身高，所以利用过零率可以判断语音是否开始和结束。 3 频率中心（FC）：它是量度声音亮度的指标。即： ，其中是f t(n)的Fourier变换，，STE是短时平均能量。一般的，一段音乐的频率中心变化比较单一，语音的频率中心会出现连续的变化。 4 带宽(BW)：它是衡量频率范围的指标。其定义为：
学院：信电学院班级：电信102 姓名：徐景广学号：2010081261 课程：专业综合实验实验日期：2014年1 月 3 日成绩： 实验二、语音信号时域特征参数提取 一、实验目的 1．掌握利用matlab程序进行语音信号的录制与回放。 2．理解语音信号的时域特征参数的概念，如短时能量、短时过零率等。 3．掌握matlab的开发环境。 4．掌握对语音信号进行时域特征参数提取的方法。 二、实验原理 本实验要求掌握时域特征分析原理，并利用已学知识，编写程序求解语音信号的短时过零率、短时能量、短时自相关特征，分析实验结果。 1.窗口的选择 通过对发声机理的认识，语音信号可以认为是短时平稳的。在5~50ms的范围内，语音频谱特性和一些物理特性参数基本保持不变。我们将每个短时的语音称为一个分析帧。一般帧长取10~30ms。我们采用一个长度有限的窗函数来截取语音信号形成分析帧。通常会采用矩形窗和汉明窗。图1.1给出了这两种窗函数在帧长N=50时的时域波形。
学院： 信电学院 班级：电信102 姓名： 徐景广 学号： 2010081261 课程：专业综合实验 实验日期：2014年 1 月 3 日 成绩： 0.2 0.40.60.811.2 1.41.61.82矩形窗 sample w （n ） 0.1 0.20.30.40.50.6 0.70.80.91hanming 窗 sample w （n ） 图1.1 矩形窗和Hamming 窗的时域波形 矩形窗的定义：一个N 点的矩形窗函数定义为如下 {1,00,()n N w n ≤<=其他 hamming 窗的定义：一个N 点的hamming 窗函数定义为如下 0.540.46cos(2),010,()n n N N w n π-≤<-??? 其他 = 这两种窗函数都有低通特性，通过分析这两种窗的频率响应幅度特性可以发现（如图1.2）：矩形窗的主瓣宽度小（4*pi/N ），具有较高的频率分辨率，旁瓣峰值大（-13.3dB ），会导致泄漏现象；汉明窗的主瓣宽8*pi/N ，旁瓣峰值低（-42.7dB ），可以有效的克服泄漏现象，具有更平滑的低通特性。因此在语音频谱分析时常使用汉明窗，在计算短时能量和平均幅度时通常用矩形窗。表1.1对比了这两种窗函数的主瓣宽度和旁瓣峰值。
语音识别改进方法及难点分析 ——《模式识别》结课小论文 学院：化工与环境学院 学号：2120151177 姓名：杜妮
摘要：随着计算机技术的不断发展，人工智能程度也越来越高，作为人工智能的一部分——模式识别也在模型和算法上愈发成熟。本文根据近105年文献，分析最新声音识别的方法和应用。 关键字：模式识别声音识别方法应用 随着人工智能的迅速发展，语音识别的技术越来越成为国内外研究机构的焦点。人们致力于能使机器能够听懂人类的话语指令，并希望通过语音实现对机器的控制。语音识别的研究发展将在不远的将来极大地方便人们的生活。 语音识别大致的流程包括：特征提取、声学模型训练、语音模型训练以及识别搜索算法。作为一项人机交互的关键技术，语音识别在过去的几十年里取得了飞速的发展，人们在研究和探索过程中针对语音识别的各部流程进行了各种各样的尝试和改造，以期发现更好的方法来完成语音识别流程中的各步骤，以此来促进在不同环境下语音识别的效率和准确率。本文通过查阅近10年国内外文献，分析目前语音识别流程中的技术进展和趋势，并在文章最后给出几项语音识别在日常生活中的应用案例，从而分析语音识别之后的市场走势和实际利用价值。 一、语音识别的改进方法 (一)特征提取模块改进 特征提取就是从语音信号中提取出语音的特征序列。提取的语音特征应该能完全、准确地表达语音信号，特征提取的目的是提取语音信号中能代表语音特征的信息，减少语音识别时所要处理的数据量。语音信号的特征分析是语音信号处理的前提和基础，只有分析出可以代表语音信号本质特征的参数，才能对这些参数进行高效的语音通信，语音合成，和语音识别等处理，并且语音合成的好坏，语音识别率的高低，也都取决于语音特征提取的准确性和鲁棒性。目前，针对特定应用的中小词汇量、特定人的语音识别技术发展已较为成熟，已经能够满足通常应用的要求，并逐步投入了实用。而非特定人、大词汇量、连续语音识别仍是
华南理工大学《语音信号处理》实验报告 实验名称：LPC特征提取 姓名： 学号： 班级：10级电信5班 日期：2013年5 月24日
1. 实验目的 1、熟练运用MATLAB 软件进行语音信号实验； 2、熟悉短时分析原理、LPC 的原理； 3、学习运用MATLAB 编程进行LPC 的提取； 4、学会利用短时分析原理提取LPC 特征序列。 2. 实验原理 1、LPC 分析基本原理 LPC 分析为线性时不变因果稳定系统V （z ）建立一个全极点模型，并利用均方误差准则，对已知的语音信号s(n)进行模型参数估计。 如果利用P 个取样值来进行预测，则称为P 阶线性预测。假P 个 取样值()()(){ } 1,2,S n S n S n p --- 的加权之和来预测信号当前取样值()S n ，则预测 信号()S n ∧ 为： ()() 1 p k k S n a n k ∧==-∑ (1) 其中加权系数用k a 表示，称为预测系数，则预测误差为: ()()()()() 1 p k k e n s n S n s n a n k ∧ ==-=--∑ (2) 要使预测最佳，则要使短时平均预测误差最小有： ()2 min E e n ε??==?? (3) ()20,(1) k e n k p a ????? =≤≤? (4) 令 ()()(),,i k E s n i S n k φ=--???? (5) 最小的ε可表示成： ()() min 10,00,p k k a k εφφ==-∑ (6) 显然，误差越接近于零，线性预测的准确度在均方误差最小的意义上为最佳，由此可以计算出预测系数。 通过LPC 分析，由若干帧语音可以得到若干组LPC 参数，每组参数形成一个
语音特征参数MFCC的提取及识别 耳蜗实质上相当于一个滤波器组，耳蜗的滤波作用是在对数频率尺度上进行的，在1000HZ下，人耳的感知能力与频率成线性关系；而在1000HZ以上，人耳的感知能力与频率不构成线性关系，而更偏向于对数关系，这就使得人耳对低频信号比高频信号更敏感。Mel频率的提出是为了方便人耳对不同频率语音的感知特性的研究。频率与Mel频率的转换公式为： MFCC在一定程度上模拟了人耳对语音的处理特点，应用了人耳听觉感知方面的研究成果，采用这种技术语音识别系统的性能有一定提高。 MFCC参数的提取1、 预加重处理 预加重处理其实是一个高通滤波器，该高通滤波顺的传递函数为：
其中的取值为0.97，该高通滤波器作用是滤去低频，使语音信号的高频特性更加突现。 2、 分帧及加窗处理 由于语音信号只在较短的时间内呈现平稳性（一般认为 10-30ms），因此将语音信号划分为一个一个的短时段即一帧。同时为避免丢失语音信号的动态信息，相邻帧之间要有一段重叠区域，重叠区域一段为帧长的1/2或1/3。然后再将每帧乘上窗函数，以增加每帧左端和右端的连续性。 3、 各帧信号的FFT变换 对分帧加窗后的各帧信号进行FFT变换得到各帧的频谱。并对语音信号的频谱取模平方得到语音信号的功率谱。
4、 三角滤波器系数的求取 定义若干个带通三角滤波器(k)，0<=m<=M，M为滤波器个数，其中心频率为f(m),每个带通三角滤波器的频率响应为 且满足Mel(f(m))-Mel(f(m-1))=Mel(f(m+1))-Mel(f(m)) 求得滤波系数为m(i),i=1,…,p，p为滤波器阶数 5、 三角滤波并进行离散余弦变换DCT
基于小波变换的语音特征参数提取 【摘要】将小波变换的多分辨率特性用于改进Mel频率倒谱系数MFCC的前端处理中，给出了一种新的语音特征参数——小波MFCC。其特点在于采用小波变换、分层FFT和频率合成代替原来MFCC中的FFT部分，使频谱分辨率提高了一倍。试验证明，小波MFCC特征参数在较大词汇量情况下，其识别率优于MFCC特征参数的结果。 【关键词】小波分析；语音识别；MFCC Abstract：The multi resolution characteristic of wavelet is used to improve the front end processing of MFCC.So，a new feature parameter wavelet MFCC is presented in this paper.It uses wavelet transform，multi degree FFT and frequency synthesis to replace original FFT of MFCC，and increases spectrum resolution by 2.The experiments demonstrate that robustness and recognition rate of wavelet MFCC feature are better than one of MFCCs in large vocabulary. Key words：wavelet transformation；speech recognition；MFCC 1.引言 在语音识别和说话人识别中，基于Mel频率的倒谱系数MFCC（mel frequency cepstrum cofficient）是将人耳的听觉感知特性和语音的产生机制相结合，与其他特征参数相比较，体现了较优越的性能，在无噪声情况下能得到较高的识别率，因此是目前使用最广泛的特征参数。但是，随着识别词汇量的增大，这种参数的识别性能急剧地下降。说明这种特征不适合大词汇量识别。 近年来，小波变换被广泛应用于语音处理中，主要包括：利用小波变换对听觉感知系统进行模拟，对语音信号去噪，进行清、浊音判断。因为小波变换的局部化性质，可以在很小的分帧长下对语音信号仍具有较高的频谱分辨率，本文将小波变换技术引入到MFCC特征参数中，来进行语音识别系统的特征提取，可以提高对辅音区的识别效果。因此，用WMFCC特征参数作为隐马尔可夫（HMM）识别网络的输入信号，识别效果明显提高。 2.MFCC特征参数 图1所示为MFCC特征参数的计算流程图。 图1 MFCC特征参数的提取 人类听觉系统对声音高低的感知与实际频率是一种非线性映射关系[1]，而与Mel频率成线性关系。根据人的听觉机理来进行Mel滤波器组的频带划分，模拟不同频率下人耳对语音的感知特性。实际频率和Mel频率的转换关系用公
图像常见xx方法简介 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一、颜色特征 （一）特点： 颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。 一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。 由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的xx与匹配方法 （1）颜色直方图 其优点在于： 它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于： 它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间： RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：
直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2）颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡的颜色空间（如HSV空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。 在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3）颜色矩 这种方法的数学基础在于： 图像中任何的颜色分布均可以用它的矩来表示。此外，由于颜色分布信息主要集中在低阶矩中，因此，仅采用颜色的一阶矩（mean）、二阶矩（variance）和三阶矩（skewness）就足以表达图像的颜色分布。 （4）颜色聚合向量 其核心思想是： 将属于直方图每一个柄的像素分成两部分，如果该柄内的某些像素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则作为非聚合像素。 （5）颜色相关图 二纹理特征 （一）特点： 纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。但由于纹理只是一种物体表面的特性，并不能完全反映出物体的本质属性，所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行
第一章语音信号的特点与采集 第一节语音信号采集的介绍 在Matlab环境中,主要可以通过以下几种方法驱动声卡，采集语音信号: 1．将声卡作为对象处理采集语音信号Matlab将声卡作为对象处理,其后的一切操作都不与硬件直接相关,而是通过对该对象的操作来作用于硬件设备（声卡）。操作时首先要对声卡产生一个模拟输入对象(ai),给ai对象添加一个通道设置采样频率后,就可以启动设备对象,开始采集数据,采集完成后停止对象并删除对象。 2．调用wavrecord功能函数采集语音信号。wavrecord功能函数只适用于windows95/98/N平台，它使用windows声音输入设备录制声音。函数调用方式：wavrecord（N，fs，ch，nbits）； N：采集的样本数据量； fs：样本采集频率，为8000Hz、11025Hz、22050Hz和44100Hz之一，默认值为11025Hz； ch：样本采集通道，1为单声道，2为双声道，默认值为1（单声道）； nbits：每个样本的位数（或称解析度），‘double’、‘single’或‘int16’为16位，‘uint8’为8位； 3．运用audiorecorder对象采集语音信号audiorecorder（fs，nbits，ch）可以创设一个audiorecorder对象。fs：样本采集频率，为8000Hz、11025Hz、22050Hz和44100Hz之一，默认值为8000Hz； nbits：每个样本的位数，8位或16位，默认值为8位； ch：样本采集通道，1为单声道，2为双声道，默认值为1（单声道）； audiorecorder对象创设后，就可以进行相应的录音、暂停、停止、播放以及数据读取等操作。第二节语音信号的特点 通过对大量语音信号的观察和分析发现，语音信号主要有下面两个
实验三语音信号的特征提取 一、实验目的 1、熟练运用MATLAB软件进行语音信号实验。 2、熟悉短时分析原理、MFCC、LPC的原理。 3、学习运用MATLAB编程进行MFCC、LPC的提取。 4、学会利用短时分析原理提取MFCC、LPC特征序列。 二、实验仪器设备及软件 HP D538、MATLAB 三、实验原理 1、MFCC 语音识别和说话人识别中，常用的语音特征是基于Mel频率的倒谱系数（即MFCC）。MFCC参数是将人耳的听觉感知特性和语音的产生机制相结合。 Mel频率可以用如下公式表示： ) 700 / 1 log( 2595f f Mel+ ? = 在实际应用中，MFCC倒谱系数计算过程如下; ①将信号进行分帧，预加重和加汉明窗处理，然后进行短时傅里叶变换并得到其频谱。 ②求出频谱平方，即能量谱，并用M个Mel带通滤波器进行滤波；由于每一个频带中 分量的作用在人耳中是叠加的。因此将每个滤波器频带内的能量进行叠加，这时第k 个滤波器输出功率谱) ('k x。 ③将每个滤波器的输出取对数，得到相应频带的对数功率谱；并进行反离散余弦变换， 得到L个MFCC系数，一般L取12~16个左右。MFCC系数为 ∑=- = M k M n k k x Cn 1 '] / )5.0 ( cos[ ) ( logπ，n=1,2,...,L ④将这种直接得到的MFCC特征作为静态特征，再将这种静态特征做一阶和二阶差分，得到相应的动态特征。 2、LPC 由于频率响应) (jw e H反映声道的频率响应和被分析信号的谱包络，因此用
|)(|log jw e H 做反傅里叶变换求出的LPC 倒谱系数。 通过线性预测分析得到的合成滤波器的系统函数为)1/(1)(1 ∑=--=p i i i z a z H ，其冲激响 应为h(n)。h(n)的倒谱为)(^ n h ，∑+∞ =-= 1 ^ ^ )()(n n z n h z H 就是说)(^z H 的逆变换)(^ n h 是存在的。 设0)0(^=h ，将式 ∑+∞ =-= 1 ^ ^ )()(n n z n h z H 两边同时对1 -z 求导，得 ∑∑+∞ =--=--??= -??1 ^ 1 1 1 1 )(]11 log[ n n p i i z n h z z a z 得到∑∑∑∞ +==-=+-+--= 1 1 1 1 1 ^ 1)(n p i i i p i i i n z a z ia z n h n ，于是有 ∑∑ ∑+∞ =+∞ =+-+-=-= -1 1 1 1 ^ 1 1 )()1(n n i i n p i i z ia z n h n z a 令其左右两边z 的各次幂前系数分别相等，得 到)(^ n h 和i a 间的递推关系 ?? ? ? ??? ?? >--=≤≤--+==∑∑=-=p i i n i i n p n n h a n i n h p n k n h a n i a n h a h 1^ ^11^ ^ 1 ^ ),1()1()(1),()1()()1( ，按其可直接从预测系数｛i a ｝求得倒谱)(^ n h 。这个倒谱是根据线性预测模型得到的，又称为LPC 倒谱。LPC 倒谱由于利用线性预 测中声道系统函数H （z ）的最小相位特性，因此避免了一般同态处理中求复对数的麻烦。 四、实验步骤及程序 1、MFCC （1）、实验步骤 ① 输入样本音频 ② 给样本音频预加重、分帧、加窗 ③ 将处理好的样本音频做傅里叶变换 ④ 进行Mel 频率滤波 ⑤ 进行Log 对数能量
噪音环境下的语音识别 1.引言 随着社会的不断进步和科技的飞速发展，计算机对人们的帮助越来越大，成为了人们不可缺少的好助手，但是一直以来人们都是通过键盘、鼠标等和它进行通信，这限制了人与计算机之间的交流，更限制了消费人群。为了能让多数人甚至是残疾人都能使用计算机，让计算机能听懂人的语言，理解人们的意图，人们开始了对语音识别的研究． 语音识别是语音学与数字信号处理技术相结合的一门交叉学科，它和认知学、心理学、语言学、计算机科学、模式识别和人工智能等学科都有密切关系。 2.语音识别的发展历史和研究现状 2.1国外语音识别的发展状况 国外的语音识别是从1952年贝尔实验室的Davis等人研制的特定说话人孤立数字识别系统开始的。 20世纪60年代，日本的很多研究者开发了相关的特殊硬件来进行语音识别RCA实验室的Martin等人为解决语音信号时间尺度不统一的问题，开发了一系列的时问归正方法，明显地改善了识别性能。与此同时，苏联的Vmtsyuk提出了采用动态规划方法解决两个语音的时闻对准问题，这是动态时间弯折算法DTW(dymmic time warping)的基础，也是其连续词识别算法的初级版．20世纪70年代，人工智能技术走入语音识别的研究中来．人们对语音识别的研究也取得了突破性进展．线性预测编码技术也被扩展应用到语音识别中，DTw也基本成熟。 20世纪80年代，语音识别研究的一个重要进展，就是识别算法从模式匹配技术转向基于统计模型的技术，更多地追求从整体统计的角度来建立最佳的语音识别系统。隐马尔可夫模型(hidden Markov model，删)技术就是其中一个典型技术。删的研究使大词汇量连续语音识别系统的开发成为可能。 20世纪90年代，人工神经网络(artificial neural network，ANN)也被应用到语音识别的研究中，并使相应的研究工作在模型的细化、参数的提取和优化以及系统的自适应技术等方面取得了一些关键性的进展，此时，语音识别技术进一步成熟，并走向实用。许多发达国家，如美国、日本、韩国，已经IBM、Microsoft、Apple、AT&T、Nrr等著名公司都为语音识别系统的实用化开发研究投以巨资。 当今，基于HMM和ANN相结合的方法得到了广泛的重视。而一些模式识
实验二语音信号的特征提取 一、 实验目的 1、熟练运用MATLAB 软件进行语音信号实验。 2、熟悉短时分析原理、MFCC 的原理。 3、学习运用MATLAB 编程进行MFCC 的提取。 4、学会利用短时分析原理提取MFCC 特征序列。 二、 实验仪器设备及软件 MATLAB 三、 实验原理 1、MFCC 语音识别和说话人识别中，常用的语音特征是基于Mel 频率的倒谱系数（即MFCC ）。MFCC 参数是将人耳的听觉感知特性和语音的产生机制相结合。 Mel 频率可以用如下公式表示： )700/1log(2595f f Mel +?= 在实际应用中，MFCC 倒谱系数计算过程如下; ① 将信号进行分帧，预加重和加汉明窗处理，然后进行短时傅里叶变换并得到其频谱。 ② 求出频谱平方，即能量谱，并用M 个Mel 带通滤波器进行滤波；由于每一个频带中分量的作用在人耳中是叠加的。因此将每个滤波器频带内的能量进行叠加，这时第k 个滤波器输出功率谱)(' k x 。 ③ 将每个滤波器的输出取对数，得到相应频带的对数功率谱；并进行反离散余弦变换，得到L 个MFCC 系数，一般L 取12~16个左右。MFCC 系数为 ∑=-=M k M n k k x Cn 1 ']/)5.0(cos[)(log π， n=1,2,...,L ④ 将这种直接得到的MFCC 特征作为静态特征，再将这种静态特征做一阶和二阶差分，得到相应的动态特征。 2、 LPC 由于频率响应)(jw e H 反映声道的频率响应和被分析信号的谱包络，因此用
|)(|log jw e H 做反傅里叶变换求出的LPC 倒谱系数。 通过线性预测分析得到的合成滤波器的系统函数为)1/(1)(1 ∑=-- =p i i i z a z H ，其冲激响 应为h(n)。h(n)的倒谱为)(^n h ，∑+∞=-= 1 ^ ^ )()(n n z n h z H 就是说)(^ z H 的逆变换)(^ n h 是存在的。 设0)0(^ =h ，将式 ∑+∞=-=1 ^ ^ )()(n n z n h z H 两边同时对 1-z 求导，得 ∑∑+∞=--=--??=-??1^ 11 11 )(]11log[n n p i i z n h z z a z 得到∑∑∑∞ +==-=+-+--=1 1 11 1^1)(n p i i i p i i i n z a z ia z n h n ，于是有 ∑∑∑+∞ =+∞ =+-+-=-=-1 1 11 ^ 1 1 )()1(n n i i n p i i z ia z n h n z a 令其左右两边z 的各次幂前系数分别相等，得 到)(^ n h 和i a 间的递推关系 ?? ?? ? ???? >--=≤≤--+==∑∑=-=p i i n i i n p n n h a n i n h p n k n h a n i a n h a h 1^^11^^ 1^ ),1()1()(1),()1()()1( ，按其可直接从预测系数｛i a ｝求得倒谱)(^ n h 。这个倒谱是根据线性预测模型得到的，又称为LPC 倒谱。LPC 倒谱由于利用线性预 测中声道系统函数H （z ）的最小相位特性，因此避免了一般同态处理中求复对数的麻烦。 四、 实验步骤及程序 MFCC 特征序列 （1）、实验步骤 ① 输入样本音频 ② 给样本音频预加重、分帧、加窗 ③ 将处理好的样本音频做傅里叶变换 ④ 进行Mel 频率滤波
图像特征特点及常用的特征提取与匹配方法 常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。 一颜色特征 （一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。 （二）常用的特征提取与匹配方法 （1） 颜色直方图 其优点在于：它能简单描述一幅图像中颜色的全局分布，即不同色彩在整幅图像中所占的比例，特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。其缺点在于：它无法描述图像中颜色的局部分布及每种色彩所处的空间位置，即无法描述图像中的某一具体的对象或物体。 最常用的颜色空间：RGB颜色空间、HSV颜色空间。 颜色直方图特征匹配方法：直方图相交法、距离法、中心距法、参考颜色表法、累加颜色直方图法。 （2） 颜色集 颜色直方图法是一种全局颜色特征提取与匹配方法，无法区分局部颜色信息。颜色集是对颜色直方图的一种近似首先将图像从RGB颜色空间转化成视觉均衡 的颜色空间（如HSV 空间），并将颜色空间量化成若干个柄。然后，用色彩自动分割技术将图像分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色彩区域的空间关系 （3） 颜色矩