语音识别论文.
- 格式:doc
- 大小:131.55 KB
- 文档页数:15
基于深度学习的语音识别技术研究毕业设计基于深度学习的语音识别技术研究随着科技的快速发展和人工智能的逐渐成熟,语音识别技术逐渐走进了我们的生活。
在语音识别领域,深度学习技术被广泛应用,并在一定程度上提高了语音识别的准确率和性能。
本篇文章将探讨基于深度学习的语音识别技术的研究进展和应用。
一、引言语音识别技术是一项可以将人的语音信息转化为文字或者命令的技术。
它的应用广泛涉及到语音助手、智能音箱、语音交互系统等领域。
传统的语音识别技术主要使用基于统计的方法,如隐马尔可夫模型(Hidden Markov Model,HMM)和高斯混合模型(Gaussian Mixture Model,GMM)。
然而,这些传统方法的准确率相对较低,尤其在复杂语音环境中表现不佳。
二、深度学习在语音识别中的应用近年来,深度学习技术的兴起为语音识别领域带来了革命性的变化。
深度学习技术通过构建多层次的神经网络,可以有效地提取语音信号中的特征,并利用这些特征进行语音识别。
其中最为常用的深度学习模型包括卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)和深度置信网络(Deep Belief Network,DBN)。
1. 卷积神经网络在语音识别中的应用卷积神经网络是一种特殊的神经网络结构,其主要特点是通过卷积操作在局部感受野上共享权重。
在语音识别中,卷积神经网络在语音特征提取和语音识别模型训练中发挥着重要作用。
通过卷积操作,卷积神经网络可以提取语音信号的时域和频域特征,并减少特征的维度。
此外,卷积神经网络还可以通过堆叠多层卷积层和池化层来提取更高级别的抽象特征。
2. 循环神经网络在语音识别中的应用循环神经网络是一种具有记忆功能的神经网络,其可以处理序列数据,并具备一定的时间依赖性。
在语音识别中,循环神经网络主要用于建模语音信号的时间序列特征。
语音识别毕业设计语音识别毕业设计一、引言语音识别技术是当今信息领域的热门研究方向之一。
随着人工智能技术的迅猛发展,语音识别系统已经逐渐走入我们的生活,为我们提供了更加便捷和智能的交互方式。
在这个背景下,我选择了语音识别作为我的毕业设计课题,希望能够深入研究这一领域,探索其在实际应用中的潜力和挑战。
二、语音识别的基本原理语音识别是一种将人类语音转化为文字的技术。
其基本原理是通过采集和分析人类语音信号,提取其中的特征信息,然后利用机器学习算法进行模式匹配,最终将语音转化为文本。
语音识别系统的核心是语音信号的特征提取和模式匹配算法。
三、语音识别的应用领域语音识别技术在很多领域都有广泛的应用。
其中最为常见的是语音助手,如苹果的Siri、亚马逊的Alexa等。
这些语音助手能够根据用户的语音指令执行相应的操作,如播放音乐、查询天气等。
此外,语音识别还被应用于语音翻译、语音搜索、语音识别助听器等领域。
四、语音识别的挑战和难点尽管语音识别技术已经取得了很大的进展,但仍然存在一些挑战和难点。
首先,语音信号受到环境噪声的干扰,容易导致识别错误。
其次,不同人的发音习惯和口音差异也会对语音识别的准确性造成影响。
此外,语音识别系统对于长句子的处理和语义理解仍然存在一定的困难。
五、毕业设计的目标和内容在我的毕业设计中,我将致力于设计和实现一个基于深度学习的语音识别系统。
该系统将采用卷积神经网络(CNN)和长短时记忆网络(LSTM)等深度学习算法,以提高语音识别的准确性和鲁棒性。
同时,我还将研究如何解决语音信号的噪声干扰和口音差异等问题,以进一步提升系统的性能。
六、设计方案和实施步骤在设计方案上,我计划采用开源的语音数据集进行训练和测试。
首先,我将对语音信号进行预处理,包括去除噪声、归一化等操作。
然后,我将设计和训练深度学习模型,通过大量的语音数据进行迭代训练,以提高模型的准确性。
最后,我将评估系统的性能,并进行性能优化和调整。
基于MFCC和ZCPA的语音情感识别摘要随着计算机技术的不断发展,人们对计算机的要求越来越高,逐渐要求计算机具有人工智能,而语音情感识别是人工智能领域的研究热点。
语音情感识别包括语音信号预处理、语音情感特征提取和语音情感识别分类器等。
本文使用太原理工大学录制的情感语音库,该数据库包含高兴、生气和中性三种情感,本文采用的情感语音库中的600句情感语音,文中对情感语音进行了预处理,包括抗混叠滤波、预加重、加窗以及端点检测等,并对高兴、生气和中性三种语音情感提取MFCC和ZCPA特征,使用支持向量机对语音的三种情感进行识别,实验结果表明,MFCC和ZCPA特征均取得了较好的识别效果。
关键字:语音情感识别,MFCC,ZCPA,支持向量机Speech Emotion Recognition Based on MFCC and ZCPAABSTRACTWith the development of computer technology, people’s requirements of computer are higher and higher, and artificial intelligence is gradually important for computers. Speech emotion recognition is one of the hotspots in the field of artificial intelligence. The speech emotion recognition consists of speech signal pretreatment, feature extraction and speech emotion recognition classifier, etc. This paper used the emotional speech database recorded by the Taiyuan University of Technology, which contains happiness, anger and neutra. In this paper, we use 600 emotion sentences from emotional speech database. Firstly, this paper pretreated emotion sentences, including aliasing filter, the pre-emphasis, adding window and endpoint detection, etc. This paper extracted MFCC and ZCPA features from three emotions, and recognized by support vector machine (SVM), the experimental results show that MFCC and ZCPA features can get better recognition rate.Key words:speech emotion recognition; MFCC; ZCPA; SVM;目录摘要 (i)ABSTRACT (ii)第一章绪论 (5)1.1语音情感识别概述 (5)1.1.1引言 (5)1.1.2语音识别的发展过程及其现状 (5)1.1.3语音情感识别中面临的问题和困难 (7)1.2.论文研究的主要内容以及章节安排 (7)第二章语音情感识别原理和技术 (8)2.1综述 (8)2.2.预处理 (8)2.2.1语音情感信号的预加重处理 (8)2.2.2语音情感信号的加窗处理 (10)2.2.3短时平均能量 (12)2.2.4短时平均过零率 (13)2.2.5语音情感信号的端点检测 (15)2.3语音情感特征的提取 (16)2.3.1美尔频率倒谱系数(MFCC) (16)2.3.2过零率与峰值幅度(ZCPA) (18)2.4 本章小结 (19)第三章语音情感及语音情感库 (20)3.1语音情感 (20)3.1.1语音情感的分类 (20)3.1.2情感语句的选择 (21)3.1.3国际情感数据库 (21)3.2语音情感数据库 (22)3.3本章小结 (23)第四章语音情感识别分类器 (24)4.1语音情感识别技术基本原理 (24)4.2语音情感识别的方法 (24)4.3支持向量机 (25)4.3.1支持向量机发展历史 (25)4.3.2支持向量机的理论基础 (25)4.3.3最大间隔分类超平面 (26)4.3.4支持向量机的原理 (27)4.3.5支持向量机的核函数 (29)4.4 两种特征参数的语音情感识别实验 (30)4.4.1 情感语句的两种特征参数识别实验 (30)4.4.2 实验分析和结论 (31)4.5 本章小结 (32)参考文献 (33)致谢 (35)附录一:外文翻译 (36)附录二:外文文献翻译 (45)附录三:程序 (52)第一章绪论1.1语音情感识别概述1.1.1引言随着信息技术的高速发展以及人类对计算机的依赖性不断加强,人机交互(HCI)的深度和能力受到了越来越多研究者的青睐,计算机与人类的交流的语言有各种各样,其中包括各类的低级语言和高级语言。
智能语音聊天毕业论文智能语音聊天毕业论文摘要随着人工智能技术的快速发展,语音识别和语音合成技术早已成为人工智能领域的重要研究方向。
智能语音聊天作为人工智能技术的一种重要应用之一,具有较高的研究和应用价值。
本文首先介绍了智能语音聊天的研究意义和应用价值,然后对语音识别和语音合成技术的相关研究进行了概述。
接着,本文重点分析了现有智能语音聊天系统的设计与实现,讨论了其存在的问题和局限性,并提出了优化建议和改进方案。
最后,我们对智能语音聊天的发展趋势进行了展望。
关键词:智能语音聊天,语音识别,语音合成,设计与实现,改进方案AbstractWith the rapid development of artificial intelligence technology, voice recognition and synthesis have become an important research direction in the field of artificial intelligence. Intelligent voice chatting, as an important application of artificial intelligence technology, has high research and application value. This paper first introduces the research significance and application value of intelligent voice chatting, and then gives an overview ofthe relevant research on speech recognition and synthesis technology. Next, this paper focuses on the design and implementation of existing intelligent voice chatting systems, discusses their existing problems and limitations, and proposes optimization suggestions and improvement schemes. Finally, we look forward to the development trend of intelligent voice chatting.Keywords: intelligent voice chatting, speech recognition, speech synthesis, design and implementation, improvement scheme一、研究背景和意义随着社交媒体和移动互联网的普及,人们对于语音聊天的需求越来越大。
浅谈语音识别技术论文语音识别技术研究让人更加方便地享受到更多的社会信息资源和现代化服务,对任何事都能够通过语音交互的方式。
小编整理了浅谈语音识别技术论文,欢迎阅读!浅谈语音识别技术论文篇一语音识别技术概述作者:刘钰马艳丽董蓓蓓摘要:本文简要介绍了语音识别技术理论基础及分类方式,所采用的关键技术以及所面临的困难与挑战,最后讨论了语音识别技术的发展前景和应用。
关键词:语音识别;特征提取;模式匹配;模型训练Abstract:This text briefly introduces the theoretical basis of the speech-identification technology,its mode of classification,the adopted key technique and the difficulties and challenges it have to face.Then,the developing prospect ion and application of the speech-identification technology are discussed in the last part.Keywords:Speech identification;Character Pick-up;Mode matching;Model training一、语音识别技术的理论基础语音识别技术:是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高级技术。
语音识别以语音为研究对象,它是语音信号处理的一个重要研究方向,是模式识别的一个分支,涉及到生理学、心理学、语言学、计算机科学以及信号处理等诸多领域,甚至还涉及到人的体态语言(如人在说话时的表情、手势等行为动作可帮助对方理解),其最终目标是实现人与机器进行自然语言通信。
不同的语音识别系统,虽然具体实现细节有所不同,但所采用的基本技术相似,一个典型语音识别系统主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。
基于单片机的智能语音识别系统设计(硬件部分)系别:专业班:姓名:学号:指导教师:基于单片机的智能语音识别系统设计(硬件部分)The Design of Intelligent SpeechRecognition System Based onSingle-chip Computer(HardWare)摘要本文设计一个让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术的语音识别系统。
本语音识别系统以LD3320语音识别芯片为核心部件,主控MCU选用STC10L08XE。
主控MCU通过控制LD3320内部寄存器以及SPI flash实现语音识别和对话。
通过麦克风将声音信息输入LD3320进行频谱分析,分析后将提取到的语音特征和关键词语列表中的关键词语进行对比匹配,找出得分最高的关键词语作为识别结果输出给MCU,MCU针对不同的语音输入情况通过继电器对语音命令所对应的电器实现控制。
同时也可以通过对寄存器中语音片段的调用,实现人机对话。
设计中,电源模块采用3.3V供电,主要控制及识别部分采用LM1117-3.3稳压芯片,语音播放及继电器部分采用7812为其提供稳定的电流电压。
寄存器采用一片华邦SPI flash芯片W25Q40AVSNIG,大小为512Kbyte。
系统声音接收模块采用的传感器为一小型麦克风——驻极体话筒,在它接收到声音信号后会产生微弱的电压信号并送给MCU。
另外系统还采用单片机产生不同的频率信号驱动蜂鸣器来完成声音提示,此方案能完成声音提示功能,给人以提示的可懂性不高,但在一定程度上能满足要求,而且易于实现,成本也不高。
关键词:语音识别 LD3320 STC10L08XE单片机频谱分析AbstractThis paper designs a hi-tech speech recognition system which enables machines to transfer speech signals into corresponding texts or orders by recognizing and comprehending. The centerpiece of the speech recognition system is LD3320 voice recognition chip,its master MCU is STC10L08XE. Master MCU achieve voice conversation by controlling the internal registers and SPI flash LD3320.The sound information is inputted into LD3320 by microphone to do spectrum analysis. After analyzing the voice characteristics extracted are compared and matched with the key words in the list of key words.Then the highest scores of key words found would be output to MCU as recognition results. MCU can control the corresponding electrical real of speech recognition for different voice input through the relays and can also achieve voice conversation through a call to voice clips in register.In the design,power module uses 3.3V.The main control and identification part adopt LM1117-3.3 voltage regulator chip,and 7812 is used to provide stable current and voltage for the part of voice broadcast and relay.Register uses chip SPI flash W25Q40A VSNIG which is 512Kbyte. The sensor used in the speech reception module of the design is microphone,namely electrit microphone.After receiveing the sound signal,it can produce a weak voltage signal which will be sent to MCU. In addition,the system also adopts a different frequency signals generated by microcontroller to drive the buzzer to complete the voice prompt, and this program can complete the voice prompt.The program gives a relatively poor intelligibility Tips.However, to some extent,it can meet the requirements and is easy to implement and the cost is not high.Key words:Speech Recognition LD3320 STC10L08XE Single-chip computer Spectrum Analysis目录摘要 (I)Abstract (II)绪论 (1)1设计方案 (5)1.1 系统设计要求 (5)1.2总体方案设计 (5)2 系统硬件电路设计 (6)2.1电源模块 (6)2.2 寄存器模块 (6)2.3 控制单元模块 (7)2.3.1 STC10L08XE单片机简介 (8)2.3.2 STC11/10xx系列单片机的内部结构 (10)2.4 声音接收器模块 (10)2.5 声光指示模块 (11)2.6 语音识别模块 (11)2.6.1 LD3320芯片简介 (11)2.6.2 功能介绍 (12)2.6.3 应用场景 (13)2.6.4 芯片模式选择 (15)2.6.5 吸收错误识别 (16)2.6.6 口令触发模式 (17)2.6.7 关键词的ID及其设置 (18)2.6.8 反应时间 (18)3 系统软件设计 (20)3.1 系统程序流程图 (20)3.2 系统各模块程序设计 (20)3.2.1 主程序 (20)3.2.2 芯片复位程序 (27)3.2.3 语音识别程序 (28)3.2.4 声音播放程序 (37)4 系统调试 (44)4.1 软件调试 (44)4.1.1 上电调试 (44)4.1.2 读写寄存器调试 (44)4.1.3 检查寄存器初始值 (44)4.2 硬件电路调试 (45)4.2.1 硬件检查 (45)4.2.2 硬件功能检查 (45)4.3 综合调试 (46)结论 (47)致谢 (48)参考文献 (49)附录1实物图片 (50)附录2系统电路图 (51)绪论课题背景及意义让机器听懂人类的语音,这是人们长期以来梦寐以求的事情。
毕业论文:基于语音识别技术的智能家居系统的设计方案摘要:随着大数据、人工智能的发展,智能家居产品也随之得到发展。
为满足更加舒适、安全、高效率的居家生活,提出基于语音识别技术的智能家居系统的设计方案。
通过对非特定人的语音信号进行采集,经过上位机识别分析,以无线传输蓝牙设备为载体,发送语音控制指令,对家用电气实现简单控制功能。
另外,对家居环境指标和门窗入户设施实时监控,确保拥有便捷高效又健康宜居的居家环境。
关键词:智能家居;语音识别;蓝牙;人工智能或将引领整个信息行业的变革,是中国信息产业实现从跟跑到并跑甚至领跑转折的关键[1].于是,人工智能的发展在全社会掀起一股热潮,各行各业都加入人工智能的发展大军。
随着语音识别产品的成熟,智能家居行业得到了重大变革[2].家电控制方式,由上个世纪机械按键控制发展成本世纪初的红外遥控控制。
前者必须用身体触碰,存在一定的安全隐患,后者虽可以远程遥控,但控制距离短,且只能直线控制,不能绕障碍物控制。
对于老年人、残疾人来说,传统的家电控制方式更为不易[3].以前,居家缺乏一定的环境检测指标,家中空气质量完全依靠感觉经验,存在一定的风险。
例如,天然气泄漏,一氧化碳浓度超标等。
另外,传统的家居安防主要采取的方式是锁紧门窗。
这种存在极大的偶然性,已经不能让人放心。
外出度假,会担心家中财物的安全,不能轻松愉悦的放松心情。
总的来说,当下人们对智能家居系统的功能要求主要体现在以下三个方面。
一是家居环境指标监测功能,提供家居环境的明亮度、温湿度、PM2.5浓度等信息;二是智能安防检测功能,实时监测门窗防盗状况,有害气体的浓度监测等,具有提示报警功能,一旦发生突发意外情况可以及时启动报警装置,有效维护住户生命财产安全;三是智能控制操作,目前主流的智能控制操作就是语音识别遥控操作,通过加入语音识别模块识别住户语音指令,遥控家用电器,增强住户生活体验[4].因此设计了一种基于单片机的智能家居语音控制系统,既可以实时检测家居的环境以及安全性,又能利用语音控制指令控制家用电器,实现健康、安全、舒适的家居生活。
一:前沿语音识别技术是2000年至2010年间信息技术领域十大重要的科技发展技术之一。
它是一门交叉学科,正逐步成为信息技术中人机接口的关键技术。
语音识别技术与语音合成技术结合使人们能够甩掉键盘,通过语音命令进行操作。
语音技术的应用已经成为一个具有竞争性的新兴高技术产业。
二:语音识别技术概述语音识别技术,也被称为自动语音识别Automatic Speech Recognition,(ASR),其目标是将人类的语音中的词汇内容转换为计算机可读的输入,例如按键、二进制编码或者字符序列。
与说话人识别及说话人确认不同,后者尝试识别或确认发出语音的说话人而非其中所包含的词汇内容。
语音识别技术的应用包括语音拨号、语音导航、室内设备控制、语音文档检索、简单的听写数据录入等。
语音识别技术与其他自然语言处理技术如机器翻译及语音合成技术相结合,可以构建出更加复杂的应用,例如语音到语音的翻译。
语音识别技术所涉及的领域包括:信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等。
语音识别是解决机器“听懂”人类语言的一项技术。
作为智能计算机研究的主导方向和人机语音通信的关键技术,语音识别技术一直受到各国科学界的广泛关注。
如今,随着语音识别技术研究的突破,其对计算机发展和社会生活的重要性日益凸现出来。
以语音识别技术开发出的产品应用领域非常广泛,如声控电话交换、信息网络查询、家庭服务、宾馆服务、医疗服务、银行服务、工业控制、语音通信系统等,几乎深入到社会的每个行业和每个方面。
三.语音识别的研究历史语音识别的研究工作始于20世纪50年代,1952年Bell 实验室开发的Audry系统是第一个可以识别10个英文数字的语音识别系统。
1959年,Rorgie和Forge采用数字计算机识别英文元音和孤立词,从此开始了计算机语音识别。
60年代,苏联的Matin等提出了语音结束点的端点检测,使语音识别水平明显上升;Vintsyuk提出了动态编程,这一提法在以后的识别中不可或缺。
毕业论文设计
探究语音识别在智能家居中的应用
摘要:随着人工智能技术的不断发展,智能家居已经成为了现代家庭生活中不可或缺的一部分。
然而,现有的智能家居系统还存在一些不足之处,如交互性不足、智能度不高等问题。
本论文旨在研究基于人工智能的语音识别系统在智能家居中的应用,通过实验和案例分析,探讨如何利用AI技术提高智能家居的交互性与智能度,为智慧生活提供更好的方案。
第一章绪论
1.1 研究背景
1.2 研究意义
1.3 研究目的及内容
1.4 研究方法
第二章智能家居与人工智能技术
2.1 智能家居系统简介
2.2 人工智能技术在智能家居中的应用
2.3 国内外相关研究综述
第三章基于人工智能的语音识别技术
3.1 语音识别技术概述
3.2 常用的语音识别技术
3.3 语音识别技术的发展现状
第四章基于人工智能的语音识别系统在智能家居中的应用
4.1 需求分析
4.2 设计思路
4.3 系统架构
4.4 系统模块设计
第五章基于人工智能的语音识别系统在智能家居中的实验与验证5.1 实验环境与流程
5.2 实验结果与分析
第六章基于人工智能的语音识别系统在智能家居中的应用案例分析6.1 智能家居中的语音交互
6.2 智能家居中的语音控制
6.3 智能家居中的语音识别定制
第七章展望与总结
7.1 基于人工智能的语音识别系统在智能家居中的应用趋势
7.2 研究结论与贡献
7.3 未来研究方向。
摘要 (III)Abstract (I)前言 (I)第一章绪论 (1)1.1 研究的目的和意义 (1)1.2 国内外研究历史与现状 (1)1.3 语音识别存在的问题 (4)1.4 论文主要研究内容及结构安排 (5)第二章语音识别系统 (6)2.1 语音识别系统简介 (6)2.1.1 语音识别系统的结构 (6)2.1.2 语音识别的系统类型 (7)2.1.3 语音识别的基元选择 (9)2.2 语音识别系统的应用 (9)2.2.1 语音识别系统的应用分类 (9)2.2.2语音识别系统应用的特点 (10)2.2.3 语音识别系统的应用所面临的问题 (11)2.3 语音识别的算法简介 (12)2.3.1 基于语音学和声学的方法 (12)2.3.2 模板匹配的方法 (13)2.3.3神经网络的方法 (15)第三章语音识别系统的理论基础 (16)3.1 语音识别系统的基本组成 (16)3.2 语音预处理 (17)3.2.1 预加重 (17)3.2.2 加窗分帧 (17)3.2.3 端点检测 (18)3.2.4 语音特征参数提取 (18)3.2.5 语音训练和识别 (22)第四章特定人孤立词语音识别系统的设计方案 (26)4.1 基于VQ语音识别系统的模型设计 (26)4.2 语音识别系统特征参数提取提取 (27)4.2.1 特征参数提取过程 (27)4.2.2 特征提取matlab实现 (28)4.3 VQ训练与识别 (30)4.3.1 用矢量量化生成码本 (30)4.3.2 基于VQ的说话人识别 (31)4.4 设计结果分析 (33)总结与体会 (36)谢辞 (38)参考文献 (39)摘要本文主要介绍了语音识别系统的基础知识,包括语音识别系统的应用、结构以及算法。
重点阐述了语音识别系统的原理以及相关算法,通过参考查阅资料,借助MATLAB工具,设计基于VQ码本训练程序和识别程序,识别特定人的语音。
系统主要包括训练和识别两个阶段。
语音信号的分析与处理摘要:本文针对语音信号时域、频域参数进行了系统详尽的分析,并在MATLAB环境下实现了基于DTW算法的特定人孤立词语音信号的识别。
关键词:语音信号;短时傅里叶;MFCC;动态时间规整引言语音信号参数分析是语音信号处理的前提和基础。
语音信号处理包括语音通信、语音增强、语音合成、语音识别和说话人识别等方面。
只有通过语音信号的分析才能获得语音本质特性的参数,才能利用这些参数进行高效的语音通信,才能建立语音合成的语音库,也才可能建立用于语音识别的模板和知识库。
此外,语音合成音质的好坏、语音识别率的高低,都取决于语音信号参数分析的准确性和精度。
因此,语音信号参数分析是语音信号处理研究中一项非常有意义的工作[1]。
近年来,语音识别已经成为一个非常活跃的研究领域。
在不远的将来,语音识别技术有可能作为一种重要的人机交互手段,辅助甚至取代传统的键盘、鼠标等输入设备,在个人计算机上进行文字录入和操作控制。
而在手持式PDA、智能家电、工业现场控制等应用场合,语音识别技术则有更为广阔的发展前景[2]。
在特定人孤立词语音识别中,最为简单有效的方法是采用DTW(Dynamic Time Warping,动态时间规整)算法,该算法基于动态规划(DP)的思想,解决了发音长短不一的模板匹配问题,是语音识别中出现最早、较为经典的一种算法[3]。
MATLAB是一种功能强大、效率高、交互性好的数值计算和可视化计算机高级语言,它将数值分析、信号处理和图形显示有机地融合为一体,形成了一个极其方便、用户界面友好的操作环境。
本文就是在MA TLAB基础上来进行语音信号参数的分析与语音信号的识别的。
一、语音信号的分析1参数分析语音信号是一种典型的非平稳信号。
但是,由于语音的形成过程是与发音器官的运动密切相关的,这种物理运动比起声音振动速度来讲要缓慢得多,因此语音信号常常可被假定为短时平稳的,即在10一20ms这样的时间段内,其频谱特性和某些物理特征参量可被近似地看作不变。
这样,我们就可以采用平稳过程的分析处理方法来处理,一般而言语音信号处理的方法都是基于这种短时平稳的假设的。
根据语音信号所分析参数的不同,语音信号参数分析可以分为时域、频域、倒谱域分析等[4]。
本文仅涉及时域及频域参数分析。
2时域分析进行语音信号最为直观的分析方法就是时域分析。
语音信号本身就是时域信号,因而时域分析是最早使用,也是应用最广泛的一种方法,这种方法直接利用语音信号的时域波形。
时域分析通常用于最基本的参数分析以及语音的分割、预处理和大分类等。
时域分析方法的特点是:第一,表示语音信号比较直观,物理意义明确;第二,实现起来比较简单,运算量少;第三,可以得到语音的一些重要参数;第四,采用示波器等通用设备,使用简单[5]。
2.1短时能量分析短时能量分析用途:第一,可以区分清音段和浊音段,因为浊音时的短时平均能量值比清音时大得多;第二,可以用来区分声母与韵母的分界、无声与有声的分界、连字的分界等。
如对于高信噪比的语音信号,短时平均能量用来区分有无语音。
无语音信号噪声的短时平均能量很小,而有语音信号的能量则显著增大到某一个数值,由此可以区分语音信号的开始点或者终止点。
3频域分析短时傅立叶分析在运用离散时间傅立叶变换分析语音信号的变化时,会遇到这样的问题,即单一的傅立叶变换并不能反映时间变化的频谱信息,诸如时变共振峰和谐波。
具体而言,通常将信号的每一时刻与其相邻时刻信号的傅立叶变换相联系,这样就可以及时跟踪信号的频谱变化。
语音信号的短时傅立叶变换见程序所述。
可以验证,在短时傅立叶分析中对于同一种窗函数而言,其通带宽度与窗长成反比。
如果希望频率分辨率高,则窗长应尽量取长一些;如果希望时间分辨率高,则窗长尽量取短一些。
由此可见,傅立叶分析的时间分辨率和频率分辨率是相互矛盾的,这是短时傅立叶本身所固有的弱点。
短时傅立叶分析一般采用汉明窗作为分析窗[6]。
通过基于MATLAB和短时频域分析,能够得出[7]:第一,长窗具有较高的频率分辨率,但具有较低的时间分辨率。
从一个周期到另一个周期,共振峰是要发生变化的,这一点即使从语音波形上也能够看出来。
然而,如果采用较长的窗,这种变化就模糊了,因为长窗起到了时间上的平均作用。
第二,短窗的频率分辨率低,但具有较高的时间分辨率。
采用短窗时,能够从短时频谱中提取出共振峰从一个周期到另一个周期所发生的变化。
当然,激励源的谐波结构也从短时频谱上消失了。
第三,在对语音信号进行短时傅里叶分析时,窗长需要折衷考虑。
一方面,短窗具有较好的时间分辨率因而能够提取出语音信号中的短时变化;但另一方面,损失了频率分辨率。
第四,汉明窗都具有低通的性质,且在截止频率处比较尖锐,当其通带较窄时(窗越宽,通带越窄),加窗后的频谱更能够较好反映短时语音信号的频谱,窗越宽这种逼近越好。
二、语音信号的处理1特定人孤立词语音识别系统分析一个完整特定人孤立词语音识别系统通常包括语音的输入,语音信号的预处理,特征提取,训练与识别等几个环节,基本构成如图1所示:图1孤立词语音识别系统框图语音识别的过程可以被看作模式匹配的过程,模式匹配是指根据一定的准则,使未知模式与模型库中的某一个模型获得最佳匹配的过程。
模式匹配中需要用到的参考模板通过模板训练获得。
在训练阶段,将特征参数进行一定的处理后,为每个词条建立一个模型,保存为模板库。
在识别阶段,语音信号经过相同的通道得到语音特征参数,生成测试模板,与参考模板进行匹配,将匹配分数最高的参考模板作为识别结果。
同时,还可以在一些先验知识的帮助下,提高识别的准确率。
2语音识别算法———高效的DTW算法动态时间规整(Dynamic Time Warping,DTW)是把时间规整和距离测度计算结合起来的一种非线性规整技术,解决了测试模板与参考模板语音时间长度不等的问题。
图2匹配路径约束示意图通常,规整函数被限制在一个平行四边形的网格内,如图2所示。
它的一条边斜率为2,另一条边斜率为1/2。
规整函数的起点是(1, 1),终点为(N,M)。
DTW算法的目的是在此平行四边形内由起点到终点寻找一个规整函数,使其具有最小的代价函数,保证了测试模板与参考模板之间具有最大的声学相似特性[8]。
由于在模板匹配过程中限定了弯折的斜率,因此平行四边形之外的格点对应的帧匹配距离是不需要计算的。
另外,因为每一列各格点上的匹配计算只用到了前一列的3个网格,所以没有必要保存所有的帧匹配距离矩阵和累积距离矩阵。
充分利用这两个特点可以减少计算量和存储空间的需求,形成一种高效的DTW算法,如图2所示。
图2中,把实际的动态弯折分为三段,(1,xa),(xa+1,xb),(xb+1,N),其中:xa= (2M-N)/3,xb=2(2N-M)/3xa和xb都取最相近的整数,由此可得出对M和N长度的限制条件:2M-N≥3,2N-M≥2当不满足以上条件时,认为两者差别太大,则无法进行动态弯折匹配。
在x轴上的每一帧不再需要与y轴上的每一帧进行比较,而只是与y轴上[ymin,ymax]间的帧进行比较,ymin和ymax的计算公式为:ymin=x/2,0≤x≤xb,2x+(M-2N),xb< x≤Nymax=2x,0≤x≤xa,x/2+(M-N/2),xa< x≤N如果出现xa> xb的情况,则弯折匹配的三段为(1,xb),(xb+1,xa),(xa+1,N)。
对于x轴上每前进一帧,虽然所要比较的y轴上的帧数不同,但弯折特性是一样的,累积距离的更新都是用下式实现的:D(x,y) = d(x,y)+min[D(x-1,y),D(x-1,y-1),D(x-1,y-2)]3.MA TLAB仿真验证3.1语音信号预处理语音信号的预处理包括预滤波、采样和量化、加窗、预加重、端点检测等过程[9]。
所选用的实验语音数据,是在实验室条件下利用PC机录制。
采用8 000kHz采样频率、16bit量化、单声道的PCM录音格式。
由于语音信号在帧长为10ms~30ms之内是相对平稳的,同时为了便于计算FFT,本系统选取帧长N为256个语音点,帧移M为128点。
汉明窗与矩形窗和汉宁窗相比具有最低旁瓣,可以有效地克服泄漏现象,具有更平滑的低通特性,故本文采用汉名窗对语音信号进行分帧处理,如下式:ω(n) =0.54-0.46cos(2πn/(N-1)),0≤n≤N-1预加重用具有6dB/倍频程的提升高频特性的一阶数字滤波器实现:H(z) =1-0.937 5/z端点检测采用基于短时能量和短时平均过零率法[10],利用已知为“静态”的最初十帧信号为短时能量设置2个门限ampl和amph,以及过零率阀值zcr。
语音起始点从第11帧开始检测,其流程图如图3。
语音结束点的检测方法与检测起点相似,但此时从后向前搜索。
图3 语音起点检测流程图3.2特征参数提取及语音识别研究表明,倒谱特征参数所含的信息量比其他参数多,能较好地表现语音信号。
本文选取能够反映人对语音的感知特性的Mel频率倒谱系数(MFCC)作为特征参数,阶数为12。
经过MFCC特征参数提取后,各帧语音信号就形成了一个个特征矢量。
识别时,将待测语音与模板库中的每一个模板进行模式匹配,找到距离最小的模板作为输出结果。
经测试,程序等到了较好的语音识别效果。
三、总结上述语音识别系统详细地分析了语音信号的时域、频域等特性,并实现了对孤立数字0到9的准确识别,通过本次详细系统的语音识别系统的设计,我对数字信号处理的流程有了深刻的认识,对Matlab软件编程也有了一定的理解,为将来从事这方面的课题打下了坚实的基础。
参考文献:[1]王炳锡.语音编码[M].西安:西安电子科技大学出版社,2002.[2]何强,何英.MA TLAB扩展编程[M].北京:清华大学出版社,2002.[3]王炳锡,屈丹,彭煊.实用语音识别基础[M].北京:国防工业出版社,2005.[4]易克初,等.语音信号处理[M].北京:国防工业出版社,2006,6.[5]胡航.语音信号处理[M].哈尔滨:哈尔滨工业大学出版社,2000,5.[6]胡广书.数字信号处理理论、算法与实现[M].北京:清华大学出版社,1997.[7]王炳锡,等.实用语音识别基础[M].北京:国防工业出版社,2005.[8]林波,吕明.基于DTW改进算法的弧立词识别系统的仿真与分析[J].信息技术,2006,30(4):56-59.[9]韩纪庆,张磊,郑铁然.语音信号处理[M].北京:清华大学出版社,2004[10]李晋.语音信号端点检测算法研究[D].长沙:湖南师范大学,2006.程序:主程序:yuyinshibie.mdisp('正在计算参考模板的参数...')for i=1:10fname=sprintf('%da.wav',i-1);x=wavread(fname);[x1 x2]=vad(x);m=mfcc(x);m=m(x1-2:x2-4,:);ref(i).mfcc=m;enddisp('正在分析语音信号...')for i=1:10fname=sprintf('%da.wav',i-1);[x,fs,bit]=wavread(fname,[2000,2512]); %采样% %sound(x,fs); %播放语音信号figure(i);subplot(3,3,1);plot(x(1:256)); %原始语音信号的时域图形% title('原始信号')subplot(3,3,2)[h,w]=freqz(x) %原始语音信号的频率响应图hr=abs(h);plot(w,hr);title('频率响应图');xlabel('Frequency in rad/sample')ylabel('Magnitude in dB')subplot(3,3,3)hphase=angle(h);hphase=unwrap(hphase); %求系统相频响应plot(w,hphase);title('频率响应图');xlabel('Frequency in rad/sample')ylabel('Phase in degrees')y=fft(x,512); %傅立叶变换%mag=abs(y);mag1=10*log10(mag);f=fs*(0:255)/512;subplot(3,3,4)plot(f,mag(1:256)); %FFT频谱图%title('fft变换后信号')iff=ifft(y,512); %反傅立叶变换%ifm=abs(iff);subplot(3,3,5)plot(f,ifm(1:256))title('ifft后信号')% 短时傅里叶变换Ts=1/fs;%N=T/Ts;N=512;Nw=20; %窗函数长L=Nw/2; %窗函数每次移动的样点数Tn=(N-Nw)/L+1; %计算把数据x共分成多少段nfft=32; %FFT的长度TF=zeros(Tn,nfft); %将存放三维谱图,先清零for i=1:Tnxw=x((i-1)*10+1:i*10+10); %取一段数据temp=fft(xw,nfft); %FFT变换temp=fftshift(temp); %频谱以0频为中心for j=1:nfft;TF(i,j)=temp(j); %把谱图存放在TF中endendsubplot(3,3,6)fnew=((1:nfft)-nfft/2)*fs/nfft;tnew=(1:Tn)*L*Ts;[F,T]=meshgrid(fnew,tnew);mesh(F,T,abs(TF))title('短时傅立叶变换时频图')subplot(3,3,7)contour(F,T,abs(TF))title('等高线表示')enddisp('正在计算测试模板的参数...')for i=1:10fname=sprintf('%db.wav',i-1);x=wavread(fname);[x1 x2]=vad(x);m=mfcc(x);m=m(x1-2:x2-4,:);test(i).mfcc=m;enddisp('正在进行模板匹配...')dist=zeros(10,10);for i=1:10for j=1:10dist(i,j)=dtw(test(i).mfcc,ref(j).mfcc);endenddisp('正在计算匹配结果...')for i=1:10[d,j]=min(dist(i,:));fprintf('测试模板%d的识别结果为:%d\n',i-1,j-1); end各子程序模块:dtw.mfunction dist=dtw(t,r)n=size(t,1);m=size(r,1);%帧匹配距离矩阵d=zeros(n,m);for i=1:nfor j=1:md(i,j)=sum((t(i,:)-r(j,:)).^2);endend%累积距离矩阵D=ones(n,m)*realmax;D(1,1)=d(1,1);%动态规划for i=2:nfor j=1:mD1=D(i-1,j);if j>1D2=D(i-1,j-1);elseD2=realmax;endif j>2D3=D(i-1,j-2);elseD3=realmax;endD(i,j)=d(i,j)+min([D1,D2,D3]);endenddist=D(n,m);enframe.mfunction f=enframe(x,win,inc)nx=length(x(:));nwin=length(win);if (nwin == 1)len = win;elselen = nwin;endif (nargin < 3)inc = len;endnf = fix((nx-len+inc)/inc);f=zeros(nf,len);indf= inc*(0:(nf-1)).';inds = (1:len);f(:) = x(indf(:,ones(1,len))+inds(ones(nf,1),:));if (nwin > 1)w = win(:)';f = f .* w(ones(nf,1),:);endmelbankm.mfunction [x,mn,mx]=melbankm(p,n,fs,fl,fh,w)if nargin < 6w='tz';if nargin < 5fh=0.5;if nargin < 4fl=0;endendendf0=700/fs;fn2=floor(n/2);lr=log((f0+fh)/(f0+fl))/(p+1);% convert to fft bin numbers with 0 for DC termbl=n*((f0+fl)*exp([0 1 p p+1]*lr)-f0);b2=ceil(bl(2));b3=floor(bl(3));if any(w=='y')pf=log((f0+(b2:b3)/n)/(f0+fl))/lr;fp=floor(pf);r=[ones(1,b2) fp fp+1 p*ones(1,fn2-b3)];c=[1:b3+1 b2+1:fn2+1];v=2*[0.5 ones(1,b2-1) 1-pf+fp pf-fp ones(1,fn2-b3-1) 0.5];mn=1;mx=fn2+1;elseb1=floor(bl(1))+1;b4=min(fn2,ceil(bl(4)))-1;pf=log((f0+(b1:b4)/n)/(f0+fl))/lr;fp=floor(pf);pm=pf-fp;k2=b2-b1+1;k3=b3-b1+1;k4=b4-b1+1;r=[fp(k2:k4) 1+fp(1:k3)];c=[k2:k4 1:k3];v=2*[1-pm(k2:k4) pm(1:k3)];mn=b1+1;mx=b4+1;endif any(w=='n')v=1-cos(v*pi/2);elseif any(w=='m')v=1-0.92/1.08*cos(v*pi/2);endif nargout > 1x=sparse(r,c,v);elsex=sparse(r,c+mn-1,v,p,1+fn2);endmfcc.mfunction ccc=mfcc(x)%归一化mel滤波器组系数bank=melbankm(24,256,8000,0,0.5,'m'); bank=full(bank);bank=bank/max(bank(:));%DTC系数,12*24for k=1:12n=0:23;dctcoef(k,:)=cos((2*n+1)*k*pi/(2*24)); end%归一化倒谱提升窗口w=1+6*sin(pi*[1:12]./12);w=w/max(w);%预加重滤波器xx=double(x);xx=filter([1 -0.9375],1,xx);%语音信号分帧xx=enframe(xx,256,80);%计算每帧的MFCC参数for i=1:size(xx,1)y=xx(i,:);s=y'.*hamming(256);t=abs(fft(s));t=t.^2;c1=dctcoef*log(bank*t(1:129));c2=c1.*w';m(i,:)=c2';end%差分参数dtm=zeros(size(m));for i=3:size(m,1)-2dtm(i,:)=-2*m(i-2,:)-m(i-1,:)+m(i+1,:)+2*m(i+2,:); enddtm=dtm/3;%合并mfcc参数和一阶差分mfcc参数ccc=[m dtm];%去除首尾两帧,因为这两帧的一阶差分参数为0 ccc=ccc(3:size(m,1)-2,:);vad.mfunction [x1,x2]=vad(x)%幅度归一化到[-1,1]x=double(x);x=x/max(abs(x));%常数设置FrameLen=240;FrameInc=80;amp1=10;amp2=2;zcr1=10;zcr2=5;maxsilence=3; %3*10ms=30msminlen=15; %15*10ms=150msstatus=0;count=0;silence=0;%计算过零率tmp1=enframe(x(1:length(x)-1),FrameLen,FrameInc); tmp2=enframe(x(2:length(x)),FrameLen,FrameInc); signs=(tmp1.*tmp2)<0;diffs=(tmp1-tmp2)>0.02;zcr=sum(signs.*diffs,2);%计算短时能量amp=sum(abs(enframe(filter([1 -0.9375],1,x),FrameLen,FrameInc)),2);%调整能量门限amp1=min(amp1,max(amp)/4);amp2=min(amp2,max(amp)/8);%开始端点检测x1=0;x2=0;for n=1:length(zcr)goto=0;switch statuscase{0,1} %0=静音,1=可能开始if amp(n)>amp1 %确信进入语音段x1=max(n-count-1,1);status=2;silence=0;count=count+1;elseif amp(n)>amp2 zcr(n)>zcr(2) %可能处于语音段status=1;count=count+1;else %静音状态status=0;count=0;endcase 2, %2=语音段if amp(n)>amp(2) zcr(n)>zcr(2) %保持在语音段count=count+1;else %语音将结束silence=silence+1;if silence<maxsilence %静音还不够长,尚未结束count=count+1;elseif count<minlen %语音长度太短,认为是噪声status=0;silence=0;count=0;else %语音结束status=3;endendcase 3,break;endendcount=count-silence/2;x2=x1+count-1;图:数字“8”的时频域特性:其他数字的时频域特性:略。