深度神经网络语音识别系统快速稀疏矩阵算法
一. 背景
1.1语音识别、深度神经网络与稀疏矩阵运算
深度神经网络(DNN)已经广泛应用在当代语音识别系统中，并带来识别率的极大提高。一个典型的深度神经网络如图1所示，其中包含一个输入层，多个隐藏层，一个输出层，每层有若干个结点，每个结点的输入由前一层的结点的输出经过线性叠加得到，并通过一个线性或非线性的激励函数，形成该结点的输出。
图1 DNN结构
在进行语音识别系统模型训练和识别时，语音数据被分成短时语音帧，这些语音帧经过信号处理之后形成一系列语音特征向量，输入到DNN的输入层，经过神经网络的各个隐藏层，最后进入输出层，形成识别器可用的概率值。
可见，在进行DNN操作时，主要计算为输入向量在整个神经网络的前向传导。这些传导运算可以抽象为矩阵运算。具体而言，将第t层结点的所有结点输出表示成一个向量OU t ,将第t层到第t+1层之间的网络联接系数表示成A t, 则第t+1层结点的输入IN t+1可以表示成IN t+1 = A t x OU t 其输出表示为OU t+1 = f (IN t), 其中f为激励函数。
当前语音识别系统中所用的神经网络一般为5-10层，每层结点数为1000到10000，这意味着网络矩阵A t 相当庞大，带来巨大的计算压力。如何快速进行矩阵运算，是一个急需解决的问题。
稀疏矩阵为减小计算量提供了可能。通过将矩阵中绝大部分元素置零，一方面可以节约随储空间，同时可以极大减小计算总量。然则，稀疏矩阵本身的存储和数据索取都需要相应的空间和时间，简单对矩阵依其元素值的大小进行稀疏化并不会提高计算效率。本发明提出一种通过改变稀疏矩阵的拓朴结构对稀疏矩阵进行快速计算的方法。
在下文中的背景知中，我们将简单的介绍一下稀疏矩阵的存储方式和对拓朴结构进行修正过程中需要用到的遗传算法。
1.2稀疏矩阵的存储方式
CSR(Compressed Sparse Row）格式是稀疏矩阵中最常用的存储格式，是一种通用存储模式。该存储模式只记录稀疏矩阵中的非零元素，用三个数组分别存储矩阵中的非零元素values，每个非零元对应的列下标columns和每行非零元的起始位置rowIndex。CSR格式的存储实现见图2。
图2 CSR存储格式
BSR(Block Compressed Sparse Row)格式只记录稀疏矩阵中的非零块的位置及其对应的非零块的值。如图3所示，L、M、N、P和Q是矩阵D中的非零元素块，每个非零块对应的列下标rowIndex和行下标columns起始值。
values = (1 2 0 1 6 8 7 2 1 5 4 2 7 0 2 0)
columns = (1 2 2 3)
rowIndex = (1 3 4 5)
图3. BSR存储格式
1.3遗传算法
遗传算法（Genetic Algorithms,GA）是一类借鉴生物界自然选择和自然遗传机制的随机化搜索算法。它模拟自然选择和自然遗传过程中发生的繁殖、交叉和基因突变现象，在每次迭代中都保留一组候选解，并按适度值评估函数从解群中选取较优的个体，利用遗传算子（选择、交叉和变异）对这些个体进行组合，产生新一代的候选解群，重复此过程，直到满足某种收敛指标为止如图4。
图4. 遗传算法流程
二. 问题描述
1.基于DNN的语音识别系统需要大量的矩阵运算，利用稀疏矩阵技术可以
加快计算速度。然而，基于CSR的存储模式会带来额外的存储开销，同时由于CSR完全打乱了矩阵的空间结构，无法利用CPU的矩阵运算指令，也难以在CPU中进行并行计算，这使得其最终计算效率反而不如原来的稠密矩阵。BSR因为按子矩阵结构存储，因而可以利用CPU的特殊指令和并行计算，比CSR在实际中更有效率。
2.BSR的计算效率取决于实际稀疏矩阵的拓朴结构。稀疏矩阵的非零元素越
集中（子矩阵分布越明显），计算效率越高
3.当前的矩阵稀疏化方法一般采用基于元素值或二阶特性的方法进行矩阵
剪裁，使不重要的矩阵元素归零。这一方面并不能保证非零元素分布的规整性和集中性，因而很难通过BSR方式提高效率。
对于上述问题，本专利提出(1) 一种稀疏矩阵的重整方法，即通过对矩阵的行和列进行调换，修正矩阵的拓扑结构，使得非零值更加集中，从而提高稀疏矩阵的运算效率。(2) 一种基于遗传算法的拓朴结构选择方法。
三. 发明要点
1.基于行-列置换的稀疏矩阵拓扑结构重整
图5. DNN中的t-1/t/t+2层
为表述清楚，我们将DNN中的任意连续三层抽取出来，如图5所示。记C 为t-1层输出向量，M为t-1层到t层的系数矩阵，B为第t层的偏置向量。V是t层到t+1层的系数矩阵，D为t+1层的偏置向量。依DNN的计算法则，有
H=C×M+B (3.1)
O=H×V+D (3.2)
注意，在上式3.1和3.2中M，V为稀疏矩阵。为使得稀疏矩阵的非零值更为集中从而提高BSR的计算效率，我们利用神经元网络的特点，在t-1/t层之间加入一个置换层，在t+1层之后再加入一个置换层。通过加入置换层，我们可以任意调换M和V 的行和列顺序，同时保持最后输出结果不变。图6和图7分别以网
络拓扑结构和矩阵表示的方示，给出了这一行列交换的例子。
图6. 神经网络节点调换
图7. 神经网络节点调换的矩阵表示
如6所示，对神经网络中的节点进行调换，对应了稀疏矩阵的行变换，如图6所示。为了保证在神经网络在交换节点后，神经网络的输出与未变换之前一
致，在每层的后面添加了一个置换层，将交换后的结果进行置换，使得输出结果与原神经网络一致。
2.基于遗传算法的稀疏矩阵拓扑结构选择
在3.1节中，我们提出通过对矩阵进行列变换可能得到分块更好的稀疏矩阵。然而，如何进行这些行列变换以得到最好的稀疏矩阵依然没有解决。本发明提出用遗传算法对这一问题进行解决。基本思路是，对每经过变换的稀疏矩阵定义一个评价函数(cost function)，对应的变换方法即定义为遗传算法中的一个个体。通过对个体附加遗传算子，可实现对个体的“遗传与变异”，可以得到更多个体。对这些个体的评价函数时行计算，直到得到的最优个体不再改变，即得到一个最好的变换。
具体方法过程如下：
1)矩阵的行列变换编码。如图8所示，对矩阵的行列的下标进行编码，当
对矩阵进行行列交换时，对应于下标的变换。
图8 矩阵变换编码
2)选择评价函数。我们选择矩阵的稀疏性作为评价函数，如3.1式。
F=∑c i×∑b ij
j
i
(3.1)
其中，c未非零块中非零值的个数，b为非零块中的非零值。3.1式表征了矩阵的稀疏性的大小，当矩阵中非零元素块聚集稠密时，对应的F值变大。
3)算子选择
遗传算法的算子包括选择算子、交叉算子和变异算子。但是在矩阵变换的编码中，只是对行列下标进行交换，而不能随便改变行列下标的值。所以在进化过程中，不能使用外变异算子。
1. 选择算子
为了保证算法的全局搜索能力，采用最优个体保存算子，即父代群体中的最优个体直接进入子代群体中，保证遗传过程中所得到的个体不会被交叉和变异操作所破坏。
2. 交叉算子
交叉算子是产生新个体的主要方法，决定了遗传算法的全局搜索能力，在遗传算法中起关键作用。由于矩阵稀疏变换的编码是包括行和列的下标形式，变换形式比较单一，所以选择简单有效的单点交换算子。
3. 变异算子
变异算子是产生新个体的辅助方法，它决定了遗传算法的局部搜素能力。变异算子和遗传算子相互配合，可以共同完成对搜索空间的全局搜索和局部搜索。为了快速的进行矩阵的稀疏化变换，在这里也引入简单的变异算子。
基于图8所示编码，各种遗传算子的作用形式如图9所示。
图9. 不同遗传算子的子代产生过程
四. 方案优势
本发明所提出的基于行列交换的拓扑结构重整方法可以有效有高稀疏矩阵的稀疏性，从而有效提高BSR的计算效率; 同时，基于遗传算法的拓扑结构选择可以有效生成并选择优质的拓扑结构，为实现本发明提出的思路提供了算法保证。
深度神经网络及目标检测学习笔记 https://youtu.be/MPU2HistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别，包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面，人工智能已经达到了3岁儿童的智力水平。这是一个很了不起的成就，毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路，并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路（至少目前看是正确的）。通过研究人类的视觉原理，计算机利用深度神经网络（Deep Neural Network，NN）实现了对图片的识别，包 括文字识别、物体分类、图像理解等。在这个过程中，神经元和神经网络模型、大数据技术的发展，以及处理器（尤其是GPU）强大的算力，给人工智能技术 的发展提供了很大的支持。 本文是一篇学习笔记，以深度优先的思路，记录了对深度学习（Deep Learning）的简单梳理，主要针对计算机视觉应用领域。 一、神经网络 1.1 神经元和神经网络 神经元是生物学概念，用数学描述就是：对多个输入进行加权求和，并经过激活函数进行非线性输出。 由多个神经元作为输入节点，则构成了简单的单层神经网络（感知器），可以进行线性分类。两层神经网络则可以完成复杂一些的工作，比如解决异或问题，而且具有非常好的非线性分类效果。而多层（两层以上）神经网络，就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来“这是苹在父母一遍遍的重复中学习训练的过程就好像是刚出生的婴儿，设置。．果”、“那是汽车”。有人说，人工智能很傻嘛，到现在还不如三岁小孩。其实可以换个角度想：刚出生婴儿就好像是一个裸机，这是经过几十万年的进化才形成的，然后经过几年的学习，就会认识图片和文字了；而深度学习这个“裸机”用了几十年就被设计出来，并且经过几个小时的“学习”，就可以达到这个水平了。 1.2 BP算法 神经网络的训练就是它的参数不断变化收敛的过程。像父母教婴儿识图认字一样，给神经网络看一张图并告诉它这是苹果，它就把所有参数做一些调整，使得它的计算结果比之前更接近“苹果”这个结果。经过上百万张图片的训练，它就可以达到和人差不多的识别能力，可以认出一定种类的物体。这个过程是通过反向传播（Back Propagation，BP）算法来实现的。 建议仔细看一下BP算法的计算原理，以及跟踪一个简单的神经网络来体会训练的过程。
机器?学习中，梯度下降法常?用来对相应的算法进?行行训练。常?用的梯度下降法包含三种不不同的形式，分别是BGD 、SGD 和MBGD ，它们的不不同之处在于我们在对?目标函数进?行行梯度更更新时所使?用的样本量量的多少。 以线性回归算法来对三种梯度下降法进?行行?比较。 ?一般线性回归函数的假设函数为： （即有n 个特征）对应的损失函数为下图即为?一个?二维参数和组对应的损失函数可视化图像：批量量梯度下降法（Batch Gradient Descent ，简称BGD ）是梯度下降法最原始的形式，它的具体思路路是在更更新每?一参数时都使?用所有的样本来进?行行更更新，其数学形式如下： 深度学习系列列（7）：神经?网络的优化?方法?一、Gradient Descent [Robbins and Monro, 1951,Kiefer et al., 1952] = h θ∑j =0n θj x j L (θ)=12m ∑i =1 m (h ()?)x i y i 2θ0θ11.1 BGD （Batch Gradient Descent ）
还是以上?面?小球的例例?子来看，momentum ?方式下?小球完全是盲?目被动的?方式滚下的。这样有个缺 三、NAG （Nesterov accelerated gradient ）[Nesterov, 1983]
点就是在邻近最优点附近是控制不不住速度的。我们希望?小球可以预判后?面的“地形”，要是后?面地形还是很陡峭，那就继续坚定不不移地?大胆?走下去，不不然的话就减缓速度。 当然，?小球?自?己也不不知道真正要?走到哪?里里，这?里里以 作为下?一个位置的近似，将动量量的公式更更改为： 相?比于动量量?方式考虑的是上?一时刻的动能和当前点的梯度，?而NAG 考虑的是上?一时刻的梯度和近似下?一点的梯度，这使得它可以先往前探探路路，然后慎重前进。 Hinton 的slides 是这样给出的： 其中两个blue vectors 分别理理解为梯度和动能，两个向量量和即为momentum ?方式的作?用结果。?而靠左边的brown vector 是动能，可以看出它那条blue vector 是平?行行的，但它预测了了下?一阶段的梯度是red vector ，因此向量量和就是green vector ，即NAG ?方式的作?用结果。 momentum 项和nesterov 项都是为了了使梯度更更新更更加灵活，对不不同情况有针对性。但是，?人?工设置?一些学习率总还是有些?生硬，接下来介绍?几种?自适应学习率的?方法 训练深度?网络的时候，可以让学习率随着时间退?火。因为如果学习率很?高，系统的动能就过?大，参数向量量就会?无规律律地变动，?无法稳定到损失函数更更深更更窄的部分去。对学习率衰减的时机把握很有技巧：如果慢慢减?小，可能在很?长时间内只能浪费计算资源然后看着它混沌地跳动，实际进展很少；但如果快速地减少，系统可能过快地失去能量量，不不能到达原本可以到达的最好位置。通常，实现学习率退?火有三种?方式： θ?γv t ?1 =γ+ηJ (θ?γ) v t v t ?1?θv t ?1θ=θ?v t 四、学习率退?火
海事大学 神经网络与语音识别 院系: 物流工程学院 课程名称: 制造与物流决策支持系统学生姓名: 学号: 时间:
目录 一．绪论 (3) 1.1 研究背景及意义 (3) 1.2 语音识别的国外研究现状 (3) 1.3研究容 (4) 二．语音识别技术 (5) 2.1语音信号 (5) 2.2语音信号的数学模型 (5) 2.3 语音识别系统结构 (6) 2.4 语音信号预处理 (7) 2.4.1 语音信号的采样 (8) 2.4.2语音信号的分帧 (8) 2.4.3语音信号的预加重 (9) 2.4.4 基于短时能量和过零率的端点检测 (9) 2.5 特征参数提取 (12) 三．基于BP神经网络语音识别算法实现 (14) 3.1 BP神经网络原理 (14) 3.2 输入层神经元个数的确定 (14) 3.3网络隐含层数的确定 (15) 3.4隐含层神经元个数的确定 (15) 3.5 BP神经网络构造 (15) 3.6 BP神经网络的训练 (16) 3.6.1训练样本集合和目标值集合 (16) 3.6.2 网络训练 (16) 3.7网络训练 (17) 3.8 语音的识别结果 (18) 四．总结 (19) 参考文献 (20) 附录 (21)
一．绪论 计算机的飞速发展，使人们的生活方式发生了根本性的改变，鼠标、键盘，这些传统的人机接口使人们体会到了生活的便利。科学技术日新月异，假如让“机器”能够听懂人的语言，并根据其信息去执行人的意图，那么这无疑是最理想的人机智能接口方式，因此语音识别作为一门极具吸引力的学科应运而生，很多专家都指出语音识别技术将是未来十年信息技术领域十大重要的科技发展技术之一。 语音识别(Speech Recognition)是指，计算机从人类获取语音信息，对语音信息进行分析处理，准确地识别该语音信息的容、含义，并对语音信息响应的过程。语音信号具有非稳定随机特性，这使得语音识别的难度大。目前人类甚至仍没有完全理解自身听觉神经系统的构造与原理，那么要求计算机能像人类一样地识别语音信号很有挑战性。 1.1 研究背景及意义 语言在人类的智能组成中充当着很重要的角色，人与人之间的交流和沟通大部分是通过语言的方式有效的完成。作为人与人之问交流最方便、自然、快捷的手段，人们自然希望它成为人与计算机交流的媒介。随着数字信号处理及计算机科学的飞速发展，人们对实现人机对话产生越来越迫切的要求，使得语音识别技术近年来得到了迅速的发展，语音识别技术的研究进入了一个比较成熟的时期。语音识别是一门交叉科学，它综合了声学、语言学、语音学、生理科学、数字信号处理、通信理论、电子技术、计算机科学、模式识别和人工智能等众多学科。也是人机交互最重要的一步。 1.2 语音识别的国外研究现状 通过语音传递信息是人类最重要，最有效，和最方便的交换信息的形式，语音识别主要指让机器转达人说的话，即在各种情况下，准确的识别出语音的容，
深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN 高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。 论文地址：https://https://www.doczj.com/doc/361228370.html,/pdf/1703.09039.pdf 本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本文还给出了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。在这许多领域中，DNN 能够超越人类的准确率。而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱，但提供对DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下：
可用于自动驾驶的神经网络及深度学习 高级辅助驾驶系统(ADAS)可提供解决方案，用以满足驾乘人员对道路安全及出行体验的更高要求。诸如车道偏离警告、自动刹车及泊车辅助等系统广泛应用于当前的车型，甚至是功能更为强大的车道保持、塞车辅助及自适应巡航控制等系统的配套使用也让未来的全自动驾驶车辆成为现实。 作者：来源：电子产品世界|2017-02-27 13:55 收藏 分享 高级辅助驾驶系统(ADAS)可提供解决方案，用以满足驾乘人员对道路安全及出行体验的更高要求。诸如车道偏离警告、自动刹车及泊车辅助等系统广泛应用于当前的车型，甚至是功能更为强大的车道保持、塞车辅助及自适应巡航控制等系统的配套使用也让未来的全自动驾驶车辆成为现实。 如今，车辆的很多系统使用的都是机器视觉。机器视觉采用传统信号处理技术来检测识别物体。对于正热衷于进一步提高拓展ADAS功能的汽车制造业而言，深度学习神经网络开辟了令人兴奋的研究途径。为了实现从诸如高速公路全程自动驾驶仪的短时辅助模式到专职无人驾驶旅行的自动驾驶，汽车制造业一直在寻求让响应速度更快、识别准确度更高的方法，而深度学习技术无疑为其指明了道路。 以知名品牌为首的汽车制造业正在深度学习神经网络技术上进行投资，并向先进的计算企业、硅谷等技术引擎及学术界看齐。在中国，百度一直在此技术上保持领先。百度计划在2019 年将全自动汽车投入商用，并加大全自动汽车的批量生产力度，使其在2021 年可广泛投入使用。汽车制造业及技术领军者之间的密切合作是嵌入式系统神经网络发展的催化剂。这类神经网络需要满足汽车应用环境对系统大小、成本及功耗的要求。 1轻型嵌入式神经网络 卷积式神经网络(CNN)的应用可分为三个阶段：训练、转化及CNN在生产就绪解决方案中的执行。要想获得一个高性价比、针对大规模车辆应用的高效结果，必须在每阶段使用最为有利的系统。 训练往往在线下通过基于CPU的系统、图形处理器(GPU)或现场可编程门阵列(FPGA)来完成。由于计算功能强大且设计人员对其很熟悉，这些是用于神经网络训练的最为理想的系统。 在训练阶段，开发商利用诸如Caffe(Convolution Architecture For Feature Extraction，卷积神经网络架构)等的框架对CNN 进行训练及优化。参考图像数据库用于确定网络中神经元的最佳权重参数。训练结束即可采用传统方法在CPU、GPU 或FPGA上生成网络及原型，尤其是执行浮点运算以确保最高的精确度。 作为一种车载使用解决方案，这种方法有一些明显的缺点。运算效率低及成本高使其无法在大批量量产系统中使用。 CEVA已经推出了另一种解决方案。这种解决方案可降低浮点运算的工作负荷，并在汽车应用可接受的功耗水平上获得实时的处理性能表现。随着全自动驾驶所需的计算技术的进一步发展，对关键功能进行加速的策略才能保证这些系统得到广泛应用。 利用被称为CDNN的框架对网络生成策略进行改进。经过改进的策略采用在高功耗浮点计算平台上(利用诸如Caffe的传统网络生成器)开发的受训网络结构和权重，并将其转化为基于定点运算，结构紧凑的轻型的定制网络模型。接下来，此模型会在一个基于专门优化的成像和视觉DSP芯片的低功耗嵌入式平台上运行。图1显示了轻型嵌入式神经网络的生成
语音识别技术综述 The summarization of speech recognition 张永双 苏州大学 摘要 本文回顾了语音识别技术的发展历史，综述了语音识别系统的结构、分类及基本方法，分析了语音识别技术面临的问题及发展方向。 关键词：语音识别；特征；匹配 Abstact This article review the courses of speech recognition technology progress ,summarize the structure,classifications and basic methods of speech recognition system and analyze the direction and the issues which speech recognition technology development may confront with. Key words: speech recognition;character;matching 引言 语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别是一门交叉学科，所涉及的领域有信号处理、模式识别、概率论和信息论、发声机理和听觉机理、人工智能等等，甚至还涉及到人的体态语言（如人民在说话时的表情手势等行为动作可帮助对方理解）。其应用领域也非常广，例如相对于键盘输入方法的语音输入系统、可用于工业控制的语音控制系统及服务领域的智能对话查询系统，在信息高度化的今天，语音识别技术及其应用已成为信息社会不可或缺的重要组成部分。 1.语音识别技术的发展历史 语音识别技术的研究开始二十世纪50年代。1952年，AT&Tbell实验室的Davis等人成功研制出了世界上第一个能识别十个英文数字发音的实验系统：Audry系统。
深度学习 卷积神经网络算法简介 李宗贤 北京信息科技大学智能科学与技术系 卷积神经网络是近年来广泛应用在模式识别、图像处理领域的一种高效识别算法，具有简单结构、训练参数少和适应性强的特点。它的权值共享网络结构使之更类似与生物神经网络，降低了网络的复杂度，减少了权值的数量。以二维图像直接作为网络的输入，避免了传统是被算法中复杂的特征提取和数据重建过程。卷积神经网络是为识别二维形状特殊设计的一个多层感知器，这种网络结构对于平移、比例缩放、倾斜和其他形式的变形有着高度的不变形。 ?卷积神经网络的结构 卷积神经网络是一种多层的感知器，每层由二维平面组成，而每个平面由多个独立的神经元组成，网络中包含一些简单元和复杂元，分别记为C元和S元。C元聚合在一起构成卷积层，S元聚合在一起构成下采样层。输入图像通过和滤波器和可加偏置进行卷积，在C层产生N个特征图（N值可人为设定），然后特征映射图经过求和、加权值和偏置，再通过一个激活函数（通常选用Sigmoid函数）得到S层的特征映射图。根据人为设定C层和S层的数量，以上工作依次循环进行。最终，对最尾部的下采样和输出层进行全连接，得到最后的输出。
卷积的过程：用一个可训练的滤波器fx去卷积一个输入的图像（在C1层是输入图像，之后的卷积层输入则是前一层的卷积特征图），通过一个激活函数(一般使用的是Sigmoid函数)，然后加一个偏置bx，得到卷积层Cx。具体运算如下式，式中Mj是输入特征图的值： X j l=f?(∑X i l?1?k ij l+b j l i∈Mj) 子采样的过程包括：每邻域的m个像素（m是人为设定）求和变为一个像素，然后通过标量Wx+1加权，再增加偏置bx+1，然后通过激活函数Sigmoid产生特征映射图。从一个平面到下一个平面的映射可以看作是作卷积运算，S层可看作是模糊滤波器，起到了二次特征提取的作用。隐层与隐层之间的空间分辨率递减，而每层所含的平面数递增，这样可用于检测更多的特征信息。对于子采样层来说，有N 个输入特征图，就有N个输出特征图，只是每个特征图的的尺寸得到了相应的改变，具体运算如下式，式中down（）表示下采样函数。 X j l=f?(βj l down (X j l?1) +b j l)X j l) ?卷积神经网络的训练过程 卷积神经网络在本质上是一种输入到输出的映射，它能够学习大量的输入和输出之间的映射关系，而不需要任何输入和输出之间的精确数学表达式。用已知的模式对卷积网络加以训练，网络就具有了输
上海海事大学神经网络与语音识别 院系: 物流工程学院 课程名称: 制造与物流决策支持系统学生姓名: 学号: 时间: 目录
一．绪论 计算机的飞速发展，使人们的生活方式发生了根本性的改变，鼠标、键盘，这些传统的人机接口使人们体会到了生活的便利。科学技术日新月异，假如让“机器”能够听懂人的语言，并根据其信息去执行人的意图，那么这无疑是最理想的人机智能接口方式，因此语音识别作为一门极具吸引力的学科应运而生，很多专家都指出语音识别技术将是未来十年信息技术领域十大重要的科技发展技术之一。 语音识别(Speech Recognition)是指，计算机从人类获取语音信息，对语音信息进行分析处理，准确地识别该语音信息的内容、含义，并对语音信息响应的过程。语音信号具有非稳定随机特性，这使得语音识别的难度大。目前人类甚至仍没有完全理解自身听觉神经系统的构造与原理，那么要求计算机能像人类一样地识别语音信号很有挑战性。 研究背景及意义 语言在人类的智能组成中充当着很重要的角色，人与人之间的交流和沟通大部分是通过语言的方式有效的完成。作为人与人之问交流最方便、自然、快捷的手段，人们自然希望它成为人与计算机交流的媒介。随着数字信号处理及计算机科学的飞速发展，人们对实现人机对话产生越来越迫切的要求，使得语音识别技术近年来得到了迅速的发展，语音识别技术的研究进入了一个比较成熟的时期。语音识别是一门交叉科学，它综合了声学、语言学、语音学、生理科学、数字信号处理、通信理论、电子技术、计算机科学、模式识别和人工智能等众多学科。也是人机交互最重要的一步。 语音识别的国内外研究现状 通过语音传递信息是人类最重要，最有效，和最方便的交换信息的形式，语
深度神经网络及目标检测学习笔记 ｈｔｔps://youtu.bｅ/MPU2ＨistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别,包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面,人工智能已经达到了３岁儿童的智力水平。这是一个很了不起的成就,毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路,并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路(至少目前看是正确的)。通过研究人类的视觉原理,计算机利用深度神经网络(ＤｅeｐＮｅuｒal Nｅtwork，NＮ)实现了对图片的识别,包括文字识别、物体分类、图像理解等。在这个过程中,神经元和神经网络模型、大数据技术的发展，以及处理器(尤其是GPU）强大的算力，给人工智能技术的发展提供了很大的支持。 本文是一篇学习笔记,以深度优先的思路,记录了对深度学习(Deｅp Learning）的简单梳理,主要针对计算机视觉应用领域。 一、神经网络 １．1 神经元和神经网络 神经元是生物学概念,用数学描述就是:对多个输入进行加权求和,并经过激活函数进行非线性输出。 由多个神经元作为输入节点,则构成了简单的单层神经网络（感知器),可以进行线性分类。两层神经网络则可以完成复杂一些的工作,比如解决异或问题，而且具有非常好的非线性分类效果。而多层(两层以上)神经网络,就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来设置。训练的过程就好像是刚出生的婴儿，在父母一遍遍的重复中学习“这是苹
H a r b i n I n s t i t u t e o f T e c h n o l o g y 神经网络与智能信号处理 实验报告 神经网络实验报告 1、实验名称： 神经网络在语音识别上的应用 2、实验目的： 进一步了解神经网络在语音识别上的应用，了解神经网络的基本原理，学习神经网络的算法，还可以进一步分析不同的隐节点数以及训练步数对误差性能的影响。 3、实验要求： 1、设计一个标准的BP学习算法网络来对语音信号26个字母进行识别。 2、在训练时采用不同的隐含层神经元个数，分析其对网络性能、语音识别系统的识别率的影响。 3、用所创建的BP神经网络进行26个字母的语音识别，观察并记录结果，并分析其误差。 4、实验步骤： 1、语音识别的基本原理
语音识别的总体流程如下： 语音输入时要先经过预处理，包括预加重、分帧加窗等。然后进行特征提取，该实验中的特征参数为MFCC 参数。语音特征参数的时间序列构成语音的模式，将其与获得的参考模式逐一比较，获得最佳匹配的参考模式便是识别结果。 由于语音信号的复杂性，所以在一开始在语音信号输入语音识别系统时需要进行预处理，预处理包括预加重，分帧加窗，端点检测等。预加重的目的是为了加强语音的高频部分，以便在特征提取阶段进行频谱分析。分帧加窗的目的是为了使帧与帧之间平滑过渡，保持连续性以及保持语音信号的短时平稳性，降低由于不连续而产生的Gibbs 效应。端点检测的目的就是从语音信号序列中截取实际有效的语音信号。 特征提取阶段，是从语音数据中提取能反映语音信号特征和变化规律的参数，以唯一表征语音，这儿选用的语音信号特征参数为MEL 频率倒谱系数，即MFCC 。MEL 频率倒谱的实现过程如下图所示： （1）对语音信号进行预处理，加窗、分帧将其变为短时信号。 （2） 将短时时域信号转变为频域信号，并计算其短时能量，离散傅立叶变换。将时域信号 后补若干0形成长为N 的序列，再经过离散傅立叶变换得到线性频谱，变换公式： 0n,k N-1 （3）在频标内三角带通滤波器个加于坐标得到滤波器组，转化关系为
深度神经网络语音识别系统快速稀疏矩阵算法 一. 背景 1.1语音识别、深度神经网络与稀疏矩阵运算 深度神经网络(DNN)已经广泛应用在当代语音识别系统中，并带来识别率的极大提高。一个典型的深度神经网络如图1所示，其中包含一个输入层，多个隐藏层，一个输出层，每层有若干个结点，每个结点的输入由前一层的结点的输出经过线性叠加得到，并通过一个线性或非线性的激励函数，形成该结点的输出。 图1 DNN结构 在进行语音识别系统模型训练和识别时，语音数据被分成短时语音帧，这些语音帧经过信号处理之后形成一系列语音特征向量，输入到DNN的输入层，经过神经网络的各个隐藏层，最后进入输出层，形成识别器可用的概率值。 可见，在进行DNN操作时，主要计算为输入向量在整个神经网络的前向传导。这些传导运算可以抽象为矩阵运算。具体而言，将第t层结点的所有结点输出表示成一个向量OU t ,将第t层到第t+1层之间的网络联接系数表示成A t, 则第t+1层结点的输入IN t+1可以表示成IN t+1 = A t x OU t 其输出表示为OU t+1 = f (IN t), 其中f为激励函数。 当前语音识别系统中所用的神经网络一般为5-10层，每层结点数为1000到10000，这意味着网络矩阵A t 相当庞大，带来巨大的计算压力。如何快速进行矩阵运算，是一个急需解决的问题。 稀疏矩阵为减小计算量提供了可能。通过将矩阵中绝大部分元素置零，一方面可以节约随储空间，同时可以极大减小计算总量。然则，稀疏矩阵本身的存储和数据索取都需要相应的空间和时间，简单对矩阵依其元素值的大小进行稀疏化并不会提高计算效率。本发明提出一种通过改变稀疏矩阵的拓朴结构对稀疏矩阵进行快速计算的方法。 在下文中的背景知中，我们将简单的介绍一下稀疏矩阵的存储方式和对拓朴结构进行修正过程中需要用到的遗传算法。
Information Technology ? 信息技术Electronic Technology & Software Engineering 电子技术与软件工程? 249【关键词】智能终端 神经网络 语音识别 语音特征 现阶段智能终端与用户之间的人机交互方式仍然是触屏、键盘或鼠标，传统操作式的人机交互已经无法满足信息时代对信息快速交互的需求，创新式语音交互技术不仅提高了人机交互效率，而且属于人类所习惯的交互方式。语音交互的核心技术为语音识别技术，语音识别技术优劣直接决定了语音交互方式是否可用。截止目前，关于语音识别技术的研究已有数十载，基于英语的语音识别技术的准确率已接近98%，而基于汉语的语音识别技术的准确率却相对较低，主要是由于汉语的复杂度相对应用更广，同音字较多且发音较短致使语音识别精度降低。神经网络凭借其神经网络拓扑结构在识别方面具有更好的识别效果，基于此，本文对神经网络在语音识别的应用展开了研究。 1 语音识别系统研究 语音识别系统是通过对语音信号进行分析，与词汇语音进行匹配处理，使得计算机能理解语音信号所传递的信息。经典的语音识别系统结构主要包括信号预处理、特征提取、数据训练、匹配计算、识别判决。 通过对语音识别系统的结构进行分析可知，可将其划分为三个模块，信号预处理模块、语音特征提取模块、训练与识别模块。神经网络在语音识别中的应用 文/冀瑞国 （1）信号预处理处于系统的前端，语音 信号的预处理将便于语音的特征提取，主要包括采样滤波、预加权、信号分帧、端点检测。其中本文的采样滤波的频率为8KHz ，并选择预加权方式对高频阶段的语音进行加权处理，从而有效地提高其信噪比。在信号分帧方面，本文所采纳的时间段为20ms ，并通过端点检测方法实现词汇信号与噪声信号的分割，从而完成语音信号的预处理。（2）语音特征提取模块主要是为语音数据训练与识别提供分析数据，所以语音特征的合理选择不仅能提升识别模型的训练效率，而且能有效提高模型的识别精度。本文基于特征独立性、信号有效表征和精简计算的原则选择的语音特征主要包括线性预测系数（LPC ）、线性预测倒谱系数（LPCC ）、美儿频率倒谱系数（MFCC ）、改进的混合MFCC 。（3）训练与识别模块作为语音识别系统的核心，主要是对特征进行分析得到信号归属词汇。目前常用的识别模型主要有神经网络、支持向量机、深度学习和人工智能，支持向量机的识别精度相对较低，深度学习与人工智能需要大量的训练样本且实时性较差。由于语音识别对识别精度和实时性要求较高，因此本文选择神经网络作为语音识别模型。2 神经网络应用于语音识别神经网络由输入层、隐层和输出层构成，网络基本单元为神经元，输入层的神经元为所提取的语音信号特征，隐层的神经元通过样本训练构建，输出层的神经元为语音识别词汇。通过对神经网络的结构分析可知，神经网络具有很强的非线性映射能力、泛化能力和容错能力。神经网络进行语音识别之前需要对模型进行科学的训练，神经网络的训练流程如图1所示，首先需要准备大量词汇的语音特征，对词汇进行编号，然后将准备的语音特征作为模型训练的输入，将特征对应的词汇编号作为参考数据，最后检查模型训练的输出数据与参考数据之间的误差，当两者之间的数据误差低于所设置的阈值时停止训练，保存隐层神经元的阈值，以及各个神经元之间的链接权值，从而实现神经网络模型的建立。语音识别系统首先对语音信号的进行采样滤波、预加权、信号分帧、端点检测操作；其次提取预处理数据的LPC 、LPCC 、MFCC 、改进MFCC 值；最后训练构建的神经网络模型根据语音信号特征识别语音所对应的词汇，至此实现语音信号的识别。3 结论本文先对语音识别系统展开了研究，语音识别系统由信号预处理、语音特征提取、模型训练与识别三个模块构成，并分析了神经网络相对于支持向量机、深度学习和人工智能的优势，基于此设计了一套基于神经网络的语音识别系统。识别系统首先借助大量词汇的语音特征完成识别模型的训练，再利用训练合格的语音识别模型对从预处理数据中提取的LPC 、LPCC 、MFCC 、改进MFCC 的语音信号特征进行语音识别。参考文献[1]吴进,张青等.一种改进的孤立词语音识别系统设计[J].西安邮电大学学报,2016,21(01):76-80.[2]佘明洪.系统辨识中神经网络应用的初步研究与讨论 [J].科技展望,2016,26(34).[3]金超,龚铖,李辉.语音识别中神经网络声学模型的说话人自适应研究[J].计算机应用与软件,2018(02):200-205.作者简介冀瑞国(1991-)，男，山东省聊城市人。大学本科学历。工程师。研究方向为人工智能语音识别。作者单位北京智合大方科技有限公司 北京市 100070 图1：BP 神经网络训练流程
深度学习的这些坑你都遇到过吗？神 经网络11 大常见陷阱及应对方法【新智元导读】如果你的神经网络不工作，该怎么办？本文作者列举了搭建神经网络时可能遇到的11个常见问题，包括预处理数据、正则化、学习率、激活函数、网络权重设置等，并提供解决方法和原因解释，是深度学习实践的有用资料。 如果你的神经网络不工作，该怎么办？作者在这里列出了建神经网络时所有可能做错的事情，以及他自己的解决经验。 1.忘记规范化数据 2.忘记检查结果 3.忘记预处理数据 4.忘记使用正则化 5.使用的batch太大 6.使用了不正确的学习率 7.在最后层使用了错误的激活函数 8.你的网络包含了Bad Gradients 9.初始化网络权重不正确 10.你使用的网络太深了 11.使用隐藏单元的数量不对 忘记规范化数据了
问题描述 在使用神经网络时，思考如何正确地规范化数据是非常重要的。这是一个无法改变的步骤——假如这一步骤没有小心、正确地做，你的网络就几乎不可能工作。由于这个步骤非常重要，在深度学习社区中也是众所周知的，所以它很少在论文中被提及，因此初学者常常在这一步出错。 怎样解决？ 一般来说，规范化（normalization）的意思是：将数据减去均值，再除以其方差。通常这是对每个输入和输出特征单独做的，但你可能经常会希望对特征组做或特别主翼处理某些特征的规范化。 为什么？ 我们需要对数据进行规范化的主要原因是大部分的神经网络流程假设输入和输出数据都以一个约是1的标准差和约是0的均值分布。这些假设在深度学习文献中到处都是，从权重初始化、激活函数到训练网络的优化算法。 还需要注意 未训练的神经网络通常会输出约在-1到1范围之间的值。如果你希望输出其他范围的值（例如RBG图像以0-255范围的字节存储）会出现一些问题。在开始训练时，网络会非常不稳定，因为比如说预期值是255，网络产生的值是-1或1——这会被大多数用于训练神经网络的优化算法认为是严重的错误。这会产生过大的梯度，可能导致梯度爆炸。如果不爆炸，那么训练的前几个阶段就是浪费的，因为网络首先学习的是将输出值缩小到大致是预期的范围。如果规范化了数据（在这种情况下，你可以简单地将数值除以128再减去1），就不会发生这些问题。 一般来说，神经网络中特征的规模也决定了其重要性。如果输出中的有一个特征规模很大，那么与其他特征相比它会产生更大的错误。类似地，输入中的大规模特征将主导网络并导致下游发生更大的变化。因此，使用神经网络库的自动规范化往往是不够的，这些神经网络库会在每个特征的基础上盲目地减去平均值并除以方差。你可能有一个输入特征，通常范围在0.0到0.001之间——这个特征的范围如此之小，因为它是一个不重要的特征（在这种情况下，你可能不想重新scale），或者因为与其他特征相比它有一些小的单元（在这种情
BP神经网络及深度学习研究 摘要：人工神经网络是一门交叉性学科，已广泛于医学、生物学、生理学、哲学、信息学、计算机科学、认知学等多学科交叉技术领域，并取得了重要成果。BP（Back Propagation）神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。本文将主要介绍神经网络结构，重点研究BP神经网络原理、BP神经网络算法分析及改进和深度学习的研究。 关键词：BP神经网络、算法分析、应用 1引言 人工神经网络（Artificial Neural Network，即ANN ），作为对人脑最简单的一种抽象和模拟，是人们模仿人的大脑神经系统信息处理功能的一个智能化系统，是20世纪80 年代以来人工智能领域兴起的研究热点。人工神经网络以数学和物理方法以及信息处理的角度对人脑神经网络进行抽象，并建立某种简化模型，旨在模仿人脑结构及其功能的信息处理系统。 人工神经网络最有吸引力的特点就是它的学习能力。因此从20世纪40年代人工神经网络萌芽开始，历经两个高潮期及一个反思期至1991年后进入再认识与应用研究期，涌现出无数的相关研究理论及成果，包括理论研究及应用研究。最富有成果的研究工作是多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。因为其应用价值，该研究呈愈演愈烈的趋势，学者们在多领域中应用[1]人工神经网络模型对问题进行研究优化解决。 人工神经网络是由多个神经元连接构成，因此欲建立人工神经网络模型必先建立人工神经元模型，再根据神经元的连接方式及控制方式不同建立不同类型的人工神经网络模型。现在分别介绍人工神经元模型及人工神经网络模型。 1.1人工神经元模型 仿生学在科技发展中起着重要作用，人工神经元模型的建立来源于生物神经元结构的仿生模拟，用来模拟人工神经网络[2]。人们提出的神经元模型有很多，其中最早提出并且影响较大的是1943年心理学家McCulloch和数学家W.Pitts在分析总结神经元基本特性的基础上首先提出的MP模型。该模型经过不断改进后，形成现在广泛应用的BP神经元模型。人工神经元模型是由人量处理单元厂泛互连而成的网络，是人脑的抽象、简化、模拟，反映人脑的基本特性。一般来说，作为人工神经元模型应具备三个要素： (1)具有一组突触或连接，常用 w表示神经元i和神经元j之间的连接强度。 ij (2)具有反映生物神经元时空整合功能的输入信号累加器 。
1. 自联想神经网络与深度网络 自联想神经网络是很古老的神经网络模型，简单的说，它就是三层BP网络，只不过它的输出等于输入。很多时候我们并不要求输出精确的等于输入，而是允许一定的误差存在。所以，我们说，输出是对输入的一种重构。其网络结构可以很简单的表示如下： 如果我们在上述网络中不使用sigmoid函数，而使用线性函数，这就是PCA模型。中间网络节点个数就是PCA模型中的主分量个数。不用担心学习算法会收敛到局部最优，因为线性BP网络有唯一的极小值。
在深度学习的术语中，上述结构被称作自编码神经网络。从历史的角度看，自编码神经网络是几十年前的事情，没有什么新奇的地方。 既然自联想神经网络能够实现对输入数据的重构，如果这个网络结构已经训练好了，那么其中间层，就可以看过是对原始输入数据的某种特征表示。如果我们把它的第三层去掉，这样就是一个两层的网络。如果，我们把这个学习到特征再用同样的方法创建一个自联想的三层BP网络，如上图所示。换言之，第二次创建的三层自联想网络的输入是上一个网络的中间层的输出。用同样的训练算法，对第二个自联想网络进行学习。那么，第二个自联想网络的中间层是对其输入的某种特征表示。如果我们按照这种方法，依次创建很多这样的由自联想网络组成的网络结构，这就是深度神经网络，如下图所示：
注意，上图中组成深度网络的最后一层是级联了一个softmax分类器。 深度神经网络在每一层是对最原始输入数据在不同概念的粒度表示，也就是不同级别的特征描述。 这种层叠多个自联想网络的方法，最早被Hinton想到了。 从上面的描述中，可以看出，深度网络是分层训练的，包括最后一层的分类器也是单独训练的，最后一层分类器可以换成任何一种分类器，例如SVM，HMM等。上面的每一层单独训练使用的都是BP算法。相信这一思路，Hinton早就实验过了。 2. DBN神经网络模型 使用BP算法单独训练每一层的时候，我们发现，必须丢掉网络的第三层，才能级联自联想神经网络。然而，有一种更好的神经网络模型，这就是受限玻尔兹曼机。使用层叠波尔兹曼机组成深度神经网络的方法，在深度学习里被称作深度信念网络DBN，这是目前非
基于BP神经网络语音识别方法研究 摘要：神经网络是近年来信息科学、脑科学、神经心理学等诸多学科共同关注和研究的热点。由于其具有良好的抽象分类特性,现已应用于语音识别系统的研究和开发，并成为解决识别相关问题的有效工具。文章在讲述语音识别过程的基础上重点讨论利用BP神经网络对语音进行识别,用MATLAB完成对神经网络的训练和测试,并获得满意的结果。 关键词：语音识别；模式识别；BP神经网络， 1 绪论 计算机的飞速发展，使人们的生活方式发生了根本性的改变，鼠标、键盘，这些传统的人机接口使人们体会到了生活的便利。科学技术日新月异，假如让“机器”能够听懂人的语言，并根据其信息去执行人的意图，那么这无疑是最理想的人机智能接口方式，因此语音识别作为一门极具吸引力的学科应运而生，很多专家都指出语音识别技术将是未来十年信息技术领域十大重要的科技发展技术之一。 1.1 研究背景及意义 语言在人类的智能组成中充当着很重要的角色，人与人之间的交流和沟通大部分是通过语言的方式有效的完成。作为人与人之问交流最方便、自然、快捷的手段，人们自然希望它成为人与计算机交流的媒介。随着数字信号处理及计算机科学的飞速发展，人们对实现人机对话产生越来越迫切的要求，使得语音识别技术近年来得到了迅速的发展，语音识别技术的研究进入了一个比较成熟的时期。语音识别是一门交叉科学，它综合了声学、语言学、语音学、生理科学、数字信号处理、通信理论、电子技术、计算机科学、模式识别和人工智能等众多学科。也是人机交互最重要的一步。 1.2 语音识别的国内外研究现状 通过语音传递信息是人类最重要，最有效，和最方便的交换信息的形式，语音识别主要指让机器转达人说的话，即在各种情况下，准确的识别出语音的内容，从而根据其信息，执行人的各种意图。 广义的语音识别包括说话人的识别和内容的识别两部分。这里所说的语音识别，是指内容识别方面。采用计算机进行语音识别到现在已经发展了50年。 从特征参数上改进，采用各种办法进行语音增强是一个研究方向，但是到目前为止，还没有一种办法能把语音信号完美地从噪音环境提取出来。语音识别有广泛的商业化运用前景，主要可以分为通用场合和专用场合两个方面。 1.3研究内容 本文研究的主要内容是结合模式识别的基本理论，研究BP神经网络孤立词语音识别的问
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910164908.9 (22)申请日 2019.03.05 (71)申请人 北京超维度计算科技有限公司 地址 100142 北京市海淀区西四环北路160 号9层一区907 (72)发明人 张心宇 张颢 向志宏 杨延辉 (74)专利代理机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 代理人 陈霁 (51)Int.Cl. G06K 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用深度神经网络进行人脸识别的方法 (57)摘要 本发明涉及一种用深度神经网络进行人脸 识别的方法，其特征在于，包括以下步骤：通过第 一相机采集人脸区域的2D RGB图片，以及通过第 二相机实时采集人脸区域的3D点云；对于采集的 2D RGB图片进行脸部区域的截取和缩放，减少距 离的影响；对于采集的3D点云，投影到二维平面， 用灰度信息代替深度信息，形成二维深度图；并 进行脸部区域的截取；将截取过的D2D RGB图片 输入到2D特征提取网络，以及将截取过的脸部区 域二维深度图输入3D特征提取网络，进行特征向 量提取；根据提取的特征向量，结合环境信息进 行人脸识别。本发明结合2D和3D人脸识别技术， 既保证了正常使用情况(正脸无遮挡)下的正确 率，又提高了系统应对恶劣使用条件下的鲁棒性 和系统的安全性。权利要求书1页 说明书4页 附图2页CN 109977794 A 2019.07.05 C N 109977794 A