神经网络工具箱应用于故障诊断
1.问题描述
电力系统的安全运行具有十分重要的意义。当高压变压器或其他类似设备在运行中出现局部过热、不完全放电或电弧放电等故障时，其内部绝缘油、绝缘纸等绝缘材料将分解产生多种气体，包括短链烃类气体（C2H2、CH4等）和H2、CO2等，这些气体称作特征气体。而特征气体的含量与故障的严重程度有着很密切的关系，如下图1所示。将BP神经网络应用于变压器故障诊断对大型变压器的运行有着非常重要的意义。
2.神经网络设计
(1)输入特征向量的确定
变压器的故障主要与甲烷（CH4）、氢气（H2）、总烃（C1＋C2）以及乙炔（C2H2）4 种气体的浓度有关，据此可以设定特征向量由这 4 种气体的浓度组成，即CH4、H2、C1＋C2（总烃）和C2H2，同时也设定了网络输入层的节点数为4个。
(2) 输出特征向量的确定
输出量代表系统要实现的功能目标，其选择确定相对容易一些。只要问题确定了，一般输出量也就确定了。在故障诊断问题中，输出量就代表可能的故障类型。变压器的典型故障类型有：一般过热故障、严重过热故障、局部放电故障、火花放电故障以及电弧放电故障等5种类型，因此这里选择 5 个向量作为网络的输出向量，即网络输出节点确定为 5 个。根据Sigmoid 函数输出值在0 到1 之间的特点，这里设定以0 到1 之间的数值大小表示对应的故障程度，也可以理解为发生此类故障的概率，数值越接近 1 表示发生此类故障的几率越大或说对应的故障程度越大。针对本系统，
设定输出值大于等于0．5 时认为有此类故障，小于0．5 时认为无此类故障。
(3)样本的收集
输入、输出向量确定好以后就可以进行样本的收集。
数据归一化处理时，注意：在归一化处理的时候，因考虑到各气体浓度值相差较大，如总烃的浓度比H2的浓度值高出几个数量级，因此在归一化处理的时候，分别对各个气体浓度值进行处理，即最大值和最小值取的是各气体的最值，而不是所有样本值中的最值。
在本实例中采用：MATLAB利用归一化公式
u=(x-min(min(x)))./(max(max(x))-min(min(x))) （1）
在公式1中x表示所需归一化处理的数据，u表示归一化后的结果
处理结果如下：
3. BP网络的设计
BP网络模型结构的确定有两条比较重要的指导原则：
①对于一般的模式识别问题，三层网络即可以很好地解决。
②三层网络中，隐含层神经元个数n1的确定用参考公式：
n1＝2n+1，其中n为输入神经元数
根据上述原则设计网络，网络的输入层神经元个数为4个，输出层神经元个数为5个，可得隐含层神经元个数n1为9。
本应用中，创建的BP网络：学训练函数TRAINSCG学习函数为LEARNGDM。
MATLAB程序清单：
q=[ 0.011660122 0.06185567 0.000455132 0.032921811;
0.002838796 0.022091311 0.001264209 0.028806584;
0.097966421 0.128129602 0.00439809 0.037037037;
0.005048886 0.125184094 0.000391089 0.197119342;
0 0.014727541 0 0.041152263;
0.011368008 0.022091311 0.002263066 0.041152263;
0.010069723 0.026509573 0.000698496 0;
0.040270877 0.111929308 0.015764827 0.016460905;
0.003646418 0.075110457 0.000318507 0.181069959;
0.013263343 0 0.000928197 0.019753086;
0.024883795 0.19263623 0.000967476 0;
0.021277448 0.187039764 0.002047668 0.9218107;
0.015242827 0.086892489 0.00057041 0;
1 1 0.04491379 0;
0.007872856 0.220913108 0.00057041 0.343703704;
0.064753967 0.639175258 1 1];
p=q';
a=[ 0 0 1 0 0;
0 1 0 0 0;
0 1 0 0 0;
0 0 0 1 0;
0 0 0 1 0;
0 1 0 0 0;
1 0 0 0 0;
1 0 0 0 0;
0 0 0 1 0;
0 1 0 0 0;
0 1 0 0 0;
0 0 0 0 1;
1 0 0 0 0;
0 1 0 0 0;
0 0 0 0 1;
0 1 0 0 0];
t=a';
net=newff([0 1;0 1;0 1;0 1],[8,5],{'tansig','purelin'},'trainscg','learngdm','msereg'); net.trainparam.epochs=200;
net=train(net,p,t);
figure
grid on;
Y=sim(net,p);
plot(p,t,p,Y,'o')
运行结果：
Y =
0.9999 0.0004 0.0002
0.0001 0.9997 0.0002
0.0000 0.0000 0.0000
error =
-0.0001 0.0004 0.0002
0.0001 -0.0003 0.0002
0.0000 0.0000 -1.0000
res =
1.0000
4.结果分析：
分析上图知：当训练结果为60次的时候，结果已经很好了。
参考文献：
许秉铮,张百灵,韦岗.神经网络理论与应用[M]:华南理工大学出版社,1994.
深度神经网络及目标检测学习笔记 https://youtu.be/MPU2HistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别，包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面，人工智能已经达到了3岁儿童的智力水平。这是一个很了不起的成就，毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路，并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路（至少目前看是正确的）。通过研究人类的视觉原理，计算机利用深度神经网络（Deep Neural Network，NN）实现了对图片的识别，包 括文字识别、物体分类、图像理解等。在这个过程中，神经元和神经网络模型、大数据技术的发展，以及处理器（尤其是GPU）强大的算力，给人工智能技术 的发展提供了很大的支持。 本文是一篇学习笔记，以深度优先的思路，记录了对深度学习（Deep Learning）的简单梳理，主要针对计算机视觉应用领域。 一、神经网络 1.1 神经元和神经网络 神经元是生物学概念，用数学描述就是：对多个输入进行加权求和，并经过激活函数进行非线性输出。 由多个神经元作为输入节点，则构成了简单的单层神经网络（感知器），可以进行线性分类。两层神经网络则可以完成复杂一些的工作，比如解决异或问题，而且具有非常好的非线性分类效果。而多层（两层以上）神经网络，就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来“这是苹在父母一遍遍的重复中学习训练的过程就好像是刚出生的婴儿，设置。．果”、“那是汽车”。有人说，人工智能很傻嘛，到现在还不如三岁小孩。其实可以换个角度想：刚出生婴儿就好像是一个裸机，这是经过几十万年的进化才形成的，然后经过几年的学习，就会认识图片和文字了；而深度学习这个“裸机”用了几十年就被设计出来，并且经过几个小时的“学习”，就可以达到这个水平了。 1.2 BP算法 神经网络的训练就是它的参数不断变化收敛的过程。像父母教婴儿识图认字一样，给神经网络看一张图并告诉它这是苹果，它就把所有参数做一些调整，使得它的计算结果比之前更接近“苹果”这个结果。经过上百万张图片的训练，它就可以达到和人差不多的识别能力，可以认出一定种类的物体。这个过程是通过反向传播（Back Propagation，BP）算法来实现的。 建议仔细看一下BP算法的计算原理，以及跟踪一个简单的神经网络来体会训练的过程。
神经网络工具箱应用于故障诊断 1.问题描述 电力系统的安全运行具有十分重要的意义。当高压变压器或其他类似设备在运行中出现局部过热、不完全放电或电弧放电等故障时，其内部绝缘油、绝缘纸等绝缘材料将分解产生多种气体，包括短链烃类气体（C2H2、CH4等）和H2、CO2等，这些气体称作特征气体。而特征气体的含量与故障的严重程度有着很密切的关系，如下图1所示。将BP神经网络应用于变压器故障诊断对大型变压器的运行有着非常重要的意义。 2.神经网络设计 (1)输入特征向量的确定 变压器的故障主要与甲烷（CH4）、氢气（H2）、总烃（C1＋C2）以及乙炔（C2H2）4 种气体的浓度有关，据此可以设定特征向量由这 4 种气体的浓度组成，即CH4、H2、C1＋C2（总烃）和C2H2，同时也设定了网络输入层的节点数为4个。 (2) 输出特征向量的确定 输出量代表系统要实现的功能目标，其选择确定相对容易一些。只要问题确定了，一般输出量也就确定了。在故障诊断问题中，输出量就代表可能的故障类型。变压器的典型故障类型有：一般过热故障、严重过热故障、局部放电故障、火花放电故障以及电弧放电故障等5种类型，因此这里选择 5 个向量作为网络的输出向量，即网络输出节点确定为 5 个。根据Sigmoid 函数输出值在0 到1 之间的特点，这里设定以0 到1 之间的数值大小表示对应的故障程度，也可以理解为发生此类故障的概率，数值越接近 1 表示发生此类故障的几率越大或说对应的故障程度越大。针对本系统，
设定输出值大于等于0．5 时认为有此类故障，小于0．5 时认为无此类故障。 (3)样本的收集 输入、输出向量确定好以后就可以进行样本的收集。 数据归一化处理时，注意：在归一化处理的时候，因考虑到各气体浓度值相差较大，如总烃的浓度比H2的浓度值高出几个数量级，因此在归一化处理的时候，分别对各个气体浓度值进行处理，即最大值和最小值取的是各气体的最值，而不是所有样本值中的最值。 在本实例中采用：MATLAB利用归一化公式 u=(x-min(min(x)))./(max(max(x))-min(min(x))) （1） 在公式1中x表示所需归一化处理的数据，u表示归一化后的结果 处理结果如下：
趋势分析之深度神经网络 深度神经网络（Deepl Neural Networks, DNN）从字面上理解就是深层次的神经网络。自从Hinton和Salakhutdinov在《Science》上发表的论文解决了多层神经网络训练的难题后，随着研究的深入，各种深度神经网络模型如雨后春笋般涌现出来。 2012年Krizhevsky等人设计的包含5个卷积层和3个全连接层的AlexNet，并将卷积网络分为两个部分在双CPU上进行训练；2014年Google研发团队设计的22层GoogleNet；同年牛津大学的Simonyan和Zisserman设计出深度为16-19层的VGG网络；2015年微软亚洲研究院的何凯明等人提出了152层的深度残差网络ResNet，最新改进后的ResNet网络深度可达1202层；2016年生成式对抗网络GAN获得广泛关注。 深度神经网络热度变化图 下面我们将用Trend analysis分析深度神经网络领域内的研究热点。 （点击链接即可进入Deep Neural Networks Trend Analysis: https://https://www.doczj.com/doc/011354068.html,/topic/trend?query=Deep%20Neural%20Network%20) 通过Trend analysis的分析挖掘结果我们可以看到，当前该领域的热点研究话题有feature
extraction、speech recognition、face recognition、information retrieval、object recognition、cell cycle等。近年来，深度神经网络由于优异的算法性能，已经广泛应用于图像分析、语音识别、目标检测、语义分割、人脸识别、自动驾驶、生物医学等领域，而根据分析结果可知语音识别是该领域热门研究话题top 1。 深度神经网络在工业界也得到了广泛的应用，Google、Facebook、Microsoft、IBM、百度、阿里巴巴、腾讯、科大讯飞等互联网巨头也纷纷开展深度神经网络的研究工作，并且成功应用于谷歌Now、微软OneNote手写识别、Cortana语音助手、讯飞语音输入法等。 附一. 深度神经网络领域5位代表学者 Dong Yu (俞栋) Tara N. Sainath
深度神经网络全面概述从基本概念到实际模型和硬件基础 深度神经网络(DNN)所代表的人工智能技术被认为是这一次技术变革的基石(之一)。近日，由IEEE Fellow Joel Emer 领导的一个团队发布了一篇题为《深度神经网络的有效处理：教程和调研(Efficient Processing of Deep Neural Networks: A Tutorial and Survey)》的综述论文，从算法、模型、硬件和架构等多个角度对深度神经网络进行了较为全面的梳理和总结。鉴于该论文的篇幅较长，机器之心在此文中提炼了原论文的主干和部分重要内容。 目前，包括计算机视觉、语音识别和机器人在内的诸多人工智能应用已广泛使用了深度神经网络(deep neural networks，DNN)。DNN 在很多人工智能任务之中表现出了当前最佳的准确度，但同时也存在着计算复杂度高的问题。因此，那些能帮助DNN 高效处理并提升效率和吞吐量，同时又无损于表现准确度或不会增加硬件成本的技术是在人工智能系统之中广泛部署DNN 的关键。 论文地址：https://https://www.doczj.com/doc/011354068.html,/pdf/1703.09039.pdf 本文旨在提供一个关于实现DNN 的有效处理(efficient processing)的目标的最新进展的全面性教程和调查。特别地，本文还给出了一个DNN 综述——讨论了支持DNN 的多种平台和架构，并强调了最新的有效处理的技术的关键趋势，这些技术或者只是通过改善硬件设计或者同时改善硬件设计和网络算法以降低DNN 计算成本。本文也会对帮助研究者和从业者快速上手DNN 设计的开发资源做一个总结，并凸显重要的基准指标和设计考量以评估数量快速增长的DNN 硬件设计，还包括学界和产业界共同推荐的算法联合设计。 读者将从本文中了解到以下概念：理解DNN 的关键设计考量;通过基准和对比指标评估不同的DNN 硬件实现;理解不同架构和平台之间的权衡;评估不同DNN 有效处理技术的设计有效性;理解最新的实现趋势和机遇。 一、导语 深度神经网络(DNN)目前是许多人工智能应用的基础[1]。由于DNN 在语音识别[2] 和图像识别[3] 上的突破性应用，使用DNN 的应用量有了爆炸性的增长。这些DNN 被部署到了从自动驾驶汽车[4]、癌症检测[5] 到复杂游戏[6] 等各种应用中。在这许多领域中，DNN 能够超越人类的准确率。而DNN 的出众表现源于它能使用统计学习方法从原始感官数据中提取高层特征，在大量的数据中获得输入空间的有效表征。这与之前使用手动提取特征或专家设计规则的方法不同。 然而DNN 获得出众准确率的代价是高计算复杂性成本。虽然通用计算引擎(尤其是GPU)，已经成为许多DNN 处理的砥柱，但提供对DNN 计算更专门化的加速方法也越来越热门。本文的目标是提供对DNN、理解DNN 行为的各种工具、有效加速计算的各项技术的概述。 该论文的结构如下：
人工神经网络在设备故障诊断中的应用 程瑞琪 (西南交通大学 成都 610031) 摘 要 介绍了神经网络技术在设备故障诊断中应用的2个主要方向———故障模式识别和诊断专家系统,对应用的方法、特点及存在的问题也 作了概略分析。 关键词 神经网络 故障诊断 模式识别 专家系统中图分类号 TP 18 近年来人工神经网络(Artificial neural network -ANN )的研究发展迅速,ANN 以其诸多优点在设备状态监测与故障诊断中受到了愈来愈广泛的重视,为设备故障诊断的研究开辟了一条新途径。 ANN 具有以下主要特征:①实现了并行处理机制,可提供高速的信息处理能力;②分布式信息存储,可提供联想与全息记忆的能力;③网络的拓扑结构具有非常大的可塑性,使系统有很高的自适应和自学习能力;④具有超巨量的联接关系,形成高度冗余,使系统具有很强的容错能力;⑤是一类大规模非线性系统,提供了系统自组织与协同的潜力。本文作者仅就ANN 用于故障模式识别及诊断专家系统这两个方面应用的主要方法、特点及存在的问题作概括介绍。 1 神经网络与故障模式识别 模式识别是ANN 应用的一个较成功的领域,诊断问题实质上就是一种模式分类,是将系统的状态区分为正常状态或某一种故障状态的问题。通常故障模式的分布是非常不规则的,故要求所用模式分类方法能在模式空间里形成各种非线性分割平面,ANN 的特性使其可以作为一类性能良好的非线性分类器。1.1 方法及特点 ANN 故障模式识别可用图1所示BP 模型来说明 。 图1 BP 网模型 其中网络输入节点对应故障征兆,输出节点对应故障原因。进行故障模式识别时,先用一批故障样本 对模型进行训练,以确定网络结构(隐层及其节点数)和参数(节点间的联接权);网络训练好后,故障的模式分类就是根据给定的一组征兆,实现征兆集到故障集之间非线性映射的过程。 用ANN 作故障模式识别的特点有:①可用于系统模型未知或系统模型较复杂及非线性系统的故障模式识别;②兼有故障信号的模式变换与特征提取功能;③对系统含有不确定因素、噪声及输入模式不完备的情况不太敏感;④可用于复杂多模式的故障诊断;⑤可用于离线诊断,也能适应实时监测的要求。1.2 模型 用于故障模式识别的ANN 模型按学习方式可分有监督学习模型和无监督学习模型两大类,前者主要包括B P 网和径向基函数(RB F )网;后者主要包括自适应共振(ART )网和自组织特征映射(SOM )网。1.2.1 有监督学习模型 BP 网是目前故障诊断中应用最多且较成熟的一种模型,其神经元的非线性映射函数采用Sigmoid 函数,网络训练采用误差反向传播(Back pr opagation )学习算法。BP 网的结构及学习算法简单,但应用中还存在2个问题:一是关于网络的学习,因BP 算法是自适应最小均方(LMS )算法的推广,故网络的学习速度较慢,且可能陷入局部极小值点,针对这一问题已有许多改进的BP 算法;二是关于网络的结构设计,即如何选取隐层及隐层节点数,目前尚无确定的理论和方法。根据Hecht -Nilson 的映射定理:对任何闭区间上的一个连续函数,总可以用含一层隐单元的感知器网来映射;目前应用中多采用含一层隐单元的BP 网。关于隐层节点下限的确定已有一些研究结果,鉴于问题的复杂性,此处不作说明。选择较多的隐层及隐层节点虽可加快学习速度,但使网络的结构变得复杂,网络的推广能力也会变差。实际应用中,通常用对测试样本与学习样本的误差进行交叉评价的试错 法来选择隐层及隐层节点数。 RB F 网是一种较新颖的ANN 模型,只有一层隐含层,输出节点是线性的,隐单元采用对称的高斯基 · 13·第12卷第1期 《机械研究与应用》 ME CHANICAL RESE ARCH &APPLICATION Vol 12No .1 1999
深度神经网络及目标检测学习笔记 ｈｔｔps://youtu.bｅ/MPU2ＨistivI 上面是一段实时目标识别的演示，计算机在视频流上标注出物体的类别,包括人、汽车、自行车、狗、背包、领带、椅子等。 今天的计算机视觉技术已经可以在图片、视频中识别出大量类别的物体，甚至可以初步理解图片或者视频中的内容，在这方面,人工智能已经达到了３岁儿童的智力水平。这是一个很了不起的成就,毕竟人工智能用了几十年的时间，就走完了人类几十万年的进化之路,并且还在加速发展。 道路总是曲折的，也是有迹可循的。在尝试了其它方法之后，计算机视觉在仿生学里找到了正确的道路(至少目前看是正确的)。通过研究人类的视觉原理,计算机利用深度神经网络(ＤｅeｐＮｅuｒal Nｅtwork，NＮ)实现了对图片的识别,包括文字识别、物体分类、图像理解等。在这个过程中,神经元和神经网络模型、大数据技术的发展，以及处理器(尤其是GPU）强大的算力，给人工智能技术的发展提供了很大的支持。 本文是一篇学习笔记,以深度优先的思路,记录了对深度学习(Deｅp Learning）的简单梳理,主要针对计算机视觉应用领域。 一、神经网络 １．1 神经元和神经网络 神经元是生物学概念,用数学描述就是:对多个输入进行加权求和,并经过激活函数进行非线性输出。 由多个神经元作为输入节点,则构成了简单的单层神经网络（感知器),可以进行线性分类。两层神经网络则可以完成复杂一些的工作,比如解决异或问题，而且具有非常好的非线性分类效果。而多层(两层以上)神经网络,就是所谓的深度神经网络。 神经网络的工作原理就是神经元的计算，一层一层的加权求和、激活，最终输出结果。深度神经网络中的参数太多（可达亿级），必须靠大量数据的训练来设置。训练的过程就好像是刚出生的婴儿，在父母一遍遍的重复中学习“这是苹
基于BP神经网络的故障诊断方法
《智能控制基础》 研究生课程设计报告 题目基于BP神经网络的故障诊断方法学院机械与汽车工程学院 专业班级车辆工程 学号221601852020 学生姓名李跃轩 指导教师武晓莉 完成日期2016年12月10日
目录 1 设计概述 (2) 1.1研究对象介绍 (2) 1.2设计内容及目标 (2) 2 设计原理、方法及步骤 (3) 2.1基于BP算法的神经网络模型 (3) 2.2 神经网络信息融合故障诊断步骤 (4) 3 结果及分析 (6) 3.1数据仿真 (6) 3.2 结果分析 (9) 4 设计小结 (10) 参考文献 (10) 附录程序 (11)
1 设计概述 1.1研究对象介绍 信息融合是多源信息综合处理的一项新技术，是将来自某一目标(或状态)的多源信息加以智能化合成，产生比单一信息源更精确、更完全的估计和判决。信息融合所处理的多传感器信息具有更为复杂的形式，可以在不同的信息层次上出现。多传感器信息融合的优点突出地表现在信息的冗余性、容错性、互补性、实时性和低成本性。 神经网络是由大量互联的处理单元连接而成，它是基于现代神经生物学以及认知科学在信息处理领域应用的研究成果。它具有大规模并行模拟处理、连续时间动力学和网络全局作用等特点，有很强的自适应学习和非线性拟合能力，从而可以替代复杂耗时的传统算法，使信号处理过程更接近人类思维活动。 柴油机故障具有相似性，故障与征兆的关系不明确，具有较强的模糊性，故障特征相互交织，柴油机故障诊断是一个复杂的问题。综合柴油机故障的特点以及神经网络的优势，采用基于BP神经网络的多传感器信息融合技术对柴油机机械故障进行诊断。 1.2设计内容及目标 设计内容：针对传统故障诊断方法存在的诊断准确性不高的问题，提出了BP神经网络信息融合的方法，实现对柴油机的机械故障诊断。由多个传感器采
基于新型神经网络的电网故障诊断方法 1引言 快速事故后恢复系统正常运行是减少电能中断时间和增强供电可靠性的必要条件。作为事故恢复的第一步,应实现快速、准确的故障诊断以隔离故障元件并采取相应措施以恢复电能供应。然而在线快速、准确地故障诊断仍是一个悬而未决的难题,尤其在保护和断路器不正常动作或多重故障的情况下,故障诊断更为困难。 故障诊断一般基于SCADA系统所提供的保护和断路器信息来判别电力系统中的故障元件。多种人工智能技术已用于解决此问题,如专家系统[1~4],随机优化技术[5~10]和人工神经网络[11~14]等等。其中基于专家系统的方法得到了广泛的注意和研究。这种方法能够提供强有力的推理并具解释能力,然而专家系统中知识的获取、组织、校核和维护等都非常困难,并成为其应用的瓶颈。而且,专家系统必须搜索庞大的知识库以得到最终的诊断结论,这使得它不能满足故障诊断实时的要求。另外,当系统中存在保护和断路器不正常动作时,专家系统可能会因缺乏识别错误信息的能力而导致错误的诊断结论。 用于故障诊断的另一种较有潜力的方法是基于工程随机优化的方法。这种方法的主要原则是将故障诊断表述为一个整数优化问题,随后使用全局优化方法,如波尔兹曼机[5]、遗传算法[6~8]、仿蚂蚁系统[9]或tabu搜索[10]等,去求解该优化问题。这种方法在实际应用过程中也出现了一些问题:如何确定这些随机优化方法的参数以实现快速正确的故障诊断;如何使这些方法适用于保护和断路器不正常动作的情况等等。 近年来,人工神经网络[11~14]引起了研究工作者的兴趣,因为它具有学习、泛化和容错能力。并且神经元的计算是并行的,这有利于实现实时应用。在神经网络的各种模型中,应用得最为广泛的模型就是BP(Back-Propagation)神经网络。标准的BP模型使用梯度下降算法训练,因此BP神经网络的结构必须是事先已知的,而且该学习算法收敛速度很慢,并有可能收敛于局部最小点。这些不利因素限制了BP模型在故障诊断中的应用。 本文提出使用径向基函数(Radial basis function,RBF)神经网络[15~16]解决电力系统中的故障诊断问题。理论上讲RBF神经网络具有任意函数逼近能力[17]。
深度神经网络语音识别系统快速稀疏矩阵算法 一. 背景 1.1语音识别、深度神经网络与稀疏矩阵运算 深度神经网络(DNN)已经广泛应用在当代语音识别系统中，并带来识别率的极大提高。一个典型的深度神经网络如图1所示，其中包含一个输入层，多个隐藏层，一个输出层，每层有若干个结点，每个结点的输入由前一层的结点的输出经过线性叠加得到，并通过一个线性或非线性的激励函数，形成该结点的输出。 图1 DNN结构 在进行语音识别系统模型训练和识别时，语音数据被分成短时语音帧，这些语音帧经过信号处理之后形成一系列语音特征向量，输入到DNN的输入层，经过神经网络的各个隐藏层，最后进入输出层，形成识别器可用的概率值。 可见，在进行DNN操作时，主要计算为输入向量在整个神经网络的前向传导。这些传导运算可以抽象为矩阵运算。具体而言，将第t层结点的所有结点输出表示成一个向量OU t ,将第t层到第t+1层之间的网络联接系数表示成A t, 则第t+1层结点的输入IN t+1可以表示成IN t+1 = A t x OU t 其输出表示为OU t+1 = f (IN t), 其中f为激励函数。 当前语音识别系统中所用的神经网络一般为5-10层，每层结点数为1000到10000，这意味着网络矩阵A t 相当庞大，带来巨大的计算压力。如何快速进行矩阵运算，是一个急需解决的问题。 稀疏矩阵为减小计算量提供了可能。通过将矩阵中绝大部分元素置零，一方面可以节约随储空间，同时可以极大减小计算总量。然则，稀疏矩阵本身的存储和数据索取都需要相应的空间和时间，简单对矩阵依其元素值的大小进行稀疏化并不会提高计算效率。本发明提出一种通过改变稀疏矩阵的拓朴结构对稀疏矩阵进行快速计算的方法。 在下文中的背景知中，我们将简单的介绍一下稀疏矩阵的存储方式和对拓朴结构进行修正过程中需要用到的遗传算法。
《智能控制基础》 研究生课程设计报告 题目基于BP神经网络的故障诊断方法学院机械与汽车工程学院 专业班级车辆工程 学号221601852020 学生姓名李跃轩 指导教师武晓莉 完成日期2016年12月10日
目录 1 设计概述 (2) 1.1研究对象介绍 (2) 1.2设计内容及目标 (2) 2 设计原理、方法及步骤 (3) 2.1基于BP算法的神经网络模型 (3) 2.2 神经网络信息融合故障诊断步骤 (4) 3 结果及分析 (6) 3.1数据仿真 (6) 3.2 结果分析 (8) 4 设计小结 (9) 参考文献 (10) 附录程序 (11)
1 设计概述 1.1研究对象介绍 信息融合是多源信息综合处理的一项新技术，是将来自某一目标(或状态)的多源信息加以智能化合成，产生比单一信息源更精确、更完全的估计和判决。信息融合所处理的多传感器信息具有更为复杂的形式，可以在不同的信息层次上出现。多传感器信息融合的优点突出地表现在信息的冗余性、容错性、互补性、实时性和低成本性。 神经网络是由大量互联的处理单元连接而成，它是基于现代神经生物学以及认知科学在信息处理领域应用的研究成果。它具有大规模并行模拟处理、连续时间动力学和网络全局作用等特点，有很强的自适应学习和非线性拟合能力，从而可以替代复杂耗时的传统算法，使信号处理过程更接近人类思维活动。 柴油机故障具有相似性，故障与征兆的关系不明确，具有较强的模糊性，故障特征相互交织，柴油机故障诊断是一个复杂的问题。综合柴油机故障的特点以及神经网络的优势，采用基于BP神经网络的多传感器信息融合技术对柴油机机械故障进行诊断。 1.2设计内容及目标 设计内容：针对传统故障诊断方法存在的诊断准确性不高的问题，提出了BP神经网络信息融合的方法，实现对柴油机的机械故障诊断。由多个传感器采集信号，分别经过快速傅里叶变换后获得故障频域特征值，再经BP神经网络对柴油机进行故障局部诊断，能够对相应传感器的不同故障类型做出一个准确地分类，最终完成对汽轮机机械故障的准确诊断。实验结果表明，该方法克服了单个传感器的局限性和不确定性，是一种有效的故障诊断方法。 采用方法：通过BP神经网络进行局部诊断，最终判定故障及故障类型。基于BP神经网络多传感器信息融合，故障诊断方法是特征层状态属性融合，并利用MATLAB仿真。
(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 (43)申请公布日 (21)申请号 201910164908.9 (22)申请日 2019.03.05 (71)申请人 北京超维度计算科技有限公司 地址 100142 北京市海淀区西四环北路160 号9层一区907 (72)发明人 张心宇 张颢 向志宏 杨延辉 (74)专利代理机构 北京亿腾知识产权代理事务 所(普通合伙) 11309 代理人 陈霁 (51)Int.Cl. G06K 9/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用深度神经网络进行人脸识别的方法 (57)摘要 本发明涉及一种用深度神经网络进行人脸 识别的方法，其特征在于，包括以下步骤：通过第 一相机采集人脸区域的2D RGB图片，以及通过第 二相机实时采集人脸区域的3D点云；对于采集的 2D RGB图片进行脸部区域的截取和缩放，减少距 离的影响；对于采集的3D点云，投影到二维平面， 用灰度信息代替深度信息，形成二维深度图；并 进行脸部区域的截取；将截取过的D2D RGB图片 输入到2D特征提取网络，以及将截取过的脸部区 域二维深度图输入3D特征提取网络，进行特征向 量提取；根据提取的特征向量，结合环境信息进 行人脸识别。本发明结合2D和3D人脸识别技术， 既保证了正常使用情况(正脸无遮挡)下的正确 率，又提高了系统应对恶劣使用条件下的鲁棒性 和系统的安全性。权利要求书1页 说明书4页 附图2页CN 109977794 A 2019.07.05 C N 109977794 A
基于人工神经网络的故障诊断 基于人工神经网络的故障诊断 【摘要】随着高新技术的发展，人工神经网络的模式识别在设备的故障诊断上得以广泛地应用。机器设备或者系统的故障诊断实质是一个模式识别过程。把对经过处理后的信号数据的有效时、频特征值作为神经网络的输入层，利用Matlab软件，便可得到不同的模式输出，进而可以辨别设备是否有故障。 【关键词】人工神经网络；故障诊断；模式识别；Matlab软件 一、人工神经网络综述 BP神经网络是目前应用最为广泛和成功的神经网络之一，它是由一个输入层，一个或多个隐层以及一个输出层组成，上下层之间实现全连接，而每层神经元之间没有连接。网络的学习过程包括信号正向传播和误差反向传播。在正向传播进程中，输入信息从输入层经隐层加权处理传向输出层，经功能函数运算后得到的输出值与期望值进行比较，若有误差，则误差反向传播，沿原先的连接通道返回，通过逐层修改各层的权重系数，减小误差。随着这种误差逆向传播修正的不断进行，网络对输入模式响应的正确率也不断上升。 二、人工神经网络的识别、诊断过程 滚动轴承在设备中是比较典型的，本文以滚动轴承的故障识别、诊断为例。进行模式识别的大体步骤为：首先对经过零均值化后的振动信号数据进行时域、频域分析，将筛选后的有效时域、频域特征值作为人工神经网络输入层的输入，经Matlab软件进行神经网络的训练，最后可得出一个可以识别轴承工作状态的神经网络，进而可以对滚动轴承进行模式识别。可见采用振动信号检测法对机器设备进行故障诊断的过程包含信号采集、特征提取、状态识别、故障分析和决策干预等五个基本环节，在滚动轴承故障诊断中，振动信号的采集是关键，保证信号采集的准确性、合理性和实时性是正确实现故障诊断的前提。（1）信号采集。每台机器设备都有自身的固有频率，若设备发生故障，其频率变化，其振动信号也会发生变化。因此，振动信号可
————————————————————————————————————————————————基于改进的深度神经网络的人体动作识别模型 作者何冰倩，魏维，张斌，高联欣，宋岩贝 机构成都信息工程大学计算机学院 DOI 10.3969/j.issn.1001-3695.2018.06.0361 基金项目四川省教育厅重点科研项目（17ZA0064） 预排期卷《计算机应用研究》2019年第36卷第11期 摘要针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题，提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型，将包含时空金字塔的3D-CNN 和添加时空注意力机制的LSTM模型相结合，实现了对视频段的多尺度处理和对动作的复杂 时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入，以融合金字塔池化层的 运动和外观特征后的融合特征作为融合域的输入，最后采用决策融合策略获得最终动作识别 结果。在UCF101和HMDB51数据集上进行实验，分别取得了94.2%和70.5%的识别准确率。 实验结果表明，改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确 率。 关键词动作识别；深度学习；时空金字塔；注意力机制；卷积神经网络 作者简介何冰倩（1994-），女，四川阆中人，硕士研究生，主要研究方向为图形图像处理（dandelionqian@https://www.doczj.com/doc/011354068.html,）；魏维（1976-），男，教授，博士，主要研究方向为图形图 像处理；张斌（1992-），男，硕士研究生，主要研究方向为图形图像处理；高联欣（1994-）， 男，硕士研究生，主要研究方向为图形图像处理；宋岩贝（1994-），男，硕士研究生，主要 研究方向为图形图像处理． 中图分类号TP391.41 访问地址https://www.doczj.com/doc/011354068.html,/article/02-2019-11-082.html 投稿日期2018年6月21日 修回日期2018年8月22日
几种人工神经网络在化工故障诊断中的应用 摘要：人工神经网络是由大量同时也是很简单的处理单元广泛连接构成的复杂网络系统。它具有自学习、高容错和高度非线性描述能力等优点，使其在化工领域得到了广泛的应用。本文简要介绍了几种人工神经网络在化工故障检测与诊断中的应用 关键字：神经网络化工故障诊断 The application of several artificial neural network in fault diagnosis in chemical (School of Chem & Energy Eng, South China Univ of Technol, Canton 510640, China) Abstract: Artificial neural network is a complicated network system with large amount but simple units. It has the ability of self-learning fault diagnosis and high description of non-linear problem. So it was widely used in the field of chemical industry. This paper report the application of several artificial neural network in fault detection and diagnosis in chemical. Keywords: artificial neural network chemical fault diagnosis 1．人工神经网络 人工神经网络（Artificial Neural Network ,ANN),亦称为神经网络
基于RBF神经网络的故障诊断 摘要: RBF 神经网络即径向基函数神经网络（Radical Basis Function）。径向基函数神经网络是一种高效的前馈式神经网络，它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。同时，它也是一种可以广泛应用于模式识别、非线性函数逼近等领域的神经网络模型。利用Matlab 神经网络工具箱对变速箱齿轮进行故障诊断仿真,并创建RBF神经网络与BP神经网络来进行故障诊断。通过对比诊断结果，证明RBF网络在诊断精度，诊断速度上均优于BP网络，说明RBF网络应用于齿轮的故障诊断准确、可靠,在机械故障诊断方面具有广泛的应用前景。 关键词:神经网络；故障诊断；Matlab神经网络工具箱；RBF网络； 引言 由于汽车的特殊运行条件和运行环境,以及汽车行驶过程中经常性换档,使得变速箱常发生故障.具体有: 1.(1)异响的原因:①齿轮间隙过大;②轴承磨损松旷，③挂挡齿轮滑键槽与滑键轴磨损松旷;④轴承漏油或壳体漏油以致滑油减少，或变速箱底部放油堵脱落，以致滑油全部漏完，⑤金属小铁件混入变速箱体;⑥滑油粘度不适当或品质不佳，⑦齿轮与轴的间隙过大以致松旷，⑧变速器与飞轮壳连接螺栓松动;⑨发动机与飞轮壳连接螺栓松动。 2. ①挂挡齿轮与被挂齿轮、套牙同套齿都在齿长方向磨成锥形或短缺;②闸叉锁止螺钉松脱，闸叉变形，叉部磨损;③闸轨凹槽磨损，定位钢球磨损，弹簧弹力减弱或折断，④轴承磨损松旷，⑤齿轮间隙过大。 3. ①滑油不够或不适当，致使齿轮磨损，②变速箱混有泥砂污物，致使齿轮磨损，③中间轴变形;④中间轴轴承松旷，致使啮合各齿发生拢击，⑥第二轴常啮合齿轮滚针轴承碎裂或定位圈卡簧破碎，甚至被轧入两啮合齿轮之间。 据统计由齿轮失效引起的汽车变速箱故障占全部原因的10%。在这里齿轮失效的主要形式有齿根裂痕和弯曲疲劳引起的断齿等,因而随着汽车技术的发展,对变速箱实施故障诊断、特别是对齿轮的诊断变得尤为重要。 齿轮是汽车行业主要的基础传动元件，通常每辆汽车中有18~30个齿部，齿
神经网络用于故障诊断的实现方法 摘要 通过深入研究人工神经网络理论，探索神经网络技术在某型飞机自动飞行控制系统（CAY）故障诊断中的应用；建立由多个子模块组成的神经网络诊断系统模型，并选择其中一个模块进行设计与训练；训练后的神经网络能很好地对自动飞行控制系统已知故障模式进行识别，实现故障诊断。 关键词：神经网络；自动飞行控制系统；故障诊断
目录 1. 人工神经元模型...................................................................................................... - 1 - 2. BP网络模型............................................................................................................. - 1 - 3. BP网络的设计与训练............................................................................................. - 2 - 4. CAY故障诊断神经网络模型的实现....................................................................... - 3 - 4.1. CAY故障诊断神经网络模型的建立.................................................................... - 3 - 4.2. CAY故障诊断系统神经网络设计与训练............................................................. - 3 - 参考文献........................................................................................................................ - 5 -
基于神经网络的汽车故障诊断 1.问题描述 这里，我选取了汽车变速箱作为本次故障诊断作为研究对象。在汽车变速箱的故障诊断中，是以不同振动信号下齿轮啮合次数作为故障诊断的参数。这里我们以啮合次数和故障的对应关系通过神经网络的方法进行训练：正常运行状态时啮合次数约为0-70万次、磨损运行状态时啮合次数为70-420万次、故障运行状态(断齿)时啮合次数为420万次以上。为此，通过汽车齿轮箱的振动信号经小波包分解，在各频带能量序列作为诊断的依据。 2.神经网络设计 学习样本与试验中，样本数量的选择应尽可能多，以包含尽可能多的故障类型。现选正常运行状态的特征向量5个，因整个磨损状态所经历的运行时间比较长，故磨损运行状态的特征向量样本多一些，定为11个，断齿状态的特征向量样本5个。因此决策属性有三类，“0”表示正常运行状态，“1”表示磨损运行状态，“2”表示断齿状态。所用数据集见表1： 表1 学习样本 U 频率范围(Hz) D 0~188(a ) 188~37 5(b) 375~56 3(c) 563~75 0(d) 750~ 38(e) 938~112 5(f) 1125~13 13(g) 1313~2 500(h) 1 61.02 2 89.59 3 71.756 150.805 8.516 20.305 33.277 51.463 0 2 85.118 91.616 68.181 165.734 11.592 21.790 35.276 54.154 0 3 55.12 4 95.449 67.286 159.607 8.493 21.543 32.754 53.401 0 4 85.376 113.499 66.016 169.410 10.653 22.283 39.527 56.422 0 5 77.922 101.105 69.232 157.287 9.737 20.664 34.843 53.807 0 6 72.1360 168.310 41.234 109.114 3.86 7 18.659 19.92 8 27.081 1 7 147.527 146.784 59.772 105.212 17.205 19.019 38.907 32.893 1
基于神经网络的机械故障诊断 何彦平，袁翔，夏晶晶 （长沙理工大学汽机学院，湖南长沙410076） 摘要：针对传统方法在故障诊断中的局限性，提出了把神经网络用于故障诊断的方法，以汽轮机振动故障为例，证明了此方法的有效性和可行性。 关键词：汽车；故障诊断；神经网络；汽轮机；振动故障 中图分类号：U472.4文献标识码：B文章编号：1671-2668（2005）04-0016-03 训练过的神经网络能存贮有关过程的知识，直接从定量的、历史故障信息中学习，可根据对象的正常历史数据训练网络，然后将此信息与当前测量数据进行比较，以确定故障；人工神经网络具有滤出噪声及在有噪声情况下得到正确结论的能力，可训练人工神经网络来识别故障信息，使其能在噪声环境中有效工作，这种滤除噪声的能力使人工神经网络适合在线故障检测和诊断；人工神经网络具有分辨故障原因及类型的能力。因此，人工神经网络可用于机械故障诊断。 1B P网络 1.1B P网络及其应用 目前，在人工神经网络的实际应用中，绝大部分网络模型采用BP网络及其变化形式，BP网络主要应用于：!函数逼近，用输入矢量和相应的输出矢量训练一个网络逼近一个函数；"模式识别，用一个特定的输出矢量将它与输入矢量联系起来；#分类，把输入矢量以所定的合适方式进行分类；$数据压缩，减少输出矢量维树以便于传输或存储。 1.2B P网络结构 BP网络是一种单向传播的多层前向网络，其结构如图1所示。网络除输入、输出节点外，还有一层或多层隐层节点，同层节点中没有任何耦合。输入信号从输入层节点依次穿过各隐层节点后传到输出节点，每层节点的输出只影响下一层节点的输出。其节点单元特性（传递函数）通常为S i g m o i d型：f（O）=1／（1+ex p（-BO））（B!0），但在输出层中，节点的单元特性有时为线性。BP网络可看作是一个从输入到输出的高度非线性映射，通过对简单的非线性函数进行数次复合，可近似复杂的函数。其中，输入层与输出层单元数由问题确定，隐层层数与 单元数由试算选定。 图1B P网络结构 1.3B P算法的基本思想 BP网络不仅有输入、输出节点，而且还有一层或多层隐含节点。对于输入信息，要先向前传播到隐含节点上，经过各单元的特性为S i g m o i d型的激活函数运算后，把隐含节点的输出信息传播到输出节点，最后给出输出结果。网络的学习过程由正向和反向传播两部分组成。在正向传播过程中，每层神经元的状态只影响下一层神经元网络。如果输出层不能得到期望输出，即实际输出值与期望输出值之间有误差，则转入反向传播过程，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，逐次向输入层传播并进行计算，再经过正向传播过程。这两个过程的反复运用，使误差信号最小。误差达到人们所希望的要求时，网络的学习过程就结束。 2算例及分析 2.1训练样本的获得 在汽轮机的测量点上布置传感器，通过一定的仪器获取所需信号，将传感器的输出信号经采样和A／D转换为数字信号送入计算机，这些信号要经过预处理才能交付给后面的应用程序使用。预处理的主要任务是去除来自传感器的有用信号中混杂的干扰信号。在智能化仪表中，为了减少和去除干扰、噪声，提高系统的可靠性，常用软件的方法实现。然后对信号进行谱分析，将信号转换到频率域，并应用多 61 公路与汽运 ~i g h w a y s&a uto m otioe a11lications 第4期 2005年8 " """""""""""""""""""""""""""""""""""""""""""""""""""""""""""""" 月
四、基于神经网络的智能故障诊断方法 故障诊断就是根据所获取的故障信息特征(故障征兆)来判断故障的原因(故障模式)。故障诊断的过程是故障诊断专家进行诊断思维的一种运作方式，它是故障诊断专家利用人类知识通过人类推理来分析故障问题，并作出诊断判断，从而达到解决系统故障的目的。模仿人类问题求解的能力，是人工智能最基本最重要的一项任务，专家系统则是一种特殊的人工智能求解系统。人工智能故障诊断专家系统则是模仿某一领域的人类故障诊断专家进行故障诊断的逻辑思维的过程。 近年来，由于计算机技术、现代测试技术和信号处理技术的迅速发展，故障诊断技术取得了很大的进步。人们已经研究和开发了一些较成熟的诊断技术及理论方法，可以对在多种工作环境条件及运行状态下的机器或工程系统的许多故障模式进行监测、识别、诊断。然而，在工程实际中存在着大量的多故障、多过程、突发性故障及需要对庞大机器或工程系统进行监测和诊断，这些技术手段和理论方法往往显示出较大的局限性，表现在，(1) 不能有效地利用专家的知识和经验；(2) 缺乏推理能力，只能向前推理，不能像专家一样既能向前推理，又能向后推理；(3) 不具备学习机制；(4) 对测试诊断结果缺乏解释，测试诊断程序的修改和维护性差。 随着人工智能技术的迅速发展，特别是知识工程、专家系统和人工神经网络在诊断领域中的进一步应用，迫使人们对智能诊断问题进行更加深入与系统的研究。人们要求智能诊断系统能够有效地获取、传递、处理、再生和利用诊断信息，从而具有对给定环境下的诊断对象进行成功的状态识别和状态预测的能力。智能诊断系统中的知识处理是关键，它包括三个主要步骤，即知识获取、知识存储和知识利用(推理、解释)。根据智能诊断系统在知识处理方法的不同，智能诊断系统分为两大类，即基于符号推理的传统的人工智能诊断系统，和基于人工神经网络的智能故障诊断系统。 对于设备故障来说，每一故障模式都有与其对应的故障征兆，因此故障诊断实