利用BP 神经网络对大直径SHPB 杆弥散效应的修正研究 朱 励 BP 神经网络采用Sigmoid 型可微函数作为传递函数，可以实现输入和输出间的任意非线性映射，这使得它在函数逼近、模式识别、数据压缩等领域有着广泛的应用。常规SHPB(Split Hopkinson Pressure Bar)技术是研究材料动态响应的重要实验手段，但一维应力加载是其最基本的假定，这实际上忽视了杆中质点横向运动的惯性作用，即忽视了横向惯性引起的弥散效应。近年来，为了研究一些低阻抗非均质材料，大直径的SHPB 应用越来越多。大直径杆中应力脉冲在杆中传播时，波形上升沿时间延长，波形振荡显著增强，脉冲峰值随传播距离而衰减。因此大直径SHPB 杆中的弥散效应将影响到实验结果可靠性，在数据处理时必须加以修正。 利用BP 算法的数学原理，得到修整权值调整公式为： a) 调整隐含层到输出层的权值 q j p i t w d b t w ij j i ij ,...,2,1,,...,2,1),()1(==?+=+?αη （1） 其中η为学习率，α为动量率，它的引入有利于加速收敛和防止振荡。 b) 调整输入层到隐含层的权值 p i n h t v e a t v hi i h hi ,...,2,1,,...,2,1),()1(==?+=+?αη （2） 按照上面公式（1）和（2）来反复计算和调整权值，直到此误差达到预定的值为止。在实验修正过程中，通过测量SHPB 杠上某一位置点的应力波信号，然后由公式（1）和（2）确定的修整权值推算样品端的信号。本文确定的方法网络收敛速度快，在训练迭代至100步时，训练误差即可接近0.0001，神经网络的学习效果好。 采用BP 神经网络和瞬态有限元计算相结合，对大直径SHPB 杆几何弥散效应的修正问题进行了探索。研究表明：采用瞬态有限元计算结果，对网络进行训练和仿真，训练效果和预示结果都比较好；BP 神经网络可以很方便地进行正分析和反分析，确定杆中弥散效应的隐式传递函数，即能方便地对弥散效应进行修正。 Modification of the Stress Wave Dispersion in Large-Diameter SHPB by BP Neural Network ZHU Li, WANG Yong-gang, HAO Jun 注：此文已在四川师范大学学报（自然科学版）2005.3期上发表。
?首先我们从最简单的神经?网络——神经元讲起，以下即为?一个神经元（Neuron ）的图示：这个神经元是?一个以以及截距为输?入值的运算单元，其输出为 其中为权值项，为偏置项，函数被称为“激活函数”。之前在学习感知机的时候，我们知道感知机的激活函数是阶跃函数；?而当我们说神经元的时，激活函数往往选择sigmoid 函数或tanh 函数。激活函数的作?用就是将之前加法器?输出的函数值进?行行空间映射，如下图所示： 深度学习系列列（1）：神经?网络与反向传播算法 ?一、神经元 ,,···,x 1x 2x K b α=σ(a +b )=σ(++···++b ) w T w 1a 1w 2a 2w K a K w b σz
可以看出，这个单?一神经元的输?入输出的映射关系其实就是?一个逻辑回归（logistic regression ）。 关于sigmoid 阶跃函数的性质，在逻辑回归中已经了了解过了了，有?一个等式我们会?用到：。现在我们简要看?一下双曲正切函数（tanh ）。它的表达式为： 它们图像为 tanh （z ）函数是sigmoid 函数的?一种变体，它的取值范围为[-1,1]，?而不不是sigmoid 函数的[0,1]，它的导数为(z )=f (z )(1?f (z ))f ,f (z )=tan h (z )=?e z e ?z +e z e ?z (z )=1?(f (z )f ，)2
所谓神经?网络就是将许多神经元联结在?一起，这样，?一个神经元的输出就可以是另?一神经元的输?入。例例如，下图就是?一个简单的神经?网络： 我们使?用圆圈来表示神经?网络的输?入，标上"+1"的圆圈被称为偏置节点，也就是截距项。神经?网络最左边的?一层叫做输?入层，最右边的?一层叫做输出层（本例例中，输出层只有?一个节点）。中间所有节点组成的?一层叫做隐藏层，如此命名是因为我们不不能在训练样本中观测到它们的值。同时可以看到，以上神经?网络的例例?子中有3个输?入单元（偏置单元不不算在内），三个隐藏单元及?一个输出单元。 我们?用来表示神经?网络的层数，本例例中，我们将第层记为，于是是输?入层，输出层是。本例例神经?网络有参数，其中是第层第个单元与第层第单元之间的联接参数（其实就是连接线上的权重，注意标号前后顺序），是第层第个单元的偏置项。偏置单元没有输?入，即没有单元连向偏置单元，它们总是输出。同时，我们?用表示第层的节点数（偏置单元不不计在内）。 我们?用表示第层第个单元的激活值（输出值）。当时，，也就是第个输?入 值（输?入值的第个特征）。对于给定参数集合，我们的神经?网络就可以按照函数来计算结果。本例例中神经?网络的计算步骤如下： ?二、神经?网络模型 2.1 神经?网络模型 n l =3n l l L l L 1L nl (W ,b )=(,,,)W (1)b (1)W (2)b (2)W (l )ij l j l +1i b (l )i l +1i +1s l l a (l )i l i l =1=a (1)i x i i i W ,b (x )h W ,b =f (+++) a (2)1W (1)11x 1W (1)12x 2W (1)13x 3 b (1)1=f (+++) a (2)2W (1)21x 1W (1)22x 2W (1)23x 3 b (1)2=f (+++)a (2)3W (1)31x 1W (1)32x 2W (1)33x 3b (1)3x )==f (+++) ,b (3)(1)(1)(1)(2)
神经网络的应用及其发展 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。
神经网络中的反向传播法算法推导及matlab代码实现 最近在看深度学习的东西，一开始看的吴恩达的UFLDL教程，有中文版就直接看了，后来发现有些地方总是不是很明确，又去看英文版，然后又找了些资料看，才发现，中文版的译者在翻译的时候会对省略的公式推导过程进行补充，但是补充的又是错的，难怪觉得有问题。反向传播法其实是神经网络的基础了，但是很多人在学的时候总是会遇到一些问题，或者看到大篇的公式觉得好像很难就退缩了，其实不难，就是一个链式求导法则反复用。如果不想看公式，可以直接把数值带进去，实际的计算一下，体会一下这个过程之后再来推导公式，这样就会觉得很容易了。 说到神经网络，大家看到这个图应该不陌生： 这是典型的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，我们现在手里有一堆数据{x1,x2,x3,...,xn},输出也是一堆数据{y1,y2,y3,...,yn},现在要他们在隐含层做某种变换，让你把数据灌进去后得到你期望的输出。如果你希望你的输出和原始输入一样，那么就是最常见的自编码模型（Auto-Encoder）。可能有人会问，为什么要输入输出都一样呢？有什么用啊？其实应用挺广的，在图像识别，文本分类等等都会用到，我会专门再写一篇Auto-Encoder的文章来说明，包括一些变种之类的。如果你的输出和原始输入不一样，那么就是很常见的人工神经网络了，相当于让原始数据通过一个映射来得到我们想要的输出数据，也就是我们今天要讲的话题。 本文直接举一个例子，带入数值演示反向传播法的过程，公式的推导等到下次写 Auto-Encoder的时候再写，其实也很简单，感兴趣的同学可以自己推导下试试：）（注：本文假设你已经懂得基本的神经网络构成，如果完全不懂，可以参考Poll写的笔记：[Mechine Learning & Algorithm] 神经网络基础） 假设，你有这样一个网络层：
神经网络的应用及其发展 来源：辽宁工程技术大学作者：苗爱冬 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts 合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP 网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 (2) 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 (3) 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别等。 (4) 机器人控制。对机器人眼手系统位置进行协调控制，用于机械手的故障诊断及排除、智能自适应移动机器人的导航。 (5) 卫生保健、医疗。比如通过训练自主组合的多层感知器可以区分正常心跳和非正常心跳、基于BP网络的波形分类和特征提取在计算机临床诊断中的应用。 (6) 焊接领域。国内外在参数选择、质量检验、质量预测和实时控制方面都
BP神经网络及其原理 1.BP神经网络定义 BP (Back Propagation)神经网络是一种神经网络学习算法。其由输入层、中间层、输出层组成的阶层型神经网络，中间层可扩展为多层。相邻层之间各神经元进行全连接，而每层各神经元之间无连接，网络按有教师示教的方式进行学习，当一对学习模式提供给网络后，各神经元获得网络的输入响应产生连接权值（Weight）。然后按减小希望输出与实际输出误差的方向，从输出层经各中间层逐层修正各连接权，回到输入层。此过程反复交替进行，直至网络的全局误差趋向给定的极小值，即完成学习的过程。 2. BP神经网络模型及其基本原理 BP神经网络是误差反向传播神经网络的简称，它由一个输入层，一个或多个隐含层和一个输出层构成，每一次由一定数量的的神经元构成。这些神经元如同人的神经细胞一样是互相关联的。其结构如图所示： 图BP神经网络模型 生物神经元信号的传递是通过突触进行的一个复杂的电化学等过程, 在人工神经网络中是将其简化模拟成一组数字信号通过一定的学习规则而不断变动更新的过程，这组数字储存在神经元之间的连接权重。网络的输入层模拟的是神经系统中的感觉神经元，它接收输入样本信号。输入信号经输入层输入，通过隐含层的复杂计算由输出层输出，输出信号与期望输出相比较，若有误差，再将误差信号反向由输出层通过隐含层处理后向输入层传播。在这个过程中，误差通过梯度下降算法，分摊给各层的所有单元，从而获得各单元的误差信号，以此误差信号为依据修正各单元权值，网络权值因此被重新分布。此过程完成后，输入信号再次由输入层输入网络，重复上述过程。这种信号正向传播与误差反向传播的各层权值调整过程周而复始地进行着，直到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数为止。权值不断调整的过程就是网络的学习训练过程。 BP神经网络的信息处理方式具有如下特点: 1）信息分布存储。人脑存储信息的特点是利用突触效能的变化来调整存储内容，即信息存储在神经元之间的连接强度的分布上，BP神经网络模拟人脑的这一特点，使信息以连接权值的形式分布于整个网络。
神经网络的应用及其发展
神经网络的应用及其发展 来源：辽宁工程技术大学作者： 苗爱冬 [摘要] 该文介绍了神经网络的发展、优点及其应用和发展动向，着重论述了神经网络目前的几个研究热点，即神经网络与遗传算法、灰色系统、专家系统、模糊控制、小波分析的结合。 [关键词]遗传算法灰色系统专家系统模糊控制小波分析 一、前言 神经网络最早的研究20世纪40年代心理学家Mcculloch和数学家Pitts 合作提出的，他们提出的MP模型拉开了神经网络研究的序幕。神经网络的发展大致经过三个阶段：1947~1969年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如MP模型、HEBB学习规则和感知器等；1970~1986年为过渡期，这个期间神经网络研究经过了一个低潮，继续发展。在此期间，科学家们做了大量的工作，如Hopfield教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton教授提出Boltzman机模型。1986年Kumelhart等人提出误差反向传播神经网络，简称BP网络。目前，BP网络已成为广泛使用的网络；1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。神经网络具有以下优点： (1) 具有很强的鲁棒性和容错性，因为信息是分布贮于网络内的神经元中。 (2) 并行处理方法，使得计算快速。 (3) 自学习、自组织、自适应性，使得网络可以处理不确定或不知道的系统。 (4) 可以充分逼近任意复杂的非线性关系。 (5) 具有很强的信息综合能力，能同时处理定量和定性的信息，能很好地协调多种输入信息关系，适用于多信息融合和多媒体技术。 二、神经网络应用现状 神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下： (1) 图像处理。对图像进行边缘监测、图像分割、图像压缩和图像恢复。 (2) 信号处理。能分别对通讯、语音、心电和脑电信号进行处理分类；可用于海底声纳信号的检测与分类，在反潜、扫雷等方面得到应用。 (3) 模式识别。已成功应用于手写字符、汽车牌照、指纹和声音识别，还可用于目标的自动识别和定位、机器人传感器的图像识别以及地震信号的鉴别
反向传播网络（BP网络） 1．概述 前面介绍了神经网络的结构和模型，在实际应用中，我们用的最广泛的是反向传播网络（BP网络）。下面就介绍一下BP网络的结构和应用。 BP网络是采用Widrow-Hoff学习算法和非线性可微转移函数的多层网络。一个典型的BP网络采用的是梯度下降算法，也就是Widrow-Hoff算法所规定的。backpropagation就是指的为非线性多层网络计算梯度的方法。现在有许多基本的优化算法，例如变尺度算法和牛顿算法。神经网络工具箱提供了许多这样的算法。这一章我们将讨论使用这些规则和这些算法的优缺点。 一个经过训练的BP网络能够根据输入给出合适的结果，虽然这个输入并没有被训练过。这个特性使得BP网络很适合采用输入/目标对进行训练，而且并不需要把所有可能的输入/目标对都训练过。为了提高网络的适用性，神经网络工具箱提供了两个特性--规则化和早期停止。这两个特性和用途我们将在这一章的后面讨论。这一章还将讨论网络的预处理和后处理技术以提高网络训练效率。 2．基础 网络结构
神经网络的结构前一章已详细讨论过，前馈型BP网络的结构结构和它基本相同，这里就不再详细论述了，这里着重说明以下几点：1．常用的前馈型BP网络的转移函数有logsig，tansig，有时也会用到线性函数purelin。当网络的最后一层采用曲线函数时，输出被限制在一个很小的范围内，如果采用线性函数则输出可为任意值。以上三个函数是BP网络中最常用到的函数，但是如果需要的话你也可以创建其他可微的转移函数。 2．在BP网络中，转移函数可求导是非常重要的，tansig、logsig 和purelin都有对应的导函数dtansig、dlogsig和dpurelin。为了得到更多转移函数的导函数，你可以带字符"deriv"的转移函数：tansig('deriv') ans = dtansig 网络构建和初始化 训练前馈网络的第一步是建立网络对象。函数newff建立一个可训练的前馈网络。这需要4个输入参数。第一个参数是一个Rx2的矩阵以定义R个输入向量的最小值和最大值。第二个参数是一个颟顸每层神经元个数的数组。第三个参数是包含每层用到的转移函数名称的细胞数组。最后一个参数是用到的训练函数的名称。 举个例子，下面命令将创建一个二层网络,其网络模型如下图所示。
基于神经网络的网络入侵检测 本章从人工神经网络的角度出发，对基于神经网络的网络入侵检测系统展开研究。在尝试用不同的网络结构训练和测试神经网络后，引入dropout层并给出了一种效果较好的网络结构。基于该网络结构，对目前的神经网络训练算法进行了改进和优化，从而有效避免了训练时出现的过拟合问题，提升了训练效率。 4.1 BP神经网络相关理论 本章从学习算法与网络结构相结合的角度出发，神经网络包括单层前向网络、多层前向网络、反馈神经网络、随机神经网络、竞争神经网络等多种类型。构造人工神经网络模型时主要考虑神经元的特征、网络的拓补结构以及学习规则等。本文选择反向传播神经网络(Back Propagation Neural Network, BPNN)作为基本网络模型。 BP神经网络是一种通过误差逆传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络模型形式之一。网络中每一层的节点都只接收上一层的输出，而每一层节点的输出都只影响下一层的输入，同层节点之间没有交互，相邻两层节点之间均为全连接模式。BP神经网络在结构上分为输入层、隐含层与输出层三部分，其拓扑结构如图4-1所示。 图4-1 BP神经网络拓扑结构 Figure 4-1 Topological Structure of BP Neural Network
这里隐含层既可以是一层也可以是多层，数据在输入后由隐含层传递到输出层，通过各层的处理最终得到输出结果。 传统的BP网络算法可分为两个过程:神经网络中信号的前向传播和误差函数的反向传播。算法在执行时会不断调整网络中的权值和偏置，计算输出结果与期望结果之间的误差，当误差达到预先设定的值后，算法就会结束。 (1)前向传播 隐含层第J个节点的输出通过式(4-1)来计算: (4-1) 式中ωij代表输入层到隐含层的权重，αj代表输入层到隐含层的偏置，n 为输入层的节点个数，f(.)为激活函数。输出层第k个节点的输出通过式(4-2)来计算: (4-2) 式中ωjk代表隐含层到输出层的权重，bk代表隐含层到输出层的偏置，l为隐含层的结点个数。 根据实际输出与期望输出来计算误差，见式(4-3)。 (4-3) 式中(Yk-Ok)用ek来表示，Yk代表期望输出，m为输出层的结点个数。 当E不满足要求时，就会进入反向传播阶段。 (2)反向传播 反向传播是从输出到输入的传播过程。从式((4-1)至式(4-3 )中，可以发现网络误差E是与各层权值和偏置有关的函数，所以如果想减小误差，需要对权值和偏置进行调整。一般采取梯度下降法反向计算每层的权值增量，令权值的变化量同误差的负梯度方向成正相关，调整的原则是令误差沿负梯度方向不断减少。权值的更新公式见式(4-4)，偏置的更新公式见式(4-5)。