第十一讲 神经网络与应用
1
第十一讲 神经网络与应用
1 引言
人工神经网络(Artificial neural network,ANN)也简称为神经网络，它是人脑或动物神经网络若干基本特性的抽象和模拟。早在1943年，McCulloch和Pitts就提出一种叫做“似脑机器”（mindlike machine）的思想，这种机器可由基于生物神经元特性的互连模型来制造,这就是神经网络的最初概念。在1985年，Parker和Rumelhart等完善了反向传播算法，即B—P算法(Back Propagation Algorithms)，神经网络模型重新活跃起来。神经网络具有非常强的非线性映射能力,它不需要任何先验公式就可以通过学习(或训练)自动总结出数据间的函数关系,因而是一种有效的建模手段。在建立起函数关系之后,常还需要求解由该函数作为目标函数的最优化问题,即寻找合适的网络输入,以使网络输出值达到最大(或最小)。由于用人工神经网络模型确立的函数关系是通过神经元间的连接权值与阈值来实现的,难以用简单的函数形式表达,所以用传统的优化方法不易解决这类问题。因而，神经网络具有记忆和学习功能，可以用来训练使它具有识别和预测的能力。下面使神经网络的一些特点：
（１）并行分布处理: 神经网络具有高度的并行结构和并行实现能力，因而能够有较好的耐故障能力和较快的总体处理能力。这特别适于实时控制和动态控制。
（２）非线性映射: 神经网络具有固有的非线性特性，这源于其近似任意非线性映射（变换）能力。这一特性给非线性控制问题带来新的希望。
（３）通过训练进行学习: 神经网络是通过所研究系统过去的数据记录进行训练的。一个经过适当训练的神经网络具有归纳全部数据的能力。因此，神经网络能够解决那些由数学模型或描述规则难以处理的控制过程问题。
（４）适应与集成:神经网络能够适应在线运行，并能同时进行定量和定性操作。神经网络的强适应和信息熔合能力使得网络过程可以同时输入大量不同的控制信号，解决输入信息间的互补和冗余问题，并实现信息集成和熔合处理。这些特性特别适于复杂、大规模和多变量系统的控制。
人工神经网络讲稿ch(1)
人工神经网络讲稿
一、引言
随着现代科学技术的不断发展，越来越多的技术被引入到我们的生活中。人工智能技术就是其中的一种。而人工神经网络，作为人工智能领域的重要一环，也不断得到了越来越多的关注。本次演讲，我想和大家一起，探索人工神经网络的奥秘。
二、人工神经网络的定义
人工神经网络，又称人工神经网络模型，简称ANN模型，是模拟生物神经网络信息处理机制，通过连接权值和激励函数等方式使得机器具备了学习、存储知识和规律以及自主推理等人类认知能力，从而完成某种特定的智能任务或行为。
三、人工神经网络的结构
人工神经网络通常由三部分构成：输入层、隐藏层和输出层。
①输入层
输入层是人工神经网络的第一层。它负责接受原始数据的输入。输入层中的每个神经元只与数据的一个特征相关。例如，如果输入数据是一张图像，则每个神经元对应的是这张图像中的一个像素。
②隐藏层
隐藏层是神经网络的中间层。隐藏层中的每个神经元既可以接受输入层的信号，也可接受其他隐藏层的信号。每个神经元都基于权重将输入信号与偏置项相加，计算加权合，然后将其传递到激励函数中。
③输出层
输出层是神经网络的最后一层，负责生成最终的输出结果。输出层中每个神经元都对应着一个输出结果，它们的数量通常取决于所需执行的任务。
四、人工神经网络的训练
训练是人工神经网络中最重要的过程之一，它使得网络能够逐渐获得某种特定的行为和认知方式。
训练的过程中，先将数据输入网络，得到输出结果。神经网络根据输出结果和所需结果之间的差距计算误差。然后通过误差反向传递，更新网络中的权重参数，以减少误差。这个过程可以重复许多次，直到网络的输出结果与所需结果接近或达到预设的训练目标。
五、应用领域
人工神经网络已经被广泛应用于各个领域，比如图像识别、语音识别、自然语言处理、机器人导航等。它已经成为很多智能系统的重要组成部分。
六、结论
人工神经网络是模拟生物神经网络信息处理机制，具有自主学习能力，可以模拟人类认知和决策过程。它不仅可以增强人工智能系统的智能，同时也可以提高生产效率，节省资源成本。因此，在未来几年中，它将成为影响人类生活的重要技术之一。
第2章神经网络（2）
内容：感知器、多层前馈型神经、反向传播算法（BP算法）、神经网络应用。
重点、难点：感知器、反向传播算法（BP算法）。
1．引例
1981年生物学家格若根（W.Grogan）和维什（W．Wirth）发现了两类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角长，数据如下：
问：如果抓到三只新的蚊子，它们的触角长和翼长分别为(l.24,1.80); (l.28，1.84)；（1.40，2.04）．问它们应分别属于哪一个种类？
解法：
• 把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长和触角决定了坐标平面的一个点.其中 6个蚊子属于
APf类；用黑点“·”表示；9个蚊子属 Af类；用小圆圈“。”• 翼长 触角长 类别
• 1.78 1.14 Apf
• 1.96 1.18 Apf
• 1.86 1.20 Apf
• 1.72 1.24 Af
• 2.00 1.26 Apf
• 2.00 1.28 Apf
• 1.96 1.30 Apf
• 1.74 1.36 Af
•翼长触角长类别•1.64 1.38 Af•1.82 1.38 Af•1.90 1.38 Af•1.70 1.40 Af•1.82 1.48 Af•1.82 1.54 Af•2.08 1.56 Af 表示．
• 得到的结果见图1
思路：作一直线将两类飞蠓分开
• 例如；取A＝（1.44，2.10）和 B＝(1.10，1.16)，过A
B两点作一条直线：
• y＝ 1.47x - 0.017
一文浅谈神经网络（非常适合初学者）
最近学习BP神经网络，网上文章比较参差不齐，对于初学者还是很困惑，本文做一下笔记和总结，方便以后阅读学习。
一、BP神经网络的概念
BP神经网络是一种多层的前馈神经网络，其主要的特点是：信号是前向传播的，而误差是反向传播的。具体来说，对于如下的只含一个隐层的神经网络模型：输入向量应为n个特征
BP神经网络的过程主要分为两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层，最后到达输出层；第二阶段是误差的反向传播，从输出层到隐含层，最后到输入层，依次调节隐含层到输出层的权重和偏置，输入层到隐含层的权重和偏置。
1. 神经元：神经元，或称神经单元/神经节点，是神经网络基本的计算单元，其计算函数称为激活函数（activation function），用于在神经网络中引入非线性因素，可选择的激活函数有：Sigmoid函数、双曲正切函数（tanh）、ReLu函数（Rectified Linear Units），softmax等。
1.1 Sigmoid函数，也就是logistic函数，对于任意输入，它的输出范围都是（0,1）。公式如下： Sigmoid的函数图如上所示，很像平滑版的阶跃函数。但是，sigmoid 有很多好处，例如：
（1）它是非线性的
（2）不同于二值化输出，sigmoid 可以输出0 到 1 之间的任意值。对，跟你猜的一样，这可以用来表示概率值。
（ 3)与 2 相关，sigmoid 的输出值在一个范围内，这意味着它不会输出无穷大的数。但是，sigmoid 激活函数并不完美： 梯度消失。如前面的图片所示，当输入值 z 趋近负无穷时，sigmoid 函数的输出几乎为 0 . 相反，当输入 z 趋近正无穷时，输出值几乎为 1 . 那么这意味着什么？在这两个极端情况下，对应的梯度很小，甚至消失了。梯度消失在深度学习中是一个十分重要的问题，我们在深度网络中加了很多层这样的非线性激活函数，这样的话，即使第一层的参数有很大的变化，也不会对输出有太大的影响。换句话讲，就是网络不再学习了，通常训练模型的过程会变得越来越慢，尤其是使用梯度下降算法时。
