ANN讲义--02-神经网络基础

• 图4中是一个3层的前馈神经网络，其中第一层是输入单元， 第二层称为隐含层，第三层称为输出层（输入单元不是神 经元，因此图中有2层神经元）。
• (2) 反馈神经网络
• 反馈型神经网络是一种从输出到输入具有反馈连 接的神经网络，其结构比前馈网络要复杂得多。 典型的反馈型神经网络有：Elman网络和Hopfield 网络。
• (3) 自组织网络 ( SOM ,Self-Organizing Neural Networks )
自组织神经网络是一种无导师学习网络。它通 过自动寻找样本中的内在规律和本质属性，自组 织、自适应地改变网络参数与结构。
4. 神经网络工作方式
• 神经网络运作过程分为学习和工作两种状态。
• (1)神经网络的学习状态
人工神经元模型
• 图中x1~xn是从其他神经元传来的输入信号 ，wij表示表示从神经元j到神经元i的连接权 值，θ表示一个阈值 ( threshold )，或称为 偏置( bias )。则神经元i的输出与输入的关 系表示为：
• 图中 yi表示神经元i的输出，函数f称为激活 函数 ( Activation Function )或转移函数 ( Transfer Function ) ，net称为净激活(net activation)。若将阈值看成是神经元i的一个 输入x0的权重wi0，则上面的式子可以简化 为：
常用激活函数
• (1) 线性函数 ( Liner Function )
• (2) 斜面函数 ( Ramp Function )
• (3) 阈值函数 ( Threshold Function ) • (4) S形函数 ( Sigmoid Function )
该函数的导函数：
• (5) 双极S形函数 该函数的导函数：

10
off
Stimulus
ui wij x j
j
Response
yi f urest ui
“Hard” threshold
z ON
f
z




else OFF
= threshold
• ex: Perceptrons, Hopfield NNs, Boltzmann Machines
2 1 ez
1
• ex: MLPs, Recurrent NNs, RBF NNs...
• Main drawbacks: difficult to process time patterns, biologically implausible.
10/11/2019
Artificial Neural Networks - I
ms
10 20 30 40 50 60 70 80 90 100
10/11/2019
Artificial Neural Networks - I
6
神经网络的复杂性
• 神经网路的复杂多样，不仅在于神经元和突触 的数量大、组合方式复杂和联系广泛，还在于 突触传递的机制复杂。现在已经发现和阐明的 突触传递机制有：突触后兴奋，突触后抑制， 突触前抑制，突触前兴奋，以及“远程”抑制 等等。在突触传递机制中，释放神经递质是实 现突触传递机能的中心环节，而不同的神经递 质有着不同的作用性质和特点
• 10 billion neurons in human brain • Summation of input stimuli
– Spatial (signals) – Temporal (pulses)

文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
人类智能的具体含义
感知与认识客观事物、客观世界和自我的能力； 通过学习获得经验、积累知识的能力； 理解知识、运用知识和经验分析、解决问题的能力； 联想、推理、判断、决策的能力； 运用语言进行抽象、概括的能力； 以上5点是人类智能的基本能力。 发现、发明、创造、创新的能力； 实时、迅速、合理地应付复杂环境的能力； 预测、洞察事物发展、变化的能力。 以上3点是前5种能力新的综合表现形式。
• 知识和概念化是否人工智能的核心？ • 认知能力能否与载体分开来研究？ • 认知的轨迹是否可以用类自然语言来描述？ • 学习能力能否与认知分开来研究？ • 所有的认识是否有一种统一的结构？
对以上5个基本问题的不同回答已经形成3个主要的学术流派： 符号主义（Symbolicisim） 联结主义（connetionism） 行为主义（actionism）
通过制造和使用工具来加强和延伸人类的生存、发展。
目的之二：进一步认识自己。
用物化的智能来考察和研究人脑智能的物质过程和规律。
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
人工智能的3个主要流派
1991年，人工智能学家D. Krish在《Int. J. Artificial Intelligence》上提出人工智能的5个基本问题：
“世界上最大的未开发疆域，是 我们两耳之间的空间。”（美国汉 诺威保险公司总裁比尔·奥伯莱恩）
文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系本人改正。
大脑的有关数据
① 人大脑平均只有3磅左右。 只占身体重量比例的1/30；
② 使眼睛可以辨别1000万种细 微的颜色； ③ 使肌肉(如果全部向同一个 方向运动)产生25吨的拉力； ④ 是由100亿个脑细胞和10兆 个神经交汇丛组成。整个大脑 的神经网络足足有10英里长。

信号的通道，而是在每对神经元之间的
连接上有一个加权系数，这个加权系数 起着生物神经系统中神经元的突触强度
的作用，它可以加强或减弱上一个神经
元的输出对下一个神经元的刺激。这个 加权系数通常称为权值。 在神经网络中，连接权值并非固定不变，而是按照一定的规则和学习 算法进行自动修改。这也体现出神经网络的“进化”行为。
4/65
神经网络研究的发展
(1)第一次热潮(40-60年代未) 1943年,美国心理学家W.McCulloch和数 学家W.Pitts在提出了一个简单的神经元模型，即MP模型。1958年， F.Rosenblatt等研制出了感知机。 (2)低潮(70-80年代初)：人工智能的创始人之一Minsky和Papert 对以 感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于
第一讲 神经网络基本原理
主要内容
人工神经网络的提出 人工神经网络的研究发展 人工神经网络基本要素 神经元介绍 神经元作用函数 神经元之间的连接形式 网络的学习(训练) 感知器神经网络
人工神经网络的提出
人工神经网络（简称神经网络，Neural Network）是模拟人脑 思维方式的数学模型。
ห้องสมุดไป่ตู้
径。
3/65
人工神经网络的提出
目前，关于神经网络的定义尚不统一，按美国神经网络学家Hecht Nielsen 的观点，神经网络的定义是：“神经网络是由多个非常简单
的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其
状态对外部输入信息的动态响应来处理信息”。综合神经网络的来源﹑ 特点和各种解释，它可简单地表述为：人工神经网络是一种旨在模仿人
人工神经网络（ANN）可看成是以人工神经元为节点，用有向加权 弧连接起来的有向图。