BP神经网络PPT ppt课件

输入信号
n维输入向量x = x1,..., xn T
x是来自其它n个神经元的输出； 也可以是来自外部的输入信号
权向量
n维权向量W = 1,...,n T ,i R
相当于突触的连接强度。
传 递 函 数 转 移 函 数 ,激 励 激 活 函 数
传输函数，输出函数，限幅函数
将可能的无线域变换到指定的有限范围输出。
单 调 增 函 数 ， 通 常 为 "非 线 性 函 数 "
网 络 输 入
net W
x
n
ixi
i 1
--神 经 元 的 输 入 兴 奋 总 量 是 多 个 输 入 的 代 数 和
其
中
输
出
y f (net)
- -单 输 出 (标 量 )
--执 行 该 神 经 元 所 获 得 的 网 络 输 入 的 变 换
1. 生物神经系统与生物神经元
大量生物神经元的广泛、复杂连接，形成生
物神经网络 (Biological Neural Network, BNN)。
实现各种智能活动
生物神经元(neuron)是基本的信息处理单元
(1)生物神经系统
生物神经元(neuron)是基本的信息处理单元, 其组成：
➢ 树突(dendrites), 接收来自外接的信息 ➢ 细胞体(cell body), 神经细胞主体，信息加工 ➢ 轴突(axon), 细胞的输出装置，将信号向外传递，
➢ 可见层 输入层 (input layer) 输出层 (output layer)
➢ 隐含层( hidden layer)
(1) 基本的人工神经元模型
若 带 偏 置 量 ， 则 有
netWpbin 1ipi b
yf(net)
--单 输 出 (标 量 )
(2(2))几输种出常函见数形f 式的传递函数(激活函数)
A.线 性 函 数 f net = k net + c
B .非 线 性 斜 面 函 数 (R am p F u n ction )：
b
f
net
k
net
b
net net net
b 0为 常 数 ， 称 饱 和 值 ， 是 该 神 经 单 元 的 最 大 输 出 ；
输出函数值限制在 b,b范围内。
C(.2符) 号输出函函数数f
s ig n 型 函 数 ， 不 可 微 ； 对 称 硬 极 限 函 数 ；
双
极
函
数
➢ 兴奋与抑制 信号可以起兴奋作用，也可以起抑制作用 一个神经元接受信号的累积效果（综合大小，代
数和）决定该神经元的状态(兴奋、抑制) 每个神经元可以有一个“阈值”
2. 人工神经网络与人工神经元
人工神经网络是对生物神经系统的模拟。 大量简单的计算单元（结点，神经元）以某种形式
连接，形成一个网络. 其 中 某 些 因 素 ， 如 : 连 接 强 度 (连 接 权 值 ， 其 大 小 决
第2部分：BP神经网络
主要内容
一. 人工神经网络基本知识
• 生物神经网络、生物神经元 • 人工神经网络、人工神经元 • 人工神经网络三要素 • 典型激活函数 • 神经网络几种典型形式
二. 前馈神经网络、多层感知器、及非线性分类 三. BP神经网络 四. 数据处理及神经网络结构的选择 五. 应用
人工神经网络 是生物神经网络的某种模型(数学模型) 是对生物神经网络的模仿 基本处理单元为人工神经元
net
较
小
时
(权
值
较
小
)，
可
近
似
线ቤተ መጻሕፍቲ ባይዱ
性
函
数
--高 增 益 区 处 理 小 信 号
net
较
大
时
(权
值
较
大
)，
可
近
似
阈
值
函
数
.
--低 增 益 区 处 理 大 信 号
主要内容
一 人工神经网络基本知识 二. 前馈神经网络、多层感知器、及非线性分类
三. BP神经网络 四. 数据处理及神经网络结 构的选择 五. 应用
(1)基本的人工神经元模型
McCulloch-Pitts神经元模型 输入信号；链接强度与权向量； 信号累积 激活与抑制
人工神经元模型的三要素:
一组连接 一个加法器
连接权值，突触连接强度权 权值 值00， ，抑 激制 活 输入信号关于神经元突触的线性加权
一个激励函数 将神经元的输出信号限制在有限范围内
定 信 号 传 递 强 弱 ); 结 点 计 算 特 性 (激 活 特 性 ,神 经 元 的 输 入 输 出 特 性 );甚 至 网 络 结 构 等 ， 可 依 某 种 规 则 随 外 部 数 据 进行适当调整，最终实现某种功能。
神经网络的计算通过网络结构实现； 不同网络结构可以体现各种不同的功能； 网络结构的参数是通过学习逐渐修正的。
与多个神经元连接 ➢突触 （synapsse), 神经元经突触向其它神经元（胞体 或树突）传递信号
(2)生物神经元的基本特征
➢ 神经元之间彼此连接 ➢ 神经元之间的连接强度决定信号传递的强弱
神经元之间的连接强度可以随训练改变 学习、遗忘、疲劳 ----神经网络中各神经元之间连接的强弱，按外部的 激励信号做自适应变化
1.前馈(forward)神经网络
➢ 各神经元接受来自前级的输入，并产生输出到下一级，无反 馈，可用一有向无环图表示。
➢ 网络中的节点分两类：输入节点；计算节点(神经元节点) ➢ 节点按层(layer)组织 ：
第i层的输入只与第i-1层的输出相连。
输入信号由输入层输入,由第一层节点输出，传向下层，…… ➢ 前馈：信息由低层向高层单向流动。 -------------------------------------------------
f
net
=
sgn
net
=
1
-1
net 0 net < 0
m atlab函 数 hardlim s
D .阈 值 函 数
f
net
=
-
net net <
其 中 , , 非 负 实 数
E .(s2ig)m 输o id出函函数数 fS 型 函 数 ， 连 续 可 微
一些重要的学习算法要求输出函数可微
对 数 S型 函 数
f
net
1
1 e net
m atlab函 数 ： logsig
值 域 0，1
双 曲 正 切 S型 函 数
f
net
th(net)
e net e net
e net e net
1
2 e 2net
1
值 域 1，1
m atlab函 数 ： tansig
非 线 性 ， 单 调 ； 无 限 次 可 微