第四章 智能技术的决策支持和智能决策支持系统(3)_PPT课件

3、学习规则
神经元的学习规则是Hebb规则。 Hebb学习规则：若i与j两种神经元之间同时处于兴
奋状态，则它们间的连接应加强，即： △Wij＝SiSj (＞0) 这一规则与“条件反射”学说一致，并得到神经细
胞学说的证实。 设α＝1，当Si＝Sj＝1时，△Wij＝1， 在Si，Sj中有一个为0时，△Wij＝0。
i
2021/3/6
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
3. 输出结点的误差公式：
1
E 2l
(tl
Ol)2
1
2
l
(tl f(
i
Tliyi l))2
1
2l
(tl f(
i
Tli f(
j
wijxj i)l))2
2021/3/6
信息分析与决策支持 唐晶磊
BP模型计算公式汇总
（2）误差控制 P 所有样本误差： E ek k1
信息分析与决策支持 唐晶磊
BP模型计算公式汇总
n
其中一个样本误差： ek
tl(k) Ol(k)
l1
其中，p为样本数，n为输出结点数。
（3）误差公式： l (tl O l)O l(1 O l)
（4）权值修正：T li( k 1 ) T li( k ) ly i
其中k为迭代次数。
（5） 阈值修正： l(k 1 )l(k )l
2021/3/6
信息分析与决策支持 唐晶磊
BP模型计算公式汇总
3、隐结点层（输入结点到隐结点间）的修正公式
（1）误差公式： i'yi(1yi) lTli
（2）权值修正：
l
W ij(k 1 ) W ij(k )' 'ix j
2、神经元作用函数
[0,1]阶梯函数:
1 x0
+1 ○
f(x)0 x0
0
x
[-1,1]阶梯函数：
1
x0
f(x) 1 x0
2021/3/6
信息分析与决策支持 唐晶磊
神经元作用函数
(0,1)S型函数：
f
1 f(x)1ex
1 0.5
(-1,1)S型函数：
x
0
1ex f (x)1ex
2021/3/6
信息分析与决策支持 唐晶磊
2021/3/6
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
BP模型的计算公式为：
1.隐结点的输出：
yif( w ijxji)f(neti)
j
其中： neti wijxj i
j
2. 输出结点计算输出：
O lf( T liyil)f(n e tl)
i
其中： netl Tliyi l
修正（Tli，l ），（Wij，i）
信息分析与决策支持 唐晶磊
异或问题求解实例
按问题要求，设置输入结点为两个（x1,x2），输出结点 为1个（z），隐结点定为2个（y1，y2），各结点阈值和网 络权值见图说明。
2021/3/6
信息分析与决策支持 唐晶磊
异或问题求解实例
计算机计算结果
迭代次数：16745次；总误差：0.05 隐层网络权值和阈值：
2. 作用函数为(0,1)S型函数
3.误差函数
1 f (x) 1ex
对第p个样本误差计算公式为：
Ep12 (tpiO pi)2 i
其中ｔpi，Opi分别是期望输出与计算输出。
2021/3/6
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
公式推导思想是：修正网络权值与阈值，使误差函数 沿梯度方向下降。 BP网络表示：输入结点xj，隐结点yi，输出结点Ol， 输入结点与隐结点间的网络权值为Wij，隐结点与输出 结点间的网络权值为Tli，输出结点的期望输出为tl。
w11=5.24 w12=5.23 1=8.01 w21=6.68 w22=6.64 2=2.98 输出层网络权值和阈值：
T1=-10 T2=10
=4.79
2021/3/6
信息分析与决策支持 唐晶磊
4.4.3 神经网络专家系统及实例
(3) 部分内容
❖4.4 神经网络的决策支持 ❖4.5 遗传算法的决策支持
2021/3/6
信息分析与决策支持 唐晶磊
4.4 神经网络的决策支持
❖ 神经元的结构
2021/3/6
信息分析与决策支持 唐晶磊
4.4 神经网络的决策支持
❖ 神经元由细胞体、树突和轴突三部分组成； ❖ 细胞体对接收到的信息进行处理； ❖ 轴突是较长的神经纤维，是发出信息的； ❖ 树突的神经纤维较短，是接收信息的； ❖ 一个神经元的轴突末端，与另一个神经元的树突之间密
2021/3/6
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
BP模型（Back propagation），需要确定它的网络结构、作 用函数和误差函数。
1. 多层网络结构: 有输入层、输出层，一个或多个隐含层
2021/3/6
信息分析与决策支持 唐晶磊
4.4.2 反向传播模型(BP模型)
i(1)= yi(1－yi )
T (2) l li
Wij(k+1)=Wij(k)＋i(1)xj i(k+1)= i(k)+ i(1)
输出 节点 l ·
Ol=f（ Tliyi－l ）
修正权 Tli 隐 节点 i ·
yi=f（ Wijxj－i ）
修正权 Wij 输入 节点 j · xj
2021/3/6
2021/3/6
1. 输出结点输出Ol计算公式
（1）输入结点的输入xj
（2）隐结点的输出：yi f( W ijXj i)
j
其中：Wij连接权值，结点阈值
Fra Baidu bibliotek
i 。
(3) 输出结点输出： O l f( Tliyi l)
i
其中：Tij连接权值，
结点阈值
。
l
2 输出层（隐结点到输出结点间）的修正公式
（1）输出结点的期望输出tl
（3）阈值修正： i( k 1 ) i( k ) ''i
2021/3/6
信息分析与决策支持 唐晶磊
误差反向传播示意图
隐结点误差的含义：
2021/3/6
if'(neti) lTli
l
信息分析与决策支持 唐晶磊
求
(2) l
(1) i
l(2)=Ol(1－Ol)(dl－Ol) Til(k+1)= Til(k)＋l(2)yi l(k+1)= l(k)+ l(2)
切接触，传递神经元冲动的地方称为突触。
2021/3/6
信息分析与决策支持 唐晶磊
❖ MP（神经元的数学模型）模型方程为：
O i f
W iji
i1,2, ,n
j
❖ 其中Wij是神经元之间的连接强度， ❖ Wii＝0，Wij（i≠j）是可调实数，由学习过程来调整。
2021/3/6
信息分析与决策支持 唐晶磊