当前位置：文档之家 › 20030311-hejianhua-神经网络讲义-part6-自组织竞争网络

20030311-hejianhua-神经网络讲义-part6-自组织竞争网络

  • 格式：ppt
  • 大小：512.50 KB
  • 文档页数：37

下载文档原格式

  / 37

合集下载

自组织竞争神经网络

自组织竞争神经网络

第23页
3.搜索阶段：
由Reset信号置获胜阶段无效开始，网络进入搜索 阶段。此时R为全0，G1=1 ，在C层输出端又得到了此 次输入模式X。所以，网络又进入识别及比较阶段，得 到新获胜节点（以前获胜节点不参加竞争）。这么重 复直至搜索到某一个获胜节点K，它与输入向量X充分 匹配到达满足要求为止。模式X编制到R层K节点所连 模式类别中，即按一定方法修改K节点自下而上和自上 而下权向量，使网络以后再碰到X或与X相近模式时， R层K节点能很快取得竞争胜利。若搜索了全部R层输 出节点而没有发觉有与X充分靠近模式，则增设一个R 层节点以表示X或与X相近模式。
⑥ 警戒线检测。设向量X中不为0个数用||X||表示，可
有 n || X || xi
n
||C'|| w' j *iXi i1
(5.3.1)
i 1
n
||C'|| w' j *iXi
(5.3.2)
i1
若||C||/||X||>成立，则接收j*为获胜节点，转⑦。
不然发Reset信号，置j*为0（不允许其再参加竞争），
信号1：输入X第i个分量Xi。 信号2：R层第j个单元自上而下返回信号Rj。 信号3：G1控制信号。 设C层第i个单元输出为Ci。 Ci依据“2/3规则”产 生，即Ci含有三个信号中多数相同值。 网络开始运行时， G1 =1，R层反馈信号为0。
自组织竞争神经网络
第18页
2.R 层结构：
R层功效结构相当于一个前向竞争网络，假设输出 层有m个节点，m类输入模式。输出层节点能动态增加， 以满足设置新模式类需要。设由C层自下而上连接到R 层第j个节点权向量用Wj={w1j,w2j,..,wnj} 表示。C层输出向量C沿Wj向前馈送，经过竞争在R层 输出端产生获胜节点，指示此次输入向量类别。

神经网络及应用第五章自组织竞争神经网络

神经网络及应用第五章自组织竞争神经网络

5.2 自组织特征映射神经网络
1981年，自组织特征映射网(Self-Organizing Feature Map, SOFM)由芬兰Helsink大学的T. Kohonen教授提 出，又称Kohonen网。 Kohonen认为，一个神经网络接受外界输入模式时， 将会分为不同的对应区域，各区域对输入模式具有不 同的相应特征，而这个过程是自动完成的。 自适应特征映射正式根据这一看法提出的，其特点与 人脑的自组织特性相类似。
5.1 竞争学习的概念与原理
前20次训练中两个权向量的变化情况：
解：将上述模式转换为极坐标形式 X 1 = 1∠36.89o X 2 = 1∠ − 80o X 3 = 1∠45o X 4 = 1∠ − 70o X 5 = 1∠53.13o 竞争层设两个权向量，随机初始化单位向量 1 −1 W1 (0) = 1∠0o W2 (0) = 1∠180o 0 0 取学习率η=0.5，按1~5的顺序依次输入模式向量，调整权值， 每次修改后重新进行归一化。
5.1.2 竞争学习原理 竞争学习规则 胜者为王（Winner-Take-All）
1)向量归一化 首先将自组织网络中的当前输入模式向量X和竞争层中各神 经元对应的内星权向量 Wj (j=1,2,…,m)全部进行归一化处理， ) ) 得到 X 和 W j (j=1,2,…,m)
内星节点：总是接受来自其他神经元的输入加权信号，是信号 的汇聚点，对应的权值向量称为内星权向量。 外星节点：总是向其他神经元发出输出加权信号，是信号的发 散点，对应的权值向量称为外星权向量。
5.2 自组织特征映射神经网络
SOFM网的输出阵列
5.2 自组织特征映射神经网络
5.2.3 权值调整域
SOFM采用Kohonen算法，该算法在胜者为王算法基础上加以改 进而成的，其主要区别在于调整权向量与侧抑制的方式不同： – 胜者为王算法中，只有竞争获胜神经元才能调整权向量，其 他任何神经元都无权调整。 – SOFM网的获胜神经元对其临近神经元的影响是由近及远， 由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元 本身要调整权向量，它周围的神经元在其影响下也要程度不 同地调整权向量。

BP神经网络RBF神经网络自组织竞争型神经网络

BP神经网络RBF神经网络自组织竞争型神经网络

（3）如果在已被占用的输出端中找到一个优胜者，它的由顶向下矢量Z（k）与S（k）的相似度足够高，或者开辟了一个未被占用的新输出端，则对于该端相应的由底向上和由顶向下权重系数进行调整。设此端的编号为L，那么被调整的系数是 和 。下面给出系数调整的计算公式:
概括而言，按照ART（也就是以竞争学习和自稳机制为原则所建立的理论）构成的ANN有如下特点: （1）它能对任何输入观察矢量（包括非平衡输入）进行“实时学习”，这就是说，学习和工作是分不开的。这种学习保证能够达到稳定、可靠的结果，直至记忆容量全部用完为止。任何情况下都不会造成新记忆破坏老记忆的灾难性后果。 （2）学习是自治和自组织的，学习过程无需教师指导，因此是一种无监督（unsupervised）学习。
F2层（STM） 此层的作用是由矢量T计算输出矢量Y，其计算公式为 若 （5-3） 可以看出，在输出层F2进行的是一种竞争抉择运算: 在t0～tM-1之间，有一个最大的分量，其对应输出即定为1，而所有其它分量所对应的输出皆定为0。
下面讨论此系统用于分类时的学习策略 在学习开始以前，首先需要对LTM层中的各个权值系数置以随机初值wij（0），然后依次送入观察矢量X（k），随时按照下列公式将各个权重系数调整成一组新的数值: j=0~(N-1),i=0~(M-1) （5-4）
(5-8) 其中α是步幅, 其值取为一个小正实数。
可以看到, 按照上面给出的算法, 只有当新的输入矢量与已存入记忆中的某个矢量足够相似时, 两者才能互相融合, 即对有关的权重系数进行调整, 从而使长期记忆得以改变。这造成一种自适应谐振（adaptive resonance）状态, 这就是ART这个名称的来源。需要指出, 上面给出的（1）和（2）两项运算, 其运算速度相对而言是快的, 在运算时只有F1和F2这两个STM层的输出发生变化, 而LTM层中的系数不产生改变。当进入自适应谐振状态时（即进入第（3）项运算时）LTM层中的有关系数才发生变化。这类似于人的记忆过程, 当输入一个观察矢量时, 大脑必须在已有的记忆内容中搜索与之相似的矢量, 如果得到了印证, 那么对其记忆就会加强。另一方面, 如果输入的是一个完全新奇的矢量, 这也会造成深刻的印象并被植入长期记忆库之中。

自组织神经网络概述

自组织神经网络概述

针对自组织神经网络的计算密集型特 性，硬件加速技术如GPU、FPGA等 正被广泛应用于提升自组织神经网络 的计算效率和实时性。
大规模数据的应用
随着大数据技术的不断发展，自组织 神经网络在大规模数据上的应用也日 益广泛，能够从海量数据中提取有用 的特征和模式。
未来展望
01
更高效的自组织学习机制
未来的研究将致力于开发更高效、更灵活的自组织学习算法，以适应不
它利用神经元之间的连接权重进 行学习，使得相似的输入数据能 够被映射到相近的神经元输出。
自组织映射能够自动识别输入数 据的内在结构和规律，从而对数
据进行分类、聚类和可视化。
竞争学习
01
竞争学习是自组织神经网络中 的一种重要机制，通过竞争的 方式选择最佳的神经元来表示 输入数据。
02
在竞争过程中，每个神经元根 据其与输入数据的相似度进行 响应，相似度最高的神经元将 获得胜利并更新其连接权重。
它不需要预先定义输入数据的类别或 结构，而是通过学习输入数据的内在 规律和模式，自动对数据进行分类或 聚类。
自组织神经网络的应用场景
图像识别
语音识别
自组织神经网络可以用于图像识别任务， 自动提取图像中的特征并进行分类。
在语音识别领域，自组织神经网络可以用 于自动提取语音中的特征，提高语音识别 的准确率。
总结词
通过最小化预测误差的方式，学习输入样本的映射关系，用于预测和函数逼近。
详细描述
回归型自组织神经网络采用最小化预测误差的规则，通过调整神经元权重，使得 神经元的输出能够逼近输入样本的目标值。这种类型的自组织神经网络常用于时 间序列预测和函数逼近。
概率型自组织神经网络
总结词
基于概率密度函数，学习输入样本的概 率分布，用于概率建模和异常检测。

自组织神经网络

自组织神经网络

❖
PR
- Rx2 矩阵确定输入范围
❖
Di
- 第i层神经元个数,缺省为5× 8
❖ TFCN
- 拓扑函数,缺省为 'hextop'.
❖ DFCN
- 距离函数,缺省为 'linkdist'.
❖
OLR
- 排序阶段学习率,缺省为0.9.
❖ OSTEPS - 排序阶段最大学习步骤,缺省为1000.
❖
TLR
- 调整阶段学习率,缺省为0.02;
例：LVQ网络的设计
❖ 设定输入样本和期望输出 ❖ 构建并设置网络参数 ❖ 根据训练样本对网络进行训练 ❖ 用训练样本测试网络 ❖ 用新样本测试网络 ❖ 讨论比例的影响
小结
❖ 何谓自组织：没有答案的学习
❖ 自组织竞争神经网络的基本概念
神经元：输入与权值的负距离加上阈值 网络结构：竞争网络 学习方法：Kohonen和阈值学习规则 用途：聚类
❖
TND
- 调整阶段最大学习步骤,缺省为1
例八：SOFM网络的构建和训练
❖ 构建网络 ❖ 设置训练样本 待聚类样本 ❖ 观察训练前网络的状态 ❖ 根据样本进行训练
排序阶段 粗调 调整阶段 细调
❖ 观察训练后网络的状态
例九：一维SOFM网络设计
❖ 输入为二维向量,神经元分布为一维 ❖ 将二维空间的特征映射到一维拓扑结构 ❖ 步骤
* IW 1 ,1 ( q 1 )
若分类不正确：
修正第 i个神经元的权值更远离
该样本
i i － ( p ( q ) i ) * IW 1,1 ( q )
* IW 1 ,1 ( q 1 )
* IW 1 ,1 ( q 1 )

四章自组织神经网络共71页文档

四章自组织神经网络共71页文档

20
48.5 -75
x5
训练 次数
1
W1
W2
18.43 -180
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 -130 34 -100 44 -100
11
40.5 -100
W j(t1)W ˆj(t)
jj*
步骤3完成后回到步骤1继续训练，直到学习率 衰减到0。
竞争学习的几何意义
☻*
*
*
*
竞争学习的几何意义
* Wˆ1
┆
** Wˆ j*
W (t) h(t)[ Xˆ p (t) Wˆ j* (t)]
*
Wˆ j* (t 1)
Xˆ p(t)
Wˆ j
Wˆ m
x3
2
-30.8 -180
3
7 -180
x1
4
-32 -180
5
11 -180
6
24 -180
7
24 -130
w2
w1
8 9
10
34 -130 34 -100 44 -100
11
40.5 -100
12
40.5 -90
13
43 -90
14
43 -81
向量归一化之后
* *
*
* *
竞争学习原理
竞争学习规则——Winner-Take-All
2.寻找获胜神经元 当网络得到一个输入模式向量时， 竞争层的所有神经元对应的内星权向量均与其进行相 似性比较，并将最相似的内星权向量判为竞争获胜神 经元。

第5章自组织竞争网络

第5章自组织竞争网络
训练前先对竞争层权向量随机初始化。初始状态，单位圆上 的“*”是随机分布的。前已证明，两个向量的点积越大，两者 越近似，因此以点积最大获胜的神经元对应的权向量应最接近 当前输入模式。从图，如果当前输入模式用“o”表示，单位圆 上各“*”点代表的权向量依次同“o”点代表的输入向量比较
距离，结果是离得最近的那个*获胜。
人工神经网络及应用
第五章 自组织竞争神经网络
主讲 何东健
人获得大量知识常常是靠“无师自通”，即通过 对客观事物的反复观察、分析与比较，自行揭示其 内在规律，并对具有共同特征的事物进行正确归类。
自组织神经网络的无导师学习方式类似于大脑中 生物神经网络的学习，其最重要的特点是通过自动 寻找样本中的内在规律和本质属性，自组织、自适 应地改变网络参数与结构。
将上式展开，并利用单位向量的特点，可得
可见，欲使两单位向量的欧式距离最小，须使两
向量的点积
最大。
(3)网络输出与权值调整
算法规定，获胜神经元输出为1，其余输出为0。
即只有获胜神经元才有权调整其权向量wj，调整后权向 量为
α∈(0，1]为学习率，其值随着学习的进展而减小。可 以看出，当j≠j*时，权值得不到调整，实质是“胜者” 对它们进行了强侧抑制，不允许兴奋。
获胜神经元有最大权值调整 量，邻近神经元有稍小调整 量，距离越大，权的调整量 越小，到某一距离R时，调 整量为0。距离再远，调整 量略负，更远时又回到0
由a中2个曲线合成 墨西哥帽函数 与生物系统相似 但计算复杂
大礼帽函数
厨师帽函数
4.2.3 SOFM网的运行原理与学习算法
1．运行原理: 训练和工作两个阶段。 训练阶段:随机输入样本。对某个输入模式，输出层 会有某个神经元获胜。获胜神经元周围的神经元因侧 向相互作用也产生较大响应，于是获胜神经元及其优 胜邻域内神经元所连接的权向量均向输入向量的方向 根据距离作程度不同的调整。大量样本调整网络的权 值，最后使输出层各神经元成为对特定模式类敏感的 神经细胞，对应的内星权向量成为各输入模式类的中 心向量。当两个模式类的特征接近时，代表这两类的 神经元在位置上也接近。从而在输出层形成样本模式 类分布情况的有序特征图。

自组织神经网络

自组织神经网络

自组织网络在竞争层神经元之间的连 线，它们是模拟生物神经网络层内神经元 相互抑制现象的权值，这类抑制性权值满 足一定的分布关系，如距离近的抑制强， 距离远的抑制弱。
这种权值（或说侧抑制关系）一般是 固定的，训练过程中不需要调整，在各类 自组织网络拓朴图中一般予以省略。（不 省略时，也只看成抑制关系的表示，不作 为网络权来训练）。
最强的抑制关系是竞争获胜者“惟我独兴”，不允许其它神经元兴 奋，这种抑制方式也称为胜者为王。
4.1.1.4 向量归一化 不同的向量有长短和方向区别，向量归一化的目的是将向量变成方向
不变长度为1的单位向量。单位向量进行比较时，只需比较向量的夹角。
X向量的归一化： Xˆ X [ x1
X
n
x2j
j
x2 xn ]T
当 j j* 时，对应神经无的权值得不到调整，其实质是“胜者”对它们 进行了强测抑制，不允许它们兴奋。
应注意，归一化后的权向量经过调整后得到的新向量不再是单位向 量，需要重新归一化。步骤（3）完成后回到步骤（1）继续训练，直到 学习率 衰减到零。
4.2自组织特征映射（SOM）神经网络
4.2.1SOM网络的生物学基础
若25个神经元排列成5×5二维格栅拓扑结构,第13神经的指定优胜域 半径的区域内神经元为:
d=1
d=2
（7）令t=t+1,返回步骤（2）
（8）结束检查 判断η(t)是否衰减到某预定精度或判断t=T.
Kohonen学习算 法程序流程
4.2.4 SOM网络的功能 SOM网络的功能特点之一是：保序映射，即能将输入 空间的样本模式类有序地映射在输出层上。
若输入模式未归一化，可计算欧式距离，找出距离最小的为获胜节点。
（4）调整权值 以j*为中心，对优胜域Nj*(t)内的所有节点调整权值：

自组织竞争网络

自组织竞争网络

1、自组织竞争神经网络构建（1）生成自组织竞争网络=(,,,)net newc PR S KLR CLRR⨯维矩阵。

PR：由R维的输入样本最小最大值构成的2S：竞争层神经元个数KLR：学习率，默认0.01（2）网络训练=[,,,,,] (,,,,,,)net tr Y E Pf Af train net P T Pi Ai VV TV（3）网络仿真Y Pf Af E perf sim net P Pi Ai T=[,,,,] (,,,,)例1：clear;clc;P = [ 0.9285 0.6131 0.8340 0.5159 0.8378 0.6061 0.8924 0.1694 1.0035 0.6021 0.9060 0.4922 0.7868 0.6781 ...0.8498 0.1563 0.9909 0.6714 0.9508 0.4555 0.7412 0.5626 0.8816 0.1872 0.8416 0.5563 0.9167 0.4860 ...0.8404 0.6145 0.9218 0.2310 0.9715 0.6434 0.8933 0.4849 0.8025 0.5417 0.9277 0.2484 0.9813 0.6539 ...0.9019 0.4061 0.8755 0.6349 0.8900 0.1984 0.9892 0.56580.8319 0.5058 0.8378 0.6165 0.8745 0.1170 ...1.0238 0.5460 0.8349 0.4434 0.8278 0.5570 0.9087 0.1103 0.9507 0.6471 0.8418 0.4709 0.8783 0.5508 ...0.9053 0.2012 0.9228 0.5945 0.8486 0.4505 0.8457 0.6079 0.9178 0.1459; ...0.1479 0.5004 0.8216 0.0166 0.4534 0.8282 0.8474 0.4114 0.2341 0.4444 0.6953 0.0997 0.4876 0.7123 ...0.7668 0.4402 0.2667 0.5194 0.7020 0.0107 0.4576 0.8627 0.7646 0.3596 0.2282 0.5167 0.8467 -0.0137 ...0.3942 0.7895 0.7223 0.3120 0.2759 0.5149 0.7960 0.0057 0.4299 0.7802 0.7539 0.3882 0.2711 0.4364 ...0.7740 -0.0186 0.4381 0.7963 0.7102 0.3582 0.2596 0.4727 0.6520 -0.0074 0.4564 0.7417 0.7195 0.3529 ...0.2339 0.4839 0.6946 0.0662 0.4775 0.7689 0.6775 0.4523 0.1989 0.4976 0.8291 0.0924 0.4105 0.7883 ...0.6960 0.4801 0.1888 0.5191 0.7020 0.0152 0.4149 0.7702 0.8150 0.3383];figure;plot(P(1,:),P(2,:),'+r');%初始数据分布图net = newc(minmax(P),6);%初始化一个自组织竞争网络，输出层有两个神经元，聚合成6类 W = net.IW{1}%未训练之前的网络权值 hold on;circles = plot(W(:,1),W(:,2),'ob');%初始权值位于向量空间重心net = train(net,P);net.trainParam.epochs=700; W=net.IW{1}; delete(circles);plot(W(:,1),W(:,2),'ob');a = sim(net,P) ac = vec2ind(a)b = [0;0.2] bc = sim(net,b)练习：1、从12个不同地区测得了某树种的平均发芽率1x 与发芽势2x ，数据见下表，对这些数据进行聚类。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
20 2013-8-6
– 输入矢量的模已被单位化为1，所以内星的加权输入和等于输 入矢量p1和p2之间夹角的余弦
2.3 网络训练
根据不同的情况，内星的加权输入和可分为如
下几种情况
–p2等于p1，即有θ12＝0，此时，内星加权输入和为1 –p2不等于p1，内星加权输入和为<1 –p2＝-p1，即θ12＝180°时，内星加权输入和达到最 小值-1
15 2013-8-6
2.2 竞争网络原理
竞争网络解释 –设网络的输入矢量为：P＝[ p1 p2 … pr]T –对应网络的输出矢量为：A＝[a1 a2 … as]T –由于竞争网络中含有两种权值，所以其激活函数的 加权输入和也分为两部分：来自输入节点的加权输 入和N与来自竞争层内互相抑制的加权输入和G。对 于第i个神经元有
人工神经网络及其应用
第6讲 自组织网络
何建华 电信系，华中科技大学
2003年3月11日
内容安排
一、自组织神经网络 二、自组织竞争网络 三、科荷伦网络 四、自适应共振网络 五、内容小结 六、考试事宜
2 2013-8-6
一、自组织神经网络
1.1 自组织网络特点 1.2 网络类型 1.3 网络学习规则
2.1 网络模型
网络工作方式
–输入矢量经过网络前向传递 –网络竞争
• 激活函数为硬限制二值函数 • 竞争网络的激活函数使加权输入和为最大的节点赢得输出 为1，而其他神经元的输出皆为0(?)
–权值调整（可以处于训练与工作期间）
• 竞争网络在经过竞争而求得获胜节点后，则对与获胜节点 相连的权值进行调整 • 调整权值的目的是为了使权值与其输入矢量之间的差别越 来越小，从而使训练后的竞争网络的权值能够代表对应输 入矢量的特征
节点只响应特定的输入矢量P，它借助于调节 网络权矢量W近似于输入矢量P来实现的
单内星中对权值修正的格劳斯贝格内星学习规则为
内星神经元联接强度的变化Δw1j与输出成正比的。
– 如果内星输出a被某一外部方式而维护高值时，通过不断反复 地学习，趋使Δw1j逐渐减少，直至最终达到w1j＝pj，从而使 内星权矢量学习了输入矢量P，达到了用内星来识别一个矢量 的目的 – 另一方面，如果内星输出保持为低值时，网络权矢量被学习 的可能性较小，甚至不能被学习
21 2013-8-6
训练结果 –当多个相似输入矢量输入内星，网络的权矢量趋向 于相似输入矢量的平均值 –对于一个已训练过的内星网络，当输入端再次出现 该学习过的输入矢量时，内星产生1的加权输入和 –而与学习过的矢量不相同的输入出现时，所产生的 加权输入和总是小于1
2.3 网络训练
竞争网络的学习和训练过程，实际上是对输入矢量的
• 来自输入节点的加权输入和为 • 来自竞争层内互相抑制的加权输入和为
16 2013-8-6
2.2 竞争网络原理
对于第i个输出神经元 –假设竞争获胜，则有
• 从而
–如果竞争后第i个节点“输”了，而“赢”的节点 为l，则有
17 2013-8-6
2.2 竞争网络原理
所以对整个网络的加权输入总和有下式成立 –sl=nl+wll 对于“赢”的节点l –si=ni-|wii| 对于所有”输“的节点i＝1，2…s， i≠l
划分聚类过程，使得获胜节点与输入矢量之间的权矢 量代表获胜输入矢量 竞争网络的输入层节点r由已知输入矢量决定的。但竞 争层的神经元数s由设计者确定，一般情况下，可根据 输入矢量的维数及估计，再适当地增加些数目来确定。
22 2013-8-6
2.4 局限性
竞争网络比较适合用于具有大批相似数组的分
–内星可以被训练来识别矢量 –外星可以被训练来产生矢量
6 2013-8-6
基本学习规则 –内星学习规则 –外星学习规则 –科荷伦学习规则
1.3.1 内星与外星
内星通过联接权矢量W接受一组输入信号P
7 2013-8-6
外星通过联接权矢量向外输出一组信号A
1.3.2 内星学习规则
可以通过内星及其学习规则可训练某一神经元
由此可以看出，经过竞争后只有获胜的那个节
点的加权输入总和为最大 竞争网络的输出为
18 2013-8-6
因此判断竞争网络节点胜负的结果时，可直接采用ni
2.3 网络训练
竞争网络修正权值的公式为
– 式中lr为学习速率，且0＜lr＜1，一般的取值范围为0.010.3； pj为经过归一化处理后的输入
3 2013-8-6
1.1 自组织网络特点
特点 –自组织神经网络可以自动向环境学习，不需要教师 指导；而前面所讲到的前向网络、反馈网络均需要 教师指导学习 –与BP网络相比，这种自组织自适应的学习能力进一 步拓宽了人工神经网络在模式识别、分类方面的应 用 思想基础 –生物的神经网络中，如人的视网膜中，存在着一种 “侧抑制”现象，即一个神经细胞兴奋后，通过它 的分支会对周围其他神经细胞产生抑制 –借鉴上述思想，自组织网络能够对输入模式进行自 组织训练和判断，并将输入模式分为不同的类型
4 2013-8-6
1.2 网络类型
需要训练 –自组织竞争网络
• 适用与具有典型聚类特性的大量数据的辨识
–Kohunen网络
• 训练学习后使网络权值分布与输入样本概率密度分布相似 • 可以作为样本特征检测仪，在样本排序、样本分类及样本 检测方面有广泛应用
–对传网络（Counter Propagation Network）
层中每个最接近输入矢量的神经元，通过每次权值调
整而使权值矢量逐渐趋于这些输入矢量。从而竞争网 络通过学习而识别了在网络输入端所出现的矢量，并 将其分为某一类
19 2013-8-6
2.3 网络训练
举例 –考虑当不同的输入矢量p1和p2分别出现在同一内星 时的情况 –为了训练的需要，必须将每一输入矢量都进行单位 归一化处理 –当第一个矢量p1输入给内星后，网络经过训练，最 终达到W＝(p1)T。 –给内星输入另一个输入矢量p2，此时内星的加权输 入和为新矢量p2与已学习过矢量p1的点积
4.1 网络简介 4.2 网3-8-6
4.1 网络简介
传统神经网络遇到的问题
– 在样本数据训练的过程中，无论是监督式还是无监督式的训 练，均会出现对新模式的学习，时刻面临着新知识的学习记 忆荷对旧知识的退化忘却的问题
• 在监督式的训练情况下，使网络逐渐达到稳定的记忆需要通过反 复训练，从而对已学习过的模式的部分甚至是全部的忘却 • 在无监督情况下，对新的数据的学习同样会产生对某种已经记忆 的典型矢量的修改，造成对已学习数据的部分忘却
类问题 竞争学习网络的局限性
– 竞争网络适用于当具有典型聚类特性的大量数据的 辨识 – 当遇到大量的具有概率分布的输入矢量时，竞争网 络就无能为力了，这时可采用科荷伦网络来解决此 类问题
23 2013-8-6
三、科荷伦网络
3.1 设计思想 3.2 网络模型 3.3 网络训练
24 2013-8-6
30 2013-8-6
–ART1处理双极性（或二进制）数据 –ART2处理连续数据
4.2 ART1网络结构
ART1由两层神经元以及一些控制信号相互结合
而成
31 2013-8-6
4.2 网络结构
从输入矢量到输出矢量的作用部分被称为识别
层或R层（R－Recognition） 从输出A作为输入返回到输入的层称为比较层 或C层（C－Comparison） 从结构上讲
3.2 网络模型
科荷伦网络结构也是两层：输入层和竞争层
竞争层可以由一维或二维网络矩阵方式组成，
且权值修正的策略也不同 – 一维网络结构与基本竞争学习网络相同 – 二维网络结构
26 2013-8-6
3.3 网络训练
神经元领域概念
权值调整范围 –逐层递减
27 2013-8-6
四、ART神经网络
理想情况
– 能够学会新的知识，同时对已学过的知识没有不利影响 – 在输入矢量特别大的情况下，很难实现。通常只能在新旧知 识的取舍上进行某种折衷，最大可能地接受新的知识并较少 地影响原有知识
29 2013-8-6
4.1 网络简介
自适应共振理论(Adaptive Resonance Theory,
–R层为一个竞争网络，具有s个节点，它代表了对输 入模式的分类。该节点数能够动态地增长，以满足 设立新模式地需要。 –C层为一个Grossberg网络
32 2013-8-6
4.3 运行过程
将网络的训练与工作与工作过程有机技结合在一起
– 自C层流向R层的识别阶段：输入新的矢量P，通过竞争得出输 出A – 自R层流向C层的比较阶段
ART)网络可以较好地解决前述问题
–网络和算法具有较大地灵活性，以适应新输入的模 式，同时极力避免对网络先前学习过地模式的修改 –记忆容量可以随样本的增加而自动增加，可以在不 破坏原记忆样本的情况下学习新的样本
ART是美国波士顿大学的A. Carpenter和
Grossberg提出。具有两种形式
8 2013-8-6
1.3.3 外星学习规则
外星网络的激活函数是线性函数。它被用来学习回忆
一个矢量，其网络输入P也可以是另一个神经元模型的 输出 外星被训练来在一层s个线性神经元的输出端产生一个 特别的矢量A 对于一个外星，其学习规则为
9 2013-8-6
与内星不同，外星联接强度的变化Δw是与输入矢量P成正比的 – 当输入矢量被保持高值，比如接近1时，每个权值wij将趋于输出ai值， 若pj＝1，则外星使权值产生输出矢量 – 当输入矢量pj为0时，网络权值得不到任何学习与修正
• 按照一定地规则来确定这个新输入是否属于网络衷已经记忆地模 式类别，判别标准为新输入模式与所有已记忆模式之间相似程度 • R＝F（WP＋B） • 如果R>0,按照科荷伦学习规则修改竞争层权值以使该类权值更加 接近于新输入模式 • 如果R=0,在网络中设立一个新模式，用以代表和记忆新模式，并 将其归结为已有的代表类别，成为R层的一个新的输出节点，作 为以后可能输入的代表模式