第14章 竞争网络

有时这种在快速学习和稳定性之间的折中能够 带来好处。初始训练对于快速学习可以用大的学 习速度来完成。然后学习速度可以随着训练的进 程而逐渐减少，以达到稳定的原型向量。令人遗 憾的是如果网络需不断地对输入向量的新排列作 出调整的话，这种技术就不起作用了。 当簇彼此很靠近的时候，一种更为严重的稳定 性问题产生了。在特定的情况下，一个形成某簇 原型的权值向量会“侵入”另一个权值向量的领 地，从而破坏目前的分类状况。
每当一个向量被提交，具有最近权值向量的那个 神经元将竞争获胜。获胜神经元及其邻域内的神 经元将移动它们的权值向量从而离输入向量更近 一些。本例中我们使用的邻域半径为1 。 权值向量有两个趋势：首先，它们随着更多的输 入向量被提交而分布到整个输入空间。其次，它 们移向邻域内的神经元。这两个趋势共同作用使 神经元在那一层重新排列，从而最终输入空间得 到分类。
正如Hamming网络那样，原型向量存储于W 矩阵的每行之中，净输入n计算输入向量p和原每 个原型 之间的矩离（假设向量归格化长度为 L）。每个神经元i的净输入ni和p与原型向量 之 间的夹角 成正比：
竞争传输函数对权值向量与输入向量方向最 为接近的神经元的输出指定为1：
1.竞争学习
我们希望有一个学习规则，在不知道原型向量的情 况下用来训练竞争网络的权值。其中一个这样的 学习规则是第13章讨论的instar规则：
图14-18展示了特征图的初始权值向量，每个三 元素权值向量都用球体上的一个点表示（权值已 经规格化，都能够落在球面之上）。邻域内的神 经元都用线连接起来，因而可以看到拓扑结构在 输入空间中是如何安排的。 图14-19展示了一个球面上的方形区域。我们将 从这个区域中随机抽取向量，以提交给特征图。
14.2.4 自组织特征图
SOFM网络 邻域
为了模仿生物学系统的活 跃区，并且不必实现非线性的加强中心/抑制周围 的反馈联结， Kohonen作了如下的简化设计。自 组织特征图（SOFM）网络首先使用竞争层所用 的同一过程来决出获胜的神经元 ；然后，在获 胜神经元周围一定范围内的所有神经元的权值向 量用Kohonen规则更新，
图14-11中的4个图说明了这个问题。两个输入向量 （图（a）中用空心圆圈表示）被提交了几次。 结果是代表中间和右边簇的权值向量移向了右边。 最后右边簇的一个向量被中心权值向量重新分类。 进一步的提交向量使中间向量移向右边，直到它 “丢失”了一些它的向量才停止，这些丢失的向 量成为左边权值向量所代表的类的一部分。
其中邻域 包含所有落在以获胜神经元 中心，半径为d的所有神经元的下标：
为
当向量p被提交，获胜神经元的权值和其邻域 内的神经元的将向p移动。结果是多次提交结束 之后，邻域内的神经元将通过学习而拥有彼此相 像的学习向量。 为了展示邻域的概念，请考虑图14-16种的两 幅图。左边的说明围绕神经元13，半径为1 的二 维邻域；右边的图表示半径为2的邻域。
14.2.3 生物学意义上的竞争层
在生物的神经网络中，神经元的典型情况是排 列成二维层次，它们通过横向反馈密集地联结在 一起。图14-13展示了以二维网络形式组织的25 个神经元。
通常权值是联结的神经元之间的距离的函数。 例如， Hamming网络第二层的权值定义如下 （14.19）
等式（14.20）与等式（14.19）定义了同样的 值，只是基于神经元之间的距离
这两个邻域的定义如下：
我们必须提及的是SOFM中的神经元不必排列成 二维的形式，一维或者三维甚至多维的排列都是 可能的。对于一维的SOFM，神经元在半径为1时 只有2个邻域（当该神经元位于线之端点时只有 一个邻域）。当然也可以用不同的方法来定义距 离，例如Kohonen为了更有效地实现曾建议使用 矩形或六边形的邻域。神经网络的性能对邻域的 确切形状并不敏感。 现在我们演示SOFM神经网络是如何工作的。图 14-17表示一个特征图以及其神经元的二维拓扑 结构。
墨西哥草帽函数 这种转变见图14-15中的左图。
这是一种将神经元之间的距离与连接他们的权值 相联系起来的函数。那些近似的神经元提供互相 加强的连接，并且激励的幅度随着距离的增加而 降低。超过一定距离，神经元将呈现一种抑制性 联结，并且抑制随着距离的增加而增加。因为这 个函数的形状，它被称为墨西哥草帽函数。 图14-15中的右图是墨西哥草帽（加强中心/ 抑制周围）函数的一个二维图示，每个神经元i都 被标以符号及表示它到神经元j的权值的相对强 度 。
14.2.2 竞争层
竞争 Hamming网络的第二层的神经元激活自己 而抑制所有其他神经元，这就叫做竞争。 为了简化本章余下部分的讨论，我们将定义 一个传输函数，来作一个递归竞争层所做的工作： 它找到最大净输入的神经元的下标，并将其 输出设置为1。所有其他的输出都设置为0。
用一个作用于第一层的竞争传输函数代替 Hamming网络的递归层，将简化此章的讨论。竞 争层如图14-2所示。
对于竞争网络：a只对竞争获胜神经元是非零的。 因此产生Kohon入向量有最大内积的行）向输入向量移动。 它沿着权值矩阵原有行与输入向量之间的连线移 动，如图14-3所示。
现在用图14-4的6个向量来演示竞争层如何学习 分类向量。6个向量为：
第14章 竞争网络
14.1 目的
第3章所介绍的Hamming网络，展示了一种 用神经网络进行模式识别的技术，这种技术需要 事先知道原模型并且将原型模式以权值矩阵的行 和网络相结合。 本章将讨论一些在结构上以及操作上都与 Hamming网络极为相似的网络。
14.2 理论和实例
Hamming网络是竞争网络中最简单的例子。 它的输出层神经元相互竞争以确定胜者。胜者将 指出哪一种原型模式最能代表输入模式。这种竞 争是通过在输出层神经元之间一组负连接（即侧 向抑制）来实现的。 早在1959年，Frank Rosenblatt就创造了一种 简单的“自发”分类器，这是种基于感知机的无 监督的神经网络。这种网络能够学会将输入的矢 量分类成数目大致相等的两类。
图14-14展示了等式（14.20）或式（14.19） 所定义的权值。每个神经元i都标以权值 ，即从 它到神经元j的权值。
加强中心/抑制周围
加强中心/抑制周围常被 用来描述如下神经元之间的一种联结方式：每个 神经元加强自身（中心），并且同时抑制周围的 神经元。 这是生物学竞争层中的一种天然的近似。在生物 学中，大神经元不仅加强自己，同时也加强接近 它的那些神经元。一般情况下，随着神经元之间 的距离增加，从加强到抑制的转变是平滑地出现 的。
14.2.1 Hamming网络
既然本章所讨论的竞争网络与Hamming网络 (见图14-1)紧密相关，所以先回顾一下Hamming 网络的一些主要概念。
Hamming网络由两层组成。第一层将 输入向量与原型向量联系起来。第二层采 用竞争方式决定哪种原型向量最接近输入 向量。 1.第一层 从第3章知道， Hamming网络一个神经元 只能够识别一种模式。为了能够识别多种 模式，就必须有多种神经元。
第三个问题是有时一个神经元的初始权值向量 离输入向量太远以至于它从未在竞争中获胜，因 此从来也得不到学习。这将产生一个毫无用处的 “死”神经元。例如图14-12无论以什么次序把 向量提交给网络，向下指的那个权值向量永远都 得不到学习。
这个问题的一个解决办法是给每个神经元的 净输入加入一个负的偏置值。每次那个神经元竞 争获胜则将偏置值减少。这将使一个经常竞争获 胜的神经元获胜的机会减少。这种机制有时叫做 “良心”。 最终，一个竞争层有多少个神经元，就能够 有多少个类。这对于某些应用将无法适用，尤其 在事先并不知道簇的个数的时候。此外，对于竞 争层，每个类在输入空间之中都含有一个凸区域。 当在非凸区域或类是由不连接的区域所组成的时 候，竞争层不能形成类。
这个问题足够简单，以至能够预计哪个 权值向量将指向哪个簇。最终的权值向量 将会如图14-7种所示。
一旦神经网络学会了如何将输入向量分类， 那么对于新向量它也将同样分类，如图14-8所示。 阴影表示每个神经元将作出响应的区域。竞争层 通过使权值向量最接近输入向量p的神经元的输 出为1为每个输入向量p指定给这些类中的一个。
2.第2层
第二层是竞争层。这一层的神经元用前馈 层的输出初始化，这些输出指明了原型模 型与输入向量的相互关系。然后神经元相 互竞争以确定胜者。竞争过后，只有一个 神经元有非零输出。获胜的神经元指明输 入属于哪类（每个原型向量代表一个类）。
第一层的输出 用来初始化第二层： 然后第二层的输出用如下递规关系更新：
假设要让网络识别以下原型向量： 第一层的权值矩阵为 ，偏置向量
是
矩阵 的每一行都代表我们想要识别的一种原型 向量， 的每个元素都设为等于每个输入向量的 元素个数R（神经元个数S等于将识别的原型向量 的个数Q）。
第一层的输出是
注意：第一层的输出等于原型向量与输入的内积 再加上R。正如我们在第3章3.2.3节讨论的那样， 这些内积表明原型向量与输入向量之间的接近程 度。
我们的竞争网络有3个神经元，因而它可以将向 量分成3类。下面是“随机”选择的规格化初始 权值：
数值向量如图14-5所示，其中权值向量用箭 头表示。我们将p2提交给网络：
第2个神经元的权值向量与p2最接近，因而它竞 争获胜 ，且输出为1。现在应用Kohonen 学习规则，其中学习速度 。
Kohonen学习规则将 已接近至 ， 正如图14-6所示。如果不断随机选择输入 向量并且将它们输入网络，那么每次迭代 与输入向量最近的权值向量与将会向输入 向量移动。最终每个权值向量将指向输入 向量的不同簇。每个权值向量会变成不同 的簇的原型向量。
在本章我们集中讨论Kohonende竞争框架， 他的模型体现了竞争网络的主要特征，而且也比 Grossberg的网络在数学上更易处理。这些网络 为竞争学习提供了良好的说明。 我们将从简单的竞争网络开始。然后将结合网 络拓扑结构讲解自组织特征图。最后将讨论学习 向量量化。它将竞争和有监督的学习框架结合起 来。