人工神经网络复习题解读

《神经网络原理》 一、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：（1）、信息分布存储和容错性。 （2）、大规模并行协同处理。 （3）、自学习、自组织和自适应。 （4）、人工神经元网络是大量的神经元的集体行为，表现为复杂的非线性动力学特性。 （5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？

答：在图（1）中，有两个平衡状态a、b，其中，在a点曲线斜率|F’(X)|>1，为非稳定平稳状态；在b点曲线斜率|F’(X)|<1，为稳定平稳状态。 在图（2）中，有一个平稳状态a，且在该点曲线斜率|F’(X)|>1，为非稳定平稳状态。

X F(X) 0 a b (1) X F(X) 0 a (2) 5、对于单个神经元的离散模型，Hebb学习假设是什么，基本学习方程是什么？ 答：对于单个神经元的离散模型，Hebb学习假设是：只有当神经元兴奋时，与其连接的突触结合权才被强化而增大；当两个神经元同时处于兴奋状态时，它们之间的连接权应该加强。 基本学习方程是：jiijijijxynwnww)()1( 6、联想形式中的自联想和异联想有何区别？ 答：自联想指的是由某种代表事物（或该事物的主要特征或可能是部分主在特征）联想到其所表示的实际事物。其数学模型为：当输入X＝X0+V时，输出Y=X0。异联想指的是由某一事物（或该事物的主要特征或可能是部分主在特征）联想到与其相关的另一事物。其数学模型为：在映射X0→Y0下，当输入X＝X0+V时，输出Y=Y0。 7、网络的稳定吸引子和吸引子的吸引域分别指什么？ 答：当t=0时，对网络输入模式x，网络处于状态v(0)，到时刻t网络达到状态v(t)，若v(t)稳定，则称v(t)为网络的稳定吸引子。 吸引子的吸引域是指所有经过一定时间能够稳定在吸引子v(t)上的所有初始状态的集合。 三、论述题 1、 前馈式神经元网络与反馈式神经元网络有何不同？ 答：（1）、前馈型神经元网络取连续或离散变量，一般不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系。反馈式神经元网络可以用离散变量也可以用连续取值，考虑输出与输入之间在时间上和延迟，需要用动态方程来描述系统的模型。 （2）、前馈型网络的学习主要采用误差修正法（如BP算法），计算过程一般比较慢，收敛速度也比较慢。而反馈型网络主要采用Hebb学习规则，一般情况下计算的收敛速度很快。 反馈网络也有类似于前馈网络的应用，例如用作联想记忆或分类，而在优化计算方面的应用更能显出反馈网络的特点。 2、 试述离散型Hopfield神经元网络的结构及工作原理。 （1） Hopfield神经元网络的结构如下： ① 这种网络是一种单层网络，由n个单元组成。 ②每个神精元既是输入单元，又是输出单元；各节点一般选用相同的转移函数，且为符号函数，即： ③ 为网络的输入； 为网络的输出； 为网络在时刻t 的状态，其中t∈{0，1，2，···} 为离散时间变量。 ④Wij为从Ni到Nj的连接权值，Hopfield网络为对称的即有Wij = Wji 。

)sgn()()()(21xxfxfxfnn

nyyyyy1,1),,,,(21

n

ntvtvtvtvtv1,1)()),(,),(),(()(21

n

nxxxxx1,1),,,,(21 （2）、工作原理： ①、网络经过训练后，可以认为网络处于等待工作状态，对网络给定初始输入x时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络的下一个输出状态。 ②、这个输出状态通过反馈回送到网络的输入端，作为网络下一个阶段的输入信号，这个输入信号可能与初始输入信号不同，由这个新的输入又可得到下一步的输出,如此重复。 ③、如果网络是稳定的，经过若干次反馈运行后网络将会达到稳态。 ④、Hopfield网络的工作过程可用下式表示：

N1 N2 Nn-1 Nn x1 x2 xn-1 xn y1 y2 Yn-1 yn … V1(t)

V2(t) Vn-1(t) Vn(t)

w21

Wn-1 2

))(()1()0(1jniiijjjjjtvwftvxv研究生神经网络试题A卷参考答案 一、名词解释(共5题，每题5分，共计25分) 1、泛化能力 答：泛化能力又称推广能力，是机器学习中衡量学习机性能好坏的一个重要指标。泛化能力主要是指经过训练得到的学习机对未来新加入的样本（即测试样本）数据进行正确预测的能力。

2、有监督学习 答：有监督学习又被称为有导师学习，这种学习方式需要外界存在一个“教师”，她可以对一组给定输入提供应有的输出结果，学习系统可根据已知输出与实际输出之间的差值来调节系统参数。

3、过学习 答：过学习（over-fitting），也叫过拟和。在机器学习中，由于学习机器过于复杂，尽管保证了分类精度很高（经验风险很小），但由于VC维太大，所以期望风险仍然很高。也就是说在某些情况下，训练误差最小反而可能导致对测试样本的学习性能不佳，发生了这种情况我们称学习机（比如神经网络）发生了过学习问题。典型的过学习是多层前向网络的BP算法

4、Hebb学习规则 答：如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。如果用iv、jv表示神经元i和j的激活值(输出)，ij表示两个神经元之间的连接权，

则Hebb学习规则可以表示为： ijijwvv ，这里表示学习速率。Hebb学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb学习规则的变形。

5、自学习、自组织与自适应性 答：神经网络结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算而且存储与处理一体化的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。能力方面的特征是神经网络的自学习、自组织与自性适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习与自组织两层含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。也就是说自组织神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。

二、问答题（共7题，每题8分，共计56分） 3、人工神经网络是模拟生物神经网络的产物，除相同点外，它们还存在哪些主要区别？

答; 1．单元上的差别 对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元则忽略了这些影响，输入、输出关系十分简单。 2．信息上的差别 生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。 3．规模与智能上的差别 目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。

4、感知器神经网络存在的主要缺陷是什么？ 答: 1)由于感知器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以

只能用它来解决简单的分类问题； 2)感知器仅能够线性地将输入矢量进行分类。理论上已经证明，只要输人矢量是线性可分的，感知器在有限的时间内总能达到目标矢量； 3)感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。

5、请比较前馈型神经网络与反馈型神经网络的异同点。（8分） 答：前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型

神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神