人工神经网络复习题解读

1. 试比较BP 学习算法与感知机学习算法的异同。

同：两种学习算法均基于纠错学习规则，采用有指导的学习方式，根据来自输出节点的外部反馈（期望输出）调整连接权，使得网络输出节点的实际输出与外部的期望输出一致。

异：感知机学习算法中，隐含层处理单元不具备学习能力，其模式分类能力仍然非常有限；而BP 学习算法采用非线性连续变换函数，使隐含层神经元具有了学习能力。

BP 学习算法基于最小均方误差准则，采用误差函数按梯度下降的方法进行学习，其学习过程分为模式顺传播，误差逆传播、记忆训练、学习收敛4个阶段。

2. 试述BP 神经网络有哪些优点和缺点。

优点：具有良好的非线性映射能力、泛化能力和容错能力。

缺点：学习算法的收敛速度慢；存在局部极小点；隐含层层数及节点数的选取缺乏理论指导；训练时学习新样本有遗忘旧样本的趋势。

3. 试举例说明BP 神经网络擅长解决哪些问题，并针对一个具体应用实例，描述BP 神经网络解决该问题的具体方案。

擅长解决函数拟合问题（例如，拟合多项式函数），线性与非线性的分类问题（例如，疾病病例分类），预测问题（例如，房屋价格预测），模式识别问题（例如，手写数字识别）。

具体应用实例及解决方案略。

4. 请给出一个BP 神经网络的具体应用实例。

略。

5. 什么是BP 神经网络的泛化能力？如何提高BP 神经网络的泛化能力？BP 神经网络的泛化能力是指BP 神经网络对未训练样本的逼近程度或对于未知数据的预测能力。

即：BP 神经网络学习训练完成后会将所提取的样本模式对中的非线性映射关系存储在网络连接权向量中，在其后的正常工作阶段，当向BP 神经网络输入训练时未曾见过的数据时，BP 神经网络也能够完成由输入模式到输出模式的正确映射。

提高BP 神经网络泛化能力的方法包括： 1) 增加训练集中的样本数； 2) 适当减少隐藏节点个数；3) 增加网络结构中的因子数（考虑更多可能影响结果的因子作为额外的输入项）； 4) 对于选取的数据样本，要尽量保证包含拐点处的数据样本，同时尽可能保证相邻样本的变化率小于误差精度要求。

习题2.1什么是感知机？感知机的基本结构是什么样的？解答：感知机是Frank Rosenblatt在1957年就职于Cornell航空实验室时发明的一种人工神经网络。

它可以被视为一种最简单形式的前馈人工神经网络，是一种二元线性分类器。

感知机结构：2.2单层感知机与多层感知机之间的差异是什么？请举例说明。

解答：单层感知机与多层感知机的区别：1. 单层感知机只有输入层和输出层，多层感知机在输入与输出层之间还有若干隐藏层；2. 单层感知机只能解决线性可分问题，多层感知机还可以解决非线性可分问题。

2.3证明定理：样本集线性可分的充分必要条件是正实例点集所构成的凸壳与负实例点集构成的凸壳互不相交.解答：首先给出凸壳与线性可分的定义凸壳定义1：设集合S⊂R n，是由R n中的k个点所组成的集合，即S={x1,x2,⋯,x k}。

定义S的凸壳为conv(S)为：conv(S)={x=∑λi x iki=1|∑λi=1,λi≥0,i=1,2,⋯,k ki=1}线性可分定义2：给定一个数据集T={(x1,y1),(x2,y2),⋯,(x n,y n)}其中x i∈X=R n , y i∈Y={+1,−1} , i=1,2,⋯,n ,如果存在在某个超平面S：w∙x+b=0能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有的正例点即y i=+1的实例i，有w∙x+b>0，对所有负实例点即y i=−1的实例i，有w∙x+b<0，则称数据集T为线性可分数据集；否则，称数据集T线性不可分。

必要性：线性可分→凸壳不相交设数据集T中的正例点集为S+，S+的凸壳为conv(S+)，负实例点集为S−，S−的凸壳为conv(S−)，若T是线性可分的，则存在一个超平面：w ∙x +b =0能够将S +和S −完全分离。

假设对于所有的正例点x i ，有：w ∙x i +b =εi易知εi >0，i =1，2，⋯，|S +|。

1.试述自组织神经网络中“自组织”的含义。

自组织神经网络采用类似于人类大脑生物神经网络的无指导学习方式，能够对外界未知环境进行学习或模拟，并对自身的网络结构进行调整，实现对输入模式的自动分类。

在调整网络结构时，网络按照预定的规则和输入模式，不断调整网络连接权值直至形成一种全局有序的结构，而这种全局有序的结构是通过网络中许多相邻神经元的局部相互作用形成的，这些相邻神经元之间的相互作用最终会使网络在空间模式或时间节奏上达成一致，这也是自组织的本质。

2. 若某一基本竞争神经网络的输入层有5个节点，竞争层有3个节点。

网络的6个学习模式为X 1=(1,0,0,0,0)T ，X 2=(1,0,0,0,1)T ，X 3=(1,1,0,1,0)T ，X 4=(1,1,0,1,1)T ，X 5=(0,0,1,1,0)T ，X 6=(0,0,1,1,1)T ，试计算这6个学习模式的汉明距离。

6个学习模式的汉明距离X 1 X 2 X 3 X 4 X 5 X 6 X 1 0 1 2 3 3 4 X 2 1 0 3 2 4 3 X 3 2 3 0 1 3 4 X 4 3 2 1 0 4 3 X 5 3 4 3 4 0 1 X 6434313. 采用竞争学习规则，通过训练将第2题中的6个学习模式进行分类，试比较训练后的分类结果和通过汉明距离得到分类结果。

按照前面描述的竞争学习规则对第2题的6个学习模式进行记忆训练，假定学习速率为0.5，网络的初始连接权值如下：⎪⎪⎪⎪⎪⎪⎭⎫⎝⎛=2.03.02.02.02.03.01.02.02.02.01.02.03.02.01.0W网络的学习过程如下：t =1 X 1=(1,0,0,0,0)T 竞争层各个神经元的净输入为 s 1=w 11x 1+w 21x 2+w 31x 3+w 41x 4+w 51x 5=0.1*1+0.2*0+0.2*0+0.3*0+0.2*0=0.1 s 2=w 12x 1+w 22x 2+w 32x 3+w 42x 4+w 52x 5=0.2*1+0.1*0+0.2*0+0.2*0+0.3*0=0.2 s 3=w 13x 1+w 23x 2+w 33x 3+w 43x 4+w 53x 5=0.3*1+0.2*0+0.1*0+0.2*0+0.2*0=0.3因此，竞争层各个神经元的输出为 y 1=0 y 2=0 y 3=1调整后的连接权如下 w 13=0.3+0.5*(1/1-0.3)=0.65 w 23=0.2+0.5*(0/1-0.2)=0.1 w 33=0.1+0.5*(0/1-0.1)=0.05 w 43=0.2+0.5*(0/1-0.2)=0.1 w 53=0.2+0.5*(0/1-0.2)=0.1t =2 X 2=(1,0,0,0,1)T 竞争层各个神经元的净输入为 s 1=w 11x 1+w 21x 2+w 31x 3+w 41x 4+w 51x 5=0.1*1+0.2*0+0.2*0+0.3*0+0.2*1=0.3 s 2=w 12x 1+w 22x 2+w 32x 3+w 42x 4+w 52x 5=0.2*1+0.1*0+0.2*0+0.2*0+0.3*1=0.5 s 3=w 13x 1+w 23x 2+w 33x 3+w 43x 4+w 53x 5=0.65*1+0.1*0+0.05*0+0.1*0+0.1*1=0.75因此，竞争层各个神经元的输出为 y 1=0 y 2=0 y 3=1 调整后的连接权如下w 13=0.65+0.5*(1/2-0.65)=0.575 w 23=0.1+0.5*(0/2-0.1)=0.05 w 33=0.05+0.5*(0/2-0.05)=0.025 w 43=0.1+0.5*(0/2-0.1)=0.05 w 53=0.1+0.5*(1/2-0.1)=0.3 t =3 X 3=(1,1,0,1,0)T 竞争层各个神经元的输入为 s 1=w 11x 1+w 21x 2+w 31x 3+w 41x 4+w 51x 5=0.1*1+0.2*1+0.2*0+0.3*1+0.2*0=0.6 s 2=w 12x 1+w 22x 2+w 32x 3+w 42x 4+w 52x 5=0.2*1+0.1*1+0.2*0+0.2*1+0.3*0=0.5 s 3=w 13x 1+w 23x 2+w 33x 3+w 43x 4+w 53x 5=0.575*1+0.05*1+0.025*0+0.05*1+0.3*0=0.675 因此，竞争层各个神经元的输出为y 1=0 y 2=0 y 3=1 调整后的连接权如下w 13=0.575+0.5*(1/3-0.575)=0.4542 w 23=0.05+0.5*(1/3-0.05)=0.1917 w 33=0.025+0.5*(0/3-0.025)=0.0125 w 43=0.05+0.5*(1/3-0.05)=0.1917 w 53=0.3+0.5*(0/3-0.3)=0.15 ……按照上述过程经过多次学习后，网络会得到如下分类结果，与通过汉明距离分析的结果完全一致。

20 08 –20 09 学年第 一 学期 考试方式： 开卷[ ] 闭卷[√]课程名称： 神经网络使用班级： 计算机科学与技术（医学智能方向）06 班级： 学号： 姓名： 一、单项选择题（每空2分，共30分）1. 人工神经网络的激活函数主要有三种形式，下面(A )对应的是非线性转移函数， ( B )对应的是对应的是域值函数，( C )分段线性函数。

()()101)f())f )01e 1, 1f , 11)f 01, 1v A v B v C v v v v v v D v v ≥⎧==⎨-<+⎩≥⎧⎪=-<<=⎨⎪-≤-⎩（）2. 根据神经元的不同连接方式，可将神经网络分为两大类：分层网络和相互连接型网络。

分层网络将一个神经网络模型中的所有神经元按照功能分成若干层。

一般有输入层、隐含层(中间层)和输出层，各层顺次连接。

下面图形(D )对应的是相互连接型网络，图形(C )对应的是层内互联的前向网络，图形( B)对应的是具有反馈的前向网络，图形( A)对应的是单纯的前向网络。

······x 1x 2x n12m······x 1x 2x n12m······x 1x 2x n12m······x 1x 2x n12ma)b)c)d)3. 在MATLAB中，下面的（○3）命令可以使用得下次绘制的图和已经绘制的图将不在同一张图上。

A) hold on（设置在同一张图绘制多条曲线）B) figure （下次的图和已绘制的不在同一张图上）C) plot D) hold off（取消在同一张图绘制多条曲线）3.下面是一段有关向量运算的MATLAB代码:>>y= [3 7 11 5];>>y(3) = 2运算后的输出结果是（○8）A) 3 2 11 5 B) 3 7 2 5C) 2 7 11 5 D) 3 7 11 24. 下面是一段有关矩阵运算的MATLAB代码:>>A = [1 2 3 4; 5 6 7 8; 9 10 11 12]；>>B = A(2,1:3)取出矩阵A中第二行第一个到第三个构成矩阵B若A(2,3)=5将矩阵第二行第三列的元素置为5A=[A B’]将B转置后，再以列向量并入AA(：，2)=[]删除第二列：代表删除列A([1,4],:)=[]删除第一和第四行：代表删除行A=[A;4,3,2,1]加入第四行那么运算后的输出结果是（○9）A) 5 7 8 B) 5 6 8 C) 5 6 7D) 6 7 85.下面对MATLAB中的plot(x,y,s)函数叙说正确的是（○10）A) 绘制以x、y为横纵坐标的连线图(plot(x,y)) B绘制多条不同色彩的连线图(plot(x,y))C) 默认的绘图颜色为蓝色D) 如果s=’r+’，则表示由红色的+号绘制图形6. 如果现在要对一组数据进行分类，我们不知道这些数据最终能分成几类，那么应该选择（○11）来处理这些数据最适合。

1.随机型神经网络的特点是什么？(1) 神经元的净输入不能决定其输出状态为0或1，决定神经元输出状态的是值为1或0的概率；(2) 在网络学习阶段，随机型神经网络并不基于某种确定性算法调整网络连接权值，而是按照某种概率分布进行处理；(3) 在网络运行阶段，随机型神经网络不是按照某种确定性的网络方程进行状态演变，而是按照某种概率分布决定网络状态的转移。

2.试述Boltzmann机的特点，并比较其与离散型Hopfield网络的异同。

从网络结构看，与离散型Hopfield神经网络相同的是，Boltzmann机网络为单层全互连结构，各个神经元之间采用双向对称连接方式，并且每个神经元到自身都无反馈；但与离散型Hopfield神经网络不同的是，Boltzmann机同时又考虑到了多层网络的特点，将神经元按照功能分为可视层与隐含层两大部分，其中的可视层又可以继续分为输入部分和输出部分，但是这些层次在Boltzmann机中并没有明显的划分界限。

从处理单元模型看，Boltzmann机网络的每个神经元的输出均为0、1二值离散输出，n 个神经元的状态集合构成了Boltzmann机网络的状态，即在给定时刻t，Boltzmann机网络的状态为X(t)=(x1, x2, …, x n)，但与离散型Hopfield神经网络不同的是，Boltzmann机中的神经元不能通过其输入状态获得确定的输出状态，它的输出状态要由神经元净输入状态的概率决定，不同的净输入状态对应不同的输出状态概率。

从能量函数看，随着Boltzmann机的运行，从概率意义上说，网络的能量呈下降趋势。

这意味着在网络状态的演化过程中，尽管网络能量总的变化趋势是下降的，但不能排除在某一时刻某个神经元按照小概率事件进行状态变化，从而使网络的能量暂时上升；而随着离散型Hopfield神经网络的运行，王的能量是单调递减的。

3.为什么Boltzmann机可以避免陷入局部极小点？Boltzmann机的网络能量在概率意义上呈单调下降趋势，即在网络状态变化过程中，网络能量总的趋势是下降的，但也存在能量暂时上升的可能性，这种可能性使得Boltzmann机具有了跳出局部极小点的能力。

1. 单层感知机模型与多层感知机模型的区别是什么？单层感知机模型由输入层（感知层）和输出层（反应层或处理层）构成，只有输出层的神经元具有信息处理功能；单层感知机模型只能解决线性可分的分类问题。

多层感知机模型由感知层S 、连接层A 、反应层R 构成，其中隐含层和输出层的神经元均具有信息处理功能；多层感知机模型能够解决线性不可分的分类问题，但只能调节一层连接权值，一般情况下由感知层至连接层的连接权值固定，而连接层至反应层的连接权值可调。

2. 感知机学习算法中是如何调整连接权值的？在感知机学习算法中，学习信号等于神经元的期望输出与实际响应（f (⋅)函数通常为阈值型函数）之差，调整神经元i 到神经元j 之间的输入连接权值w ij 的方法是)]()[()()1()(X f n n n n W d x w w w Tj j i ij ij ij -=-+=∆η其中η为学习速率，x i 为节点i 的输出，它是提供给节点j 的输入之一。

详见3.1.3节。

3. 试使用符号函数作为感知机模型的转移函数完成例3.1。

采用符号函数时，逻辑“与”的真值表如下：x 1x 2 T -1-1 -1 -11 -1 1-1 -1 1 1 1设输出层单元的阈值θ=0.042，输入层至输出层连接的初始权值分别为w 1=0.038，w 2=0.044，学习训练速率α=0.015，β=0.006。

若以X 表示输入，Y 表示输出，D 表示期望输出，e 表示误差，符号函数作为转移函数，则该感知机模型的学习训练过程如下：t =0 W (0) = (0,038,0.044)T θ(0) = 0.042t =1 X 1 = (-1,-1)T ，y 1 = f (w 1x 11+w 2x 21-θ) =f (-0.124) =-1， d 1=-1，e 1= 0∴ W (1)=(0.038,0.044)T +0.015•1•(0,0)T =(0.038,0.044)Tθ(1) = 0.042+0.006•0=0.042t =2 X 2 = (-1,1)T ，y 2 = f (w 1x 12+w 2x 22-θ)=f (-0.036) =-1， d 2=-1，e 2= 0∴ W (2)=(0.038,0.044)T +0.015•0•(0,1)T =(0.038,0.044)Tθ(2) = 0.042+0.006•0=0.042t =3 X 3 = (1,-1)T ，y 3 = f (w 1x 13+w 2x 23-θ)=f (-0.048)=-1， d 3=-1，e 3= 0∴ W (3)=(0.038,0.044)，θ(3) = 0.042t =4 X 4 = (1,1)T ，y 4 = f (w 1x 14+w 2x 24-θ)=f (0.040)=1， d 4=1，e 4=0∴ W (4)=(0.038,0.044)，θ(4) = 0.042经过4次迭代后，输出层处理单元的实际输出与期望输出之间的误差达到最小值0，连接权值也保持不变，因此学习训练过程结束，4. 感知机模型的局限性有哪些？应如何解决？局限性一：单层感知机模型仅对线性可分问题具有分类能力。

第九章 人工神经网络9.1答：（1）误差纠正学习；∆wkj = ηek(n)xj(n)；yk (n )为输入xk (n )时，神经元k 在n 时刻的实际输出，dk (n )表示应有的输出（可由训练样本给出）；其中η为学习步长，这就是通常所说的误差纠正学习规则（或称delta 学习规则）。

（2）Hebb 学习；∆wkj(n) = F(yk(n),xj(n))；当某一突触（连接）两端的神经元同步激活（同为激活或同为抑制）时，该连接的强度应为增强，反之应减弱；由于Δwkj 与yk (n )，xj (n )的相关成比例，有时称为相关学习规则。

（3）竞争（Competitive ）学习；若神经元j 竞争获胜 若神经元j 竞争失败；在竞争学习时，网络各输出单元互相竞争，最后达到只有一个最强者激活，最常见的一种情况是输出神经元之间有侧向抑制性连接，这样原来输出单元中如有某一单元较强，则它将获胜并抑制其它单元，最后只有此强者处于激活状态。

9.2答：略9.3答：B-P 算法的学习过程如下：（1）选择一组训练样例，每一个样例由输入信息和期望的输出结果两部分组成。

（2）从训练样例集中取一样例，把输入信息输入到网络中。

（3）分别计算经神经元处理后的各层节点的输出。

（4）计算网络的实际输出和期望输出的误差。

（5）从输出层反向计算到第一个隐层，并按照某种能使误差向减小方向发展的原则，调整网络中各神经元的连接权值。

（6）对训练样例集中的每一个样例重复（3）—（5）的步骤，直到对整个训练样例集的误差达到要求时为止。

()⎩⎨⎧-=∆,0,ji i ji w x w η文件头:#include <stdio.h>#include <stdlib.h>#include <math.h>#include "UTLab.h"//BP神经网络#define n1 7 //输入节点数#define n2 11 //中间层节点个数#define n3 5 //输出节点数#define m 400 //学习次数void initialization(){}float bpnet(float tension, float inthick,float outthick, float meng, float tan,float ping,float tu) {float in1[n1];float out1[n2];float out2[n3];float w1[n2][n1];float w2[n3][n2];float a1[n2];float a2[n3];float t[n3];float df1[n2];float df2[n3];float s2[n3];float s1[n2];float w[n2][n3];float z[n2][n3];float a=0.5;int i=0;int j=0;int k=0;int n=0;in1[1]=tension;in1[2]=inthick;in1[3]=outthick;in1[4]=meng;in1[5]=tan;in1[6]=ping;in1[7]=tu;initialization();for(n=1;n<=m;k++){for(i=1;i<=n2;i++){for(j=1;j<=n1;j++){a1[j]=a1[j]+w1[i][j]*in1[j];out1[j]=sigmoid(a1[j]);}}for(i=1;i<=n3;i++){for(j=1;j<=n2;j++){a2[j]=a2[j]+w2[i][j]文件尾:*in1[j];out2[j]=a2[j];}}for(i=1;i<=n3;i++){ //计算敏感度,更新权值df2[i]=1;s2[i]=-2*(t[i]-out2[i]);for(j=1;j<=n2;j++){w2[i][j]=w2[i][j]+a*out1[j];}}for(i=1;i<=n3;i++){for(j=1;j<=n2;j++){w[j][i]=w2[i][j];}}for(j=1;j<=n2;j++){df1[j]=(1-out1[j])*out1[j];s1[j]=0;for(i=1;i<=n3;i++){z[j][i]=df1[j]*w[j][i];s1[j]=s1[j]+z[j][i]*s2[i];}}for(j=1;j<=n2;j++){for(k=1;k<=n1;k++){w1[j][k]=w1[j][k]+a*s1[j]*in1[k];}}}return out2[n3];}void main(){}9.4答：略9.5答：Hopfield网络是一个单层回归自联想记忆网络。

神经网络考试重点1、熵和信息的关系、性质，什么叫熵，条件熵、联合熵、互信息之间的关系，K-L 散度的定义（K-L 极小等于极大似然估计）。

第十章答：熵H(X)：表示每一个消息所携带的信息的平均量。

在H(X)中X 不是H(X)的变量，而是一个随机变量的标记。

条件熵：给定Y 时X 的条件熵为H(X|Y)=H(X,Y)—H(Y) 具有性质：0<=H(X|Y)<=H(X)条件熵H(X|Y)表示在观测到系统输出Y 后，对X 保留的不确定性度量。

H(X,Y)是X 和Y 的联合熵，由∑∑∈∈=X Yy ),(log ),(-Y H(X,x y x p y x p ）定义，其中，p(x,y)是离散随机变量X 和Y 的联合概率质量函数，而x 和y 表示它们各自的字母表。

互信息：I(X;Y)=H(X)—H(X|Y)=∑∑∈∈⎪⎪⎭⎫ ⎝⎛X Yy )()(),(log ),(x y p x p y x p y x p 熵是互信息的一个特例。

熵H(X)表示在没有观测系统输出前我们对系统输入的不确定性，条件熵H(X|Y)表示在观测到系统输出后对系统的不确定性，差H(X)—H(X|Y)表示观察到系统输出之后我们对系统输入的不确定性的减少。

信息的属性：（1）X 和Y 的互信息具有对称性：I(X;Y)=I(Y;X) （2）X 和Y 的互信息总是非负的：0Y)I(X;≥（3）X 和Y 的互信息也可以用Y 的熵表示为：I(X;Y)=H(Y)—H(Y|X) 定义)(X f x 和)(X g x 的K-L 散度为：dx X g X f X f g D x x x x f x ⎰∞∞-⎪⎪⎭⎫ ⎝⎛=)()(log )(I(X;Y)=Y X f f |D Y X,f总的来说，X 和Y 之间的互信息等于联合概率密度函数),(,y x f Y X 以及概率密度函数)(X f x 和)(Y f y 的乘积的K-L 散度。

2、ICA 原理，推导过程、数学模型、降维。

人工神经网络复习题解读《神经网络原理》一、填空题1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。

2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。

3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。

4、神经网络研究的发展大致经过了四个阶段。

5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。

6、联想的形式有两种，它们分是自联想和异联想。

7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。

8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。

9、神经元分兴奋性神经元和抑制性神经元。

10、汉明距离指两个向量中对应元素不同的个数。

二、简答题1、人工神经元网络的特点？答：（1）、信息分布存储和容错性。

（2）、大规模并行协同处理。

（3）、自学习、自组织和自适应。

（4）、人工神经元网络是大量的神经元的集体行为，表现为复杂的非线性动力学特性。

（5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。

2、单个神经元的动作特征有哪些？答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。

3、怎样描述动力学系统？答：对于离散时间系统，用一组一阶差分方程来描述：X(t+1)=F[X(t)]；对于连续时间系统，用一阶微分方程来描述：dU(t)/dt=F[U(t)]。

4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。

人工神经网络（Artificial Neural Network，即ANN ），是20世纪80 年代以来人工智能领域兴起的研究热点。

它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。

在工程与学术界也常直接简称为神经网络或类神经网络。

神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。

每个节点代表一种特定的输出函数，称为激励函数（activation function）。

每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。

而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。

它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。

人工神经网络具有四个基本特征：（1）非线性非线性关系是自然界的普遍特性。

大脑的智慧就是一种非线性现象。

人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性人工神经网络关系。

具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性一个神经网络通常由多个神经元广泛连接而成。

一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。

通过单元之间的大量连接模拟大脑的非局限性。

联想记忆是非局限性的典型例子。

（3）非常定性人工神经网络具有自适应、自组织、自学习能力。

神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。

经常采用迭代过程描写动力系统的演化过程。

（4）非凸性一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。

例如能量函数，它的极值相应于系统比较稳定的状态。