《神经网络原理》
一、填空题
1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。
2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。
3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。
4、神经网络研究的发展大致经过了四个阶段。
5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。
6、联想的形式有两种，它们分是自联想和异联想。
7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。
8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。
9、神经元分兴奋性神经元和抑制性神经元。
10、汉明距离指两个向量中对应元素不同的个数。
二、简答题
1、人工神经元网络的特点？
答：（1）、信息分布存储和容错性。
（2）、大规模并行协同处理。
（3）、自学习、自组织和自适应。
（4）、人工神经元网络是大量的神经元的集体行为，表现为复杂
的非线性动力学特性。
（5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。
2、单个神经元的动作特征有哪些？
答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。
3、怎样描述动力学系统？
答：对于离散时间系统，用一组一阶差分方程来描述：
X(t+1)=F[X(t)]；
对于连续时间系统，用一阶微分方程来描述：
dU(t)/dt=F[U(t)]。
4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？
答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。
在图（2）中，有一个平稳状态a ，且在该点曲线斜率|F ’(X)|>1，为非稳定平稳状态。
X F(X)
0 a b (1) X F(X) 0 a (2)
5、对于单个神经元的离散模型，Hebb 学习假设是什么，基本学习方程是什么？
答：对于单个神经元的离散模型，Hebb 学习假设是：只有当神经元兴奋时，与其连接的突触结合权才被强化而增大；当两个神经元同时处于兴奋状态时，它们之间的连接权应该加强。 基本学习方程是：j i ij ij ij x y n w n w w η=-+=?)()1(
6、联想形式中的自联想和异联想有何区别？
答：自联想指的是由某种代表事物（或该事物的主要特征或可能是部分主在特征）联想到其所表示的实际事物。其数学模型为：当输入X ＝X0+V 时，输出Y=X0。异联想指的是由某一事物（或该事物的主要特征或可能是部分主在特征）联想到与其相关的另一事物。其数学模型为：在映射X0→Y0下，当输入X ＝X0+V 时，输出Y=Y0。
7、网络的稳定吸引子和吸引子的吸引域分别指什么？
答：当t=0时，对网络输入模式x ，网络处于状态v(0)，到时刻t 网络达到状态v(t)，若v(t)稳定，则称v(t)为网络的稳定吸引子。 吸引子的吸引域是指所有经过一定时间能够稳定在吸引子v(t)上的所有初始状态的集合。
三、论述题
1、 前馈式神经元网络与反馈式神经元网络有何不同？
答：（1）、前馈型神经元网络取连续或离散变量，一般不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系。
反馈式神经元网络可以用离散变量也可以用连续取值，考虑输出与输入之间在时间上和延迟，需要用动态方程来描述系统的模型。
（2）、前馈型网络的学习主要采用误差修正法（如BP 算法），计算过程一般比较慢，收敛速度也比较慢。而反馈型网络主要采用Hebb 学习规则，一般情况下计算的收敛速度很快。
反馈网络也有类似于前馈网络的应用，例如用作联想记忆或分类，而在优化计算方面的应用更能显出反馈网络的特点。
2、 试述离散型Hopfield 神经元网络的结构及工作原理。
（1） Hopfield 神经元网络的结构如下：
① 这种网络是一种单层网络，由n 个单元组成。
②每个神精元既是输入单元，又是输出单元；各节点一般选用相同的转移函数，且为符号函数，即： ③ 为网络的输入； 为网络的输出； 为网络在时刻t 的状态，其中t ∈{0，1，2，···} 为离散时间变量。
④Wij 为从Ni 到Nj 的连接权值，Hopfield 网络为对称的即有Wij = Wji 。
)sgn()()()(21x x f x f x f n
==== {}n
n
y y y y y 1,1),,,,(21+-∈= {}n
n t v t v t v t v t v 1,1)()),(,),(),(()(21+-∈= {}n
n
x x x x x 1,1),,,,(21+-∈=
（2）、工作原理：
①、网络经过训练后，可以认为网络处于等待工作状态，对网络给定初始输入x 时，网络就处于特定的初始状态，由此初始状态开始运行，可以得到网络的下一个输出状态。
②、这个输出状态通过反馈回送到网络的输入端，作为网络下一个阶段的输入信号，这个输入信号可能与初始输入信号不同，由这个新的输入又可得到下一步的输出,如此重复。
③、如果网络是稳定的，经过若干次反馈运行后网络将会达到稳态。
④、Hopfield 网络的工作过程可用下式表示：
N 1
N 2 N n-1 N n
x 1 x 2 x n-1 x n
y 1 y 2 Y n-1 y n
…
V 1(t) V 2(t) V n-1(t) V n (t) w 21
W n-1 2
))(()1()0(1j
n i i ij j j j j t v w f t v x v θ-∑=+==
研究生神经网络试题A 卷参考答案 一、名词解释(共5题，每题5分，共计25分)
1、泛化能力
答：泛化能力又称推广能力，是机器学习中衡量学习机性能好坏的一个重要指标。泛化能力主要是指经过训练得到的学习机对未来新加入的样本（即测试样本）数据进行正确预测的能力。
2、有监督学习
答：有监督学习又被称为有导师学习，这种学习方式需要外界存在一个“教师”，她可以对一组给定输入提供应有的输出结果，学习系统可根据已知输出与实际输出之间的差值来调节系统参数。
3、过学习
答：过学习（over-fitting ），也叫过拟和。在机器学习中，由于学习机器过于复杂，尽管保证了分类精度很高（经验风险很小），但由于VC 维太大，所以期望风险仍然很高。也就是说在某些情况下，训练误差最小反而可能导致对测试样本的学习性能不佳，发生了这种情况我们称学习机（比如神经网络）发生了过学习问题。典型的过学习是多层前向网络的BP 算法
4、Hebb 学习规则
答：如果两个神经元同时兴奋(即同时被激活)，则它们之间的突触连接加强。如果用i v 、j v 表示神经元i 和j 的激活值(输出)，ij ?表示两个神经元之间的连接权，则Hebb 学习规则可以表示为： ij i j w v v α?= ，这里α表示学习速率。Hebb 学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作Hebb 学习规则的变形。
5、自学习、自组织与自适应性
答：神经网络结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算而且存储与处理一体化的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。能力
方面的特征是神经网络的自学习、自组织与自性适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习与自组织两层含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过自动调整网络结构参数，使得对于给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。也就是说自组织神经元的学习过程，完全是一种自我学习的过程，不存在外部教师的示教。
二、问答题（共7题，每题8分，共计56分）
3、人工神经网络是模拟生物神经网络的产物，除相同点外，它们还存在哪些主要区别？
答; 1．单元上的差别对于生物神经元而言，影响突触传递信息强度的因素很多、很复杂。如突触前微细胞的大小与多少、神经传递化学物质含量的多少、神经传递化学物质释放的速度、突触间隙的变化、树突的位置与大小等诸多因素都会对突触电位产生影响，从而影响神经元的输出脉冲响应。而人工神经元则忽略了这些影响，输入、输出关系十分简单。
2．信息上的差别生物神经元传递的信息是脉冲，而人工神经元传递的信息是模拟电压。
3．规模与智能上的差别目前，人工神经网络的规模还远小于生物神经网络，网络中神经元的数量一般在104个以下，显然，其智能也无法与生物神经网络相比。
4、感知器神经网络存在的主要缺陷是什么？
答: 1)由于感知器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以只能用它来解决简单的分类问题；
2)感知器仅能够线性地将输入矢量进行分类。理论上已经证明，只要输人矢量是线性可分的，感知器在有限的时间内总能达到目标矢量；
3)感知器还有另外一个问题，当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度。
5、请比较前馈型神经网络与反馈型神经网络的异同点。（8分）
答：前馈型神经网络只表达输入输出之间的映射关系，实现非线性映射；反馈型神经网络考虑输入输出之间在时间上的延迟，需要用动态方程来描述，反馈型神
经网络是一个非线性动力学系统。
(1)前馈型神经网络的学习训练主要采用BP算法，计算过程和收敛速度比较慢；反馈型神经网络的学习主要采用Hebb规则，一般情况下计算的收敛速度很快，并且它与电子电路有明显的对应关系，使得网络易于用硬件实现。
(2)前馈型神经网络学习训练的目的是快速收敛，一般用误差函数来判定其收敛程度；反馈型神经网络的学习目的是快速寻找到稳定点，一般用能量函数来判别是否趋于稳定点。
(3)两者都有局部极小问题。
6、BP算法的基本思想是什么，它存在哪些不足之处？（9分）
答：BP算法（即反向传播法）的基本思想是：学习过程由信号的正向传播与误差的反向传播两个过程组成。
1）正向传播：输入样本－>输入层－>各隐层（处理）－>输出层
注1：若输出层实际输出与期望输出（教师信号）不符，则转入2）（误差反向传播过程）
2）误差反向传播：输出误差（某种形式）－>隐层（逐层）－>输入层
其主要目的是通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值（其过程，是一个权值调整的过程）。注2：权值调整的过程，也就是网络的学习训练过程（学习也就是这么的由来，权值调整）。
虽然BP算法得到广泛的应用，但它也存在自身的限制与不足，其主要表现在于它的训练过程的不确定上。具体说明如下：
1）易形成局部极小（属贪婪算法，局部最优)而得不到全局最优；
BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。
2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）；
对于一些复杂的问题，BP算法可能要进行几小时甚至更长的时间的训练。这主要是由于学习速率太小所造成的。可采用变化的学习速率或自适应的学习速率来加以改进。
3）隐节点的选取缺乏理论支持；
4）训练时学习新样本有遗忘旧样本趋势
1、人工神经网络：在对人脑神经网络基本认识的基础上，用数理方法从信息处理的角度对
人脑神经网络进行抽象，并建立某种简化模型，就称为人工神经网络。
2、自适应：自适应性是指一个系统能改变自身的性能以适应环境变化的能力。
3、自学习：当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。
4、自组织：神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络，这一构建过程称为网络的自组织。
5、泛化能力：BP 网络训练后将所提取的样本对中的非线性映射关系存储在权值矩阵中，在其后的工作阶段，当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。
6、模式：模式是对某些感兴趣的客体的定量描述或结构描述，模式类是具有某些共同特征的模式的集合
7、分类：分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模式类中去。
8、聚类：无导师指导的分类称为聚类，聚类的目的是将相似的模式样本划归一类，而将不相似的分离开，其结果实现了模式样本的类内相似性和类间分离性。
9、死节点：在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权向量从未得到过调整。
10、网络吸引子：若网络的状态)(f T WX X -=,则成称X 为网络的吸引子。
11、人工神经网络发展阶段及标志：可分为四个时期：启蒙时期开始于1890年W.James 关于人脑结构与功能的研究，结束于1969年Minsky 和Papert 出版的《感知器》一书；低潮时期开始于1969年，结束于1982年Hopfield 发表的著名的文章《神经网络和物理系统》；复兴时期开始于J.J.Hopfield 的突破性研究论文，结束与1986年 D.E.Rumelhart 和J.L.McClelland 领导的研究小组编写出版的《并行分布式处理》一书。高潮时期以1987年首届国际神经网络学术会议为开端，迅速在全世界范围内掀起人工神经网络的研究应用热潮。
12、神经网络的基本特征：结构上的特征是处理单元的高度并行性与分布性，这种特征使神经网络在信息处理方面具有信息的分布存储与并行计算、存储与处理一体化的特点。而这些特点必然给神经网络带来较快的处理速度和较强的容错能力。能力方面的特征是神经网络的自学习、自组织和自适应性。自适应性是指一个系统能改变自身的性能以适应环境变化的能力，它包含自学习和自组织两层含义。自学习是指当外界环境发生变化时，经过一段时间的训练或感知，神经网络能通过调整网络结构参数，使得对给定输入能产生期望的输出。自组织是指神经系统能在外部刺激下按一定规则调整神经元之间的突触连接，逐渐构建起神经网络。
13、人脑神经元的基本结构与功能：神经元在结构上由细胞体、树突、轴突和突触四部分组成 功能：细胞体：处理信息的功能 树突：输入信息 轴突：输出信息 突触：传递信息的节点
14、人脑信息传递过程：
突触前 突触间隙 突触后
15、BP 网络的主要能力是什么？
神经 电脉冲 神经递质产生 神经递质释
放
递质与受体结合 电生理反应
答：1、非线性映射能力2、泛化能力3、容错能力
16、BP 算法的缺陷及改进方案
BP 算法的缺陷
①易形成局部极小而得不到全局最优；
②训练次数多，使得学习效率低，收敛速度慢；
③隐节点的选取缺乏理论指导；
④训练时学习新样本有遗忘旧样本的趋势。
改进方案：
1 增加动量项
2 自适应调节学习率
3 引入陡度因子
17、对输入、输出数据进行尺度变换的主要原因是什么？
①网络的各个输入数据常常具有不同的物理意义和不同的量纲，如某输入分量在510
1~0?范围内变化，而另一输入分量则在5-101~0?范围内变化。尺度变换使所有分量都在1~0或
1~1-之间变化，从而使网络训练一开始就给各输入分量以同等重要的地位；②BP 网的神经元均采用Sigmoid 转移函数，变换后可防止因净输入的绝对值过大而使神经元输出饱和，继而使权值调整进入误差曲面的平坦区；③Sigmoid 转移函数的输出在1~0或1~1-之间，作为教师信号的期望输出数据如不进行变换处理，势必使数值大的分量绝对误差大，数值小的分量的绝对误差小，网络训练时只针对输出的总误差调整权值，其结果是在总误差中占份额小的输出分量相对误差较大，对输出分量进行尺度变换后这个问题可迎刃而解。
18、BP 网络初始值的设计的原则和方法？
答：原则：使每个神经元一开始都工作在其转移函数变化最大的位置。
方法：①使初始权值足够小；②使初始值为+1和-1的权值数相等。应用中对隐层权值可采用第一种方法，而对输出层可采用第二种办法。
19、胜者为王学习规则的三个步骤。①向量归一化 首先将自组织网络中的当前输入模式向量X 和竞争层中各神经元对应的内星向量),,2,1j m j W ???=（全部进行归一化处理，得到^X 和),,2,1(^j m j W =。②寻找获胜神经元 当网络得到一个输入模式向量^X 时，竞争层的所有神经元对应的内星权向量),,2,1(^j m j W =均与^X 进行相似性比较，将与^X 最相似的内星权向量判为竞争获胜神经元，其权向量记为^*j W 。测量相似性的方法是对j ^W 和^X 计算欧式距离（或夹角余弦）：}{min X ^
^},,2,1{^^*j m j j W X W -=-∈ （可补充）③网络输出与权值调整 胜者为王竞争学习算法规定，获胜神经元输出为1，其余输出为零。
20、SOM 网权值初始化的原则和一般方法有哪些？
答：SOM 网的权值一般初始化为较小的随机数，这样做的目的是使权向量充分分散在样本空间。但在某些应用中，样本整体上相对集中于高维空间的某个局部区域，权向量的初始位置却随机的分散于样本空间的广阔区域，训练时必然是离整个样本群最近的权向量被不断调整，并逐渐进入全体样本的中心位置，而其他权向量因初始位置远离样本群而永远得不到调
整。如此训练的结果可能使全部样本聚为一类。解决这类问题的思路是尽量使权值的初始位置与输入样本的大致分布区域充分重合。根据上述思路，一中简单易行的方法是从训练集中随机抽取m 个输入样本作为初始权值，即：k
ram j X 0=）（W ),,2,1(m j =
式中，ram k 是输入样本的顺序随机数，}2,1{k ram P ，∈。因为任何ram k X 一定是输入空间某个模式类的成员，各个权向量按上式初始化后从训练一开始就分别接近了输入空间的各模式类，占据了十分有利的“地形”。另外一种可行的办法是先计算出全体样本的中心向量：
∑==P 1
p p X P 1X 在该中心向量基础上叠加小随机数作为权向量初始值，也可将权向量的初始位置确定在样本群中。
21、SOM 网的局限性
①隐层神经元数目难以确定，因此隐层神经元往往未能充分利用，某些距离学习向量远的神经元不能获胜，从而成为死节点；
②聚类网络的学习速率需要人为确定，学习终止往往需要人为控制，影响学习进度； ③隐层的聚类结果与初始权值有关。
22、正则化RBF 网络与广义RBF 网络的不同：
①径向基函数的个数M 与样本的个数P 不相等，且M 常常远小于P 。
②径向基函数的中心不再限制在数据点上，而是由训练算法确定。
③各径向基函数的扩展常数不再统一，其值由训练算法确定。
④输出函数的线性中包含阈值参数，用于补偿基函数在样本集上的平均值与目标值之间的差别。
23、BP 网络与RBF 网络的不同
①RBF 网络只有一个隐层，而BP 网络的隐层可以是一层也可以是多层的。
②BP 网络的隐层和输出层其神经元模型是一样的；而RBF 网络的隐层神经元和输出层神经元不仅模型不同，而且在网络中起到的作用也不一样。
③RBF 网络的隐层是非线性的，输出层是线性的。然而，当用BP 网络解决模式分类问题时，它的隐层和输出层通常选为非线性的。当用BP 网络解决非线性回归问题时，通常选择线性输出层。
④RBF 网络的基函数计算的是输入向量和中心的欧氏距离，而BP 网络隐单元的激励函数计算的是输入单元和连接权值间的内积。
⑤RBF 网络使用局部指数衰减的非线性函数（如高斯函数）对非线性输入输出映射进行局部逼近。BP 网络的隐节点采用输入模式与权向量的内积作为激活函数的自变量，而激活函数则采用Sigmoid 函数或硬限幅函数，因此BP 网络是对非线性映射的全局逼近。RBF 网络最显著的特点是隐节点采用输入模式与中心向量的距离（如欧式距离）作为函数的自变量，并用径向基函数（如Gauss 函数）作为激活函数。径向基函数关于N 维空间的的一个中心点具有径向对称性，而且神经元的输入离该中心越远，神经元的激活程度就越低。隐层节点的这个特性常被称为“局部特性”。
24、支持向量机的基本思想/方法是什么？
答：支持向量机的主要思想是建立一个最优决策超平面，使得该平面两侧距平面最近的两类样本之间的距离最大化，从而对分类问题提供良好的泛化能力。对于非线性可分模式分类问题，根据Cover 定理：将复杂的模式分类问题非线性的投射到高维特征空间可能是线性可分
的，因此只要变换是非线性的且特征空间的维数足够高，则原始模式空间能变换为一个新的高维特征空间，使得在特征空间中模式以较高的概率为线性可分的。此时，应用支持向量机算法在特征空间建立分类超平面，即可解决非线性可分的模式识别问题。
25、cover 定理：将复杂的模式分类问题非线性的投射到高维空间比投射到低维空间更可能是线性可分的。
26、画图并说明权值调整的通用学习规则。
答：通用学习规则可表达为：权向量j W 在t 时刻的调整量）
（t W j ?与t 时刻的输入向量）（t X 和学习信号r 的乘积成正比。用数学表达式为：
)()](),(),([r W j t X t d t X t W j j η=?
式中，η为正数，称为学习常数，其值决定了学习速率。基于离散时间调整时，下一时刻的权向量应为：
)()](),(X )(W [)(W )1(W j j j t X t d t t r t t j ，η+=+（补充图）
27、BP 算法的误差曲线存在平坦区，利用图形、相关公式说明造成平坦区的原因、平坦区造成的问题、如何改进进而快速度过平坦区。
答：造成平坦区的原因：造成这种情况的原因与各节点的净输入过大有关。平坦区造成的问题：会使训练次数大大增加，从而影响了收敛速度。如何改进进而快速度过平坦区：①自适应调节学习率②引入陡度因子
28、批训练BP 算法步骤
29、SOM 神经网络学习算法
⑴初始化 对输出层各权向量赋予小随机数并进行归一化处理，得到j ^
W ，；，，
m 2,1j =建立初始优胜邻域)0(N *j ；学习率η赋初始值。
⑵接受输入 从训练集中选取一个输入模式并进行归一化处理，得到^p
X ，。，，P}2,1{p ∈
⑶寻找获胜节点 计算^p X 与j ^
W 的点积，m 2,1j ，， =，从中选出点积最大的获胜节点*j ；如果输入模式未经归一化，应计算欧式距离，从中找出距离最小的获胜节点。 ⑷定义优胜邻域）（t *N j 以*j 为中心确定t 时刻的权值调整域，一般初始邻域）（0*N j 较大，训练过程中）
（t *N j 随训练时间逐渐收缩。 ⑸调整权值 对优胜邻域）
（t *N j 内的所有节点调整权值： )]t (w )[,()t (w )1t (w ij ij ij -+=+p i x N t η ;2,1i n ，，
= ）（t *N j j ∈ 30、K-means 聚类算法确定数据中心
（1）初始化 选择M 个互不相同向量作为初始聚类中心：
),0(,),0(),0(21M c c c 选择时可采用对各聚类中心向量赋小随机数的方法。
（2） 计算输入空间各样本点与聚类中心点的欧式距离：
）（k c -X j p ;,,2,1
P p = M j ,,2,1 = （3）相似匹配 令*j 代表竞争获胜隐节点的下标，对每一个输入样本p
X 根据其与聚类中心的最小欧式距离确定其归类)(*p X j ，即当有如下等式时： )(min )(*k c X X j j p j
p -= P p ,,2,1 = p X 被归为第*j 类，从而将全部样本划分M 个子集，),(,),(),(21k U k U k U M 每个子集构成一个以聚类中心为典型代表的聚类域。
（4）更新各类的聚类中心 可采用两种调整方法，一种方法是对各聚类域中的样本取均值，令)(k U j 表示第j 个聚类域，j N 为第j 个聚类域中的样本数，则：
∑∈=+)(j 1
)1(c k U X l j X N k
另一种方法是采用竞争学习规则进行调整，即
??
???≠=-+=+*),(*)],([)()1(j j k c j j k c X k c k c j j p j j η 式中，η是学习率，且10<<η。可以看出，当1=η时，该竞争规则即为Winner-Take-All 规则。
（5）将k 值加1，转到第（2）步。重复上述过程直到k c 的改变量小于要求的值。 各聚类中心确定后，可根据各中心之间的距离确定对应径向基函数的扩展常数。令： i j i
j c c d -=min 则扩展常数取：j j d λδ= 式中，λ为重叠系数。 31、结合cover 定理，从模式可分性观点论述RBF 处理线性不可分问题的原理。
（1）cover 定理 将复杂的模式分类问题非线性的投射到高维空间比投射到低维空间更可能是线性可分的。
（2）RBF 神经元模型 )()(1∑=-=
P p p p X X w X F ? （3）RBF 的拓扑结构
dist y n X1
X2 X3
xx学校 2012—2013学年度第二学期期末试卷 考试课程：《人工智能》考核类型：考试A卷 考试形式：开卷出卷教师： 考试专业：考试班级： 一单项选择题（每小题2分，共10分） 1.首次提出“人工智能”是在（D ）年 A.1946 B.1960 C.1916 D.1956 2. 人工智能应用研究的两个最重要最广泛领域为：B A.专家系统、自动规划 B. 专家系统、机器学习 C. 机器学习、智能控制 D. 机器学习、自然语言理解 3. 下列不是知识表示法的是 A 。 A：计算机表示法B：“与/或”图表示法 C：状态空间表示法D：产生式规则表示法 4. 下列关于不确定性知识描述错误的是 C 。 A：不确定性知识是不可以精确表示的 B：专家知识通常属于不确定性知识 C：不确定性知识是经过处理过的知识 D：不确定性知识的事实与结论的关系不是简单的“是”或“不是”。 5. 下图是一个迷宫，S0是入口，S g是出口，把入口作为初始节点，出口作为目标节点，通道作为分支，画出从入口S0出发，寻找出口Sg的状态树。根据深度优先搜索方法搜索的路径是 C 。 A：s0-s4-s5-s6-s9-sg B：s0-s4-s1-s2-s3-s6-s9-sg C：s0-s4-s1-s2-s3-s5-s6-s8-s9-sg D：s0-s4-s7-s5-s6-s9-sg 二填空题（每空2分，共20分） 1.目前人工智能的主要学派有三家：符号主义、进化主义和连接主义。 2. 问题的状态空间包含三种说明的集合，初始状态集合S 、操作符集合F以及目标
状态集合G 。 3、启发式搜索中，利用一些线索来帮助足迹选择搜索方向，这些线索称为启发式(Heuristic)信息。 4、计算智能是人工智能研究的新内容，涉及神经计算、模糊计算和进化计算等。 5、不确定性推理主要有两种不确定性，即关于结论的不确定性和关于证据的不确 定性。 三名称解释（每词4分，共20分） 人工智能专家系统遗传算法机器学习数据挖掘 答：（1）人工智能 人工智能(Artificial Intelligence) ，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等 （2）专家系统 专家系统是一个含有大量的某个领域专家水平的知识与经验智能计算机程序系统,能够利用人类专家的知识和解决问题的方法来处理该领域问题.简而言之,专家系统是一种模拟人类专家解决领域问题的计算机程序系统 （3）遗传算法 遗传算法是一种以“电子束搜索”特点抑制搜索空间的计算量爆炸的搜索方法，它能以解空间的多点充分搜索，运用基因算法，反复交叉，以突变方式的操作，模拟事物内部多样性和对环境变化的高度适应性，其特点是操作性强，并能同时避免陷入局部极小点，使问题快速地全局收敛，是一类能将多个信息全局利用的自律分散系统。运用遗传算法(GA)等进化方法制成的可进化硬件(EHW)，可产生超出现有模型的技术综合及设计者能力的新颖电路，特别是GA独特的全局优化性能，使其自学习、自适应、自组织、自进化能力获得更充分的发挥，为在无人空间场所进行自动综合、扩展大规模并行处理(MPP)以及实时、灵活地配置、调用基于EPGA的函数级EHW，解决多维空间中不确定性的复杂问题开通了航向 （4）机器学习 机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎 （5）数据挖掘 数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的
浅谈人工神经网络 一、人工神经网络的发展 1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1984年，美国加州工学院物理学家J.J.Hopfield提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1986年进行认知微观结构地研究，提出了并行分布处理的理论。近20年来，神经网络的软件模拟得到了广泛研究和应用，发展速度惊人。 二、人工神经网络的原理 人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。神经网络是一种运算模型，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 它的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 三、人工神经网络的应用范围及热点 计算机人工神经网络是一门应用广泛，涉及多学科交叉、综合的前沿学科。人工神经网络是在对人脑神经网络的基本研究的基础上，采用数理方法和信息处理的角度对人脑神经网络进行抽象，并建立的某种简化模型。突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人
第五章 神经网络课后习题及答案 一、选择题： 1. 在BP算法中，设y=f(xi)为xi的平滑函数，想知道xi对y增大变化的情况， 我们可求 ，然后进行下列的哪一项？ （ B ） A 取最小 B 取最大 C 取积分 D 取平均值 2. 对于反向传播学习，无论是在识别单个概念的学习或识别两个概念的学习中，都涉及到下列的哪一个操作？ （ A ） A 权值的修正 B 调整语义结构 C 调整阀值 D 重构人工神经元 3. 根据Hopfield网络学习的特点，能实现联想记忆和执行线性和非线性规划等求解问题其应用没有涉及到下列的哪一个内容？ （ D ） A 模糊推理模型 B 非线性辨认 C 自适应控制模型 D 图象识别 4. 对于神经网络的二级推理产生式规则由三个层次构成，它不含下列的哪一个层次？ （ C ） A 输入层 B 输出层 C 中间层 D 隐层 5. 人工神经网络借用了生理神经元功能的一些描述方式，它涉及到下列的哪一些内容？ （ ABC ） A 模拟神经元 B 处理单元为节点 C 加权有向图 D 生理神经元连接而成
6. 在应用和研究中采用的神经网络模型有许多种，下列的哪一些是具有代表性的？ （ ABD ） A 反向传递（BP） B Hopfield网 C 自适应共振 D 双向联想存储器 7. 下列的哪一些内容与反向传播学习算法有关？ （ ABCD ） A 选取比率参数 B 误差是否满足要求 C 计算权值梯度 D 权值学习修正 8. 构造初始网络后，要用某种学习算法调整它的权值矩阵，使NN在功能上满足样例集给定的输入一输出对应关系，并由此产生推理，该矩阵必须满足下列的哪一个性质？ ( A ) A 收敛性 B 对称性 C 满秩性 D 稀疏性 9. 在人工神经元的功能描述中，往往会用一激发函数来表示输出，常用的一般非线性函数有下列的哪一些项？ ( ABD ) A 阀值型 B 分段线性强饱和型 C 离散型 D S i gm oid型 10. 基于神经网络的推理，其应用中必须涉及到下列的哪一些内容？ ( ACD ) A NN的结构模型 B NN的推理规则 C NN的学习算法 D 从NN到可解释的推理网 二、填空题： 1. 前馈网络是一种具有很强学习能力的系统，结构简单，易于编程。前馈网络通
基于LVQ神经网络的人脸朝向识别 摘要人脸识别是当今模式识别和人工智能的一个重要的研究方向。人脸的朝向识别是一个复杂的模式识别问题。在实际应用中，大量图像和视频源中人脸的位置、朝向、旋转角度都是不固定的，这大大增加了人脸识别的难度。为了解决这些问题，本实验采用了LVQ神经网络模型对图像中的人脸朝向识别进行研究。本实验基于matlab平台设计LVQ神经网络，实现对人脸朝向的判断。实验结果表明，LVQ神经网络可以根据输入图像的二值信息，以较高的准确率判别该图像中的人脸朝向。 关键字：人脸朝向识别；LVQ神经网络；matlab；特征提取 人脸识别是一个活跃的研究领域。尽管相对于虹膜和指纹识别，人脸识别的准确还比较低，但人脸的易采集、非接触的优点，让人脸识别受到越来越多的关注。人脸识别对人脸位置和状态都有一定的限制，实际应用中，图像和视频源 中人脸的位置，朝向和旋转都不是固定的，这就为我们后续的人脸识别有了更大的难度。 在人脸识别的研究领域中，人脸朝向识别是其中的一个分支。在以往的研究中，绝大多数的研究人员希望能够消除人脸朝向在人脸识别中的不良影响，但在复杂的实际环境中，我们无法忽略人脸朝向对人脸识别的影响。因此，对人脸朝向的判定和识别是非常有必要和有意义的。 1LVQ神经网络 学习向量量化(Learning Vector Quantization，LVQ)神经网络，属于前向神经网络类型，在模式识别和优化领域有着广泛的应用。LVQ神经网络由三层组成，即输入层、隐含层和输出层，网络在输入层与隐含层间为全连接，而在隐含层与输出层间为部分连接，每个
输出层神经元与隐含层神经元的不同组相连接。隐含层和输出层神经元之间的连接权值固定为1。输入层和隐含层神经元间连接的权值建立参考矢量的分量（对每个隐含神经元指定一个参考矢量）。在网络训练过程中，这些权值被修改。隐含层神经元（或称为Kohnen神经元）和输出神经元都具有二进制输出值。当某个输入模式被送至网络时，参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争，因而允许它产生一个“1”，而其它隐含层神经元都被迫产生“0”。与包含获胜神经元的隐含层神经元组相连接的输出神经元也发出“1”，而其它输出神经元均发出“0”。产生“1”的输出神经元给出输入模式的类，由此可见，每个输出神经元被用于表示不同的类。 2人脸朝向识别的设计 2.1问题描述 现采集到一组不同人脸朝向的图像，这组图像来自于10个人，每人5张图片，人脸朝向分为：左方、左前方、正面、右前方、右方，如图2-1所示。创建一个LVQ神经网络，对给出的人脸进行朝向的判定与识别。 2-1人脸朝向识别图 2.2建立模型 2.2.1设计思路 通过观察不难发现，当人脸朝向不同的方向时，眼睛在图像中的位置差别较大。所以，将眼睛位置的特征信息作为LVQ神经网络识别的输入，将5个朝向作为其输出。在对训练
X X X X大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010年12月22日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1.1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元,通过广泛的突触联系形成的信息处理集团,其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1)神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站,它构成各神经元之间广泛的联接。(3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物,其变化是先天遗传信息确定的总框架下有限的自组织过程。 1.2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系,这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法:①神经生物学模型方法,即根据微观神经生物学知识的积累,把脑神经系统的结构及机理逐步解释清楚,在此基础上建立脑功能模型。②神经计算模型方法,即首先建立粗略近似的数学模型并研究该模型的动力学特性,然后再与真实对象作比较(仿真处理方法)。 1.3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能,是一门新兴的前沿交叉学科,其概念以T.Kohonen.Pr的论述最具代表性:人工神经网络就是由简单的处理单元(通常为适应性)组成的并行互联网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1.4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题:模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1.5理论局限性 (1)受限于脑科学的已有研究成果由于生理试验的困难性,目前对于人脑思维与记忆机制的认识尚很肤浅,对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2)尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网,节点间互连强度构成的矩阵可通过某种学
第四章计算智能（1）：神经计算模糊计算4-1 计算智能的含义是什么？它涉及哪些研究分支？ 贝兹德克认为计算智能取决于制造者提供的数值数据，而不依赖于知识。计算智能是智力的低层认知。 主要的研究领域为神经计算，模糊计算，进化计算，人工生命。 4-2 试述计算智能（CI）、人工智能（AI）和生物智能（BI）的关系。 计算智能是智力的低层认知，主要取决于数值数据而不依赖于知识。人工智能是在计算智能的基础上引入知识而产生的智力中层认知。生物智能，尤其是人类智能，则是最高层的智能。即CI包含AI包含BI 4-3 人工神经网络为什么具有诱人的发展前景和潜在的广泛应用领域？ 人工神经网络具有如下至关重要的特性： (1) 并行分布处理 适于实时和动态处理 (2)非线性映射 给处理非线性问题带来新的希望 (3) 通过训练进行学习 一个经过适当训练的神经网络具有归纳全部数据的能力，能够解决那些由数学模型或描述规则难以处理的问题 (4) 适应与集成 神经网络的强适应和信息融合能力使得它可以同时输入大量不同的控制信号，实现信息集成和融合，适于复杂，大规模和多变量系统 (5) 硬件实现 一些超大规模集成是电路实现硬件已经问世，使得神经网络成为具有快速和大规模处理能力的网络。 4-4 简述生物神经元及人工神经网络的结构和主要学习算法。
生物神经元 大多数神经元由一个细胞体(cell body或soma)和突(process)两部分组成。突分两类，即轴突(axon)和树突(dendrite)，轴突是个突出部分，长度可达1m，把本神经元的输出发送至其它相连接的神经元。树突也是突出部分，但一般较短，且分枝很多，与其它神经元的轴突相连，以接收来自其它神经元的生物信号。 轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其它神经元发送信息。对某些突触的刺激促使神经元触发(fire)。只有神经元所有输入的总效应达到阈值电平，它才能开始工作。此时，神经元就产生一个全强度的输出窄脉冲，从细胞体经轴突进入轴突分枝。这时的神经元就称为被触发。突触把经过一个神经元轴突的脉冲转化为下一个神经元的兴奋或抑制。学习就发生在突触附近。 每个人脑大约含有10^11-10^12个神经元，每一神经元又约有10^3-10^4个突触。神经元通过突触形成的网络，传递神经元间的兴奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与思维。 人工神经网络的结构 人工神经网络由神经元模型构成。每个神经元具有单一输出，并且能够与其它神经元连接，存在许多输出连接方法，每种连接方法对应于一个连接权系数。 人工神经网络的结构分为2类， (1)递归(反馈)网络 有些神经元的输出被反馈至同层或前层神经元。信号能够从正向和反向流通。Hopfield网络，Elmman网络和Jordan网络是代表。 (2) 前馈网络 具有递阶分层结构，由一些同层神经元间不存在互连的层级组成。从输入层至输出层的信号通过单向连接流通，神经元从一层连接至下一层，不存在同层神经元之间的连接。多层感知器(MLP)，学习矢量量化网络(LVQ)，小脑模型连接控制网络(CMAC)和数据处理方法网络(GMDH)是代表。 人工神经网络的主要学习算法 (1) 指导式(有师)学习 根据期望和实际的网络输出之间的差来调整神经元连接的强度或权。包括Delta规则，广义Delta规则，反向传播算法及LVQ算法。 (2) 非指导(无导师)学习 训练过程中，神经网络能自动地适应连接权，以便按相似特征把输入模式分组聚集。包括
《神经网络原理》 一、填空题 1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。 6、联想的形式有两种，它们分是自联想和异联想。 7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。 8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点？ 答：（1）、信息分布存储和容错性。 （2）、大规模并行协同处理。 （3）、自学习、自组织和自适应。 （4）、人工神经元网络是大量的神经元的集体行为，表现为复杂
的非线性动力学特性。 （5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些？ 答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。 3、怎样描述动力学系统？ 答：对于离散时间系统，用一组一阶差分方程来描述： X(t+1)=F[X(t)]； 对于连续时间系统，用一阶微分方程来描述： dU(t)/dt=F[U(t)]。 4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？ 答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。 在图（2）中，有一个平稳状态a ，且在该点曲线斜率|F ’(X)|>1，为非稳定平稳状态。
1. 引言 (2) 2. 在农业生产管理与决策中的应用 (2) 2.1. 在农业机械化中的应用 (2) 2.2. 在智能农业专家系统中的应用 (3) 3. 在预测和估产中的应用 (3) 3.1. 在农作物虫情预测中的应用 (3) 3.2. 在作物水分和营养胁迫诊断及产量估测中的应用 (4) 4. 在分类鉴别与图像处理中的应用 (5) 5. 结束语 (5)
BP 神经网络的研究与应用 摘要: 本文概述了BP 神经网络在农机总动力预测、农业专家系统信息决策、虫情测报、农作物水分和养分胁迫、土壤墒情、变量施肥、分类鉴别和图像处理等领域的应用情况，总结了人工神经网络模型的优点，指出其在精准农业和智能农业中的重要理论技术支撑作用。 关键词: BP神经网络; 农业工程; 农业专家系统; 变量施肥; 土壤墒情 Research and Application of BP Neural Network Abstract: Application of BP neural network in prediction of total power in agriculture machinery，information decision-making by agricultural experts system，pest forecast，crops to water stress and nutrient stress，soil moisture condition，variable rate fertilization，identification and image processing were overviewed．Characteristics of artificial neural network model were summed．Supporting role for important theory and technology in precision agriculture and intelligent agriculture were pointed． Key words: BP neural network，Agricultural engineering，Agricultural experts system，Variable rate fertilization，Soil moisture condition
3.5单层感知器 # include
} 3.6单次训练的结果 # include
人工神经网络及其应用 1. 人工神经网络发展前景 人工神经网络（Artificial Neural Networks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。 神经网络具有非线性自适应的信息处理能力，克服了传统人工智能方法对于直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用[2]。神经网络与其他传统方法相组合，将推动人工智能和信息处理技术不断发展。近年来，神经网络在模拟人类认知的道路上更加深入发展，并与模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重要方向。 1.1 人工神经网络的研究背景和意义 人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应[5]。 人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有以下三点：（1）通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。（2）争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。（3）研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。 1.2 神经网络的发展与研究现状 1.2.1神经网络的发展
X X X X 大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010 年12 月22 日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1. 1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元, 通过广泛的突触联系形成的信息处理集团, 其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1) 神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站, 它构成各神经元之间广泛的联接。(3) 大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物, 其变化是先天遗传信息确定的总框架下有限的自组织过程。 1. 2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系, 这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法: ①神经生物学模型方法, 即根据微观神经生物学知识的积累, 把脑神经系统的结构及机理逐步解释清楚, 在此基础上建立脑功能模型。②神经计算模型方法, 即首先建立粗略近似的数学模型并研究该模型的动力学特性, 然后再与真实对象作比较(仿真处理方法)。 1. 3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能, 是一门新兴的前沿交叉学科, 其概念以T.Kohonen. Pr 的论述最具代表性: 人工神经网络就是由简单的处理单元(通常为适应性) 组成的并行互联网络, 它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1. 4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题: 模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1. 5理论局限性 (1) 受限于脑科学的已有研究成果由于生理试验的困难性, 目前对于人脑思维与记忆机制的认识尚很肤浅, 对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2) 尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网, 节点间互连强度构成的矩阵可通过某种学
神经网络原理及其应用——基于BP 人工神经网络的图像分割器 学校：东北大学 班级：电子信息工程0901班 姓名：吴戈林 学号：20092676 指导老师：王斐 时间：2012年12月
目录 人工神经网络 (3) 一、特点与优势 (3) 二、人工神经网络的主要研究方向 (4) 三、人工神经网络的应用分析 (4) 四、人工神经网络在图像分割中的应用 (6) 1.问题概述 (7) 2.基于BP 人工神经网络的图像分割器 (8) 2.1神经网络结构的确定 (8) 2. 2 神经网络结构的改进 (9) 2. 3 BP 神经网络的图像分割基本训练 (9) 2. 4 BP 神经网络的针对性训练 (10) 3.网络应用 (10) 4.结论 (11) 五、课程收获与感想 (11) 六、参考文献 (12)
人工神经网络 人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connectionist Model），是对人脑或自然神经网络（Natural Neural Network）若干基本特性的抽象和模拟。人工神经网络以对大脑的生理研究成果为基础的，其目的在于模拟大脑的某些机理与机制，实现某个方面的功能。国际著名的神经网络研究专家，第一家神经计算机公司的创立者与领导人Hecht Nielsen给人工神经网络下的定义就是：“人工神经网络是由人工建立的以有向图为拓扑结构的动态系统，它通过对连续或断续的输入作状态相应而进行信息处理。”这一定义是恰当的。人工神经网络的研究，可以追溯到1957年Rosenblatt提出的感知器模型(Perceptron) 。它几乎与人工智能——AI（Artificial Intelligence）同时起步，但30余年来却并未取得人工智能那样巨大的成功，中间经历了一段长时间的萧条。直到80年代，获得了关于人工神经网络切实可行的算法，以及以Von Neumann体系为依托的传统算法在知识处理方面日益显露出其力不从心后，人们才重新对人工神经网络发生了兴趣，导致神经网络的复兴。目前在神经网络研究方法上已形成多个流派，最富有成果的研究工作包括：多层网络BP算法，Hopfield网络模型，自适应共振理论，自组织特征映射理论等。人工神经网络是在现代神经科学的基础上提出来的。它虽然反映了人脑功能的基本特征，但远不是自然神经网络的逼真描写，而只是它的某种简化抽象和模拟。 一、特点与优势 人工神经网络的以下几个突出的优点使它近年来引起人们的极大关注： (1)可以充分逼近任意复杂的非线性关系； (2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性； (3)采用并行分布处理方法，使得快速进行大量运算成为可能； (4)可学习和自适应不知道或不确定的系统； (5)能够同时处理定量、定性知识。 人工神经网络的优越性，主要表现在三个方面： 第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。 第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
人工智能 第一章 1、智能（intelligence ）人的智能是他们理解和学习事物的能力，或者说，智能是思考和理解能力而不是本能做事能力。 2、人工智能（学科） 人工智能研究者们认为：人工智能（学科）是计算机科学中涉及研究、设计和应用智能机器的一个分支。它的近期主要目标在于研究用机器来模仿和执行人脑的某些智力功能，并开发相关理论和技术。 3、人工智能（能力） 人工智能（能力）是智能机器所执行的通常与人类智能有关的智能行为，这些智能行为涉及学习、感知、思考、理解、识别、判断、推理、证明、通信、设计、规划、行动和问题求解等活动。 4、人工智能：就是用人工的方法在机器上实现的智能，或者说，是人们使用机器模拟人类的智能。 5、人工智能的主要学派： 符号主义：又称逻辑主义、心理学派或计算机学派，其原理主要为物理符号系统（即符号操作系统）假设和有限合理性原理。代表人物有纽厄尔、肖、西蒙和尼尔逊等。 连接主义：又称仿生学派或生理学派，其原理主要为神经网络及神经网络间的连接机制与学习算法。 行为主义：又称进化主义或控制论学派，其原理为控制论及感知—动作模式控制系统。 6、人类认知活动具有不同的层次，它可以与计算机的层次相比较，见图 人类 计算机 认知活动的最高层级是思维策略，中间一层是初级信息处理，最低层级是生理过程，即中枢神经系统、神经元和大脑的活动，与此相对应的是计算机程序、语言和硬件。 研究认知过程的主要任务是探求高层次思维决策与初级信息处理的关系，并用计算机程序来模拟人的思维策略水平，而用计算机语言模拟人的初级信息处理过程。 7、人工智能研究目标为： 1、更好的理解人类智能，通过编写程序来模仿和检验的关人类智能的理论。 思维策略 初级信息处理 生理过程 计算机程序 计算机语言 计算机硬件 图：人类认知活动与计算机的比
神经网络的基本特征及其在战斗识别领域的应用前景简介 —神经网络原理及应用报告 课程名称：神经网络原理及应用 课程编号： 指导教师： 学院： 班级： 姓名： 学号： 日期：
神经网络的基本特征及其在战斗识别领域的应用前景简介 摘要：在未来的军事对抗上，对军事打击的物理距离越来越大，对打击的反应时间的要求越来越短，对打击的精度要求越来越高。在这种情况下，迅速且精确的敌我识别系统显得尤其重要。传统的战斗识别方式早已遇到了瓶颈，而神经网络因为它在信息、信号处理、模式识别方面有些独到之处，近年来受到各国军界的普遍重视。 关键词：军事,战斗识别,模式识别,敌我识别,神经网络 1 引言 众多科学家预言，21世纪将是“生物”世纪。这说明生物学的研究和应用已进入了空前繁荣的时代。神经网络系统理论就是近十多年来受其影响而得到飞速发展的一个世界科学研究的前沿领域。这股研究热潮必然会影响到军事技术的研究。在现代战争中，因为远程制导武器的广泛应用，绝大多数军事打击都不再依靠肉眼来辨析敌我，战场上的敌我识别变成了一个重要的问题。据统计，1991年的海湾战争期间，美军与友军之间的误伤比例高达24%；在伊拉克战争期间，共发生17起误伤事件，死18人，伤47人。两场战争的伤亡结果表明，单一的敌我识别武器已不能适应现代战争复杂的作战环境和作战要求。所以提高军队战斗识别的效率是现代军事科技研究中一个极其重要的课题。神经网络作为新的热门技术，必然受到军事研究学者们的青睐。本文只选取战斗识别这一领域，简要探讨神经网络技术在战斗识别领域中的应用前景，但求管中一窥，抛砖引玉。 2 神经网络简介 2.1 神经网络的历史 神经网络的研究可以追溯到上个世纪的1890年。但真正展开神经网络理论研究却始于本世纪40年代。1943年，有心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型——MP模型，从此开创了神经网络理论研究的新时代。MP模型以集体并行计算结构来描述神经网络及网络的运行机制，可完成有限的逻辑运算。 1949年，Hebb通过对大脑神经的细胞、人的学习行为和条件反射等一系列
BP神经网络课程设 计
《数值分析》与《数学实验》专业实训 报告书 题目基于BP神经网络预测方法的预测 模型 一、问题描述 建立基于BP神经网络的信号回归模型，来预测某一组数据。 二、基本要求 1.熟悉掌握神经网络知识； 2.学习多层感知器神经网络的设计方法和Matlab实现； 3.学习神经网络的典型结构； 4.了解BP算法基本思想，设计BP神经网络架构； 5.谈谈实验体会与收获。 三、数据结构 BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，经过反向传播来不断调整网络的权值和阈值，使网络
的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。 BP神经网络算法: 神经网络由神经元和权重构成，神经元即为：输入节点，输出节点和隐层结点三部分；权重是各个神经元相互连接的强度。神经网络经过训练，从样本中学习知识，而且将知识以数值的形式存储于连接权中。神经网络的分类过程分成两部分，首先学习网络的权重，利用一些已知的数据训练网络得到该类数据模型的权重；接着根据现有的网络结构和权重等参数得到未知样本的类别。BP算法被称作反向传播算法，主要思想是从前向后（正向）逐层传播信息；从后向前（反向）逐层传播输出层的误差，间接算出隐层误差。 四、实验内容 人工神经网络是用来模拟人脑结构及智能特点的一个前沿研究领域,它的一个重要特点是经过网络学习达到其输出与期望输出相符的结果,具有很强的自学习、自适应、鲁棒性、容错性及存储记忆的能力.人工神经网络系统评价方法以其超凡的处理复杂非线性问题的能力独树一帜,这种评价方法忠实于客观实际,不带任何人为干预的成分,是一种较好的动态评价方法. 近年来,人工神经网络的研究和应用受到了国内外的极大重视. 在人工神经网络中有多种模型,其中BP 神经网络模型最成熟,其应用也最为广泛. BP 神经网络是一种具有两层或两层以上的阶层型神经网络,层
报告一 1、程序 P=[-0.4 -0.5 0.6 0.7 0.8 -0.9 0.2;0.9 0 0.1 0.2 -0.3 0.5 0.3]; %给定训练样本数据，对应点的坐标 T=[1 1 1 0 1 0 0]; %给定样本数据对应的类别，用1和0表示两种类别 net=newp([-1 1;-1 1],1); %创建一个有两个输入、样本数据的取值范围都在【-1,1】之间，并且网络只有一个神经元的感知器神经网络 net.trainParam.epochs=20; %设置网络的最大训练次数为20次 net = train(net,P,T); %使用训练函数对创建的网络进行训练 Y=sim(net,P) %对训练后的网络进行仿真 E1=mae(Y-T) %计算网络的平均绝对误差 figure(1); %画出训练结果 plotpv(P,Y); plotpc(net.iw{1},net.b{1}) Q=[0.6 0.9 -0.1 0.7 -0.3 0.4 0.4;-0.1 -0.5 0.5 0.7 0.2 0.1 0.2]; %检测训练好的神经网络的性能 Y1=sim(net,Q) %对网络进行仿真，仿真输出即为分类的结果 figure(2); 创建一个新的绘图窗口 plotpv(Q,Y1); 在坐标中绘制测试数据 plotpc(net.iw{1},net.b{1})%在坐标中绘制分类线
2、神经网络训练 图1 神经网络训练 >>nn Y = 0 0 1 1 1 0 1 E1 = 0 Y1 = 1 1 0 1 0 1 1 3、结果图 图2 训练图 -1.5-1-0.50 0.51 1.5 Vectors to be Classified P(1)P (2)