人工神经网络 (2)

《智能控制技术》考试试题（备注：请将本试卷粘贴在答题本内页）一、概念题（每小题5分，共20分）（1）人工神经网络人工神经网络的研究是人工智能、认知科学、神经生理学、非线性动力学等学科的交叉热点。

2．模糊推理知道了语言控制规则中蕴含的模糊关系后，就可以根据模糊关系和输入情况，来确定输出的情况，这就叫“模糊推理”。

3．专家系统专家系统是一个具有大量专门知识与经验的程序系统，它应用人工智能技术，根据某个领域或多个人类专家提供的知识和经验进行推理和判断，模拟人类专家的决策过程，以解决那些需要专家决定的复制问题。

4．递阶控制对递阶结构的大系统所采用的控制方式。

二、简答题（每小题10分，共40分）1．简述智能控制的发展过程,并说明智能控制的特点。

从20世纪60年代至今，智能控制的发展过程通常被划分3个阶段：萌芽期、形成期和发展期。

智能控制具有以下基本特点：1）应能为复杂系统进行有效的全局控制，并具有较强的容错能力。

2）定性策划和定量控制相结合的多模态组合控制。

3）从系统的功能和整体优化的角度来分析和综合系统，以实现预定的目标，并具有自组织能力。

4）同时具有以知识表示的非数学广义模型和以数学表示的数学模型的混合控制过程，系统在信息处理上，既有数学运算，又有逻辑和知识推理。

2．智能控制学科有哪几种结构理论?这些理论的内容是什么?二元结构理论傅京孙曾对几个与自学习控制(learning control)有关的领域进行了研究。

为强调系统的问题求解和决策能力,他用“智能控制系统”来包括这些领域。

他指出“智能控制系统描述自动控制系统与人工智能的交接作用”。

我们可以用式(1.3)和(1.6)以与图1.3来表示这种交接作用,并把它称为二元交集结构。

1.4.2 三元结构理论萨里迪斯于1977年提出另一种智能控制结构,它把傅京孙的智能控制扩展为三元结构,即把智能控制看作为人工智能、自动控制和运筹学的交接,如图1.4所示。

萨里迪斯认为,构成二元交集结构的两元互相支配,无助于智能控制的有效和成功应用。

第二章深度神经网络一、概述1、基本概念深度学习（Deep Learning）是一种没有人为参与的特征选取方法，又被称为是无监督的特征学习（Unsupervised Feature Learning）。

深度学习思想的神经网络利用隐含层从低到高依次学习数据的从底层到高层、从简单到复杂、从具体到抽象的特征，而这一特性决定了深度学习模型可以学习到目标的自适应特征，具有很强的鲁棒性。

深度学习的另外一个思想是贪婪算法(greedy algorithm)的思想，其在训练的时候打破了几十年传统神经网络训练方法的“桎梏”，采用逐层训练(greedy layer-wise)的贪婪思想，并经过最后的微调(fine-tuning)，这一训练算法的成功也使得深度学习获得了巨大成功。

传统的模式识别方法：机器学习过程从最初的传感器得到原始的数据，到经过预处理，都是为了第三步和第四步的特征提取和特征选择，而这个耗时耗力的工作一般要靠人工完成。

这种靠人工的，需要大量的专业知识的启发式的特征提取方法注定要限制机器学习的发展，而深度学习的非监督学习阶段的“盲学习”的特性能够解决该问题，即：深度学习在特征提取和选择时是完全自主的，不需要任何的人工干预。

2、神经网络发展受限之处多隐含层的网络容易收敛到参数空间的局部最优解，即偏导数为0 的点，尤其在目标识别中，由于图像的信噪比很低，神经网络很容易陷入局部极小点； 训练算法与网络的初始参数有很大关系，比较容易过拟合；训练速度慢；在误差反向传播的训练算法中，层数越深，误差越小，甚至接近于0，造成训练失败。

误差反向传播算法必须要用到带标签的数据（有导师学习、监督学习），获取带标签的数据十分困难。

3、深度学习的学习算法深度学习的基本模型从形式上来看和神经网络一致，基本的结构单元都是神经元，由神经元组成网络层，整个网络由输入层，隐含层和输出层组成。

在深度学习理论中，一个网络的学习算法每运行一次，只调整一层网络的参数。

习题2.1什么是感知机？感知机的基本结构是什么样的？解答：感知机是Frank Rosenblatt在1957年就职于Cornell航空实验室时发明的一种人工神经网络。

它可以被视为一种最简单形式的前馈人工神经网络，是一种二元线性分类器。

感知机结构：2.2单层感知机与多层感知机之间的差异是什么？请举例说明。

解答：单层感知机与多层感知机的区别：1. 单层感知机只有输入层和输出层，多层感知机在输入与输出层之间还有若干隐藏层；2. 单层感知机只能解决线性可分问题，多层感知机还可以解决非线性可分问题。

2.3证明定理：样本集线性可分的充分必要条件是正实例点集所构成的凸壳与负实例点集构成的凸壳互不相交.解答：首先给出凸壳与线性可分的定义凸壳定义1：设集合S⊂R n，是由R n中的k个点所组成的集合，即S={x1,x2,⋯,x k}。

定义S的凸壳为conv(S)为：conv(S)={x=∑λi x iki=1|∑λi=1,λi≥0,i=1,2,⋯,k ki=1}线性可分定义2：给定一个数据集T={(x1,y1),(x2,y2),⋯,(x n,y n)}其中x i∈X=R n , y i∈Y={+1,−1} , i=1,2,⋯,n ,如果存在在某个超平面S：w∙x+b=0能够将数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有的正例点即y i=+1的实例i，有w∙x+b>0，对所有负实例点即y i=−1的实例i，有w∙x+b<0，则称数据集T为线性可分数据集；否则，称数据集T线性不可分。

必要性：线性可分→凸壳不相交设数据集T中的正例点集为S+，S+的凸壳为conv(S+)，负实例点集为S−，S−的凸壳为conv(S−)，若T是线性可分的，则存在一个超平面：w ∙x +b =0能够将S +和S −完全分离。

假设对于所有的正例点x i ，有：w ∙x i +b =εi易知εi >0，i =1，2，⋯，|S +|。

人工神经网络简介1 人工神经网络概念、特点及其原理 (1)1.1人工神经网络的概念 (1)1.2人工神经网络的特点及用途 (2)1.3人工神经网络的基本原理 (3)2 人工神经网络的分类及其运作过程 (5)2.1 人工神经网络模式的分类 (5)2.2 人工神经网络的运作过程 (6)3 人工神经网络基本模型介绍 (6)3.1感知器 (7)3.2线性神经网络 (7)3.3BP（Back Propagation）网络 (7)3.4径向基函数网络 (8)3.5反馈性神经网络 (8)3.6竞争型神经网络 (8)1 人工神经网络概念、特点及其原理人工神经网络（Artificial Neural Networks，简记作ANN），是对人类大脑系统的一阶特征的一种描述。

简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。

1.1人工神经网络的概念利用机器模仿人类的智能是长期以来人们认识自然、改造自然的理想。

自从有了能够存储信息、进行数值运算和逻辑运算的电子计算机以来，其功能和性能得到了不断的发展，使机器智能的研究与开发日益受到人们的重视。

1956年J.McCart冲等人提出了人工智能的概念，从而形成了一个与神经生理科学、认知科学、数理科学、信息论与计算机科学等密切相关的交叉学科。

人工神经网络是人工智能的一部分，提出于50年代，兴起于80年代中期，近些年已经成为各领域科学家们竞相研究的热点。

人工神经网络是人脑及其活动的一个理论化的数学模型，它由大量的处理单元通过适当的方式互联构成，是一个大规模的非线性自适应系统，1998年Hecht-Nielsen曾经给人工神经网络下了如下定义：人工神经网络是一个并行、分层处理单元及称为联接的无向信号通道互连而成。

这些处理单元（PE-Processing Element）具有局部内存，并可以完成局部操作。

每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支撑希望个数的许多并联联接，且这些并联联接都输出相同的信号，即相应处理单元的信号。

《神经网络原理》一、填空题1、从系统的观点讲，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。

2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。

3、神经网络按结构可分为前馈网络和反馈网络，按性能可分为离散型和连续型，按学习方式可分为有导师和无导师。

4、神经网络研究的发展大致经过了四个阶段。

5、网络稳定性指从t=0时刻初态开始，到t时刻后v(t+△t)=v(t)，(t>0)，称网络稳定。

6、联想的形式有两种，它们分是自联想和异联想。

7、存储容量指网络稳定点的个数，提高存储容量的途径一是改进网络的拓扑结构，二是改进学习方法。

8、非稳定吸引子有两种状态，一是有限环状态，二是混沌状态。

9、神经元分兴奋性神经元和抑制性神经元。

10、汉明距离指两个向量中对应元素不同的个数。

二、简答题1、人工神经元网络的特点？答：（1）、信息分布存储和容错性。

（2）、大规模并行协同处理。

（3）、自学习、自组织和自适应。

（4）、人工神经元网络是大量的神经元的集体行为，表现为复杂的非线性动力学特性。

（5）人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。

2、单个神经元的动作特征有哪些？答：单个神经元的动作特征有：（1）、空间相加性；（2）、时间相加性；（3）、阈值作用；（4）、不应期；（5）、可塑性；（6）疲劳。

3、怎样描述动力学系统？答：对于离散时间系统，用一组一阶差分方程来描述：X(t+1)=F[X(t)]；对于连续时间系统，用一阶微分方程来描述：dU(t)/dt=F[U(t)]。

4、F(x)与x 的关系如下图，试述它们分别有几个平衡状态，是否为稳定的平衡状态？答：在图（1）中，有两个平衡状态a 、b ，其中，在a 点曲线斜率|F ’(X)|>1，为非稳定平稳状态；在b 点曲线斜率|F ’(X)|<1，为稳定平稳状态。

在图（2）中，有一个平稳状态a ，且在该点曲线斜率|F ’(X)|>1，为非稳定平稳状态。

人工神经网络理论.设计及应用第二版课程设计一、前言人工神经网络是一种模拟生物神经网络结构和功能的计算模型，本质上是一个数学模型。

它是建立在现代信息科学、数学、电子工程等多学科交叉的基础上的，是一种群体智能的集成体现。

近年来，人工神经网络技术在模式识别、数据挖掘、机器学习等领域备受关注，被誉为第三次信息技术革命。

本课程设计将以人工神经网络理论、设计及应用为主线，结合数学基础、机器学习理论等多学科知识，从理论与实践两个方面介绍人工神经网络的基本原理、模型设计、参数调整及应用实例等内容。

本课程旨在使学生通过理论课程和课程设计学习到人工神经网络的基本原理和应用，提高学生的工程实践能力和应用创新能力。

二、课程设计方案2.1 课程设计目标1.掌握人工神经网络基本理论知识，包括神经元结构、神经网络结构、神经网络训练算法等；2.熟悉常见的神经网络模型，如感知器、反向传播神经网络、自适应神经网络等；3.掌握神经网络在分类、回归等领域的应用，能够完成简单的神经网络设计、实现和应用；4.培养工程实践能力，提高应用创新能力。

2.2 课程设计内容1.神经元模型及激活函数的选择2.前馈神经网络模型的设计3.反向传播神经网络模型的设计4.常见的神经网络模型介绍5.神经网络的训练算法6.神经网络在分类、回归、时间序列预测等领域的应用7.神经网络在数据挖掘、机器学习等领域的应用2.3 课程设计形式1.理论课程讲解：介绍人工神经网络的基本理论知识、常见神经网络模型、神经网络的训练算法等；2.课程设计实验：设计实现人工神经网络的分类、回归、时间序列预测等应用；3.课程报告撰写：撰写课程设计报告，内容包括课程设计目的、实验内容、实验结果及分析、所遇问题及解决方法等。

2.4 评分方式1.课程设计报告：60分；2.课程设计实验：30分；3.课堂表现：10分。

三、教学安排课程内容学时数讲解方式神经元模型及激活函数的选择 2 讲解前馈神经网络模型的设计 4 讲解+实践反向传播神经网络模型的设计 6 讲解+实践常见的神经网络模型介绍 2 讲解神经网络的训练算法 4 讲解+实践神经网络在分类、回归、时间序列预测等领域的应用6 讲解+实践神经网络在数据挖掘、机器学习等领域的应用 6 讲解+实践四、课程设计考核指标1.设计和实现神经网络的分类、回归、时间序列预测等应用；2.分析神经网络设计中所遇到的问题及解决方法；3.撰写清晰、规范的课程设计报告；4.具备一定的工程实践能力和应用创新能力。

人工神经网络基本原理
人工神经网络（Artificial Neural Network，ANN）是一种模拟人类大脑神经元工作方式的计算模型，由多个神经元节点相互连接而成。

它可以通过学习和适应性调整来进行信息处理和模式识别。

人工神经网络由输入层、隐藏层和输出层组成。

输入层接受外部输入信号，隐藏层用于处理这些信号，输出层则给出最终的输出结果。

每个层中的神经元节点与下一层的节点相连接，并通过具有可调整权值的连接进行信息传递。

每个神经元节点接收到输入信号后，会对其进行加权求和，并通过激活函数将结果转换为输出信号。

在训练过程中，人工神经网络根据输入样本和期望输出进行学习。

通过调整连接权值，神经网络逐渐优化其输出结果，使得实际输出与期望输出之间的误差最小化。

这一过程称为反向传播算法，通过梯度下降的方式，不断更新权值以逼近最优解。

人工神经网络具有较强的非线性拟合能力和自适应学习能力，可以用于解决分类、回归、模式识别等各种问题。

它已经广泛应用于图像和语音识别、自然语言处理、金融预测、医学诊断等领域。

然而，人工神经网络也存在一些挑战和限制。

例如，过拟合问题会导致网络在训练集上表现良好但在测试集上表现较差；训练时间较长，且需要大量的训练数据和计算资源；网络结构的选择和调优需要经验和专业知识。

总的来说，人工神经网络是一种模拟人脑神经元工作方式的计算模型，具有强大的非线性拟合能力和自适应学习能力。

虽然存在一些挑战和限制，但它在许多领域中都有广泛应用和研究价值。