第六讲 人工神经网络
1 人工神经网络
这里我们将从总体来说明致使人工神经网络成为数据挖掘应用中一个重要的范式的关
键因素。神经网络经历了两个主要的发展阶段——20世纪60年代初期以及80年代中期。
它们是机器学习领域中的重要发展。人工神经网络的起源来自于生物学上的重大发现：大脑
的行为是由被称为神经元的一个个小单元组成的网络的相互作用引起的。人类的大脑大约有
100亿个神经元，而每个神经元平均与10,000个其它的神经元相联接。神经元通过控制神经
元上信号作用的神经突触接受信息。这些神经突触的连接才被认为是大脑行为的关键因素。
人工神经网络中的基本组成元素就是如图1所示神经元的数学模型中。这三个基本的（人工）
神经元组成部分是：
（1）带有权重jω的突触或者联接元，连接到输入值jx其中1,,jm=⋅⋅⋅；
（2）加法器，将输入值连同权重的加权和带入激活函数中进行计算。
其中01m
jjjvωω
==+∑x
0ω为偏差（不同于预测和估计中的统计偏差），是与神经元有关的数值。把偏差看做是
输入0x的权重是很方便的，这些权重值之和恒为1，于是有 。 0m
jjjvxω
==∑
（3）激活函数 （也称为压缩函数），使通过后得到神经元的输出值。这个函
数是单调的。 gv()gv
在学者研究的众多（人工）神经网络结构中，成功运用于数据挖掘的是多层前馈网络。
这些网络由一个由多个结点组成的仅仅被赋予输入值的输入层和后续的神经元结点组成的
隐含层和输出层，对神经元的描述如图1所示。神经元的输出是下一层神经元的输入，最后
1一层称为输出层。通常输出层与输入层之间的若干层是隐藏的，图2就描绘出了这种结构。
在有指导的网络中，神经网络用于预测数量，因此，输出层只有一个神经元，而它的输
出就是预测值。当网络用于分类时，需要分多少类，输出层的结点通常就有多少个。有最大
值的输出结点就是给定输入估计的类。在两类的分类问题中，输出层往往只有一个结点，两
类由输出值的取舍点分开。
人工神经网络及其应用
1. 人工神经网络发展前景
人工神经网络（Artificial Neural Networks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。
神经网络具有非线性自适应的信息处理能力，克服了传统人工智能方法对于直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用[2]。神经网络与其他传统方法相组合，将推动人工智能和信息处理技术不断发展。近年来，神经网络在模拟人类认知的道路上更加深入发展，并与模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重要方向。
1.1 人工神经网络的研究背景和意义
人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应[5]。
人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。
近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有以下三点：（1）通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。（2）争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。（3）研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。
对人工神经网络的一点认识
摘要：
关键字：
定义：
人工神经网络也简称为神经网络,是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入－输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果，这种学习分析的过程被称为“训练”。
人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。
人工神经网络的以下几个突出的优点使它近年来引起人们的极大关注：
(1)可以充分逼近任意复杂的非线性关系；
(2)所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；
(3)采用并行分布处理方法，使得快速进行大量运算成为可能；
(4)可学习和自适应不知道或不确定的系统；
(5)能够同时处理定量、定性知识。
人工神经网络的特点和优越性：第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。 第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。
第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
发展趋势：
人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。
人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
基本特征：
人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：
（1）非线性 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性
关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。
（2）非局限性 一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。
（3）非常定性 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。
（4）非凸性 一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。
