人工神经网络及其应用实例人工神经网络是在现代神经科学研究成果基础上提出的一种抽
象数学模型，它以某种简化、抽象和模拟的方式，反映了大脑功能的
若干基本特征，但并非其逼真的描写。
人工神经网络可概括定义为：由大量简单元件广泛互连而成的复
杂网络系统。所谓简单元件，即人工神经元，是指它可用电子元件、
光学元件等模拟，仅起简单的输入输出变换y = σ (x)的作用。下图是 3 中常用的元件类型：
线性元件：y = 0.3x，可用线性代数法分析，但是功能有限，现在已不太常用。
2
1.5
1
0.5
-0.5
-1
-1.5
-2
-6 -4 -2 0 2 4 6 连续型非线性元件：y = tanh(x)，便于解析性计算及器件模拟，是当前研究的主要元件之一。
离散型非线性元件： y = ?
2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6
-4
-2
2
4
6
?1, x ≥ 0 ?-1, x < 0
，便于理论分析及阈值逻辑器件 实现，也是当前研究的主要元件之一。
2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6
-4
-2
2
4
6
每一神经元有许多输入、输出键，各神经元之间以连接键（又称
突触）相连，它决定神经元之间的连接强度（突触强度）和性质（兴
奋或抑制），即决定神经元间相互作用的强弱和正负，共有三种类型：
兴奋型连接、抑制型连接、无连接。这样，N个神经元（一般N很大）构成一个相互影响的复杂网络系统，通过调整网络参数，可使人工神
经网络具有所需要的特定功能，即学习、训练或自组织过程。一个简
单的人工神经网络结构图如下所示：
上图中，左侧为输入层（输入层的神经元个数由输入的维度决定），右侧为输出层（输出层的神经元个数由输出的维度决定），输入层与
输出层之间即为隐层。
输入层节点上的神经元接收外部环境的输入模式，并由它传递给
相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神
经元在网络内部构成中间层，不直接与外部输入、输出打交道。人工
神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层
用于产生神经网络的输出模式。
多层神经网络结构中有代表性的有前向网络（BP网络）模型、
多层侧抑制神经网络模型和带有反馈的多层神经网络模型等。本文主
要探讨前向网络模型。
多层前向神经网络不具有侧抑制和反馈的连接方式，即不具有本
层之间或指向前一层的连接弧，只有指向下一层的连接弧。代表是
BP 神经网络：输入模式由输入层进入网络，经中间各隐层的顺序变
换，最后由输出层产生一个输出模式，如下图所示：
输入层
隐层
输出层
多层前向神经网络由隐层神经元的非线性处理衍生它的能力，这
个任务的关键在于将神经元的加权输入非线性转换成一个输出的非
线性激励函数。下图给出了一个接收 n 个输入 x 1, x 2 , , x n 的神经元：
b
x 1
x 2
y
x n
y = σ (∑ w j j + b )
神经元的输出由下式给出：
n
x j =1
这里输入的加权和（括号内部分）由一个非线性函数传递， b 表
示与偏差输入相关的权值， w j 表示与第 j 个输入相关的权值。
使用最广泛的函数是 S 形函数，其曲线家族包括对数函数和双曲
正切函数，这些都可用来对人口动态系统、经济学系统等建模。另外
所用的其他函数有高斯函数、正弦函数、反正切函数，在此不一一展
开介绍，本文主要使用的激励函数是对数函数，函数表达式为：
y = L (u ) =
函数曲线如下图所示：
1
0.8
0.6
0.4
0.2
1 1 + e -u
-0.2 -10
-8
-6
-4
-2
2
4
6
8
10
对于有限输入量，对数函数输出范围为 y ∈ (0,1)。在输入为 u = 0 时，
输出值为中间值 y = 0.5。输出在 u = 0 附近随着输入的增加以相对快的
= t -
1 + e
?ε ?u e -u
?ε ?u e -u
?w = -β ? = β ? E ? ? x
?b = -β ? = β ? E ?
速率增加并非常慢地到达上限。对于 u < 0 ，输出起初减少得很快，然
后随着下限的接近将会变慢。
训练神经元的规则有很多种，这里首先介绍利用 delta 规则的学
习，神经元选择为一个单输入单输出的简单情形，数学描述如下：
u = wx + b , y =
1 1 + e -u
该神经元具有一个输入 x ，权重为 w ，偏差输入为 b ，目标输出
为 t ，预报输出为 y 。则预报误差为：
E = t - y = t -
1 1
1 + e -u 1 + e - wx -b
为消除当误差在整个输入模式上求和时引起的误差符号问题，在
delta 规则里使用的误差指示是平方误差，定义为：
1 1
2 2
1
- wx -b
)2
根据 delta 规则，最优权值（使平方误差最小）可以在训练过程
中从初始权值出发，沿负梯度方向下降得到。将平方误差对 w , b （神
经元的可调整参数）进行微分，得：
?ε ?u
= -E ? e -u -u 2
?ε ?w ?ε ?b = ? = - E ? ? x ?u ?w (1 + e -u )2 = ? = - E ?
?u ?b (1 + e -u )2
根据 delta 原则，权值改变应与误差梯度的负值成比例，引入学
习率 β ，每次迭代中的权值改变可表示为：
?ε e -u
?w (1 + e -u )2 ?ε
?b e -u (1 + e -u )2
w
ij ji
+ β ? E ?
= w
学习率 β 决定了沿梯度方向的移动速度，以确定新的权值。大的
β 值会加快权值的改变，小的 β 值则减缓了权值的改变。第 i 次迭代
后的新权值可表示为：
w i +1 = w i + β ? E ?
e -u (1 + e -u )2 ? x
b i +1 = b i + β ? E ?
e -u
(1 + e -u )2
如果将偏差输入 b 视为输入 x 的一部分，令 x 0 = 1, w 0 = b ，可以得到
对于多输入神经元的权值修正式：
+1
e -u
(1 + e -u )2
? x j , j = 0,1, 2, , n
总之，利用 delta 规则的有监督的学习可以按如下方法来实现：
一个输入模式（ x 0 , x 1, x 2 , , x n ）通过连接被传递，它的初始权值被设置
为任意值。对加权的输入求和，产生输出 y ，然后 y 与给定的目标输
出 t 做比较决定此模式的平方误差 ε 。输入和目标输出不断地被提出，
在每一次迭代或每一个训练时间后利用 delta 规则进行权值调整直到
得到可能的最小平方误差。
delta 规则在每一步中通过导数寻找在误差平面中某个特定点局
部区域的斜率，它总是应用这个斜率从而试图减小局部误差，因此，
delta 规则不能区分误差空间中的全局最小点和局部最小点，它本身
不能克服单层神经网络的局限，无法直接应用到多层神经网络（易陷
入局部最小点），但它的一般形式是多层神经网络中的学习算法——
反传算法的核心。
在多层前向神经网络的训练过程中，误差导数或关于权值的误差
, u i = ∑ a ji j , i = 1, 2, z = v , v = ∑ b i i y
表面的斜率对权值的调整是至关重要的，在网络训练期间，所有的输
出神经元和隐含神经元权值必须同时调整，因此，有必要找出关于所
有权值的误差导数。由于网络层数增多，平方误差 ε 与权值的连接没
有之前单个神经元时那么直接，故可以使用链式规则的概念来找到导
数。
下面对一个含有一层隐含神经元的 BP 网络进行讨论，网络结构
如下图所示：
x x
x
x 各个神经元的输入输出关系为：
y i =
1
1 + e -u i
n j =0
x
, m m
i =0
设目标输出为 t ，则平方误差 ε 定义为：
= ? y i , i = 0,1, 2, = ? b i , i = 1, 2, ?ε?ε??ε?ε ?u i ?ε
?u i ?a ji ?u i
= -(t - z ) ? b i ? ? x j , i = 1, 2,
1 2
使用链式法则，分别列出平方误差 ε 对所有网络参数的导数：
?ε ?v
= -(t - z )
?ε
?b i ?ε
?v
, m
?ε
?y i
?ε
?v
, m
= ? = ?
?u i ?y i ?u i ?y i (1+ e -u i )2 , i = 1, 2,
, m
?ε ?a ji
= ? = ? x j , i = 1, 2, , m , j = 0,1, 2,
, n
在实际的编程过程中，我们需要的是 ?ε
?b i
和
?ε ?a ji
，所以如果有需要，
也可以直接采用以下整理之后的形式：
?ε
?b i
= -(t - z ) ? y i , i = 0,1, 2, , m
?ε ?a ji
e -u i
(1 + e -u i )2
, m , j = 0,1, 2,
, n
研究表明，两层网络在其隐层中使用 S 形激励函数，在输出层中
使用线性传输函数，就几乎可以以任意精度逼近任意感兴趣的函数，
只要隐层中有足够的单元可用。
问题 1：
试使用 BP 神经网络去逼近正弦函数的正半周，如下：
t = sin(x ), x ∈[0,π ]
由于输入量 x 仅有一维，故 BP 神经网络结构可以设计为：
, u i = ∑ a ji j , i = 1, 2
z = v , v = ∑ b i i y
= -(t - z ) ? b i ? ? x j , i = 1, 2, j = 0,1
b i i b k - β ?
= = b i + β ? (t - z ) ? y i , i = 0,1, 2
= a -
β ? = a ji + β ? (t - z ) ? b i ? ? x j , i = 1, 2, j = 0,1 ?a j i (1 +
各个神经元的输入输出关系为：
y i =
1 1 + e -u i
1 j =0
x 2
i =0
根据之前的推导，平方误差 ε 对所有网络参数的导数为：
?ε
?b i
= -(t - z ) ? y i , i = 0,1, 2
?ε ?a ji
e -u i
(1 + e -u i )2
网络参数修正方程为：
k +1
?ε ?b i
k
a
k +1 ji
ji
k
?ε k
为加快寻找最优权值的速度，可以使用动量法。之前的方法中，
收敛到最优权值的速度取决于学习率的大小，但是过大的学习率会导
致来回震荡，不能稳定到最优权值点。动量法的引入，使得较大的学
习率也可以具有较好的稳定性，即提供了在学习期间到达最优权值时
的稳定性。这种方法基本上是将过去权值变化的平均值附加到每一次权值变化的新权值增量，从而使网络权值的变化更平滑。数学表示如下：
?w k +1 = μ ? ?w k + (1- μ ) ? β ? (- ?ε
?w
)
式中， μ是一个在0和1之间的动量参数， ?w k是在前一个训练时间里的权值变化。使用动量法的实际效果是：基本上，如果以前积累的变化与之前方向所暗示的是同一个方向时，动量部分就会加速当前权值改变；如果当前积累的变化是相反的方向，动量将阻止当前的变化。
据此编写MATLAB程序，源代码如下：
beta = 0.1;
miu = 0.8;
for i = 1 : 1 : 101;
x1(1, i) = (i - 1) * pi / 100;
t(1, i) = sin(x1(1, i));
end
x0 = 1;
y0 = 1;
a01 = rand();
a02 = rand();
a11 = rand();
a12 = rand();
b0 = rand();
b1 = rand();
b2 = rand();
delta_a01 = 0;
delta_a02 = 0;
delta_a11 = 0;
delta_a12 = 0;
delta_b0 = 0;
delta_b1 = 0;
delta_b2 = 0;
k = 1;
total_error = 0;
while 1
u1 = a01 * x0 + a11 * x1(1, k);
u2 = a02 * x0 + a12 * x1(1, k);
temp1 = exp(-u1) / ((1 + exp(-u1)) ^ 2);
temp2 = exp(-u2) / ((1 + exp(-u2)) ^ 2);
y1 = 1 / (1 + exp(-u1));
y2 = 1 / (1 + exp(-u2));
z = b0 * y0 + b1 * y1 + b2 * y2;
total_error = total_error + (t(1, k) - z) ^ 2 / 2;
delta_b0 = miu * delta_b0 + (1 - miu) * beta * sum((t(1, k) - z) * y0);
b0 = b0 + delta_b0;
delta_b1 = miu * delta_b1 + (1 - miu) * beta * sum((t(1, k) - z) * y1);
b1 = b1 + delta_b1;
delta_b2 = miu * delta_b2 + (1 - miu) * beta * sum((t(1, k) - z) * y2);
b2 = b2 + delta_b2;
delta_a01 = miu * delta_a01 + (1 - miu) * beta * sum((t(1, k) - z) * b1 * temp1 * x0);
a01 = a01 + delta_a01;
delta_a02 = miu * delta_a02 + (1 - miu) * beta * sum((t(1, k) - z) * b2 * temp2 * x0);
a02 = a02 + delta_a02;
delta_a11 = miu * delta_a11 + (1 - miu) * beta * sum((t(1, k) - z) * b1 * temp1 * x1(1, k));
a11 = a11 + delta_a11;
delta_a12 = miu * delta_a12 + (1 - miu) * beta * sum((t(1, k) - z) * b2 * temp2 * x1(1, k));
a12 = a12 + delta_a12;
k = k + 1;
if k == length(x1) + 1
total_error
k = 1;
if total_error < 0.001
break;
else
total_error = 0;
end
end
end
clear u1 u2 temp1 temp2 y1 y2 z x0 y0;
x0 = ones(size(x1));
y0 = ones(size(x1));
u1 = a01 * x0 + a11 * x1;
u2 = a02 * x0 + a12 * x1;
y1 = 1 ./ (1 + exp(-u1));
y2 = 1 ./ (1 + exp(-u2));
z = b0 * y0 + b1 * y1 + b2 * y2;
plot(x1, t, 'r');
hold on;
plot(x1, z, 'b');
hold off;
axis([0 pi -0.2 1.2]);
程序运行后，输出拟合曲线与原函数曲线，如下图所示：
1
0.8
0.6
0.4
0.2
-0.2
0 0.5 1 1.5 2 2.5 3
可以看出，训练后的神经网络的预报输出与目标输出已经很接近，拟合效果是较为理想的。
总的来说，神经网络的学习过程，是神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。BP算法是多层前向神经网络的一种学习规则，核心思想是将输出误差以某种形式通过隐层向输入层逐层反传，学习的过程就是信号的正向传播与误差的反向传播交替的过程。
多层前向神经网络的主要功能有：
（1）非线性映射能力。多层前向神经网络能学习和存储大量输入——输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式供对神经网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。
（2）泛化能力。当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间到输出空间的正确映射。
（3）容错能力。输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。
多层前向神经网络的标准BP学习算法有着以下明显的缺陷：
（1）易形成局部极小（属于贪婪算法，局部最优）而得不到全局最优；
（2）训练次数多使得学习效率低下，收敛速度慢；
（3）隐节点的选取缺乏理论支持；
（4）训练时学习新样本有遗忘旧样本的趋势。
标准BP算法的改进方法主要有：增加动量项；自适应调节学习率等。增加动量项已经在之前进行过讨论，可以减小振荡趋势，提高
训练速度。自适应调节学习率是指根据环境变化增大或减小学习率，
基本方法是：
设一初始学习率，若经过一批次权值调整后使总误差增大，则本
次调整无效，并令 β = α1β (α1 < 1)；若经过一批次权值调整后使总误差
减小，则本次调整有效，并令 β = α2β (α2 > 1)。
下面通过一个非线性分类问题来考察前向神经网络在模式识别
领域的应用。
问题2：
x - y平面上有200个点，分别属于两个类别。试设计并训练一个多层前向神经网络，以完成该分类任务，使得被错误分类的样本数量
最低。 ω1类以绿色标示， ω2类以蓝色标示。
1
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
人工神经网络原理及实际应用 摘要：本文就主要讲述一下神经网络的基本原理，特别是BP神经网络原理，以及它在实际工程中的应用。 关键词：神经网络、BP算法、鲁棒自适应控制、Smith－PID 本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在“计算＂某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后，人工神经网络经历了发展，停滞，再发展的过程，时至今日发展正走向成熟，在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理，特别是BP神经网络原理，以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟，所以要了解神经网络的工作原理，所以我们首先要了解生物神经元。其结构如下图所示： 从上图可看出生物神经元它包括，细胞体：由细胞核、细胞质与细胞膜组成；
轴突：是从细胞体向外伸出的细长部分，也就是神经纤维。轴突是神经细胞的输出端，通过它向外传出神经冲动；树突：是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端，接受来自其它神经元的冲动；突触：神经元之间相互连接的地方，既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动，以及同一时间从不同树突输入的神经冲动，神经细胞均可加以综合处理，处理的结果可使细胞膜电位升高；当膜电位升高到一阀值（约40mV），细胞进入兴奋状态，产生神经冲动，并由轴突输出神经冲动；当输入的冲动减小，综合处理的结果使膜电位下降，当下降到阀值时。细胞进入抑制状态，此时无神经冲动输出。“兴奋”和“抑制”，神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能，即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1～150m/s之间，随纤维的粗细，髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之，随着对生物神经元的深入研究，揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟，当然，以目前的理论水平，制造水平，和应用水平，还与人脑神经网络的有着很大的差别，它只是对人脑神经网络有选择的，单一的，简化的构造和性能模拟，从而形成了不同功能的，多种类型的，不同层次的神经网络模型。 2.BP神经网络 目前，再这一基本原理上已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，其网络模型如下图所示。它可以分为输入层，影层（也叫中间层），和输出层，其中中间层可以是一层，也可以多层，看实际情况而定。
基于LVQ神经网络的人脸朝向识别 摘要人脸识别是当今模式识别和人工智能的一个重要的研究方向。人脸的朝向识别是一个复杂的模式识别问题。在实际应用中，大量图像和视频源中人脸的位置、朝向、旋转角度都是不固定的，这大大增加了人脸识别的难度。为了解决这些问题，本实验采用了LVQ神经网络模型对图像中的人脸朝向识别进行研究。本实验基于matlab平台设计LVQ神经网络，实现对人脸朝向的判断。实验结果表明，LVQ神经网络可以根据输入图像的二值信息，以较高的准确率判别该图像中的人脸朝向。 关键字：人脸朝向识别；LVQ神经网络；matlab；特征提取 人脸识别是一个活跃的研究领域。尽管相对于虹膜和指纹识别，人脸识别的准确还比较低，但人脸的易采集、非接触的优点，让人脸识别受到越来越多的关注。人脸识别对人脸位置和状态都有一定的限制，实际应用中，图像和视频源 中人脸的位置，朝向和旋转都不是固定的，这就为我们后续的人脸识别有了更大的难度。 在人脸识别的研究领域中，人脸朝向识别是其中的一个分支。在以往的研究中，绝大多数的研究人员希望能够消除人脸朝向在人脸识别中的不良影响，但在复杂的实际环境中，我们无法忽略人脸朝向对人脸识别的影响。因此，对人脸朝向的判定和识别是非常有必要和有意义的。 1LVQ神经网络 学习向量量化(Learning Vector Quantization，LVQ)神经网络，属于前向神经网络类型，在模式识别和优化领域有着广泛的应用。LVQ神经网络由三层组成，即输入层、隐含层和输出层，网络在输入层与隐含层间为全连接，而在隐含层与输出层间为部分连接，每个
输出层神经元与隐含层神经元的不同组相连接。隐含层和输出层神经元之间的连接权值固定为1。输入层和隐含层神经元间连接的权值建立参考矢量的分量（对每个隐含神经元指定一个参考矢量）。在网络训练过程中，这些权值被修改。隐含层神经元（或称为Kohnen神经元）和输出神经元都具有二进制输出值。当某个输入模式被送至网络时，参考矢量最接近输入模式的隐含神经元因获得激发而赢得竞争，因而允许它产生一个“1”，而其它隐含层神经元都被迫产生“0”。与包含获胜神经元的隐含层神经元组相连接的输出神经元也发出“1”，而其它输出神经元均发出“0”。产生“1”的输出神经元给出输入模式的类，由此可见，每个输出神经元被用于表示不同的类。 2人脸朝向识别的设计 2.1问题描述 现采集到一组不同人脸朝向的图像，这组图像来自于10个人，每人5张图片，人脸朝向分为：左方、左前方、正面、右前方、右方，如图2-1所示。创建一个LVQ神经网络，对给出的人脸进行朝向的判定与识别。 2-1人脸朝向识别图 2.2建立模型 2.2.1设计思路 通过观察不难发现，当人脸朝向不同的方向时，眼睛在图像中的位置差别较大。所以，将眼睛位置的特征信息作为LVQ神经网络识别的输入，将5个朝向作为其输出。在对训练
浅谈人工神经网络 一、人工神经网络的发展 1943年，心理学家W.S.McCulloch和数理逻辑学家W.Pitts建立了神经网络和数学模型，称为MP模型。他们通过MP模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。1984年，美国加州工学院物理学家J.J.Hopfield提出了连续时间Hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究，1986年进行认知微观结构地研究，提出了并行分布处理的理论。近20年来，神经网络的软件模拟得到了广泛研究和应用，发展速度惊人。 二、人工神经网络的原理 人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为“神经网络”或类神经网络。神经网络是一种运算模型，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。 它的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 三、人工神经网络的应用范围及热点 计算机人工神经网络是一门应用广泛，涉及多学科交叉、综合的前沿学科。人工神经网络是在对人脑神经网络的基本研究的基础上，采用数理方法和信息处理的角度对人脑神经网络进行抽象，并建立的某种简化模型。突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人
人工神经网络的发展与应用 神经网络发展 启蒙时期 启蒙时期开始于1980年美国著名心理学家W．James关于人脑结构与功能的研究，结束于1969年Minsky和Pape~发表的《感知器》(Perceptron)一书。早在1943年，心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型(即M—P模型)，该模型把神经细胞的动作描述为：1神经元的活动表现为兴奋或抑制的二值变化；2任何兴奋性突触有输入激励后，使神经元兴奋与神经元先前的动作状态无关；3任何抑制性突触有输入激励后，使神经元抑制；4突触的值不随时间改变；5突触从感知输入到传送出一个输出脉冲的延迟时问是0．5ms。可见，M—P模型是用逻辑的数学工具研究客观世界的事件在形式神经网络中的表述。现在来看M—P 模型尽管过于简单，而且其观点也并非完全正确，但是其理论有一定的贡献。因此，M—P模型被认为开创了神经科学理论研究的新时代。1949年，心理学家D．0．Hebb 提出了神经元之间突触联系强度可变的假设，并据此提出神经元的学习规则——Hebb规则，为神经网络的学习算法奠定了基础。1957年，计算机学家FrankRosenblatt提出了一种具有三层网络特性的神经网络结构，称为“感知器”(Perceptron)，它是由阈值性神经元组成，试图模拟动物和人脑的感知学习能力，Rosenblatt认为信息被包含在相互连接或联合之中，而不是反映在拓扑结构的表示法中；另外，对于如何存储影响认知和行为的信息问题，他认为，存储的信息在神经网络系统内开始形成新的连接或传递链路后，新 的刺激将会通过这些新建立的链路自动地激活适当的响应部分，而不是要求任何识别或坚定他们的过程。1962年Widrow提出了自适应线性元件(Ada—line)，它是连续取值的线性网络，主要用于自适应信号处理和自适应控制。 低潮期 人工智能的创始人之一Minkey和pape~经过数年研究，对以感知器为代表的网络系统的功能及其局限性从数学上做了深入的研究，于1969年出版了很有影响的《Perceptron)一书，该书提出了感知器不可能实现复杂的逻辑函数，这对当时的人工神经网络研究产生了极大的负面影响，从而使神经网络研究处于低潮时期。引起低潮的更重要的原因是：20世纪7O年代以来集成电路和微电子技术的迅猛发展，使传统的冯·诺伊曼型计算机进入发展的全盛时期，因此暂时掩盖了发展新型计算机和寻求新的神经网络的必要性和迫切性。但是在此时期，波士顿大学的S．Grossberg教授和赫尔辛基大学的Koho—nen教授，仍致力于神经网络的研究，分别提出了自适应共振理论(Adaptive Resonance Theory)和自组织特征映射模型(SOM)。以上开创性的研究成果和工作虽然未能引起当时人们的普遍重视，但其科学价值却不可磨灭，它们为神经网络的进一步发展奠定了基础。 复兴时期 20世纪80年代以来，由于以逻辑推理为基础的人工智能理论和冯·诺伊曼型计算机在处理诸如视觉、听觉、联想记忆等智能信息处理问题上受到挫折，促使人们
1. 引言 (2) 2. 在农业生产管理与决策中的应用 (2) 2.1. 在农业机械化中的应用 (2) 2.2. 在智能农业专家系统中的应用 (3) 3. 在预测和估产中的应用 (3) 3.1. 在农作物虫情预测中的应用 (3) 3.2. 在作物水分和营养胁迫诊断及产量估测中的应用 (4) 4. 在分类鉴别与图像处理中的应用 (5) 5. 结束语 (5)
BP 神经网络的研究与应用 摘要: 本文概述了BP 神经网络在农机总动力预测、农业专家系统信息决策、虫情测报、农作物水分和养分胁迫、土壤墒情、变量施肥、分类鉴别和图像处理等领域的应用情况，总结了人工神经网络模型的优点，指出其在精准农业和智能农业中的重要理论技术支撑作用。 关键词: BP神经网络; 农业工程; 农业专家系统; 变量施肥; 土壤墒情 Research and Application of BP Neural Network Abstract: Application of BP neural network in prediction of total power in agriculture machinery，information decision-making by agricultural experts system，pest forecast，crops to water stress and nutrient stress，soil moisture condition，variable rate fertilization，identification and image processing were overviewed．Characteristics of artificial neural network model were summed．Supporting role for important theory and technology in precision agriculture and intelligent agriculture were pointed． Key words: BP neural network，Agricultural engineering，Agricultural experts system，Variable rate fertilization，Soil moisture condition
人工神经网络 系别：计算机工程系 班级： 1120543 班 学号： 13 号 姓名： 日期：2014年10月23日
人工神经网络 摘要：人工神经网络是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，由大量处理单元互联组成的非线性、自适应信息处理系统。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。 关键词：神经元；神经网络；人工神经网络；智能； 引言 人工神经网络的构筑理念是受到生物（人或其他动物）神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法（Learning Method ）得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。 一、人工神经网络的基本原理 1-1神经细胞以及人工神经元的组成 神经系统的基本构造单元是神经细胞，也称神经元。它和人体中其他细胞的关键区别在于具有产生、处理和传递信号的功能。每个神经元都包括三个主要部分:细胞体、树突和轴突。树突的作用是向四方收集由其他神经细胞传来的信息，轴突的功能是传出从细胞体送来的信息。每个神经细胞所产生和传递的基本信息是兴奋或抑制。在两个神经细胞之间的相互接触点称为突触。简单神经元网络及其简化结构如图2-2所示。 从信息的传递过程来看，一个神经细胞的树突，在突触处从其他神经细胞接受信号。 这些信号可能是兴奋性的，也可能是抑制性的。所有树突接受到的信号都传到细胞体进行综合处理，如果在一个时间间隔内，某一细胞接受到的兴奋性信号量足够大，以致于使该细胞被激活，而产生一个脉冲信号。这个信号将沿着该细胞的轴突传送出去，并通过突触传给其他神经细胞.神经细胞通过突触的联接形成神经网络。 图1-1简单神经元网络及其简化结构图 （1）细胞体 （2）树突 （3）轴突 （4）突触
X X X X大学 研究生考查课 作业 课程名称：智能控制理论与技术 研究生姓名：学号： 作业成绩： 任课教师(签名) 交作业日时间：2010年12月22日
人工神经网络(artificial neural network，简称ANN)是在对大脑的生理研究的基础上，用模拟生物神经元的某些基本功能元件(即人工神经元)，按各种不同的联结方式组成的一个网络。模拟大脑的某些机制，实现某个方面的功能，可以用在模仿视觉、函数逼近、模式识别、分类和数据压缩等领域，是近年来人工智能计算的一个重要学科分支。 人工神经网络用相互联结的计算单元网络来描述体系。输人与输出的关系由联结权重和计算单元来反映，每个计算单元综合加权输人，通过激活函数作用产生输出，主要的激活函数是Sigmoid函数。ANN有中间单元的多层前向和反馈网络。从一系列给定数据得到模型化结果是ANN的一个重要特点，而模型化是选择网络权重实现的，因此选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法就能得到包含学习训练样本范围的输人和输出的关系。如果用于学习训练的样本不能充分反映体系的特性，用ANN也不能很好描述与预测体系。显然，选用合适的学习训练样本、优化网络结构、采用适当的学习训练方法是ANN的重要研究内容之一，而寻求应用合适的激活函数也是ANN研究发展的重要内容。由于人工神经网络具有很强的非线性多变量数据的能力，已经在多组分非线性标定与预报中展现出诱人的前景。人工神经网络在工程领域中的应用前景越来越宽广。 1人工神经网络基本理论[1] 1.1神经生物学基础 可以简略地认为生物神经系统是以神经元为信号处理单元,通过广泛的突触联系形成的信息处理集团,其物质结构基础和功能单元是脑神经细胞即神经元(neu ron)。(1)神经元具有信号的输入、整合、输出三种主要功能作用行为。突触是整个神经系统各单元间信号传递驿站,它构成各神经元之间广泛的联接。(3)大脑皮质的神经元联接模式是生物体的遗传性与突触联接强度可塑性相互作用的产物,其变化是先天遗传信息确定的总框架下有限的自组织过程。 1.2建模方法 神经元的数量早在胎儿时期就已固定,后天的脑生长主要是指树突和轴突从神经细胞体中长出并形成突触联系,这就是一般人工神经网络建模方法的生物学依据。人脑建模一般可有两种方法:①神经生物学模型方法,即根据微观神经生物学知识的积累,把脑神经系统的结构及机理逐步解释清楚,在此基础上建立脑功能模型。②神经计算模型方法,即首先建立粗略近似的数学模型并研究该模型的动力学特性,然后再与真实对象作比较(仿真处理方法)。 1.3概念 人工神经网络用物理可实现系统来模仿人脑神经系统的结构和功能,是一门新兴的前沿交叉学科,其概念以T.Kohonen.Pr的论述最具代表性:人工神经网络就是由简单的处理单元(通常为适应性)组成的并行互联网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 1.4应用领域 人工神经网络在复杂类模式识别、运动控制、感知觉模拟方面有着不可替代的作用。概括地说人工神经网络主要应用于解决下述几类问题:模式信息处理和模式识别、最优化问题、信息的智能化处理、复杂控制、信号处理、数学逼近映射、感知觉模拟、概率密度函数估计、化学谱图分析、联想记忆及数据恢复等。 1.5理论局限性 (1)受限于脑科学的已有研究成果由于生理试验的困难性,目前对于人脑思维与记忆机制的认识尚很肤浅,对脑神经网的运行和神经细胞的内部处理机制还没有太多的认识。 (2)尚未建立起完整成熟的理论体系目前已提出的众多人工神经网络模型,归纳起来一般都是一个由节点及其互连构成的有向拓扑网,节点间互连强度构成的矩阵可通过某种学
基于人工神经网络的预测研究文献综述专业：电子信息工程班级：08级2班作者：刘铭指导老师：熊朝松 引言 随着多媒体和网络技术的飞速发展及广泛应用，人工神经网络已被广泛运用于各种领域，而它的预测功能也在不断被人挖掘着。人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统。现代计算机构成单元的速度是人脑中神经元速度的几百万倍，对于那些特征明确，推理或运算规则清楚地可编程问题，可以高速有效地求解，在数值运算和逻辑运算方面的精确与高速极大地拓展了人脑的能力，从而在信息处理和控制决策等方面为人们提供了实现智能化和自动化的先进手段。但由于现有计算机是按照冯·诺依曼原理，基于程序存取进行工作的，历经半个多世纪的发展，其结构模式与运行机制仍然没有跳出传统的逻辑运算规则，因而在很多方面的功能还远不能达到认得智能水平。随着现代信息科学与技术的飞速发展，这方面的问题日趋尖锐，促使科学和技术专家们寻找解决问题的新出路。当人们的思想转向研究大自然造就的精妙的人脑结构模式和信息处理机制时，推动了脑科学的深入发展以及人工神经网络和闹模型的研究。随着对生物闹的深入了解，人工神经网络获得长足发展。在经历了漫长的初创期和低潮期后，人工神经网络终于以其不容忽视的潜力与活力进入了发展高潮。这么多年来，它的结构与功能逐步改善，运行机制渐趋成熟，应用领域日益扩大，在解决各行各业的难题中显示出巨大的潜力，取得了丰硕的成果。通过运用人工神经网络建模，可以进行预测事物的发展，节省了实际要求证结果所需的研究时间。 正是由于人工神经网络是一门新兴的学科，它在理论、模型、算法、应用和时限等方面都还有很多空白点需要努力探索、研究、开拓和开发。因此，许多国家的政府和企业都投入了大量的资金，组织大量的科学和技术专家对人工神经网络的广泛问题立项研究。从人工神经网络的模拟程序和专用芯片的不断推出、论文的大量发表以及各种应用的报道可以看到，在这个领域里一个百家争鸣的局面已经形成。 为了能深入认识人工神经网络的预测功能，大量收集和阅读相关资料是非常必要的。搜集的资料范围主要是大量介绍人工神经网路，以及认识和熟悉了其中重要的BP网络。参考的著作有：马锐的《人工神经网络原理》，胡守仁、余少波的《神经网络导论》以及一些相关论文，董军和胡上序的《混沌神经网络研究进展和展望》，朱大奇的《人工神经网络研究现状及其展望》和宋桂荣的《改进BP算法在故障诊断中的应用》，这些
人工神经网络及其应用 1. 人工神经网络发展前景 人工神经网络（Artificial Neural Networks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。 神经网络具有非线性自适应的信息处理能力，克服了传统人工智能方法对于直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用[2]。神经网络与其他传统方法相组合，将推动人工智能和信息处理技术不断发展。近年来，神经网络在模拟人类认知的道路上更加深入发展，并与模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重要方向。 1.1 人工神经网络的研究背景和意义 人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应[5]。 人工神经网络就是模拟人思维的一种方式，是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 近年来通过对人工神经网络的研究，可以看出神经网络的研究目的和意义有以下三点：（1）通过揭示物理平面与认知平面之间的映射，了解它们相互联系和相互作用的机理，从而揭示思维的本质，探索智能的本源。（2）争取构造出尽可能与人脑具有相似功能的计算机，即神经网络计算机。（3）研究仿照脑神经系统的人工神经网络，将在模式识别、组合优化和决策判断等方面取得传统计算机所难以达到的效果。 人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。 1.2 神经网络的发展与研究现状 1.2.1神经网络的发展
人工神经网络及其应用实例人工神经网络是在现代神经科学研究成果基础上提出的一种抽 象数学模型，它以某种简化、抽象和模拟的方式，反映了大脑功能的 若干基本特征，但并非其逼真的描写。 人工神经网络可概括定义为：由大量简单元件广泛互连而成的复 杂网络系统。所谓简单元件，即人工神经元，是指它可用电子元件、 光学元件等模拟，仅起简单的输入输出变换y = σ (x)的作用。下图是 3 中常用的元件类型： 线性元件：y = 0.3x，可用线性代数法分析，但是功能有限，现在已不太常用。 2 1.5 1 0.5 -0.5 -1 -1.5 -2 -6 -4 -2 0 2 4 6 连续型非线性元件：y = tanh(x)，便于解析性计算及器件模拟，是当前研究的主要元件之一。
离散型非线性元件： y = ? 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6 ?1, x ≥ 0 ?-1, x < 0 ，便于理论分析及阈值逻辑器件 实现，也是当前研究的主要元件之一。 2 1.5 1 0.5 0 -0.5 -1 -1.5 -2 -6 -4 -2 2 4 6
每一神经元有许多输入、输出键，各神经元之间以连接键（又称 突触）相连，它决定神经元之间的连接强度（突触强度）和性质（兴 奋或抑制），即决定神经元间相互作用的强弱和正负，共有三种类型： 兴奋型连接、抑制型连接、无连接。这样，N个神经元（一般N很大）构成一个相互影响的复杂网络系统，通过调整网络参数，可使人工神 经网络具有所需要的特定功能，即学习、训练或自组织过程。一个简 单的人工神经网络结构图如下所示： 上图中，左侧为输入层（输入层的神经元个数由输入的维度决定），右侧为输出层（输出层的神经元个数由输出的维度决定），输入层与 输出层之间即为隐层。 输入层节点上的神经元接收外部环境的输入模式，并由它传递给 相连隐层上的各个神经元。隐层是神经元网络的内部处理层，这些神 经元在网络内部构成中间层，不直接与外部输入、输出打交道。人工 神经网络所具有的模式变换能力主要体现在隐层的神经元上。输出层 用于产生神经网络的输出模式。 多层神经网络结构中有代表性的有前向网络（BP网络）模型、
人工智能课程论文 学院计算机与信息技术 专业计算机科学与技术 年级2010级计科一班 姓名 课题对人工神经网络学习的探讨
对人工神经网络学习的探讨 摘要： 随着智能技术研究和应用的不断深入，人工智能越来越受到社会的关注。在中国科协2008年举办的"十项引领未来的科学技术"网络评选中，"人工智能技术"名列第四。人工智能作为一项引领未来的科学技术，正在以其无限的潜力，影响着未来科学技术的发展，改变着人类的生产生活方式。 人工智能就是要用机器模拟、延伸和扩展人的智能。智能就像人类生命体的精髓一样，人工智能则是人造智能系统的精髓。今天，从智能理论到智能应用，从智能产品到智能产业，从个体智能到群体智能，从智能家居到智能社会，人工智能已无处不在，其新理论、新方法、新技术、新系统、新应用如雨后春笋般不断涌现。创新智能技术，深化智能应用是人工智能发展的根本。 人工神经网络是一种新的数学建模方式，它具有通过学习逼近任意非线性映射的能力，本文主要提出了一种基于动态BP神经网络的猜测方法。 关键字：人工智能；动态系统；反向传播；人工神经网络；BP神经网络 一、简介 作为动态系统辨识、建模和控制的一种新的、令人感兴趣的工具，人工神经网络（ANN ）提供了一种普遍而且实用的方法从样例中学习值为实数、离散值或向量的函数。像反向传播（BACKPROPAGATION）这样的算法，使用梯度下降下来调节网络参数以最佳拟合由输入—输出对组成的训练集合。ANN学习对于训练数据中的错误健壮性很好，且已被成功的应用到很多领域，例如视觉场景分析、语音识别以及机器人控制等。 对人工神经网络的研究可以追溯到计算机科学的早期。然而，直到20世纪60年代晚期，人们才开始清楚单层的感知器网络的表现能力很有限，而且找不到训练多层网络的有效方法。在20世纪80年代中期ANN的研究经历了一次复兴，主要是因为训练多层网络的反向传播算法的发明。自从20世纪80年代，反向传播算法就成为应用最广泛的学习方法，而且人们也积极探索出了很多其他的ANN 方法。 二、人工神经网络学习的国内外研究状况
https://www.doczj.com/doc/6917379282.html,/s/blog_5bbd6ec00100b5nk.html 人工神经网络算法(2008-11-20 17:24:22) 标签：杂谈 人工神经网络算法的作用机理还是比较难理解，现在以一个例子来说明其原理。这个例子是关于人的识别技术的，在门禁系统，逃犯识别，各种验证码破译，银行预留印鉴签名比对,机器人设计等领域都有比较好的应用前景，当然也可以用来做客户数据的挖掘工作，比如建立一个能筛选满足某种要求的客户群的模型。 机器识别人和我们人类识别人的机理大体相似，看到一个人也就是识别对象以后，我们首先提取其关键的外部特征比如身高，体形，面部特征，声音等等。根据这些信息大脑迅速在内部寻找相关的记忆区间，有这个人的信息的话，这个人就是熟人，否则就是陌生人。 人工神经网络就是这种机理。假设上图中X(1)代表我们为电脑输入的人的面部特征，X(2)代表人的身高特征X(3)代表人的体形特征X(4)代表人的声音特征W(1)W(2)W(3)W(4)分别代表四种特征的链接权重，这个权重非常重要，也是人工神经网络起作用的核心变量。 现在我们随便找一个人阿猫站在电脑面前，电脑根据预设变量提取这个人的信息，阿猫面部怎么样，身高多少，体形胖瘦，声音有什么特征，链接权重初始值是随机的，假设每一个W均是0.25,这时候电脑按这个公式自动计 算,Y=X(1)*W(1)+X(2)*W(2)+X(3)*W(3)+X(4)*W(4)得出一个结果Y,这个Y要和一个门槛值（设为Q）进行比较，如果Y>Q,那么电脑就判定这个人是阿猫,否则判定不是阿猫.由于第一次计算电脑没有经验,所以结果是随机的.一般我们设定是正确的,因为我们输入的就是阿猫的身体数据啊. 现在还是阿猫站在电脑面前,不过阿猫怕被电脑认出来,所以换了一件衣服,这个行为会影响阿猫的体形,也就是X(3)变了,那么最后计算的Y值也就变了,它和Q比较的结果随即发生变化,这时候电脑的判断失误,它的结论是这个人不是阿猫.但是我们告诉它这个人就是阿猫,电脑就会追溯自己的判断过程,到底是哪一步出错了,结果发现原来阿猫体形X(3)这个 体征的变化导致了其判断失误,很显然,体形X(3)欺骗了它,这个属性在人的识别中不是那 么重要,电脑自动修改其权重W(3),第一次我对你是0.25的相信,现在我降低信任值,我0.10的相信你.修改了这个权重就意味着电脑通过学习认为体形在判断一个人是否是自己认识的人的时候并不是那么重要.这就是机器学习的一个循环.我们可以要求阿猫再穿一双高跟皮鞋改变一下身高这个属性,让电脑再一次进行学习,通过变换所有可能变换的外部特征,轮换让电脑学习记忆,它就会记住阿猫这个人比较关键的特征,也就是没有经过修改的特征.也就是电脑通过学习会总结出识别阿猫甚至任何一个人所依赖的关键特征.经过阿猫的训练电脑,电脑已经非常聪明了,这时你在让阿猫换身衣服或者换双鞋站在电脑前面,电脑都可以迅速的判断这个人就是阿猫.因为电脑已经不主要依据这些特征识别人了,通过改变衣服,身高骗不了它.当然,有时候如果电脑赖以判断的阿猫关键特征发生变化,它也会判断失误.我们就
人工神经网络 学号：7 学生所在学院：信息工程学院学生姓名：李建建任课教师：聂文滨教师所在学院：信息工程学院 2009年12月
目录第一部分：绪论3 1.1人工神经网络的定义3 1.2人工神经网络的基本原理3 1.3生物神经元3 1.4人工神经元模型4 1.5人工神经网络模型5 1.6.常见神经元响应函数7 1.7.神经网络基本学习算法8 1.7.1有教师学习（监督学习）8 1.7.2无教师学习（无监督学习）8 1.7.3强化学习（再励学习）8 第二部分：反向传播网络9 2.1 BP网络9 2.1.1BP网络主要应用：9 2.1.2BP网络特点9 2.1.3多层BP网络简介10 2.2三层BP网络10 2.2.1三层BP网络结构图10 2.2.2三层BP网络学习算法11 2.2.3三层BP网络设计需要考虑的问题11 第三部分：自适应竞争神经网络12 3.1自组织网络12 3.1.1网络类型12 3.1.2网络学习规则13 3.2竞争网络13 3.2.1网络结构13 3.2.2竞争网络原理14 3.2.3网络工作方式14 3.2.4 网络训练15 3.2.5竞争网络的局限性15 第四部分：地震预报的MATLAB实现15 4.1基于人工神经网络的地震预测研究背景15 4.2模型的建立16 4.3自适应竞争网络对地震等级进行预测16 4.3.1数据处理16 4.3.2自适应竞争网络设计17 4.4BP网络对地震的大小进行预测18 4.4.1数据处理18 4.4.2BP网络的设计19 第五部分：作业21
第一部分：绪论 1.1人工神经网络的定义 人工神经网络的定义不是统一的，T.Koholen对人工神经网络的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。” 1.2人工神经网络的基本原理 人工神经网络（articles neural network，ANN）结构和工作机理基本上以人脑的组织结构（大脑神经元网络）和活动规律为背景的，它反映了人脑的某些基本特征，但并不是要对人脑部分的真实再现，可以说它是某种抽象、简化或模仿。 1.3生物神经元 神经元是大脑处理信息的基本单元，人脑大约由1011个神经元组成，神经元互相连接成神经网络。神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。
人工神经网络概述及其在分类中的应用举例 人工神经网络(ARTIFICIAL NEURAL NETWORK，简称ANN)是目前国际上一门发展迅速的前沿交叉学科。为了模拟大脑的基本特性，在现代神经科学研究的基础上，人们提出来人工神经网络的模型。人工神经网络是在对人脑组织结构和运行机智的认识理解基础之上模拟其结构和智能行为的一种工程系统。 神经网络在2个方面与人脑相似： (1) 人工神经网络获取的知识是从外界环境中学习得来的。 (2) 互连神经元的连接强度，即突触权值，用于存储获取的信息。他既是高度非线性动力学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为。神经网络理论是巨量信息并行处理和大规模并行计算的基础。 一人工神经网络的基本特征 1、并行分布处理：人工神经网络具有高度的并行结构和并行处理能力。这特别适于实时控制和动态控制。各组成部分同时参与运算，单个神经元的运算速度不高，但总体的处理速度极快。 2、非线性映射：人工神经网络具有固有的非线性特性，这源于其近似任意非线性映射(变换)能力。只有当神经元对所有输入信号的综合处理结果超过某一门限值后才输出一个信号。因此人工神经网络是一
种具有高度非线性的超大规模连续时间动力学系统。 3、信息处理和信息存储合的集成：在神经网络中，知识与信息都等势分布贮存于网络内的各神经元，他分散地表示和存储于整个网络内的各神经元及其连线上，表现为神经元之间分布式的物理联系。作为神经元间连接键的突触，既是信号转换站，又是信息存储器。每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。信息处理的结果反映在突触连接强度的变化上，神经网络只要求部分条件，甚至有节点断裂也不影响信息的完整性，具有鲁棒性和容错性。 4、具有联想存储功能：人的大脑是具有联想功能的。比如有人和你提起内蒙古，你就会联想起蓝天、白云和大草原。用人工神经网络的反馈网络就可以实现这种联想。神经网络能接受和处理模拟的、混沌的、模糊的和随机的信息。在处理自然语言理解、图像模式识别、景物理解、不完整信息的处理、智能机器人控制等方面具有优势。 5、具有自组织自学习能力：人工神经网络可以根据外界环境输入信息，改变突触连接强度，重新安排神经元的相互关系，从而达到自适应于环境变化的目的。 6、软件硬件的实现：人工神经网络不仅能够通过硬件而且可借助软件实现并行处理。近年来，一些超大规模集成电路的硬件实现已经问世，而且可从市场上购到，这使得神经网络具有快速和大规模处理能力的实现网络。许多软件都有提供了人工神经网络的工具箱（或软件包）如Matlab、Scilab、R、SAS等。 二人工神经网络的基本数学模型
学习方式 根据数据类型的不同，对一个问题的建模有不同的方式。在机器学习或者人工智能领域，人们首先会考虑算法的学习方式。在机器学习领域，有几种主要的学习方式。将算法按照学习方式分类是一个不错的想法，这样可以让人们在建模和算法选择的时候考虑能根据输入数据来选择最合适的算法来获得最好的结果。 监督式学习： 在监督式学习下，输入数据被称为“训练数据”，每组训练数据有一个明确的标识或结果，如对防垃圾邮件系统中“垃圾邮件”“非垃圾邮件”，对手写数字识别中的“1“，”2“，”3“，”4“等。在建立预测模型的时候，监督式学习建立一个学习过程，将预测结果与“训练数据”的实际结果进行比较，不断的调整预测模型，直到模型的预测结果达到一个预期的准确率。监督式学习的常见应用场景如分类问题和回归问题。常见算法有逻辑回归（Logistic Regression）和反向传递神经网络（Back Propagation Neural Network） 非监督式学习：
在非监督式学习中，数据并不被特别标识，学习模型是为了推断出数据的一些内在结构。常见的应用场景包括关联规则的学习以及聚类等。常见算法包括Apriori算法以及k-Means算法。 半监督式学习： 在此学习方式下，输入数据部分被标识，部分没有被标识，这种学习模型可以用来进行预测，但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归，算法包括一些对常用监督式学习算法的延伸，这些算法首先试图对未标识数据进行建模，在此基础上再对标识的数据进行预测。如图论推理算法（Graph Inference）或者拉普拉斯支持向量机（Laplacian SVM.）等。 强化学习：
人工神经网络及其应用总论 人工神经网络及其应用总论 【摘要】本文介绍了人工神经网络的概念，主要讲述了人工神经网络的特征、基础知识、一般结构和分类，进一步说明了人工神经网络学习和训练，模型的建立过程，最后综述了其应用。 【Abstract】This paper introduces the concept of artificial neural networks ，mainly discusses the features,base knowledges,the general structure and classification of artificial neural networks.And it further illustrates the artificial neural networks' learning, training,the process of model building.finally it introduces the applications of artificial neural networks． 【关键词】神经网络人工智能 【Kay words】Artificial Neural Networks Artificial intelligence 0 引言 人工神经网络(Artificial Neural Network，ANN)，是由大量处理单元(即神经元Neurons)广泛连接而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特征。人工种经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能。它是根值于神经科学，数学．统计学、物理学、计算机科学及工程等学科的一种技术[1]。人工神经网络是计算智能和机器学习研究中最活跃的分交之一。 1 神经网络概念 lech-Nielsen将神经网络定义为一个并行、分布处理结构，它由神经元及其称为联接的无向讯号通道互连而成。这些神经元具有局部内存，并可以完成局部操作。每个神经元有一个单～的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应神经元的信号，信号的大小不因分支的多少而变化。神经元的输出信号可以是任何需要的数学模型，每个神经元中进行的操作必须是完全局部的。也就是说，它必须仅仪依赖于经过输入联接到达神经元。 人工神经网络(ANN)与基于传统模型的方法相比，它具有非线性、数据驱动并自适应等特点。它是建模强有力的工具，尤其是当基本数据之间的关系未知时，其显威力。ANN能够辨识和学习输入数据集和相应目标值之间的关系。训练后，ANNs