BP神经网络例二(分类)

基于MATLAB的BP神经网络应用人工神经网络（Artificial Neural Networks，NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学系统。

神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。

神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。

神经网络具有非线性自适应的信息处理能力，克服了传统人工智能方法对于直觉的缺陷，因而在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。

神经网络与其他传统方法相组合，将推动人工智能和信息处理技术不断发展。

近年来，神经网络在模拟人类认知的道路上更加深入发展，并与模糊系统、遗传算法、进化机制等组合，形成计算智能，成为人工智能的一个重要方向。

MATLAB是一种科学与工程计算的高级语言，广泛地运用于包括信号与图像处理，控制系统设计，系统仿真等诸多领域。

为了解决神经网络问题中的研究工作量和编程计算工作量问题，目前工程领域中较为流行的软件MATLAB，提供了现成的神经网络工具箱（Neural Network Toolbox，简称NNbox），为解决这个矛盾提供了便利条件。

神经网络工具箱提供了很多经典的学习算法，使用它能够快速实现对实际问题的建模求解。

在解决实际问题中，应用MATLAB 语言构造典型神经网络的激活传递函数，编写各种网络设计与训练的子程序，网络的设计者可以根据需要调用工具箱中有关神经网络的设计训练程序，使自己能够从烦琐的编程中解脱出来，减轻工程人员的负担，从而提高工作效率。

一、人工神经网络的研究背景和意义人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

经元 i 到神经元 j 的连接权值; f
为激活函数或挤压函数。由于神经元采用了不同的激活
函数,使得神经元具有不同的信息处理特性,而神经元的信息处理特性是决定神经网络整体性
能的主要因素之一,因此激活函数具有重要的意义。
（1）阈值型函数，即 f x 为阶跃函数。
1, x 0
f x
9.1.2人工神经元模型
人们通过研究发现,大脑之所以能够处理极其复杂的
分析、推理工作,一方面是因为其神经元个数的庞大,
另一方面还在于神经元能够对输入信号进行非线性
处理。人工神经元模型就是用人工方法模拟生物神
经元而形成的模型,是对生物神经元的抽象、模拟与
简化，它是一个多输入、单输出的非线性元件，单
个神经元是前向型的。将人工神经元的基本模型和
1
f x
或 f x Leabharlann x1 e1 e x
（9-4）
其中 又称为 Sigmoid 函数的增益,其值决定了函数非饱和段的斜率, 越大, 曲线越陡。
（4）高斯函数。高斯函数(也称钟型函数)也是极为重要的一类激活函数,常用于径向基
神经网络(RBF 网络),其表达式为:
（1）按神经网络的拓扑结构可以分为反馈神经网络
模型和前馈神经网络模型;
（2）按神经网络模型的性能可分为连续型与离散型
神经网络模型,确定型与随机型神经网络模型;
（3）按学习方式可以分为有导师学习和无导师学习
神经网络模型;
（4）按连接突触性质可分为一阶线性关联和高阶非
线性关联神经网络模型。
1.误差后向传播神经网络
值时,细胞体的膜会发生单发性的尖峰电位,这一尖
峰电位将会沿着轴突传播到四周与其相联系的神经

廷塑签凰．B P人工神经网络的原理及其应用焦志钦(华南理工大学，广东广州510000)f}商鞫人工神经网络是计算智能和机器学习研究中最活跃的分交之一。

本文对神经网络中的BP算法的原理做了详尽的阐述，并用M a da b 程序对其进行了应用。

表明它具有强大的拟合功能。

房；建闭B P算法；M adab1人工神经网络的发展人工神经网络是一个由多个简单神经元相互关联构成的能够实现某种特定功能的并行分布式处理器。

单个神经元由杈值、偏置值、净输^和传输函数组成。

多输入单神经元模型如图1—1所示。

岛见：●仇图1—1多输入单神经元模型其中P为输入值，w．为连接权值，b为偏置值，f似o√为传输函数。

神经元值n=w p+b，输出值为a=f M。

人工神经网络的第一个应用是感知机网络和联想学习规则。

不幸的是，后来研究表明基本的感知机网络只能解决有限的几类问题。

单层感知机只能解决线性分类问题。

不能解决异或问题，也不能解决非线性问题，因此就有单层感知机发展为多层感知机。

多层神经网络中—个重要的方法是B P算法。

BP网络属于多层前向网络，如图1—2所示：卫咒鼍旬k图卜2卵网络模型2B P算法B P网络计算方法如式(2—1)所示，为简化，将神经元的阈值8视为连接权值来处理，并令xo=go=ho=一1，故式(5-1)可以改写为式(2—2)。

92‘i互％蕾一8少j=I，2，…，，17也=，f∑峭一日．J j卢7，22，…，n2(2，1)^=，f2郴一日。

Jj卢7，，…，(2—1)心y，--f凭峭叫i j=1，2，…，n29=7i互w刚∥j=1，2，．．’，几7^-f嚷郴一日小』=7，2，…，n2(2—2)M=f f三峭一日，Jj j=l，2，…，n2，=，B P算法是一种有导师的学习算法，这种算法通常是应用最速下降法。

图2—1描述了B P网络的一部分，其中包括工作信号(实线)和误差信号(虚线)两部分。

2002。

10。

1。

0。

’。

年。

常要求激活函数是连续可微的
输出层与隐含层的激活函数可以不同，并且输出层
各单元的激活函数可有所区别
2024/8/16
26
2 多层网络的表达能力
按照Kolmogorov定理,任何一个判决均可用 前式所示的三层神经网络实现。
即： 只要给定足够数量的隐含层单元、适 当的非线性函数、以及权值， 任何由输入向输 出的连续映射函数均可用一个三层前馈神经网络 实现。
神经网络的计算通过网络结构实现；
不同网络结构可以体现各种不同的功能；
网络结构的参数是通过学习逐渐修正的。
2024/8/16
7
(1)基本的人工神经元模型
McCulloch-Pitts神经元模型
输入信号；链接强度与权向量；
信号累积
2024/8/16
激活与抑制
8
人工神经元模型的三要素 :
一组连接 一个加法器 一个激励函数
➢ 树突(dendrites), 接收来自外接的信息 ➢ 细胞体(cell body), 神经细胞主体，信息加工 ➢ 轴突(axon), 细胞的输出装置，将信号向外传递，
与多个神经元连接 ➢突触 （synapsse), 神经元经突触向其它神经元（胞体 或树突）传递信号
2024/8/16
5
(2)生物神经元的基本特征
5 假定：第l层为当前处理层；
其前一层l 1、当前层l、后一层l 1的计算单元序号为i, j,k；
位于当前层第j个计算单元的输出为Olj，j 1,..., nl
前层第i个单元到本层第j个单元的连接权值为ilj , i 1,..., nl1
本层第j个单元到后层第k个单元的连接权值为
l 1 jk
,
连接权值，突触连接强度

BP神经网络分类/预测1. 数据预处理在训练神经网络前一般需要对数据进行预处理，一种重要的预处理手段是归一化处理。

下面简要介绍归一化处理的原理与方法。

(1) 什么是归一化？数据归一化，就是将数据映射到[0,1]或[-1,1]区间或更小的区间，比如(0.1,0.9) 。

(2) 为什么要归一化处理？<1>输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长。

<2>数据范围大的输入在模式分类中的作用可能会偏大，而数据范围小的输入作用就可能会偏小。

<3>由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域。

例如神经网络的输出层若采用S形激活函数，由于S形函数的值域限制在(0,1)，也就是说神经网络的输出只能限制在(0,1)，所以训练数据的输出就要归一化到[0,1]区间。

<4>S形激活函数在(0,1)区间以外区域很平缓，区分度太小。

例如S形函数f(X)在参数a=1时，f(100)与f(5)只相差0.0067。

(3) 归一化算法一种简单而快速的归一化算法是线性转换算法。

线性转换算法常见有两种形式：<1>y = ( x - min )/( max - min )其中min为x的最小值，max为x的最大值，输入向量为x，归一化后的输出向量为y 。

上式将数据归一化到[ 0 , 1 ]区间，当激活函数采用S形函数时（值域为(0,1)）时这条式子适用。

<2>y = 2 * ( x - min ) / ( max - min ) - 1这条公式将数据归一化到[ -1 , 1 ] 区间。

当激活函数采用双极S形函数（值域为(-1,1)）时这条式子适用。

(4) Matlab数据归一化处理函数归一化处理数据可以采用premnmx，postmnmx，tramnmx这3个函数。

<1>premnmx语法：[pn,minp,maxp,tn,mint,maxt] = premnmx(p,t)pn：p矩阵按行归一化后的矩阵minp，maxp：p矩阵每一行的最小值，最大值tn：t矩阵按行归一化后的矩阵mint，maxt：t矩阵每一行的最小值，最大值作用：将矩阵p，t归一化到[-1,1] ，主要用于归一化处理训练数据集。

BP神经网络数学原理及推导过程BP神经网络（Backpropagation Neural Network），也称为反向传播神经网络，是一种常见的人工神经网络模型，主要用于解决回归和分类问题。

它在数学上涉及到多元微积分、线性代数和概率论等方面的知识。

本文将从数学原理和推导过程两个方面进行阐述。

一、数学原理：1. 激活函数（Activation Function）：激活函数是神经网络中非线性变换的数学函数，用于引入非线性因素，增加神经网络的表达能力。

常见的激活函数有Sigmoid函数、ReLU函数等。

2. 前向传播（Forward Propagation）：神经网络的前向传播是指将输入数据从输入层依次传递到输出层的过程。

在前向传播中，每个神经元接收上一层神经元传递过来的激活值和权重，计算出当前神经元的输出值，并将输出值传递给下一层神经元。

3. 反向传播（Backward Propagation）：神经网络的反向传播是指根据损失函数的值，从输出层开始，沿着网络的反方向不断调整神经元的权重，以达到最小化损失函数的目的。

在反向传播中，通过链式法则计算每个神经元对损失函数的导数，进而利用梯度下降算法更新权重。

4. 误差函数（Error Function）：误差函数用于衡量神经网络输出结果和真实值之间的差异，常见的误差函数有均方差（Mean Squared Error）函数和交叉熵（Cross Entropy）函数。

5.权重更新规则：反向传播算法中的核心部分就是权重的更新。

权重更新通常采用梯度下降算法，通过计算损失函数对权重的偏导数，按照负梯度方向更新权重值，使得损失函数逐渐减小。

二、推导过程：下面将以一个简单的多层感知机为例，推导BP神经网络的权重更新规则。

假设我们有一个三层的神经网络，第一层为输入层，第二层为隐藏层，第三层为输出层，隐藏层和输出层都使用Sigmoid激活函数。

1.前向传播：首先，我们根据输入层的输入值X和权重W1，计算隐藏层的输入值H1：H1=X*W1然后，将隐藏层的输入值H1带入到Sigmoid函数中，得到隐藏层的输出值A1：A1=σ(H1)接下来，根据隐藏层的输出值A1和权重W2，计算输出层的输入值H2：H2=A1*W2最后，将输出层的输入值H2带入到Sigmoid函数中，得到输出层的输出值A2：A2=σ(H2)2.反向传播：设输出层的输出值为Y，隐藏层的输出值为A1，损失函数为L。

BP神经网络实验详解（MATLAB实现）BP（Back Propagation）神经网络是一种常用的人工神经网络结构，用于解决分类和回归问题。

在本文中，将详细介绍如何使用MATLAB实现BP神经网络的实验。

首先，需要准备一个数据集来训练和测试BP神经网络。

数据集可以是一个CSV文件，每一行代表一个样本，每一列代表一个特征。

一般来说，数据集应该被分成训练集和测试集，用于训练和测试模型的性能。

在MATLAB中，可以使用`csvread`函数来读取CSV文件，并将数据集划分为输入和输出。

假设数据集的前几列是输入特征，最后一列是输出。

可以使用以下代码来实现：```matlabdata = csvread('dataset.csv');input = data(:, 1:end-1);output = data(:, end);```然后，需要创建一个BP神经网络模型。

可以使用MATLAB的`patternnet`函数来创建一个全连接的神经网络模型。

该函数的输入参数为每个隐藏层的神经元数量。

下面的代码创建了一个具有10个隐藏神经元的单隐藏层BP神经网络：```matlabhidden_neurons = 10;net = patternnet(hidden_neurons);```接下来，需要对BP神经网络进行训练。

可以使用`train`函数来训练模型。

该函数的输入参数包括训练集的输入和输出，以及其他可选参数，如最大训练次数和停止条件。

下面的代码展示了如何使用`train`函数来训练模型：```matlabnet = train(net, input_train, output_train);```训练完成后，可以使用训练好的BP神经网络进行预测。

可以使用`net`模型的`sim`函数来进行预测。

下面的代码展示了如何使用`sim`函数预测测试集的输出：```matlaboutput_pred = sim(net, input_test);```最后，可以使用各种性能指标来评估预测的准确性。

BP神经网络算法
1
目
录
一、BP神经网络算法概述
二、BP神经网络算法原理
三、BP神经网络算法特点及改进
2
一．BP神经网络算法概述
BP神经网络（Back-Propagation Neural Network），即误差
后向传播神经网络，是一种按误差逆向传播算法训练的多层前馈网
络，是目前应用最广泛的网络模型之一。
11
二．BP神经网络算法原理
图5 Tan-Sigmoid函数在（-4,4）范围内的函数曲线
12
二．BP神经网络算法原理
激活函数性质：
① 非线性
② 可导性：神经网络的优化是基于梯度的，求解梯度需要确保函
数可导。
③ 单调性：激活函数是单调的，否则不能保证神经网络抽象的优
化问题转化为凸优化问题。
④ 输出范围有限：激活函数的输出值范围有限时，基于梯度的方

= 1 ෍
=1
7
,
= 1,2,3 … , q
二．BP神经网络算法原理
输出层节点的输出为：

j = 2 ෍ ,
= 1,2,3. . . ,
=1
至此，BP网络完成了n维空间向量对m维空间的近似映射。
图2 三层神经网络的拓扑结构
8
二．BP神经网络算法原理
BP神经网络是多层前馈型神经网络中的一种，属于人工神经网
络的一类，理论可以对任何一种非线性输入输出关系进行模仿，因
此 被 广 泛 应 用 在 分 类 识 别 （ classification ） 、 回 归
（regression）、压缩（compression）、逼近（fitting）等领域。
在工程应用中，大约80%的神经网络模型都选择采用BP神经网

i=1,2,…,n,n+1
(1-22)
其中，η称为权重变化率，0<η≤1 在式(1—22)中，η的取值不能太大．如果1取 值太大则会影响wi (t)的稳定；的取值也不能 太小，太小则会使Wi (t)的求取过程收敛速度 太慢。
当实际输出和期望值d相同时有：
W i (t+1)=W i (t)
6．转到第2点，一直执行到一切样本均稳定 为止。 从上面式(1—14)可知，感知器实质是一个 分类器，它的这种分类是和二值逻辑相应的。 因此，感知器可以用于实现逻辑函数。下面 对感知器实现逻辑函数的情况作一些介绍。 例：用感知器实现逻辑函数X1 VX2 的真值：
பைடு நூலகம்
为了能实现梯度算法，故把神经元的激发函 数改为可微分函数，例如Sigmoid函数， 非对称Sigmoid函数为f(X)=1/(1+e-x ),对 称Sigmoid函数f(X)=(1-e-x )/(1+e-x )； 而不采用式(1—13)的阶跃函数。 对于给定的样本集Xi (i＝1，2，，n)，梯 度法的目的是寻找权系数W* ，使得 f[W*. Xi ]与期望输出Yi尽可能接近。 设误差e采用下式表示： (1-25)
(1-31)
在上式(1—30)，式(1—31)中，μ 是权重变 化率，它视情况不同而取值不同，一般取01之间的小数。
很明显，梯度法比原来感知器的学习算法进 了一大步。其关键在于两点： 1．神经元的传递函数采用连续的s型函数， 而不是阶跃函数； 2．对权系数的修改采用误差的梯度去控制， 而不是采用误差去控制。故而有更好的动态 特能，即加强了收敛进程。 但是梯度法对于实际学习来说，仍然是感觉 太慢；所以，这种算法仍然是不理想的。
在这里，并不要求过于严格去争论和区分算 法和模型两者的有关异同。感知机学习算法 是一种单层网络的学习算法。在多层网络 中．它只能改变最后权系数。因此， 感知机 学习算法不能用于多层神经网络的学习。 1986年，Rumelhart提出了反向传播学习 算法，即BP(backpropagation)算法。这 种算法可以对网络中各层的权系数进行修正， 故适用于多层网络的学习。BP算法是目前最 广泛用的神经网络学习算法之一，在自动控 制中是最有用的学习算法。

另一种是基于数值优化理论的训练算法，下面介绍三种网络训练函数， 分别为共轭梯度法（traincgf,traincgp,traincgb,trainscg)以及高斯-牛 顿法（trainbfg,trainoss）和Levenberg-Marquardt（trainlm）
(1)由动量的梯度下降法
在神经网络工具箱中， traingdm函数采用了由动量的梯度下降法，提高 了学习速度并增加了算法的可靠性。
x x1, x2,
hi hi1, hi2,
ho ho1, ho2,
yi yi1, yi2,
yo yo1, yo2,
do d1, d2,
, xn
, hip
, hop
, yiq
, yoq
, dq
2.4.2 BP网络的标准学习算法
– 输入层与中间层的连接权值:
wih
– 隐含层与输出层的连接权值:
2.4.1 BP神经网络模型
• 三层BP网络
2.4.1 BP神经网络模型
• 激活函数
– 必须处处可导
• 一般都使用S型函数
• 使用S型激活函数时BP网络输入与输出关 系
– 输入 net x1w1 x2w2 ... xnwn
– 输出
y
f
(net)
1
1 enet
2.4.1 BP神经网络模型
2.4 BP神经网络模型与学习算法
概述
• Rumelhart，McClelland于1985年提出了BP网络的误差 反向后传BP(Back Propagation)学习算法
David Rumelhart
J. McClelland
• BP算法基本原理
– 利用输出后的误差来估计输出层的直接前导层的误差，再用这个 误差估计更前一层的误差，如此一层一层的反传下去，就获得了 所有其他各层的误差估计。

o (k ) (do (k ) yoo (k )) f ( yio (k ))
w
N 1 ho
w o (k )hoh (k )
N ho
BP网络的标准学习算法
第七步，利用隐含层各神经元的 h (k )和 输入层各神经元的输入修正连接权。
e e hih (k ) wih (k ) h (k ) xi (k ) wih hih (k ) wih
2 o1
BP网络的标准学习算法
第一步，网络初始化 给各连接权值分别赋一个区间（-1，1） 内的随机数，设定误差函数e，给定计 算精度值 和最大学习次数M。 第二步,随机选取第 k个输入样本及对应 期望输出
d o ( k ) d1 ( k ), d 2 ( k ),, d q ( k )
p 1 q ( ((d o (k ) f( who hoh ( k ) bo ) 2 )) hoh (k ) 2 o1 h 1 hoh (k ) hih (k )
(d o (k ) yoo (k )) f ( yio (k )) who
o 1
q
hoh (k ) hih (k )
h (k ) (o (k )who )f (hih (k ))
q
w
N 1 ih
o 1
w h (k ) xi (k )
N ih
BP网络的标准学习算法
第八步，计算全局误差
1 2 E (d o (k ) yo (k )) 2m k 1 o1
第九步，判断网络误差是否满足要求。当误差 达到预设精度或学习次数大于设定的最大次数， 则结束算法。否则，选取下一个学习样本及对 应的期望输出，返回到第三步，进入下一轮学 习。

tk a2k
(1.3.1) (1.3.2)
1.3学习规划
算法的下一阶是反向传播的敏感性值，在开始反向传播 前需要先求传输函数的导数对于f1为对数S型激活函数：
f1
n
1
1 e
n
f1'
n
0
en 1
1 en 2
en 1 en
2f1 nΒιβλιοθήκη f1(n)1.3学习规划
对于f2为线性激活函数：
1.1BP神经网络介绍
BP算法分为两个部分： 第一部分（正向传播过程）输入信息从输入层经 隐层逐层计算各单元的输出值 第二部分（反向传播过程）输出 误差逐层向前计算出隐层各单元 的误差，并用此误差修正前层权 值，最终使误差减小到可接受的 范围。具体步骤如下：
1.1BP神经网络介绍
1.从训练集中取出某一样本，把信息输入网络中。 2.通过各节点间的连接情况正向逐层处理后，得到神经 网络的实际输出。 3.计算网络实际输出与期望输出的误差。 4.将误差逐层反向回传至之前各层，并按一定原则将误 差信号加载到连接权值上，使整个神经网络的连接权 值向误差减小的方向转化。 5、对训练集中每一个输入—输出样本对重复以上步骤， 直到整个训练样本集的误差减小到符合要求为止。
2.BP网络的激活函数必须是处处可微的，因此它不能采 用二值型的阀值函数{0，1}或符号函数{－1，1}
3.BP网络经常使用的是S型传输函数（如logsig函数）， 其输出值将会限制在较小的范围（0,1）内，线性传输 函数则可以取任意值
1.3学习规则
对于图1的BP神经网络，设K为迭代次数，则每层权值 和阈值的修正按下式进行：
f2' n n' 1
根据式：（1.3.1）或（1.3.2）和各层的传输函数，可求 出第K次迭代的误差曲面的梯度g（k）=∂E(K)/∂x(k), 代入x（k+1）=x(k)-αg(k),便可逐次修正其权值和阈 值，并使总的误差减小的方向变化，直到所要求的误 差性能为止。

神经网络的应用
人工神经网络以其具有自学习、自组织、 较好的容错性和优良的非线性逼近能力，受到 众多领域学者的关注。在实际应用中，80%～ 90%的人工神经网络模型是采用误差反传算法
或其变化形式的网络模型（简称BP神经网络），
目前主要应用于函数逼近、模式识别、分类和
数据压缩或数据挖掘。
§2 BP神经网络概述
人工神经网络是根据人的认识过程而开发出的一 种算法。 假如我们现在只有一些输入和相应的输出，而对 如何由输入得到输出的机理并不清楚，那么我们可以 把输入与输出之间的未知过程看成是一个“网络”， 通过不断地给这个网络输入和相应的输出来“训练” 这个网络，网络根据输入和输出不断地调节自己的各 节点之间的权值来满足输入和输出。这样，当训练结 束后，我们给定一个输入，网络便会根据自己已调节 好的权值计算出一个输出。这就是神经网络的简单原 理。

工作过程：
从神经元各组成部分的功能来看，信息的处理与传递主
要发生在突触附近。当神经元细胞体通过轴突传到突触 前膜的脉冲幅度达到一定强度，即超过其阈值电位后， 突触前膜将向突触间隙释放神经传递的化学物质。 神经元间信息的产生、传递和处理是一种电化学活动。 神经元间的信号通过突触传递。通过它，一个神经元内 传送的冲击信号将在下一个神经元内引起响应，使下一 个神经元兴奋，或阻止下一个神经元兴奋。
常见的激活函数有以下几种类型：
1、阶梯函数 2、线性函数 3、非线性：Sigmoid函数
1 (s) 1 e s
1 (s) 1 e s
人工神经网络的分类

按网络连接的拓扑结构分类：
层次型结构：将神经元按功能分成若干层，如输入
层、中间层（隐含层）和输出层，各层顺序相连 互连型网络结构：网络中任意两个节点之间都可能 存在连接路径

BP神经⽹络的数据分类BP 神经⽹络的数据分类——语⾳特征信号分类1. BP神经⽹络是⼀种多层前馈神经⽹络，该⽹络的主要特点是信号前向传递，误差反向传播。

在前向传递中，输⼊信号从输⼊层经隐含层逐层处理，直⾄输出层． 每⼀层的神经元状态只影响下⼀层神经元状态。

如果输出层得不到期望输出，则转⼊反向传播， 根据预测误差调整⽹络权值和阔值，从⽽使BP 神经⽹络预测输出不断逼近期望输出。

2. 语⾳特征信号识别是语⾳识别研究领域中的⼀个重要⽅⾯， ⼀般采⽤模式匹配的原理解决。

语⾳识别的运算过程为：⾸先，待识别语⾳转化为电信号后输⼊识别系统，经过预处理后⽤数学⽅法提取语⾳特征信号，提取出的语⾳特征信号可以看成该段语⾳的模式E 然后，将该段语⾳模型罔已知参考模式相⽐较，获得最佳匹配的参考模式为该段语⾳的识别结果。

3. 本代码选取了民歌、古筝、摇滚和流⾏四类不同⾳乐， ⽤BP 神经⽹络实现对这四类⾳乐的有效分类。

每段⾳乐都⽤倒谱系费⽴法提取500 组24 维语⾳特征信号。

4. BP 神经⽹络构建根据系统输⼊输出数据特点确定BP 神经⽹络的结构，由于语⾳特征输⼊信号有24 维，待分类的语⾳信号共有4类，所以BP 神经⽹络的结构为24-25-4 ，即输⼊层有24 个节点，隐含层有25 个节点，输出层有4 个节点。

BP 神经⽹络训练⽤训练数据训练BP 神经⽹络。

共有2 000 组语⾳特征信号，从中随机选择1 5 00 组数据作为训练数据训练⽹络， 5 00 组数据作为测试数据测试⽹络分类能⼒。

BP 神经⽹络分类⽤训练好的神经⽹络对测试数据所属语⾳类别进⾏分类。

算法流程图为：5. 程序实现%% 该代码为基于BP⽹络的语⾔识别%% 清空环境变量clcclear%% 训练数据预测数据提取及归⼀化%下载四类语⾳信号load data1 c1load data2 c2load data3 c3load data4 c4%四个特征信号矩阵合成⼀个矩阵data(1:500,:)=c1(1:500,:);data(501:1000,:)=c2(1:500,:);data(1001:1500,:)=c3(1:500,:);data(1501:2000,:)=c4(1:500,:);%从1到2000间随机排序k=rand(1,2000);[m,n]=sort(k);%输⼊输出数据input=data(:,2:25);output1 =data(:,1);%把输出从1维变成4维output=zeros(2000,4);for i=1:2000switch output1(i)case 1output(i,:)=[1 0 0 0];case 2output(i,:)=[0 1 0 0];case 3output(i,:)=[0 0 1 0];case 4output(i,:)=[0 0 0 1];endend%随机提取1500个样本为训练样本，500个样本为预测样本input_train=input(n(1:1500),:)';output_train=output(n(1:1500),:)';input_test=input(n(1501:2000),:)';output_test=output(n(1501:2000),:)';%输⼊数据归⼀化[inputn,inputps]=mapminmax(input_train);%% ⽹络结构初始化innum=24;midnum=25;outnum=4;%权值初始化w1=rands(midnum,innum);b1=rands(midnum,1);w2=rands(midnum,outnum);b2=rands(outnum,1);w2_1=w2;w2_2=w2_1;w1_1=w1;w1_2=w1_1;b1_1=b1;b1_2=b1_1;b2_1=b2;b2_2=b2_1;%学习率xite=0.1;alfa=0.01;loopNumber=10;I=zeros(1,midnum);Iout=zeros(1,midnum);FI=zeros(1,midnum);dw1=zeros(innum,midnum);db1=zeros(1,midnum);%% ⽹络训练E=zeros(1,loopNumber);for ii=1:loopNumberE(ii)=0;for i=1:1:1500%% ⽹络预测输出x=inputn(:,i);% 隐含层输出for j=1:1:midnumI(j)=inputn(:,i)'*w1(j,:)'+b1(j);Iout(j)=1/(1+exp(-I(j)));end% 输出层输出yn=w2'*Iout'+b2;%% 权值阀值修正%计算误差e=output_train(:,i)-yn;E(ii)=E(ii)+sum(abs(e));%计算权值变化率dw2=e*Iout;db2=e';for j=1:1:midnumS=1/(1+exp(-I(j)));FI(j)=S*(1-S);endfor k=1:1:innumfor j=1:1:midnumdw1(k,j)=FI(j)*x(k)*(e(1)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3)+e(4)*w2(j,4)); db1(j)=FI(j)*(e(1)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3)+e(4)*w2(j,4));endendw1=w1_1+xite*dw1';b1=b1_1+xite*db1';w2=w2_1+xite*dw2';b2=b2_1+xite*db2';w1_2=w1_1;w1_1=w1;w2_2=w2_1;w2_1=w2;w2_2=w2_1;w2_1=w2;b1_2=b1_1;b1_1=b1;b2_2=b2_1;b2_1=b2;endend%% 语⾳特征信号分类inputn_test=mapminmax('apply',input_test,inputps); fore=zeros(4,500);for ii=1:1for i=1:500%1500%隐含层输出for j=1:1:midnumI(j)=inputn_test(:,i)'*w1(j,:)'+b1(j);Iout(j)=1/(1+exp(-I(j)));endfore(:,i)=w2'*Iout'+b2;endend%% 结果分析%根据⽹络输出找出数据属于哪类output_fore=zeros(1,500);for i=1:500output_fore(i)=find(fore(:,i)==max(fore(:,i)));end%BP⽹络预测误差error=output_fore-output1(n(1501:2000))';%画出预测语⾳种类和实际语⾳种类的分类图figure(1)plot(output_fore,'r')hold onplot(output1(n(1501:2000))','b')legend('预测语⾳类别','实际语⾳类别')%画出误差图figure(2)plot(error)title('BP⽹络分类误差','fontsize',12)xlabel('语⾳信号','fontsize',12)ylabel('分类误差','fontsize',12)%print -dtiff -r600 1-4k=zeros(1,4);%找出判断错误的分类属于哪⼀类for i=1:500if error(i)~=0[b,c]=max(output_test(:,i));switch ccase 1k(1)=k(1)+1;case 2k(2)=k(2)+1;case 3k(3)=k(3)+1;case 4k(4)=k(4)+1;endendend%找出每类的个体和kk=zeros(1,4);for i=1:500[b,c]=max(output_test(:,i));switch ccase 1kk(1)=kk(1)+1;case 2kk(2)=kk(2)+1;case 3kk(3)=kk(3)+1;case 4case 4kk(4)=kk(4)+1; endend%正确率rightridio=(kk-k)./kk; disp('正确率')disp(rightridio);6.点击7.结果如下图。

BP神经⽹络　百度百科　在⼈⼯神经⽹络发展历史中，很长⼀段时间⾥没有找到隐层的连接权值调整问题的有效算法。

直到误差反向传播算法（BP 算法）的提出，成功地解决了求解⾮线性连续函数的多层前馈神经⽹络权重调整问题。

BP (Back Propagation)神经⽹络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。

输⼊层各神经元负责接收来⾃外界的输⼊信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能⼒的需求，中间层可以设计为单隐层或者多隐层结构；最后⼀个隐层传递到输出层各神经元的信息，经进⼀步处理后，完成⼀次学习的正向传播处理过程，由输出层向外界输出信息处理结果。

当实际输出与期望输出不符时，进⼊误差的反向传播阶段。

误差通过输出层，按误差梯度下降的⽅式修正各层权值，向隐层、输⼊层逐层反传。

周⽽复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经⽹络学习训练的过程，此过程⼀直进⾏到⽹络输出的误差减少到可以接受的程度，或者预先设定的学习次数为⽌。

BP神经⽹络模型BP⽹络模型包括其输⼊输出模型、作⽤函数模型、误差计算模型和⾃学习模型。

（1）节点输出模型 隐节点输出模型：Oj=f(∑Wij×Xi-qj) (1) 输出节点输出模型：Yk=f(∑Tjk×Oj-qk) (2) f-⾮线形作⽤函数；q -神经单元阈值。

图1 典型BP⽹络结构模型 （2）作⽤函数模型 作⽤函数是反映下层输⼊对上层节点刺激脉冲强度的函数⼜称刺激函数，⼀般取为(0,1)内连续取值Sigmoid函数：f(x)=1/(1+e) （3） （3）误差计算模型 误差计算模型是反映神经⽹络期望输出与计算输出之间误差⼤⼩的函数： Ep=1/2×∑(tpi-Opi) (4) tpi- i节点的期望输出值；Opi-i节点计算输出值。

（4）⾃学习模型 神经⽹络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。

神经网络作业作业说明第一题（函数逼近）：BP网络和RBF网络均是自己编写的算法实现。

BP网络均采用的三层网络：输入层（1个变量）、隐层神经元、输出层（1个变量）。

转移函数均为sigmoid函数，所以没有做特别说明。

在第1小题中贴出了BP和RBF的Matlab代码，后面的就没有再贴出；而SVM部分由于没有自己编写，所以没有贴出。

而针对其所做的各种优化或测试，都在此代码的基础上进行，相应参数的命名方式也没有再改变。

RBF网络使用了聚类法和梯度法两种来实现。

而对于SVM网络，在后面两题的分类应用中都是自己编写的算法实现，但在本题应用于函数逼近时，发现效果很差，所以后来从网上下载到一个SVM工具包LS-SVMlab1.5aw，调用里面集成化的函数来实现的，在本题函数逼近中均都是采用高斯核函数来测试的。

第二题（分类）：BP网络和RBF网络都是使用的Matlab自带的神经网络工具包来实现的，不再贴出代码部分。

而SVM网络则是使用的课上所教的算法来实现的，分别测试了多项式核函数和高斯核函数两种实现方法，给出了相应的Matlab代码实现部分。

第三题：由于问题相对简单，所以就没有再使用Matlab进行编程实现，而是直接进行的计算。

程序中考虑到MATLAB处理程序的特性，尽可能地将所有的循环都转换成了矩阵运算，大大加快了程序的运行速度。

编写时出现了很多错误，常见的如矩阵运算维数不匹配，索引值超出向量大小等；有时候用了很麻烦的运算来实现了后来才知道原来可以直接调用Matlab里面的库函数来实现以及怎么将结果更清晰更完整的展现出来等等。

通过自己编写算法来实现各个网络，一来提升了我对各个网络的理解程度，二来使我熟悉了Matlab环境下的编程。

1.函数拟合（分别使用BP，RBF，SVM），要求比较三个网络。

2π.x ,05x)sin(5x)exp(y(x)4π.x ,0xsinx y(x)100.x x),1exp(y(x)100.x ,1x1y(x)≤≤-=≤≤=≤≤-=≤≤=解：（1）.1001,1)(≤≤=x x x ya. BP 网络：Matlab 代码如下：nv=10; %神经元个数：10个err=0.001; %误差阈值J=1; %误差初始值N=1; %迭代次数u=0.2; %学习率wj=rand(1,nv); %输入层到隐层神经元的权值初始化wk=rand(1,nv); %隐层神经元到输出层的权值初始化xtrain=1:4:100; %训练集，25个样本xtest=1:1:100; %测试集，100个dtrain=1./xtrain; %目标输出向量，即教师%训练过程while (J>err)&&(N<100000)uj=wj'*xtrain;h=1./(1+exp(-uj)); %训练集隐层神经元输出uk=wk*h;y=1./(1+exp(-uk)); %训练集输出层实际输出delta_wk = u*(dtrain-y).*y.*(1-y)*h'; %权值调整delta_wj = u*wk.*(((dtrain-y).*y.*(1-y).*xtrain)*(h.*(1-h))'); wk = wk+delta_wk;wj = wj+delta_wj;J=0.5*sum((dtrain-y).^2); %误差计算j(N)=J;N=N+1;end%测试及显示uj=wj'*xtest;h=1./(1+exp(-uj));uk=wk*h;dtest=1./(1+exp(-uk));figuresubplot(1,2,1),plot(xtest,dtest,'ro',xtest,1./xtest);legend('y=1/x', 'network output');subplot(1,2,2),plot(xtest,1./xtest-dtest);x=1:N-1;figureplot(x,j(x));运行条件：10个神经元，误差迭代阈值为0.001.学习率为0.2。

BP人工神经网络由输入层、隐藏层和输出层组成，每一层都包含多个神经元，通过调整连接权重实现信息传 递和处理。
BP人工神经网络的实例
BP人工神经网络可以应用于多个领域，如图像识别、语音处理、预测分析等，为解决复杂问题提供了有效的神经网络的输入是具体问题的相关数据，比如图像数据、声音数据等。 输出是经过神经网络计算后得出的结果。
神经元和连接权重
神经元是BP人工神经网络的基本单元，通过调整连接权重来不断优化神经网 络的表现和学习能力。
前向传播和反向传播
前向传播是指输入数据从输入层经过隐藏层到达输出层的过程。反向传播是指根据误差计算，通过调整连接权 重来优化神经网络的过程。
训练和优化算法
BP人工神经网络的训练过程是通过不断调整连接权重使得神经网络的输出结 果接近于期望结果的过程。优化算法如梯度下降算法等可以加速训练的过程。
BP人工神经网络的基本 原理、模型与实例
人工神经网络（Artificial Neural Network）以人类大脑神经网络的的运作方式 为模型，用于模拟智能行为和解决复杂问题。
BP人工神经网络的基本原理
BP人工神经网络通过多层神经元和连接权重的组合，实现输入数据到输出结 果的计算和转换过程。
BP人工神经网络的模型