BP神经网络测试例子(附数据)

1、数据归一化‎2、数据分类，主要包括打‎乱数据顺序‎，抽取正常训‎练用数据、变量数据、测试数据3、建立神经网‎络，包括设置多‎少层网络（一般3层以‎内既可以，每层的节点‎数（具体节点数‎，尚无科学的‎模型和公式‎方法确定，可采用试凑‎法，但输出层的‎节点数应和‎需要输出的‎量个数相等‎），设置隐含层‎的传输函数‎等。

关于网络具‎体建立使用‎方法，在后几节的‎例子中将会‎说到。

4、指定训练参‎数进行训练‎，这步非常重‎要，在例子中，将详细进行‎说明5、完成训练后‎，就可以调用‎训练结果，输入测试数‎据，进行测试6、数据进行反‎归一化7、误差分析、结果预测或‎分类，作图等数据归一化‎问题归一化的意‎义：首先说一下‎，在工程应用‎领域中，应用BP网‎络的好坏最‎关键的仍然‎是输入特征‎选择和训练‎样本集的准‎备，若样本集代‎表性差、矛盾样本多‎、数据归一化‎存在问题，那么，使用多复杂‎的综合算法‎、多精致的网‎络结构，建立起来的‎模型预测效‎果不会多好‎。

若想取得实‎际有价值的‎应用效果，从最基础的‎数据整理工‎作做起吧，会少走弯路‎的。

归一化是为‎了加快训练‎网络的收敛‎性，具体做法是‎：1 把数变为（0，1）之间的小数‎主要是为了‎数据处理方‎便提出来的‎，把数据映射‎到0～1范围之内‎处理，更加便捷快‎速，应该归到数‎字信号处理‎范畴之内。

2 把有量纲表‎达式变为无‎量纲表达式‎归一化是一‎种简化计算‎的方式，即将有量纲‎的表达式，经过变换，化为无量纲‎的表达式，成为纯量比如，复数阻抗可‎以归一化书‎写：Z = R + jωL = R(1 + jωL/R) ，复数部分变‎成了纯数量‎了，没有量纲。

另外，微波之中也‎就是电路分‎析、信号系统、电磁波传输‎等，有很多运算‎都可以如此‎处理，既保证了运‎算的便捷，又能凸现出‎物理量的本‎质含义。

神经网络归‎一化方法：由于采集的‎各数据单位‎不一致，因而须对数‎据进行[-1,1]归一化处理‎，归一化方法‎主要有如下‎几种，供大家参考‎：1、线性函数转‎换，表达式如下‎：复制内容到‎剪贴板代码‎:y=(x-MinVa‎l ue)/(MaxVa‎l ue-MinVa‎l ue)说明：x、y分别为转‎换前、后的值，MaxVa‎l ue、MinVa‎l ue分别‎为样本的最‎大值和最小‎值。

数据集划分
01
02
03
训练集
用于训练神经网络，占总 数据的70%-90%。
验证集
用于调整超参数和选择最 佳模型，占估模型的性能，占 总数据的10%-30%。
03
BP神经网络模型构建
神经元模型
神经元模型
神经元是神经网络的基本单元， 它模拟了生物神经元的基本功能，
误差计算
根据实际输出与期望输出计算误差。
权值调整
根据误差反向传播算法调整各层的权值和阈值。
迭代训练
重复前向传播和权值调整过程，直到达到预设的迭代次 数或误差要求。
02
BP神经网络实例选择与数据准备
实例选择
选择一个具有代表性的问题
为了展示BP神经网络的应用，选择一个具有代表性的问题，例如 分类、回归或聚类等。
成。
节点数量
02
每一层的节点数量需要根据具体问题来确定，过多的节点可能
导致过拟合，而节点过少则可能无法充分提取数据特征。
连接权重
03
连接权重是神经网络中非常重要的参数，它决定了神经元之间
的连接强度和信息传递方式。
激活函数选择
激活函数的作用
激活函数用于引入非线性特性，使得神经网络能够更好地处理复 杂的非线性问题。
误差反向传播
当实际输出与期望输出不符时，进入 误差反向传播阶段，误差信号从输出 层开始逐层向输入层传播，并根据误 差调整各层的权值和阈值。
训练过程
数据准备
准备训练数据和测试数据，并对数据进行预 处理，如归一化等。
网络初始化
为各层神经元设置初始权值和阈值。
前向传播
输入样本数据，通过正向传播计算每一层的输出 值。
3

BP神经网络模型第1节基本原理简介近年来全球性的神经网络研究热潮的再度兴起，不仅仅是因为神经科学本身取得了巨大的进展．更主要的原因在于发展新型计算机和人工智能新途径的迫切需要．迄今为止在需要人工智能解决的许多问题中，人脑远比计算机聪明的多，要开创具有智能的新一代计算机，就必须了解人脑，研究人脑神经网络系统信息处理的机制．另一方面，基于神经科学研究成果基础上发展出来的人工神经网络模型，反映了人脑功能的若干基本特性，开拓了神经网络用于计算机的新途径．它对传统的计算机结构和人工智能是一个有力的挑战，引起了各方面专家的极大关注．目前，已发展了几十种神经网络，例如Hopficld模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart等的多层感知机模型和Kohonen的自组织网络模型等等。

在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。

多层感知机神经网络的研究始于50年代，但一直进展不大。

直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算），实现了Minsky的多层网络设想，如图34-1所示。

BP 算法不仅有输入层节点、输出层节点，还可有1个或多个隐含层节点。

对于输入信号，要先向前传播到隐含层节点，经作用函数后，再把隐节点的输出信号传播到输出节点，最后给出输出结果。

节点的作用的激励函数通常选取S 型函数，如Qx e x f /11)(-+=式中Q 为调整激励函数形式的Sigmoid 参数。

该算法的学习过程由正向传播和反向传播组成。

在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层。

每一层神经元的状态只影响下一层神经输入层 中间层 输出层 图34-1 BP 神经网络模型元的状态。

如果输出层得不到期望的输出，则转入反向传播，将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使得误差信号最小。

社含有n 个节点的任意网络，各节点之特性为Sigmoid 型。

计算智能基础实验报告实验名称：BP神经网络算法实验班级名称：341521班专业：探测制导与控制技术姓名：***学号：********一、 实验目的1）编程实现BP 神经网络算法；2）探究BP 算法中学习因子算法收敛趋势、收敛速度之间的关系；3）修改训练后BP 神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果，理解神经网络分布存储等特点。

二、 实验要求按照下面的要求操作，然后分析不同操作后网络输出结果。

1）可修改学习因子2）可任意指定隐单元层数3）可任意指定输入层、隐含层、输出层的单元数4）可指定最大允许误差ε5）可输入学习样本（增加样本）6）可存储训练后的网络各神经元之间的连接权值矩阵；7）修改训练后的BP 神经网络部分连接权值，分析连接权值修改前和修改后对相同测试样本测试结果 。

三、 实验原理1BP 神经网络算法的基本思想误差逆传播(back propagation, BP)算法是一种计算单个权值变化引起网络性能变化的较为简单的方法。

由于BP 算法过程包含从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正，所以称为“反向传播”。

BP 神经网络是有教师指导训练方式的多层前馈网络，其基本思想是：从网络输入节点输入的样本信号向前传播，经隐含层节点和输出层节点处的非线性函数作用后，从输出节点获得输出。

若在输出节点得不到样本的期望输出，则建立样本的网络输出与其期望输出的误差信号，并将此误差信号沿原连接路径逆向传播，去逐层修改网络的权值和节点处阈值，这种信号正向传播与误差信号逆向传播修改权值和阈值的过程反复进行，直训练样本集的网络输出误差满足一定精度要求为止。

2 BP 神经网络算法步骤和流程BP 神经网络步骤和流程如下：1) 初始化，给各连接权{},{}ij jt W V 及阈值{},{}j t θγ赋予（-1,1）间的随机值；2) 随机选取一学习模式对1212(,),(,,)k k k k k k k n k n A a a a Y y y y ==提供给网络；3) 计算隐含层各单元的输入、输出；1n j ij i j i s w a θ==⋅-∑，()1,2,,j j b f s j p ==4) 计算输出层各单元的输入、输出；1t t jt j t j l V b γ==⋅-∑，()1,2,,t t c f l t q ==5) 计算输出层各单元的一般化误差；()(1)1,2,,k k t t tt t t d y c c c t q =-⋅-=6) 计算中间层各单元的一般化误差；1[](1)1,2,,q kk jt jt j j t e d V b b j p ==⋅⋅-=∑7) 修正中间层至输出层连接权值和输出层各单元阈值；(1)()k jt jt t j V iter V iter d b α+=+⋅⋅(1)()k t t t iter iter d γγα+=+⋅8) 修正输入层至中间层连接权值和中间层各单元阈值；(1)()kk ij ij j i W iter W iter e a β+=+⋅⋅(1)()kj j j iter iter e θθβ+=+⋅9) 随机选取下一个学习模式对提供给网络，返回步骤3），直至全部m 个模式训练完毕；10) 重新从m 个学习模式对中随机选取一个模式对，返回步骤3），直至网络全局误差函数E 小于预先设定的一个极小值，即网络收敛；或者，当训练次数大于预先设定值，强制网络停止学习(网络可能无法收敛)。

人工神经网络
(Artificial Neural Netwroks -----ANN)
-----HZAU 数模基地
引言
❖ 利用机器模仿人类的智能是长期以来人们认识自 然、改造自然和认识自身的理想。
❖ 研究ANN目的： ❖ （1）探索和模拟人的感觉、思维和行为的规律，
设计具有人类智能的计算机系统。 ❖ （2）探讨人脑的智能活动，用物化了的智能来
二、神经元与神经网络
❖ 大脑可视作为1000多亿神经元组成的神经网络
• 图3 神经元的解剖图
❖ 神经元的信息传递和处理是一种电化学活 动．树突由于电化学作用接受外界的刺激；通 过胞体内的活动体现为轴突电位，当轴突电位 达到一定的值则形成神经脉冲或动作电位；再 通过轴突末梢传递给其它的神经元．从控制论 的观点来看；这一过程可以看作一个多输入单 输出非线性系统的动态过程
输出层LC
W11 Wi1
Wij
Wiq Wpq W
… b1 Vn1
Vh1 V11
V1i bi Vhi
… Vni
V1p bp Vhp Vnp
隐含层LB V
… a1
… ah
an 输入层LA
a1k
a
k h
a
k n
基本BP网络的拓扑结构
ANN类型与功能
一般而言, ANN与经典计算方法相比并非优越, 只有当常规 方法解决不了或效果不佳时ANN方法才能显示出其优越性。尤 其对问题的机理不甚了解或不能用数学模型表示的系统,如故障 诊断、特征提取和预测等问题,ANN往往是最有利的工具。另 一方面, ANN对处理大量原始数据而不能用规则或公式描述的 问题, 表现出极大的灵活性和自适应性。
i 1
（p=1,…,P）

数据挖掘实验（一）BP神经网络实验吴诗乐通信7班20123100053一、实验目的初步熟悉MATLAB 工作环境，熟悉命令窗口，学会使用帮助窗口查找帮助信息。

二、实验内容1、网络设计，包括输入层、隐含层、输出层节点个数的设计。

2、算法步骤3、编程，注意原始数据的通用化，数据输入的随机性。

4、网络训练，注意训练数据与验证数据分开。

5、网络验证6、结果分析，修改隐含层节点个数，修改学习率，分别对结果的影响。

三、实验数据本实验以Fisher的Iris数据集作为神经网络程序的测试数据集。

Iris数据集可以在/wiki/Iris_flower_data_set 找到。

也可以在UCI数据集中下载。

Iris数据集中Iris花可分为3个品种，现需要对其进行分类。

不同品种的Iris 花的花萼长度、花萼宽度、花瓣长度、花瓣宽度会有差异。

现有一批已知品种的Iris花的花萼长度、花萼宽度、花瓣长度、花瓣宽度的数据。

要求用已有的数据训练一个神经网络用作分类器。

四、神经网络实现1. 数据预处理在训练神经网络前一般需要对数据进行预处理，一种重要的预处理手段是归一化处理。

下面简要介绍归一化处理的原理与方法。

(1) 什么是归一化？数据归一化，就是将数据映射到[0,1]或[-1,1]区间或更小的区间，比如(0.1,0.9) 。

(2) 为什么要归一化处理？<1>输入数据的单位不一样，有些数据的范围可能特别大，导致的结果是神经网络收敛慢、训练时间长。

<2>数据范围大的输入在模式分类中的作用可能会偏大，而数据范围小的输入作用就可能会偏小。

<3>由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域。

例如神经网络的输出层若采用S形激活函数，由于S形函数的值域限制在(0,1)，也就是说神经网络的输出只能限制在(0,1)，所以训练数据的输出就要归一化到[0,1]区间。

的记录是被我们所忽略的。
所有满足最小支持度3的1项频繁集如下 （其中巧克力、 香蕉、葡萄的支持度为1，不满足条件）
支持度
销售内容
3
4 4 5 7
冰淇淋
咖啡 果酱 牛奶 面包
所有满足最小支持度3的2项频繁集 如下 ：
支持度 3 销售内容 面包 咖啡 面包 冰淇淋 面包 牛奶 面包 果酱
递 归 执 行
的，比如在一个超市中会存在这样的概念 层次：蒙牛牌牛奶是牛奶，伊利牌牛奶是 牛奶，王子牌饼干是饼干，康师傅牌饼干 是饼干等。
• 可以用有向无环图 (directed acyclic graph ) 表示概念层次，如下：
从有向无环图 (directed acyclic graph )可以 看出—— 如果我们只是在数据基本层发掘关系， ｛蒙牛牌牛奶，王子牌饼干｝，｛蒙牛牌牛 奶，康师傅牌饼干｝，｛伊利牌牛奶，王子 牌饼干｝，｛伊利牌牛奶，康师傅牌饼干｝ 都不符合最小支持度。不过如果我们上升一 个层级，可能会发现｛牛奶，饼干｝ 的关 联规则是有一定支持度的。这样我们就可以 在较高的概念层次上发现关联规则。
w14 4 w46 6 5 w35
. . ..
w34
w56
. . .
3
图1 两层前馈神经网络
2
神经网络BP算法案例
• 首先算出单元4、5、6的输入、输出，具体结果见 表1，然后计算4、5、6的误差，见表2；NT中每条 有向加权边的新权重、每个隐藏层与输出层单元 的新偏置见表3。
图2 两层前馈神经网络
W35
0.2+0.9×(-0.0065)×1=0.194
0.1+0.9×0.1311=0.218 0.2+0.9×(-0.0065)=0.194

p=p1';t=t1';[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t); %原始数据归一化net=newff(minmax(pn),[5,1],{'tansig','purelin'},'traingdx');%设置网络,建立相应的BP网络net.trainParam.show=2000; % 训练网络net.trainParam.lr=0.01;net.trainParam.epochs=100000;net.trainParam.goal=1e-5;[net,tr]=train(net ,pn,tn); %调用TRAINGDM算法训练BP 网络pnew=pnew1';pnewn=tramnmx(pnew,minp,maxp);anewn=sim(net,pnewn); %对BP网络进行仿真anew=postmnmx(anewn,mint,maxt); %还原数据y=anew';1、BP网络构建（1）生成BP网络=net newff PR S S SNl TF TF TFNl BTF BLF PF(,[1 2...],{ 1 2...},,,)PR：由R维的输入样本最小最大值构成的2R⨯维矩阵。

S S SNl：各层的神经元个数。

[ 1 2...]{ 1 2...}TF TF TFNl：各层的神经元传递函数。

BTF：训练用函数的名称。

（2）网络训练[,,,,,] (,,,,,,)=net tr Y E Pf Af train net P T Pi Ai VV TV（3）网络仿真=[,,,,] (,,,,)Y Pf Af E perf sim net P Pi Ai T{'tansig','purelin'},'trainrp'2、BP网络举例举例1、%traingdclear;clc;P=[-1 -1 2 2 4;0 5 0 5 7];T=[-1 -1 1 1 -1];%利用minmax函数求输入样本范围net = newff(minmax(P),T,[5,1],{'tansig','purelin'},'trainrp');net.trainParam.show=50;%net.trainParam.lr=0.05;net.trainParam.epochs=300;net.trainParam.goal=1e-5;[net,tr]=train(net,P,T);net.iw{1,1}%隐层权值net.b{1}%隐层阈值net.lw{2,1}%输出层权值net.b{2}%输出层阈值sim(net,P)举例2、利用三层BP神经网络来完成非线性函数的逼近任务，其中隐层神经元个数为五个。

i=1,2,…,n,n+1
(1-22)
其中，η称为权重变化率，0<η≤1 在式(1—22)中，η的取值不能太大．如果1取 值太大则会影响wi (t)的稳定；的取值也不能 太小，太小则会使Wi (t)的求取过程收敛速度 太慢。
当实际输出和期望值d相同时有：
W i (t+1)=W i (t)
6．转到第2点，一直执行到一切样本均稳定 为止。 从上面式(1—14)可知，感知器实质是一个 分类器，它的这种分类是和二值逻辑相应的。 因此，感知器可以用于实现逻辑函数。下面 对感知器实现逻辑函数的情况作一些介绍。 例：用感知器实现逻辑函数X1 VX2 的真值：
பைடு நூலகம்
为了能实现梯度算法，故把神经元的激发函 数改为可微分函数，例如Sigmoid函数， 非对称Sigmoid函数为f(X)=1/(1+e-x ),对 称Sigmoid函数f(X)=(1-e-x )/(1+e-x )； 而不采用式(1—13)的阶跃函数。 对于给定的样本集Xi (i＝1，2，，n)，梯 度法的目的是寻找权系数W* ，使得 f[W*. Xi ]与期望输出Yi尽可能接近。 设误差e采用下式表示： (1-25)
(1-31)
在上式(1—30)，式(1—31)中，μ 是权重变 化率，它视情况不同而取值不同，一般取01之间的小数。
很明显，梯度法比原来感知器的学习算法进 了一大步。其关键在于两点： 1．神经元的传递函数采用连续的s型函数， 而不是阶跃函数； 2．对权系数的修改采用误差的梯度去控制， 而不是采用误差去控制。故而有更好的动态 特能，即加强了收敛进程。 但是梯度法对于实际学习来说，仍然是感觉 太慢；所以，这种算法仍然是不理想的。
在这里，并不要求过于严格去争论和区分算 法和模型两者的有关异同。感知机学习算法 是一种单层网络的学习算法。在多层网络 中．它只能改变最后权系数。因此， 感知机 学习算法不能用于多层神经网络的学习。 1986年，Rumelhart提出了反向传播学习 算法，即BP(backpropagation)算法。这 种算法可以对网络中各层的权系数进行修正， 故适用于多层网络的学习。BP算法是目前最 广泛用的神经网络学习算法之一，在自动控 制中是最有用的学习算法。

BP⼈⼯神经⽹络试验报告⼀学号：北京⼯商⼤学⼈⼯神经⽹络实验报告实验⼀基于BP算法的XX及Matlab实现院（系）专业学⽣姓名成绩指导教师2011年10⽉⼀、实验⽬的：1、熟悉MATLAB 中神经⽹络⼯具箱的使⽤⽅法；2、了解BP 神经⽹络各种优化算法的原理；3、掌握BP 神经⽹络各种优化算法的特点；4、掌握使⽤BP 神经⽹络各种优化算法解决实际问题的⽅法。

⼆、实验内容：1 案例背景1.1 BP 神经⽹络概述BP 神经⽹络是⼀种多层前馈神经⽹络,该⽹络的主要特点是信号前向传递,误差反向传播。

在前向传递中,输⼊信号从输⼊层经隐含层逐层处理,直⾄输出层。

每⼀层的神经元状态只影响下⼀层神经元状态。

如果输出层得不到期望输出,则转⼊反向传播,根据预测误差调整⽹络权值和阈值,从⽽使BP 神经⽹络预测输出不断逼近期望输出。

BP 神经⽹络的拓扑结构如图1.1所⽰。

图1.1 BP 神经⽹络拓扑结构图图1.1中1x ,2x , ……n x 是BP 神经⽹络的输⼊值1y ,2y , ……n y 是BP 神经的预测值,ij ω和jk ω为BP 神经⽹络权值。

从图1.1可以看出,BP 神经⽹络可以看成⼀个⾮线性函数,⽹络输⼊值和预测值分别为该函数的⾃变量和因变量。

当输⼊节点数为n ,输出节点数为m 时,BP 神经⽹络就表达了从n 个⾃变量到m 个因变量的函数映射关系。

BP 神经⽹络预测前⾸先要训练⽹络,通过训练使⽹络具有联想记忆和预测能⼒。

BP 神经⽹络的训练过程包括以下⼏个步骤。

步骤1:⽹络初始化。

根据系统输⼊输出序列()y x ,确定⽹络输⼊层节点数n 、隐含层节点数l ,输出层节点数m ,初始化输⼊层、隐含层和输出层神经元之间的连接权值ij ω和式中, l 为隐含层节点数; f 为隐含层激励函数,该函数有多种表达形式,本章所选函数为:步骤3:输出层输出计算。

根据隐含层输出H ,连接权值jk ω和阈值b ,计算BP 神经⽹络预测输出O 。

另一种是基于数值优化理论的训练算法，下面介绍三种网络训练函数， 分别为共轭梯度法（traincgf,traincgp,traincgb,trainscg)以及高斯-牛 顿法（trainbfg,trainoss）和Levenberg-Marquardt（trainlm）
(1)由动量的梯度下降法
在神经网络工具箱中， traingdm函数采用了由动量的梯度下降法，提高 了学习速度并增加了算法的可靠性。
x x1, x2,
hi hi1, hi2,
ho ho1, ho2,
yi yi1, yi2,
yo yo1, yo2,
do d1, d2,
, xn
, hip
, hop
, yiq
, yoq
, dq
2.4.2 BP网络的标准学习算法
– 输入层与中间层的连接权值:
wih
– 隐含层与输出层的连接权值:
2.4.1 BP神经网络模型
• 三层BP网络
2.4.1 BP神经网络模型
• 激活函数
– 必须处处可导
• 一般都使用S型函数
• 使用S型激活函数时BP网络输入与输出关 系
– 输入 net x1w1 x2w2 ... xnwn
– 输出
y
f
(net)
1
1 enet
2.4.1 BP神经网络模型
2.4 BP神经网络模型与学习算法
概述
• Rumelhart，McClelland于1985年提出了BP网络的误差 反向后传BP(Back Propagation)学习算法
David Rumelhart
J. McClelland
• BP算法基本原理
– 利用输出后的误差来估计输出层的直接前导层的误差，再用这个 误差估计更前一层的误差，如此一层一层的反传下去，就获得了 所有其他各层的误差估计。

神经网络的设计实例(MATLAB编程)例1 采用动量梯度下降算法训练BP 网络。

训练样本定义如下：输入矢量为p =[-1 -2 3 1-1 1 5 -3]目标矢量为t = [-1 -1 1 1]解：本例的MATLAB 程序如下：close allclearecho onclc% NEWFF——生成一个新的前向神经网络% TRAIN——对BP 神经网络进行训练% SIM——对BP 神经网络进行仿真pause% 敲任意键开始clc% 定义训练样本P=[-1, -2, 3, 1; -1, 1, 5, -3]; % P 为输入矢量T=[-1, -1, 1, 1]; % T 为目标矢量pause;clc% 创建一个新的前向神经网络net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm') % 当前输入层权值和阈值inputWeights=net.IW{1,1}inputbias=net.b{1}% 当前网络层权值和阈值layerWeights=net.LW{2,1}layerbias=net.b{2}pauseclc% 设置训练参数net.trainParam.show = 50;net.trainParam.lr = 0.05;net.trainParam.mc = 0.9;net.trainParam.epochs = 1000;net.trainParam.goal = 1e-3;pauseclc% 调用TRAINGDM 算法训练BP 网络[net,tr]=train(net,P,T);pauseclc% 对BP 网络进行仿真A = sim(net,P)% 计算仿真误差E = T - AMSE=mse(E)pauseclcecho off例2 采用贝叶斯正则化算法提高BP 网络的推广能力。

在本例中，我们采用两种训练方法，即L-M 优化算法（trainlm）和贝叶斯正则化算法（trainbr），用以训练BP 网络，使其能够拟合某一附加有白噪声的正弦样本数据。

实验算法BP神经网络实验【实验名称】BP神经网络实验【实验要求】掌握BP神经网络模型应用过程，根据模型要求进行数据预处理，建模，评价与应用；【背景描述】神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。

BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。

其基本组成单元是感知器神经元。

【知识准备】了解BP神经网络模型的使用场景，数据标准。

掌握Python/TensorFlow数据处理一般方法。

了解keras神经网络模型搭建，训练以及应用方法【实验设备】Windows或Linux操作系统的计算机。

部署TensorFlow，Python。

本实验提供centos6.8环境。

【实验说明】采用UCI机器学习库中的wine数据集作为算法数据，把数据集随机划分为训练集和测试集，分别对模型进行训练和测试。

【实验环境】Pyrhon3.X，实验在命令行python中进行，或者把代码写在py脚本，由于本次为实验，以学习模型为主，所以在命令行中逐步执行代码，以便更加清晰地了解整个建模流程。

【实验步骤】第一步：启动python：命令行中键入python。

第二步：导入用到的包，并读取数据：(1).导入所需第三方包import pandas as pdimport numpy as npfrom keras.models import Sequentialfrom yers import Denseimport keras(2).导入数据源,数据源地址:/opt/algorithm/BPNet/wine.txtdf_wine = pd.read_csv("/opt/algorithm/BPNet/wine.txt", header=None).sample(frac=1) (3).查看数据df_wine.head()第三步：数据预处理(1).划分60%数据p = 0.6cut = int(np.ceil(len(df_wine) * p))(2).划分数据集df_wine_train = df_wine.iloc[:cut]df_wine_test = df_wine.iloc[cut:](3).类别标识编码(深度学习常用手段,类别1 = (1,0),类别2 = (0,1),类别3 = (0,0)) label_train = pd.DataFrame(df_wine_train[0])label_train["one-hot_1"] = label_train[0].map(lambda x: 1 if (x == 1) else 0) label_train["one-hot_2"] = label_train[0].map(lambda x: 1 if (x == 2) else 0) label_train["one-hot_3"] = [1]*len(label_train)(4).数据标准化,获取每列均值,标准差avg_col = df_wine_train.mean()td_col = df_wine_train.std()(5).标准化结果df_train_norm = (df_wine_train - avg_col) / td_col(6).整理数据df_train_norm=df_train_norm.drop([0], axis=1).join(label_train[["one-hot_1", "one-hot_2"]]) (7).构建神经网络需要的数据结构df_train_net = np.array(df_train_norm)train_data_x = df_train_net[:, 0:13]train_data_y = df_train_net[:, 13:]第四步：搭建神经网络(1).构建神经网络,模型为13->10->20->2 网络model = Sequential()(2).建立全连接层-首层需要指定输入层维度model.add(Dense(units=10, # 输出维度,即本层节点数input_shape=(13,), # 输入维度activation="sigmoid", # 激活函数use_bias=True, # 使用偏置kernel_regularizer=keras.regularizers.l2(0.001) # 正则化))model.add(Dense(units=20, # 输出维度,即本层节点数输入维度自动适配上一层activation="sigmoid", # 激活函数use_bias=True, # 使用偏置kernel_regularizer=keras.regularizers.l2(0.001) # 正则化))model.add(Dense(units=2, # 输出维度,即本层节点数输入维度自动适配上一层activation="sigmoid", # 激活函数,use_bias=True, # 使用偏置kernel_regularizer=keras.regularizers.l2(0.001) # 正则化))第五步：定义模型训练方法，损失函数，停止规则以及训练参数并训练网络(1).建立评估函数,优化方法:随机梯度下降法SGDsgd = keras.optimizers.SGD(lr=0.01, # 学习速率decay=1e-7, # 每次更新后的学习率衰减值momentum=0.8, # 学习动量nesterov=True # 确定是否使用Nesterov动量)(2).设计目标误差函数,以及训练方法pile(loss='mean_squared_error', optimizer=sgd)(3).提前结束训练的阈值,下面参数,观察误差,连续5次无改善.则结束训练early_stopping = keras.callbacks.EarlyStopping(monitor='loss', patience=5, verbose=0, mode='auto')(4).模型训练,写入数据,目标,迭代次数,批数,训练详情(0不显示),训练提早结束条件model.fit(train_data_x, train_data_y, epochs=1000, batch_size=32, verbose=1, callbacks=[early_stopping])第六步：模型应用于测试集，并输出准确率(1).模型预测label_test = pd.DataFrame(df_wine_test[0])label_test["one-hot_1"] = label_test[0].map(lambda x: 1 if (x == 1) else 0)label_test["one-hot_2"] = label_test[0].map(lambda x: 1 if (x == 2) else 0)(2).标准化结果df_test_norm = (df_wine_test - avg_col) / td_col(3).整理数据df_test_norm = df_test_norm.drop([0], axis=1).join(label_test[["one-hot_1", "one-hot_2"]]) (4).构建神经网络需要的数据结构df_test_net = np.array(df_test_norm)test_data_x = df_test_net[:, 0:13]test_data_y = df_test_net[:, 13:]predicted = model.predict(test_data_x)F1 = pd.DataFrame(predicted)F1.columns = ["predicted_1", "predicted_2"]F1["predicted_1"] = F1["predicted_1"].map(lambda x: 1.0 if (x > 0.5) else 0.0)F1["predicted_2"] = F1["predicted_2"].map(lambda x: 1.0 if (x > 0.5) else 0.0)F2 = pd.DataFrame(test_data_y)F2.columns = ["test_1", "test_2"]F = F1.join(F2)acc = len(F[(F["predicted_1"] == F["test_1"]) & (F["predicted_2"] == F["test_2"])]) * 1.0 / len(F)(5).输出准确率print("准确率%s " % (acc))第七步:可以通过以下命令执行python文件,查看最终结果python /opt/algorithm/BPNet/BPNet.py。

计算各层的输入和输出
es
计算输出层误差 E(q)
E(q)<ε
修正权值和阈值
结
束
图 2-2 BP 算法程序流程图
3、实验结果
任课教师： 何勇强
日期： 2010 年 12 月 24 日
中国地质大学（北京） 课程名称：数据仓库与数据挖掘 班号：131081 学号：13108117 姓名：韩垚 成绩：
任课教师： 何勇强
（2-7）
wki
输出层阈值调整公式：
（2-8）
ak
任课教师： 何勇强
E E netk E ok netk ak netk ak ok netk ak
（2-9）
日期： 2010 年 12 月 24 日
中国地质大学（北京） 课程名称：数据仓库与数据挖掘 隐含层权值调整公式： 班号：131081 学号：13108117 姓名：韩垚 成绩：
Ep
系统对 P 个训练样本的总误差准则函数为：
1 L (Tk ok ) 2 2 k 1
（2-5）
E
1 P L (Tkp okp )2 2 p 1 k 1
（2-6）
根据误差梯度下降法依次修正输出层权值的修正量 Δwki，输出层阈值的修正量 Δak，隐含层权 值的修正量 Δwij，隐含层阈值的修正量
日期： 2010 年 12 月 24 日
隐含层第 i 个节点的输出 yi：
M
yi (neti ) ( wij x j i )
j 1
（2-2）
输出层第 k 个节点的输入 netk：
q q M j 1
netk wki yi ak wki ( wij x j i ) ak

o (k ) (do (k ) yoo (k )) f ( yio (k ))
w
N 1 ho
w o (k )hoh (k )
N ho
BP网络的标准学习算法
第七步，利用隐含层各神经元的 h (k )和 输入层各神经元的输入修正连接权。
e e hih (k ) wih (k ) h (k ) xi (k ) wih hih (k ) wih
2 o1
BP网络的标准学习算法
第一步，网络初始化 给各连接权值分别赋一个区间（-1，1） 内的随机数，设定误差函数e，给定计 算精度值 和最大学习次数M。 第二步,随机选取第 k个输入样本及对应 期望输出
d o ( k ) d1 ( k ), d 2 ( k ),, d q ( k )
p 1 q ( ((d o (k ) f( who hoh ( k ) bo ) 2 )) hoh (k ) 2 o1 h 1 hoh (k ) hih (k )
(d o (k ) yoo (k )) f ( yio (k )) who
o 1
q
hoh (k ) hih (k )
h (k ) (o (k )who )f (hih (k ))
q
w
N 1 ih
o 1
w h (k ) xi (k )
N ih
BP网络的标准学习算法
第八步，计算全局误差
1 2 E (d o (k ) yo (k )) 2m k 1 o1
第九步，判断网络误差是否满足要求。当误差 达到预设精度或学习次数大于设定的最大次数， 则结束算法。否则，选取下一个学习样本及对 应的期望输出，返回到第三步，进入下一轮学 习。

Matlab训练好的BP神经网络如何保存和读取方法（附实例说明）看到论坛里很多朋友都在提问如何存储和调用已经训练好的神经网络。

本人前几天也遇到了这样的问题，在论坛中看了大家的回复，虽然都提到了关键的两个函数“save”和“load”，但或多或少都简洁了些，让人摸不着头脑（呵呵，当然也可能是本人太菜）。

通过不断调试，大致弄明白这两个函数对神经网络的存储。

下面附上实例给大家做个说明，希望对跟我有一样问题的朋友有所帮助。

如果只是需要在工作目录下保到当前训练好的网络，可以在命令窗口输入：save net %net为已训练好的网络然后在命令窗口输入：load net %net为已保存的网络加载net。

但一般我们都会在加载完后对网络进行进一步的操作，建议都放在M文件中进行保存网络和调用网络的操作如下所示：%% 以函数的形式训练神经网络function shenjingwangluo()P=[-1,-2,3,1;-1,1,5,-3];%P为输入矢量T=[-1,-1,1,1,];%T为目标矢量net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')%创建一个新的前向神经网络inputWeights=net.IW{1,1}inputbias=net.b{1}%当前输入层权值和阀值layerWeights=net.LW{2,1}layerbias=net.b{2}net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;net.trainParam.epochs=1000;net.trainParam.goal=0.0002;%调用算法训练BP网络[net,tr]=train(net,P,T);%保存训练好的网络在当前工作目录下的aaa 文件中，net为网络名save('aaa', 'net');%也可以采用 格式“save aaa net;”%若要保存到指定目录用 “'save('d:\aaa.mat', 'net');”这样就保存到指定的目录下了%%调用网络，以函数的形式function jiazaiwangluo()%网络加载,注意文件名要加单引号load('-mat','aaa');%从指定目录加载“load('-mat','d:\aaa.mat'); ”P=[3;4]A=sim(net,P)%对网络进行仿真%上面两个函数都已经调试成功，有需要的朋友可以试试看，希望对大家有帮助。

44
BP网络应用实例
x=imread(m,’bmp’); bw=im2bw(x,0.5); 为二值图像 [i,j]=find(bw==0); ）的行号和列号 imin=min(i)； ）的最小行号 imax=max(i); ）的最大行号 ％读人训练样本图像丈件 ％将读人的训练样本图像转换 ％寻找二值图像中像素值为0(黑
4
BP网络学习算法
图5．5具有多个极小点的误差曲面
5
BP网络学习算法
另外一种情况是学习过程发生振荡，如图5．6所示 。 误差曲线在m点和n点的梯度大小相同，但方向相反 ，如果第k次学习使误差落在m点，而第k十1次学习 又恰好使误差落在n点。 那么按式（5．2）进行的权值和阈值调整，将在m 点和n点重复进行，从而形成振荡。
图 5.16
待分类模式
20
BP网络应用实例
解（1）问题分析 据图5．16所示两类模式可以看出，分类为简单的非 线性分类。有1个输入向量，包含2个输入元素；两 类模式，1个输出元素即可表示；可以以图5．17所 示两层BP网络来实现分类。
图 5.17
两层BP网络
21
BP网络应用实例
（2）构造训练样本集
6
BP网络学习算法
图5．6学习过程出现振荡的情况
7
BP网络的基本设计方法
BP网络的设计主要包括输人层、隐层、输出层及各 层之间的传输函数几个方面。 1．网络层数 大多数通用的神经网络都预先确定了网络的层数，而 BP网络可以包含不同的隐层。
8
BP网络的基本设计方法
但理论上已经证明，在不限制隐层节点数的情况下 ，两层（只有一个隐层）的BP网络可以实现任意非 线性映射。 在模式样本相对较少的情况下，较少的隐层节点， 可以实现模式样本空间的超平面划分，此时，选择 两层BP网络就可以了；当模式样本数很多时，减小 网络规模，增加一个隐层是必要的，但BP网络隐层 数一般不超过两层。