在神经网络工具箱中，traingdm函数采用了有动量的梯度下降法，提高了学习速度并增加了算法的可靠性。动量法降低了网络对于误差曲面局部细节的敏感性。梯度下降法在修正权值时，只是按照k时刻的负梯度方向修正，并没有考虑到以前积累的经验，即以前时刻的梯度方向，从而常常使学习过程发生振荡，收敛缓慢。为此，有人提出了如下的改进算法：
其中，D(k)表示k时刻的负梯度，D(k-1)表示k-1时刻的负梯度，为学习率，是动量因子，范围是[0,1]。当=0时，权值修正只与当前负梯度有关系，当=1时，权值修正就完全取决于上一次循环的负梯度了。这种方法所加入的动量项实质上相当于阻尼项，它减少了学习过程的振荡趋势，从而改善了收敛性。
动量因子可以通过net.trainParam.mc设定，若不设定，缺省值为0.9。
控制系统仿真与模型处理设计报告 （采用BP神经网络完成非线性函数的逼近）
1、题目要求： （1）确定一种神经网络、网络结构参数和学习算法。 （2）选择适当的训练样本和检验样本，给出选取方法。 （3）训练网络使学习目标误差函数达到0.01，写出学习结束后的网络各参数，并绘制学习之前、第100次学习和学习结束后各期望输出曲线、实际输出曲线。绘制网络训练过程的目标误差函数曲线。 （4）验证网络的泛化能力，给出网络的泛化误差。绘制网络检验样本的期望输出曲线和网络输出曲线。 （5）分别改变神经网络的中间节点个数、改变网络的层数、改变学习算法进行比较实验，讨论系统的逼近情况，给出你自己的结论和看法。 2、设计方案： 在MATLAB中建立M文件下输入如下命令： x=[0:0.01:1]; y=2.2*power(x-0.25,2)+sin(5*pi*x); plot(x,y) xlabel('x'); ylabel('y'); title('非线性函数'); 得到如下图形，即所给的非线性函数曲线图：
构造一个1-7-1的BP神经网络，第一层为输入层，节点个数为1；第二层为隐层，节点个数为7；变换函数选正切s型函数(tansig)；第三层为输出层，节点个数为1，输出层神经元传递函数为purelin函数。并且选Levenberg-Marquardt算法(trainlm)为BP网络的学习算法。对于该初始网络，我们选用sim()函数观察网络输出。继续在M函数中如下输入。 net=newff(minmax(x),[1,7,1],{'tansig','tansig','purelin'},'trainlm'); y1=sim(net,x); figure; plot(x,y,'b',x,y1,'r') title('期望输出与实际输出比较'); xlabel('t'); 则得到以下所示训练的BP网络期望输出与实际输出曲线比较： 应用函数train()对网络进行训练之前，需要预先设置训练参数。将最大训练次数为100次，训练精度设置为0.01，学习速度为0.01。 net.trainParam.epochs=100; net.trainParam.goal=0.001; net.trainParam.lr=0.01; net=train(net,x,y); y2=sim(net,x);
BP神经网络逼近非线性函数3、试用BP神经网络逼近非线性函数 f(u) = )5.0 u(9.1 e+ - sin(10u) 其中，u∈[-0.5,0.5] 解题步骤： ①网络建立:使用“net=newff(minmax(x), [20, 1], {'tansig’,’ purelin' });，语句建立个前馈BP神经网络。该BP神经网络只含个隐含层，且神经元的个数为20。隐含层和输出层神经元的传递函数分别为tansig和pure-lin。其他参数默认。 ②网络训练:使用“net=train (net, x , y) ;”语句训练建立好的BP神经网络。当然在网络训练之前必须设置好训练参数。如设定训练时间为50个单位时间，训练目标的误差小于0.01，用“net.trainParam.epochs=50; net.train-Param.goal=0.01；”，语句实现。其他参数默认。 ③网络仿真:使用“y1=sim(net, x); y2=sim(net, x};”语句仿真训练前后的BP神经网络。 （2）程序如下： clear all； x=[-0.5:0.01:0.5]; y=exp(-1.9*(0.5+x)).*sin(10*x); net=newff(minmax(x),[20,1],{'tansig' 'purelin'}); y1=sim(net,x); %未训练网络的仿真结果net.trainParam.epochs=50; net.trainParam.goal=0.01; net=train(net,x,y); y2=sim(net,x); %训练后网络的仿真结果figure;
燕山大学 模式识别与智能系统导论 题目：BP网络在函数逼近中的应用 专业：控制工程 姓名： X X X 学号：
一BP神经网络及其原理............................................................ - 1 - 1.1 BP神经网络定义............................................................. - 1 - 1.2 BP神经网络模型及其基本原理..................................... - 1 - 1.3 BP神经网络的主要功能................................................. - 3 - 1.4 BP网络的优点以及局限性............................................. - 3 - 二基于MATLAB的BP神经网络工具箱函数 ........................ - 6 - 2.1 BP网络创建函数............................................................. - 7 - 2.2 神经元上的传递函数...................................................... - 7 - 2.3 BP网络学习函数............................................................. - 8 - 2.4 BP网络训练函数............................................................. - 9 - 三BP网络在函数逼近中的应用.............................................. - 10 - 3.1 问题的提出.................................................................... - 10 - 3.2 基于BP神经网络逼近函数......................................... - 10 - 3.3 不同频率下的逼近效果................................................ - 14 - 3.4 讨论................................................................................ - 17 -
智能控制理论及应用作业 1资料查询 BP 神经网络的主要应用： 人脸识别、风电功率预测、短时交通流混沌预测、高炉熔渣粘度预测、汇率预测、价格预测、函数逼近等 Rbf神经网络的主要应用： 函数逼近、短时交通流预测、模式识别、降水预测、民航客运量预测、遥感影像分析、声纹识别、语言识别、人脸识别、车牌识别、汇率预测 Hopfield网络应用： 车牌识别、图像识别、遥感影像分类、字母识别、交通标志识别、优化计算中的应用、联想记忆存储器的实现、 2 BP编程算法： 2.1 利用样本训练一个BP网络 注：此程序自李国勇书中学习而来 程序部分： function [ output_args ] = bp( input_args ) %UNTITLED Summary of this function goes here % Detailed explanation goes here %此设计为两层BP神经网络，3输入，3隐含层节点，两个输出 %初始化部分： lr=0.05; %%需要给定学习速率 error_goal=0.001; %期望的误差 max_epoch=100000; %训练的最大步长 a=0.9; %惯性系数 Oi=0; Ok=0; %给两组输入，以及目标输出： X=[1 1 1;-1 -1 1;1 -1 1;]; %随便给一组输入输入，训练BP网络
T=[1 1 1 ;1 1 1]; %X=-1:0.1:1; %输入范围 %T=sin(pi*X); %X=[] q=3; %隐含层的节点数自己定义，在此给3个 %初始化 [M,N]=size(X); %输入节点个数为M,N为样本数 [L,N]=size(T); %输出节点个数为L wij=rand(q,M); %先给定加权系数一组随机值 wki=rand(L,q); wij0=zeros(size(wij)); %加权系数矩阵的初始值 wki0=zeros(size(wki)); for epoch=1:max_epoch %计算开始 NETi=wij*X; %各个隐含层的净输入 for j=1:N for i=1:q Oi(i,j)=2/(1+exp(-NETi(i,j)))-1; %再输入作用下，隐含层的输出 end end NETk=wki*Oi; %各个输出层的净输入 for i=1:N for k=1:L Ok(k,i)=2/(1+exp(-NETk(k,i)))-1; %在输入作用下，输出层的输出end end E=((T-Ok)'*(T-Ok))/2; %性能指标函数，就是误差 if(E 神经网络作业(函数逼近) 智能控制理论及应用作业 1资料查询 BP 神经网络的主要应用： 人脸识别、风电功率预测、短时交通流混沌预测、高炉熔渣粘度预测、汇率预测、价格预测、函数逼近等 Rbf神经网络的主要应用： 函数逼近、短时交通流预测、模式识别、降水预测、民航客运量预测、遥感影像分析、声纹识别、语言识别、人脸识别、车牌识别、汇率预测 Hopfield网络应用： 车牌识别、图像识别、遥感影像分类、字母识别、交通标志识别、优化计算中的应用、联想记忆存储器的实现、 2 BP编程算法： T=[1 1 1 ;1 1 1]; %X=-1:0.1:1; %输入范围 %T=sin(pi*X); %X=[] q=3; %隐含层的节点数自己定义，在此给3个 %初始化 [M,N]=size(X); %输入节点个数为M,N为样本数 [L,N]=size(T); %输出节点个数为L wij=rand(q,M); %先给定加权系数一组随机值 wki=rand(L,q); wij0=zeros(size(wij)); %加权系数矩阵的初始值 wki0=zeros(size(wki)); for epoch=1:max_epoch %计算开始 NETi=wij*X; %各个隐含层的净输入 for j=1:N for i=1:q Oi(i,j)=2/(1+exp(-NETi(i,j)))-1; %再输入作用下，隐含层的输出 end end NETk=wki*Oi; %各个输出层的净输入 for i=1:N for k=1:L Ok(k,i)=2/(1+exp(-NETk(k,i)))-1; %在输入作用下，输出层的输出 end end E=((T-Ok)'*(T-Ok))/2; %性能指标函数，就是误差 if(E 应用BP神经网络逼近非线性函 一、实验要求 1、逼近的非线性函数选取为y=sin(x1)+cos(x2)，其中有两个自变量即x1,x2,一个因变量即y。 2、逼近误差<5%，即：应用测试数据对网络进行测试时，神经网络的输出与期望值的最大误差的绝对值小于期望值的5%。 3、学习方法为经典的BP算法或改进形式的BP算法，鼓励采用改进形式的BP算法。 4、不允许采用matlab中现有的关于神经网络建立、学习、仿真的任何函数及命令。 二、实验基本原理 2.1 神经网络概述 BP神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传播，误差反向传播。在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层。每一层的神经元状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预判误差调整网络权值和阈值，从而使BP神经网络预测输出不断逼近期望输出。BP神经网络的拓扑结构如图所示。 2.2 BP神经网络训练步骤 BP神经网络预测前首先要训练网络，通过训练使网络具有联想记忆和预测能力。BP神经网络的训练过程包括以下几个步骤。 步骤1：网络初始化。根据系统输入输出序列(X,Y)确定网络输入层节点数n、隐含层节点数l、输出层节点数m，初始化输入层、隐含层和输出层神经元之间的连接权值ωij，ωjk，初始化隐含层阈值a，输出层阈值b，给定学习速率和神经元激励函数。 步骤2：隐含层输出计算。根据输入变量X，输入层和隐含层间连接权值ωij 以及隐含层阈值a，计算隐含层输出H。 j 1 (a )n j ij i i H f x ω==-∑ j=1,2，…，l 式中，l 为隐含层节点数，f 为隐含层激励函数，该函数有多种形式，一般选取为1 (x)1x f e -=+ 步骤3：输出层输出计算。根据隐含层输出H ，连接权值ωjk 和阈值b ，计算BP 神经 网络预测输出O 。 1 l k j jk k j O H b ω==-∑ k=1,2，…，m 步骤4：误差计算。根据网络预测输出O 和期望输出Y ，计算网络预测误差e 。 k k k e Y O =- k=1,2，…，m 步骤5：权值更新。根据网络预测误差e 更新网络连接权值ωij ，ωjk 1 (1)x(i)m ij ij j j jk k k H H e ωωηω==+-∑ i=1,2,…,n j=1,2,…,l jk jk j k H e ωωη=+ j=1,2,…,l k=1,2,…,m 步骤6：阈值更新。根据网络预测误差e 更新网络节点阈值a ，b 。 1 (1)m j j j j jk k k a a H H e ηω==+-∑ j=1,2,…,l k k k b b e =+ k=1,2,…,m 步骤7：判断算法迭代是否结束，若没有结束，返回步骤2。 2.3 附加动量法 经典BP 神经网络采用梯度修正法作为权值和阈值的学习算法，从网络预测误差的负梯 度方向修正权值和阈值，没有考虑以前经验的积累，学习过程收敛缓慢。对于这个问题，可以采用附加动量法来解决，带附加动量的算法学习公式为 [](k)(k 1)(k)a (k 1)(k 2)ωωωωω=-+?+--- 式中，ω(k)，ω(k-1)，ω(k-2)分别为k ，k-1，k-2时刻的权值；a 为动量学习率，一般取值为0.95。 神经网络近似函数 题目： 采用神经网络逼近下列函数： 双极值型算例 9655 .0,537.0] 3,0[2/)3)(89.22.3()(max max 2==∈-+--=f x x x x x x x f 最优值 解： )(x f 的实际图如下： 神经网络训练前： 应用newff()函数建立BP 网络结构。隐层神经元数目n 可以改变，暂设为n=5，输出层有一个神经元。选择隐层和输出层神经元传递函数分别为tansig 函数和purelin 函数，网络训练的算 法采用Levenberg – Marquardt算法trainlm。 因为使用newff( )函数建立函数网络时，权值和阈值的初始化是随机的，所以网络输出结构很差，根本达不到函数逼近的目的，每次运行的结果也不同。 神经网络训练后 应用train()函数对网络进行训练之前，需要预先设置网络训练参数。将训练时间设置为500，训练精度设置为0.001，其余参数使用缺省值。训练后得到的误差变化过程如下所示。 由上图可知，逼近结果未达到目标，为此我们增加神经元数目n=20； 仿真结果如下： 至此，神经网络逼近结果符合要求。 下图是训练时间图： 从以上结果可以看出，网络训练速度很快，很快就达到了要求的精度0.001。 结论： 1.n 取不同的值对函数逼近的效果有很大的影响。改变BP 网络隐层神经元的数目，可以改变BP 神经网络对于函数的逼近效果。隐层神经元数目越多，则BP 网络逼近非线性函数的能力越强。（左边n=3，右边n=20） 2.不同的精度要求，对函数的逼近效果也不同。精度要求越高，逼近效果越好。 （左边精度为0.01，右边为0.001） 程序文本： clear all; x=[0:0.001:3]; y=-x.*(x.*x-3.2*x+2.89).*(x-3)/2.0; net=newff(minmax(x),[5,1],{'tansig''purelin'},'trainlm'); y1=sim(net,x); %神经网络训练前 net.trainParam.epochs=500; net.trainParam.goal=0.001; net=train(net,x,y); 应用BP 神经网络逼近非线性函 一、实验要求 1、逼近的非线性函数选取为y=sin(x 1)+cos(x 2) ，其中有两个自变量即x1,x2,一个因变量即y。 2、逼近误差<5% ，即：应用测试数据对网络进行测试时，神经网络的输出与期望值的最大误差的绝对值小于期望值的5% 。 3、学习方法为经典的BP 算法或改进形式的BP 算法，鼓励采用改进形式的BP 算法。 4、不允许采用matlab 中现有的关于神经网络建立、学习、仿真的任何函数及命令。 二、实验基本原理 2.1神经网络概述 BP 神经网络是一种多层前馈神经网络，该网络的主要特点是信号前向传播，误差反向传播。在前向传递中，输入信号从输入层经隐含层逐层处理，直至输出层。 每一层的神经元 状态只影响下一层神经元状态。如果输出层得不到期望输出，则转入反向传播，根据预判误差调整网络权值和阈值，从而使BP 神经网络预测输出不断逼近期望输出。BP 神经网络的拓扑结构如图所示。 2.2BP 神经网络训练步骤 BP 神经网络预测前首先要训练网络，通过训练使网络具有联想记忆和预测能力。BP 神经网络的训练过程包括以下几个步骤。 步骤 1 ：网络初始化。根据系统输入输出序列(X,Y) 确定网络输入层节点数 n 、隐含层节点数l、输出层节点数m ，初始化输入层、隐含层和输出层神经元之间的连接权值ωij， ωjk ， 初始化隐含层阈值a，输出层阈值 b ，给定学习速率和神经元激励函数。 步骤 2 ：隐含层输出计算。根据输入变量X，输入层和隐含层间连接权值ω ij 以及隐含层阈值a，计算隐含层输出H 。 2.3 附加动量法 经典 BP 神经网络采用梯度修正法作为权值和阈值的学习算法， 从网络预测误差的负梯 度方向修正权值和阈值， 没有考虑以前经验的积累，学习过程收敛缓慢。对于这个问题，可 以采用附加动量法来解决，带附加动量的算法学习公式为 (k) (k 1) (k) a (k 1) (k 2) 式中，ω (k)，ω(k-1) ，ω(k-2)分别为 k ，k-1，k-2 时刻的权值； a 为动量学习率，一般取值 为 0.95 。 H j n f( i1 ij x i a j ) j=1,2 ，?， l 式中，l 为隐含层节点数， f 为隐含层激励函数， 该函数有多种形式， 一般选取为 f(x) 1 x 1e 步骤 3 ： 输出层输出计算。根据隐含层输出 H ，连接权值ω jk 和阈值 b ，计算 BP 神经 网络预测输出 O 。 l O k H j j1 jk b k k=1,2 ，?， m 步骤 4： 误差计算。 根据网络预测输出 和期望输出 Y ，计算网络预测误差 e 。 e k Y k O k k=1,2 ，?， m 步骤 5： 权值更新。 根据网络预测误差 e 更新网络连接权值ω ij ，ω jk ij ij H j (1 H j )x(i) jk e k i=1,2, ?,n j=1,2, ?,l jk jk H j e k j=1,2, ?,l k=1,2, ?,m 步骤 6： 阈值更新。 根据网络预测误差 e 更新网络节点阈值 a ，b 。 步骤 7： a j a j H j (1 m H j ) jk e k k1 j=1,2, ?,l b k b k e k k=1,2, ?,m 判断算法迭代是否结束，若没有结束，返回步骤 2。 实验二 基于BP 神经网络算法的正余弦函数逼近 班级： 学号： 姓名： 1. 实验目的 （1） 掌握MATLAB 子函数编写与调用。 （2） 理解BP 神经元网络算法的原理，并利用程序实现通过BP 算法逼近任意非线性函数。 2. 实验内容与实验要求 （1） 掌握BP 神经网络算法的原理。 （2） 掌握MATLAB 子函数的编写方法及调用方法。 （3） 根据BP 神经网络算法的原理，编写MA TLAB 程序，逼近非线性函数。 3. 实验原理 一个2×3×1的神经网络即输入层有两个节点，隐层含三个节点，输出层有一个节点， 图1 神经网络结构图 图中ij w )5,4,3;2,1(==j i 为输入层与隐层的权值，jk w )6;5,4,3(==k j 为隐层与输出层的权值，1x 、2x 是神经网络的输入值，y 是网络的输出值，p y 为教师信号，e 为神经网络的实际输出与期望输出的误差。在这个神经网络中，节点1，2是输入层， 节点3，4，5是隐层，节点6是输出层；输入层和隐层之间的权值依次 252423151413,,,,,w w w w w w ，隐层和输出层间的权值为564636,,w w w ，下角标为节点的编号；隐层和输出层节点的阈值依次为3θ，4θ，5θ，6θ。 ①前馈计算 设隐层的第j 个节点的输入和输出分别为： ∑=?=N i i ij j O w I 1 )(j j I f O = 其中)(j I f 为激励函数 j I j e I f -+=11 )( 由于隐层的输出就是输出层的输入，则输出层第k 个节点的总输入和输出分别为： ∑=?=H j j jk k O w I 1 )(k k k I f O y == 若网络输出与实际输出存在误差，则将误差信号反向传播，并不断地修正权值，直至误差达到要求为止。 ②权值调整 设误差函数定义为： ∑=-=M k k k p y d E 1 2)(21 为了简便，以下计算都是针对每个节点而言，误差函数p E 记作E 。 输出层权值的调整 权值修正公式为： jk jk w E w ??-=?η jk k k w I I E ????-=η 定义反传误差信号k δ为：k k k k k I O O E I E ????-=??- =δ 式中 )(k k k O d O E --=?? )()(k k k k k I f I I f I O '=??=?? )1()](1)[()(k k k k k O O I f I f I f -=-=' 基于BP 神经网络的非线性函数拟合 摘要：本文建立BP 神经网络对一个多输入多输出系统的二元非线性函数进行拟合，仿真实验表明：在样本数据充足且不含噪声的情况下，训练的精度越高，逼近的效果越好；数据不充足且 不含噪声时，训练精度的高低在一定范围内对于网络性能没有决定性的影响，网络性能主要取决于初始化；不管训练数据是否充足，若含有噪声，训练精度过高会使网络泛化能力降低。 0引言 作为当前应用最为广泛的一种人工神经网络，BP网络在函数逼近、模式识别、数据压缩、智能控制等领域有着非常广泛的应用。BP网络由大量简单处理单元广泛互联 而成，是一种对非线性函数进行权值训练的多层映射网络，结构简单，工作状态稳定，具有优良 的非线性映射能力，理论上它能够以任意精度逼近任意非线性函数。BP神经 网络通过学习能够存储大量输入输出样本中蕴含的映射关系，只需提供足够的样本模式对BP网 络进行训练，而无需事先了解数学方程。本文采用BP神经网络解决下列函数拟合问题。 函数逼近：设计一个神经网络拟合下列多输入多输出函数： y1=2+ x1 RP1.5-1.5sin(3 x2); y 2 = x 2 sin( x 1 )+ x 1 cos( x 2 ); 1< x1, x2<5 产生200 个数据，其中100 个用来训练网络，另外100 个用于网络模型的测试。 1 BP 神经网络结构和算法 一个典型的3层BP神经网络结构如图1所示，包括输入层、隐含层和输出层。各层神经元 之间无反馈连接，各层内神经元之间无任何连接。其中隐含层的状态影响输入输出之间的关系， 及通过改变隐含层的权系数，就可以改变整个多层神经网络的性能。 BP神经网络的学习过程由正向传播和反向传播组成。在正向传播中，输入的样本从输入层经过隐含层之后，传向输出层，在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。反向传播过程中，误差信号从输出层向输入层传播，并对每个隐含层的各个神经元的权系数进行修改，使误差不断减少，直至达到精 度要求。BP算法的实质是求取误差函数最小值问题，通过多个样本的反复训练，一般采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。 隐含节点 图1典型3层BP神经网络结构图 2用于函数拟合的BP神经网络模型的建立 为建立函数拟合的BP神经网络模型，一般要考虑以下几步： (1) 样本数据的产生 为简单起见，在X1，X2均属于［1,5］区间内选择均匀分布的200个数据点分别作为训练和测试样本。如图2所示。 训练和测试数据 5 ------ ?1 D r―-- —1—t~~r--H 训练数据 测试数据 4.5 + +■*4-*+■★*-+ 弓T 4 实验二基于BP神经网络算法的函数逼近 自动化实验班 沈俊鹏 1、实验目的 1)掌握M a t l a b子函数的编写与调用。 2)理解B P神经网络算法的原理，并利用程序实现利用B P算法逼近任意非线 性函数。 2、实验内容与实验要求 1)掌握B P神经网络算法的原理。 2)掌握m a t l a b子函数的编写方法及调用方法。 3)根据B P神经网络算法的原理，编写M a t l a b程序，逼近非线性函数。 3、实验要求 1)自己编写Matlab函数。 2)书写实验报告。 3)分析实验结果，用图描述出非线性函数的真实曲线以及B P算法逼近的曲线。 4、实验设备 1)计算机 2)Matlab软件 5、实验原理及步骤 1）BP神经网络算法: 神经网络由神经元和权重构成，神经元即为：输入节点，输出节点和隐层结点三部分；权重是各个神经元相互连接的强度。神经网络通过训练，从样本中学习知识，并且将知识以数值的形式存储于连接权中。神经网络的分类过程分成 两部分，首先学习网络的权重，利用一些已知的数据训练网络得到该类数据模型的权重；接着根据现有的网络结构和权重等参数得到未知样本的类别。BP 算法被称作反向传播算法，主要思想是从前向后（正向）逐层传播信息；从后向前（反向）逐层传播输出层的误差，间接算出隐层误差。 算法分为两个阶段： 第一阶段（正向过程）输入信息从输入层经隐层逐层计算各单元的输出值；根据下式计算每层的输出值。 第二阶段（反向传播过程）输出误差逐层向前算出隐层各个单元的误差，并用此误差修正前层的值。在BP 算法中常采用梯度法修正权值，为此要求输出函数可微，通常采用Sigmoid 函数作为输出函数。 （1） 计算误差： （2） 其中 的计算公式为 （3） （4） 重复上述过程直到算法收敛，即误差小于给定的阈值。 2） 实验程序 w10=[0.1 0.2;0.3 0.15;0.2 0.4]; w11=[0.2 0.1;0.25 0.2;0.3 0.35]; w20=[0.2;0.25;0.3]; w21=[0.15;0.2;0.4]; q0=[0.1 0.2 0.3]; q1=[0.2 0.15 0.25]; ) (j j i i ij j net f O O w net ==∑)()()1(t w t w t w ij ij ij ?+=+ Advances in Applied Mathematics 应用数学进展, 2019, 8(8), 1453-1456 Published Online August 2019 in Hans. https://www.doczj.com/doc/3414610579.html,/journal/aam https://https://www.doczj.com/doc/3414610579.html,/10.12677/aam.2019.88169 Analysis of the Effect of BP Neural Network on Function Approximation Jiabo She, Yanxiang Tan School of Mathematics and Statistics, Changsha University of Science and Technology, Changsha Hunan Received: July 31st, 2019; accepted: August 15th, 2019; published: August 22nd, 2019 Abstract The multi-layer network based on backward propagation algorithm is also called BP network. Be-cause it is easy to implement, it is the most widely used neural network. This paper mainly studies the application of BP network based on MATLAB in function approximation, and analyzes the in-fluencing factors of its function approximation effect. The research results show that the artificial neural network increases with the number of hidden layers, and the function approximation error decreases. As the number of hidden layer elements increases, the function approximation error decreases, and the error reduction rate gradually decreases. As the training accuracy decreases, the function approximation error decreases, the decrease rate gradually decreases, and the num-ber of convergence steps increases. Keywords BP Neural Network, Function Approximation, MATLAB 神经网络实现函数逼近的影响因素分析 佘嘉博，谭艳祥 长沙理工大学数学与统计学院，湖南长沙 收稿日期：2019年7月31日；录用日期：2019年8月15日；发布日期：2019年8月22日 摘要 基于向后传播算法的多层网络又称BP网络，因其易于实现，是目前应用最广的一种神经网络。本文主要研究基于MATLAB的BP网络在函数逼近的应用，分析其函数逼近效果的影响因素。经本文研究表明，人 基于BP神经网络的函数拟合 摘要：随着科学技术的飞速发展，人工神经网络也迅速发展，它更是智能领域中的重要组成部分，现在它已经被广泛的应用到了数据处理、模式识别、机器控制、专家系统等多个领域之中，并且在预测领域得到了更深入的发展。BP神经网络是人工智能网络中的一个典型算法，而且它本身具有很强的非线性映射能力，解决一些非线性问题更是它最突出的一环。BP神经网络不止这-个优点，它的网络拓扑结构简单，而且具有较高的误差精度，并且它易于用编权实现，而它还具有很强的可操作性，等等。因此，BP神经网络的应用更加广泛，成为智能领域中的最重要的算法之一。 本文就BP神经网络的基本原理进行论述，并且利用BP神经网络进行二元函数拟合，对相关数据误差进行分析，并讨论如何在拟合过程中选择合适的激励函数，以使得拟合函数逼近真实函数，最后，对函数拟合的相关知识进行总结。 关键词：模式识别；BP神经网络；函数拟合；激励函数 第一章绪论 1.1 人工神经网络研究意义 人工神经网络[1]是为了进行信息处理而建立的一种数学模型，它之所以被称为神经网络是因为这一数学模型所应用的结构是一种类似大脑神经突触的联接结构。在很多领域，例如工程界、学术界等，通常称其为类神经网络，在更多的时候他们也简称其为“神经网络”。神经网络这一数学模型是由数据庞大的“神经”节点进行互联形成的一个结构，它也是一种运算模型。在这个模型中的每一个神经元节点都代表了一种特定的输出函数我们把这个特定的函数称作激励函数(activation function)[2],有时也称之为转换函数。每两个人工神经元节点之间的连接都会对通过的信息进行加权处理，对于这种加权处现，我们称它们为连接权系数或直接称它为权重（weight)，这一操作间接的模拟了神经网络的记忆功能。网络的输出并不是固定不变的，它会根据网络的连接权系数、连接方式以及激励函数的不同而发生变化。 它的理念是受到了一定的启发而形成的，生物的动作、思想是在生物（人或其他动物）神经网络的运作下产生的，这也为人工神经网络的产生提供了支持。一般来讲，人工神经网络是对学习方法（Leaning Method)进行优化的算法，在网络中应用的学习方法一般均是基于数学统计学建立起来的，也就是说，它的优化有很大-部分来自于数学统计学，因此我们可以把人工神经网络看作是数学统计学的一个实际应用。一方面我们可以通过统计学的一些标准的数学方法来得到大量的局部结构空间，这些空间均能用函数来表达；在另一个方面，特别是在人工感知领域，它是人工智能学的一个分支，我们可以为其做一系列的决策方面的问题，它是通过数学统计学的方法来完成这一任务的。综上所述，人工神经网络在应用了数学统计学方面的一些方法后，它便有了一定的判断能力和决定能力，这一现象与人的思维很是相似，它的优势明显强于正式的逻辑学推理演算。 人工神经网络具有很多分支，比如BP (Back Propagation)神经网络[3]、遗传算法等，其中最为典型的神经网络是BP神经网络，BP神经网络的优点非常多其中最为重要的优点是它具有自学习和自适应的特性，而且BP网络还具有鲁棒 收稿日期:2006-09-04 作者简介:冯 蓉(1985 ),女,陕西延川人,西安创新学院理工系05级本科生。 基于BP 神经网络的函数逼近的MATLAB 实现 冯 蓉1 ,杨建华 2 (1.延安大学西安创新学院,陕西西安710100;2.长安大学信息工程学院,陕西西安710064)摘 要:BP 神经网络由于它的学习能力和非线性特性,使其能够对非线性函数进行很好的逼近。通过对BP 神经网络结构和MATLAB 软件及其BP 神经网络工具箱的应用研究,利用BP 神经网络工具箱设计BP 神经网络,用于对非线性函数的逼近,通过网络的训练、测试达到了预期的效果。关键词:BP 神经网络;神经网络工具箱;函数逼近;MATLAB 软件 中图分类号:TP183 文献标识码:A 文章编号:1008-3871(2007)02-0020-03 以神经网络研究为开端,整个学术界对计算的概念和作用有了新的认识和提高。计算并不局限于数学中,并不仅仅采取逻辑的、离散的形式,而且大量的运算表现在对模糊的低精度的模拟量的并行计算。对于后一类计算,传统的计算机无法施展其威力。神经网络的数学理论本质上是非线性的数学理论,因此,现代非线性科学方面的进展必将推动神经网络的研究。同时,神经网络理论也会对非线性科学提出新课题。神经网络研究的对象是神经系统,这是高度进化的复杂系统,也是系统科学中一个重要的领域。神经网络尤其是BP 神经网络由于它的学习能力和非线性特性,使其能够对任意非线性函数进行很好的逼近。BP 网络的模型的实现需要掌握计算机编程语言及较高的编程能力,这在一定程度上不利于神经网络技术的推广和使用。而MAT -LAB 软件提供了一个现成的神经网络工具箱,为解决这个难题提供了条件。它集数值分析、矩阵运算、信号处理和图形显示于一体,构成了一个方便的、界面友好的用户环境。目前,利用神经网络以及神经网络与其它方法结合对非线性函数进行逼近的文章也不少,理论及实现方法,各有千秋[1-3] 。鉴于函数逼近及BP 神经网络的这些特点,本文提出了基于BP 神经网络的函数逼近方法,利用BP 神经网络工具箱设计了BP 神经网络,用于对非线性函数的逼近。通过网络的训练、测试达到了预期的效果。 1 BP 神经网络的结构 [4] BP 神经网络是一个具有三层或三层以上的阶层神经网络,上下层之间各种神经元实行权连接,而 各层之间神经元无连接。最基本的BP 网络是三层前馈网络,即输入层,隐含层和输出层。 1.1BP 神经网络层数的选取 具有偏差和至少一个S i g m o id 型隐含层加上一个线性输出层的网络,能够逼近任何有理函数。增加层数主要可以更进一步的降低误差,提高精度,但是同时也会增加网络的复杂性,从而增加网络权值的训练时间。增加隐含层中的神经元节点数目也可以提高误差精度,其训练效果也比增加层数更容易观察和调整,所以通常状况下,应该优先考虑增加隐含层中的神经元节点的数目。 1.2网络输入层和输出层的设计 输入层起缓冲器的作用,把数据源加到网络上。其节点数目取决于数据源的维数。基于BP 算法的神经元网络输出层神经元可以根据需要求解的问题和数据表示的方式而定。在设计输入层和输出层时,应该尽可能的减小系统规模,使系统的学习时间和复杂性减小。1.3BP 神经网络隐含层节点的选择 基于BP 算法的神经元网络中各层节点数目的选择对于网络性能的影响很大,过多的隐含节点对网络的概括能力产生不利影响,既影响网络对于新输入的适应性。而过少的隐含层节点数目会影响网络学习的精度,并且是网络学习出现局部极小的情况增多,所以节点的数目要选择恰当。常用的解决办法就是使隐含层数目可变。一种是开始放入足够的隐含单元,然后把学习后的那些不起作用的隐含层单元逐步去掉,一直减少到不可收缩为止。另一种是开始放入比较少的隐含层单元,学习一些次数后,还不成功就要增 2007年3月第17卷 第2期榆林学院学报J O URNAL OF Y UL I N COLLEGE M ar .2007 Vo.l 17No .2 实验一、BP及RBF神经网络逼近 一、实验目的 1、了解MATLAB集成开发环境 2、了解MATLAB编程基本方法 3、熟练掌握BP算法的原理和步骤 4、掌握工具包入口初始化及调用 5、加深BP、RBF神经网络对任意函数逼近的理解 二、实验内容 1、MATLAB基本指令和语法。 2、BP算法的MATLAB实现 三、实验步骤 1、熟悉MATLAB开发环境 2、输入参考程序 3、设置断点，运行程序，观察运行结果 四、参考程序 1. BP算法的matlab实现程序 %lr为学习步长，err_goal期望误差最小值，max_epoch训练的最大次数，隐层和输出层初值为零 lr=0.05; err_goal=0.0001; max_epoch=10000; a=0.9; Oi=0; Ok=0; %两组训练集和目标值 X=[1 1;-1 -1;1 1]; T=[1 1;1 1]; %初始化wki，wij（M为输入节点j的数量；q为隐层节点i的数量；L为输出节点k的数量）[M,N]=size(X); q=8; [L,N]=size(T); wij=rand(q,M); wki=rand(L,q); wij0=zeros(size(wij)); wki0=zeros(size(wki)); for epoch=1:max_epoch %计算隐层各神经元输出 NETi=wij*X; for j=1:N for i=1:q Oi(i,j)=2/(1+exp(-NETi(i,j)))-1; end end %计算输出层各神经元输出 NETk=wki*Oi; for i=1:N for k=1:L Ok(k,i)=2/(1+exp(-NETk(k,i)))-1; end end %计算误差函数 E=((T-Ok)'*(T-Ok))/2; if (E神经网络作业(函数逼近)
BP神经网络逼近非线性函数
神经网络逼近函数
BP神经网络逼近非线性函数
基于BP神经网络算法的正余弦函数逼近
基于BP神经网络的非线性函数拟合
基于BP神经网络算法的函数逼近
神经网络实现函数逼近的影响因素分析
基于BP神经网络的函数拟合 (1)
基于BP神经网络的函数逼近的MATLAB实现_冯蓉
实验一、BP及RBP神经网络逼近
相关主题
文本预览