标准BP算法及改进的BP算法标准BP算法及改进的BP算法应用(1)

BP算法及BP改进算法BP算法通过不断调整网络的权重和偏置，以最小化网络输出与实际输出之间的误差。

算法包含两个主要步骤：前向传播和反向传播。

在前向传播阶段，输入信号通过神经网络的各个层，直至到达输出层。

每一层都对输入信号进行加权求和，并通过激活函数进行非线性映射，然后传递给下一层。

最终，网络将产生一个预测输出。

在反向传播阶段，算法计算输出误差，并根据该误差调整网络权重和偏置。

误差通过比较网络预测输出与实际输出之间的差异得到。

然后，误差从输出层向输入层反向传播，根据权重的贡献程度进行分配，并相应地更新权重和偏置。

尽管BP算法在训练神经网络方面非常成功，但也存在一些问题。

其中之一是局部极小值问题，即算法可能在梯度下降的过程中陷入一个局部最小值，并无法找到全局最小值。

为了解决这个问题，已经提出了一些BP的改进算法。

其中一种改进算法是Momentum算法。

Momentum算法在误差梯度的基础上引入了一个动量项，该项记录了前一次权重更新所带来的动量。

它可以帮助算法跳出局部最小值，并在梯度下降的过程中加速更新。

该算法通过在权重更新中添加当前梯度和上一次更新的动量的乘积，实现对网络优化的加速。

另一种改进算法是Adaptive Learning Rate算法。

传统的BP算法在每次权重更新中使用固定的学习率。

然而，不同的权重可能具有不同的学习速度要求。

Adaptive Learning Rate算法通过根据权重梯度的大小动态地调整学习率，以使网络能够更快地收敛。

还有一种改进算法是正则化算法，其中最常用的是L1和L2正则化。

正则化通过在误差函数中添加一个惩罚项，以限制权重的大小。

这有助于防止过拟合现象的发生，并提高网络的泛化能力。

除了这些改进算法，还有许多其他的技术被用于改进BP算法。

例如，一些算法结合了遗传算法和BP算法，以从初始权重的随机样本中找到最佳的。

还有一些算法，如RPROP和QuickProp，通过引入自适应的权重更新规则来加速训练过程。

bp使用方法BP（反向传播算法）是一种用于训练神经网络的算法。

它通过反向传播误差来调整神经网络中的权重和偏差，以使其能够更好地逼近目标函数。

BP算法是一种有监督学习算法，它需要有标记的训练集作为输入，并且可以通过梯度下降法来最小化目标函数的误差。

BP算法的基本思想是在神经网络中，从输入层到输出层的正向传播过程中，通过计算网络的输出值与目标值之间的差异（即误差），然后将这个误差反向传播到网络的每一层，在每一层中调整权重和偏差，以最小化误差。

这个反向传播的过程将误差逐层传递，使得网络的每一层都能对误差进行一定程度的“贡献”，并根据这个贡献来调整自己的权重和偏差。

具体来说，BP算法可以分为以下几个步骤：1. 初始化网络：首先需要确定神经网络的结构，包括输入层、隐藏层和输出层的神经元个数，以及每层之间的连接权重和偏差。

这些权重和偏差可以初始化为随机值。

2. 前向传播：将输入样本送入网络，按照从输入层到输出层的顺序，逐层计算每个神经元的输出值。

具体计算的方法是将输入值和各个连接的权重相乘，然后将结果求和，并通过一个非线性激活函数（如Sigmoid函数）进行映射得到最终的输出值。

3. 计算误差：将网络的输出值与目标值进行比较，计算误差。

常用的误差函数有均方误差函数（Mean Squared Error，MSE）和交叉熵函数（Cross Entropy），可以根据具体问题选择合适的误差函数。

4. 反向传播：从输出层开始，根据误差对权重和偏差进行调整。

首先计算输出层神经元的误差，然后根据误差和激活函数的导数计算输出层的敏感度（即对权重的影响），并根据敏感度和学习率更新输出层的权重和偏差。

5. 更新隐藏层权重：同样地，根据输出层的敏感度，计算隐藏层的敏感度，并更新隐藏层的权重和偏差。

隐藏层的敏感度可以通过将输出层的敏感度按权重加权求和得到。

6. 重复步骤4和5：重复执行步骤4和5，将误差逐层传播，更新每一层的权重和偏差，直到达到训练的停止条件（如达到最大迭代次数或误差降至某个阈值）。

学年论文（本科）学院数学与信息科学学院专业信息与计算科学专业年级10级4班姓名徐玉琳于正平马孝慧李运凤郭双双任培培论文题目BP神经网络原理与应用指导教师冯志敏成绩2013年 9月 24日BP神经网络的原理与应用1.BP神经网络的原理1.1 BP神经网络的结构BP神经网络模型是一个三层网络,它的拓扑结构可被划分为:输入层(InputLayer )、输出层(Outp ut Layer ) ,隐含层(Hide Layer )．其中,输入层与输出层具有更重要的意义,因此也可以为两层网络结构(把隐含层划入输入层,或者把隐含层去掉)每层都有许多简单的能够执行并行运算的神经元组成,这些神经元与生物系统中的那些神经元非常类似,但其并行性并没有生物神经元的并行性高．BP神经网络的特点：1）网络由多层构成,层与层之间全连接,同一层之间的神经元无连接．2）BP网络的传递函数必须可微．因此,感知器的传递函数-——二值函数在这里没有用武之地．BP网络一般使用Sigmoid函数或线性函数作为传递函数．3）采用误差反向传播算法(Back-Propagation Algorithm)进行学习．在BP 网络中,数据从输入层隐含层逐层向后传播,训练网络权值时,则沿着减少误差的方向,从输出层经过中间各层逐层向前修正网络的连接权值．随着学习的不断进行,最终的误差越来越来小．BP神经网络的学习过程BP神经网络的学习算法实际上就是对误差函数求极小值的算法,它采用的算法是最速下降法,使它对多个样本进行反复的学习训练并通过误差的反向传播来修改连接权系数,它是沿着输出误差函数的负梯度方向对其进行改变的,并且到最后使误差函数收敛于该函数的最小点．1.3 BP网络的学习算法BP网络的学习属于有监督学习,需要一组已知目标输出的学习样本集．训练时先使用随机值作为权值,修改权值有不同的规则．标准的BP神经网络沿着误差性能函数梯度的反向修改权值,原理与LMS算法比较类似,属于最速下降法．拟牛顿算法牛顿法是一种基于二阶泰勒级数的快速优化算法．其基本方法是1(1)()()()x k x k A k g k -+=-式中 ()A k ----误差性能函数在当前权值和阀值下的Hessian 矩阵（二阶导数）,即2()()()x x k A k F x ==∇牛顿法通常比较梯度法的收敛速度快,但对于前向型神经网络计算Hessian 矩阵是很复杂的,付出的代价也很大．有一类基于牛顿法的算法不需要二阶导数,此类方法称为拟牛顿法（或正切法）,在算法中的Hessian 矩阵用其近似值进行修正,修正值被看成梯度的函数． 1）BFGS 算法在公开发表的研究成果中,你牛顿法应用最为成功得有Boryden,Fletcher,Goldfard 和Shanno 修正算法,合称为BFG 算法． 该算法虽然收敛所需的步长通常较少,但在每次迭代过程所需要的计算量和存储空间比变梯度算法都要大,对近似Hessian 矩阵必须进行存储,其大小为n n ⨯,这里n 网络的链接权和阀值的数量．所以对于规模很大的网络用RPROP 算法或任何一种梯度算法可能好些；而对于规模较小的网络则用BFGS 算法可能更有效． 2）OSS 算法 由于BFGS 算法在每次迭代时比变梯度算法需要更多的存储空间和计算量,所以对于正切近似法减少其存储量和计算量是必要的．OSS 算法试图解决变梯度法和拟牛顿（正切）法之间的矛盾,该算法不必存储全部Hessian 矩阵,它假设每一次迭代时与前一次迭代的Hessian 矩阵具有一致性,这样做的一个有点是,在新的搜索方向进行计算时不必计算矩阵的逆．该算法每次迭代所需要的存储量和计算量介于梯度算法和完全拟牛顿算法之间． 最速下降BP 法最速下降BP 算法的BP 神经网络,设k 为迭代次数,则每一层权值和阀值的修正按下式进行(1)()()x k x k g k α+=-式中()x k —第k 次迭代各层之间的连接权向量或阀值向量；()g k =()()E k x k ∂∂—第k 次迭代的神经网络输出误差对各权值或阀值的梯度向量．负号表示梯度的反方向,即梯度的最速下降方向；α—学习效率,在训练时是一常数．在MATLAB 神经网络工具箱中,,可以通过改变训练参数进行设置；()E K —第k 次迭代的网络输出的总误差性能函数,在MATLAB 神经网络工具箱中BP 网络误差性能函数默认值为均方误差MSE,以二层BP 网络为例,只有一个输入样本时,有2()()E K E e k ⎡⎤=⎣⎦21S≈22221()S i i i t a k =⎡⎤-⎣⎦∑ 222212,1()()()()s ii j i i j a k f w k a k b k =⎧⎫⎪⎪⎡⎤=-⎨⎬⎣⎦⎪⎪⎩⎭∑21221112,,11()(()())()s s i j i j i i i j j f w k f iw k p ib k b k ==⎧⎫⎡⎤⎛⎫⎪⎪=++⎢⎥ ⎪⎨⎬⎢⎥⎝⎭⎪⎪⎣⎦⎩⎭∑∑若有n 个输入样本2()()E K E e k ⎡⎤=⎣⎦21nS ≈22221()S ii i ta k =⎡⎤-⎣⎦∑根据公式和各层的传输函数,可以求出第k 次迭代总误差曲面的梯度()g k =()()E k x k ∂∂,分别代入式子便可以逐次修正其权值和阀值,并是总的误差向减小的方向变化,直到达到所需要的误差性能为止． 1.4 BP 算法的改进BP 算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点,但标准BP 算法存在以下缺点：收敛速度缓慢；容易陷入局部极小值；难以确定隐层数和隐层节点个数．在实际应用中,BP 算法很难胜任,因此出现了很多改进算．利用动量法改进BP 算法标准BP 算法实质上是一种简单的最速下降静态寻优方法,在修正W(K)时,只按照第K 步的负梯度方向进行修正,而没有考虑到以前积累的经验,即以前时刻的梯度方向,从而常常使学习过程发生振荡,收敛缓慢．动量法权值调整算法的具体做法是：将上一次权值调整量的一部分迭加到按本次误差计算所得的权值调整量上,作为本次的实际权值调整量,即：其中：α为动量系数,通常0＜α＜0．9；η—学习率,范围在0．001～10之间．这种方法所加的动量因子实际上相当于阻尼项,它减小了学习过程中的振荡趋势,从而改善了收敛性．动量法降低了网络对于误差曲面局部细节的敏感性,有效的抑制了网络陷入局部极小．自适应调整学习速率标准BP算法收敛速度缓慢的一个重要原因是学习率选择不当,学习率选得太小,收敛太慢；学习率选得太大,则有可能修正过头,导致振荡甚至发散．可采用图所示的自适应方法调整学习率．调整的基本指导思想是：在学习收敛的情况下,增大η,以缩短学习时间；当η偏大致使不能收敛时,要及时减小η,直到收敛为止．动量-自适应学习速率调整算法采用动量法时,BP算法可以找到更优的解；采用自适应学习速率法时,BP算法可以缩短训练时间．将以上两种方法结合起来,就得到动量-自适应学习速率调整算法．1. L-M学习规则L-M（Levenberg-Marquardt）算法比前述几种使用梯度下降法的BP算法要快得多,但对于复杂问题,这种方法需要相当大的存储空间L-M(Levenberg-Marquardt)优化方法的权值调整率选为:其中：e —误差向量；J —网络误差对权值导数的雅可比（Jacobian ）矩阵；μ—标量,当μ很大时上式接近于梯度法,当μ很小时上式变成了Gauss-Newton 法,在这种方法中,μ也是自适应调整的． 1.5 BP 神经网络的设计 网络的层数输入层节点数取决于输入向量的维数．应用神经网络解决实际问题时,首先应从问题中提炼出一个抽象模型,形成输入空间和输出空间．因此,数据的表达方式会影响输入向量的维数大小.例如,如果输入的是64*64的图像,则输入的向量应为图像中所有的像素形成的4096维向量．如果待解决的问题是二元函数拟合,则输入向量应为二维向量．理论上已证明：具有偏差和至少一个S 型隐含层加上一个线性输出层的网络,能够逼近任何有理数．增加层数可以更进一步的降低误差,提高精度,但同时也使网络复杂化,从而增加了网络权值的训练时间．而误差精度的提高实际上也可以通过增加神经元数目来获得,其训练效果也比增加层数更容易观察和调整.所以一般情况下,应优先考虑增加隐含层中的神经元数. 隐含层的神经元数网络训练精度的提高,可以通过采用一个隐含层,而增加神经元数了的方法来获得．这在结构实现上,要比增加隐含层数要简单得多．那么究竟选取多少隐含层节点才合适？这在理论上并没有一个明确的规定．在具体设计时,比较实际的做法是通过对不同神经元数进行训练对比,然后适当地加上一点余量．1）0niMi C k =>∑,k 为样本数,M 为隐含层神经元个数,n 为输入层神经元个数．如i>M,规定C i M =0．2）和n 分别是输出层和输入层的神经元数,a 是[0.10]之间的常量．3）M=2log n ,n 为输入层神经元个数．初始权值的选取由于系统是非线性的,初始值对于学习是否达到局部最小、是否能够收敛及训练时间的长短关系很大．如果初始值太大,使得加权后的输入和n落在了S型激活函数的饱和区,从而导致其导数f (n)非常小,从而使得调节过程几乎停顿下来．所以一般总是希望经过初始加权后的每个神经元的输出值都接近于零,这样可以保证每个神经元的权值都能够在它们的S型激活函数变化最大之处进行调节．所以,一般取初始权值在（-1,1）之间的随机数．学习速率学习速率决定每一次循环训练中所产生的权值变化量．大的学习速率可能导致系统的不稳定；但小的学习速率导致较长的训练时间,可能收敛很慢,不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值．所以在一般情况下,倾向于选取较小的学习速率以保证系统的稳定性．学习速率的选取范围在0．01-0．8之间．1.6BP神经网络局限性需要参数多且参数选择没有有效的方法对于一些复杂问题 ,BP 算法可能要进行几小时甚至更长的时间训练,这主要是由于学习速率太小所造成的．标准BP 网络学习过程缓慢,易出现平台,这与学习参数率l r的选取有很大关系．当l r较时,权值修改量大,学习速率也快,但可能产生振荡;当l r较小时,虽然学习比较平稳,但速度十分缓慢．容易陷入局部最优BP网络易陷入局部最小, 使 BP网络不能以高精度逼近实际系统．目前对于这一问题的解决有加入动量项以及其它一些方法．BP 算法本质上是以误差平方和为目标函数 , 用梯度法求其最小值的算法．于是除非误差平方和函数是正定的, 否则必然产生局部极小点, 当局部极小点产生时 , BP算法所求的就不是解．1.6.3 样本依赖性这主要表现在网络出现的麻痹现象上．在网络的训练过程中,如其权值调的过大,可能使得所有的或大部分神经元的加权值偏大,这使得激活函数的输入工作在S型转移函数的饱和区,从而导致其导函数非常小,使得对网络权值的调节过程几乎停顿下来．通常为避免这种现象的发生,一是选取较小的初始权值,二是采用较小的学习速率,但又要增加时间训练．初始权敏感对于一些复杂的问题,BP算法可能要进行几个小时甚至更长时间的训练．这主要是由于学习速率太小造成的．可采用变化的学习速率或自适应的学习速率来加以改进．2．BP神经网络应用2.1 手算实现二值逻辑—异或这个例子中,采用手算实现基于BP网络的异或逻辑．训练时采用批量训练的方法,训练算法使用带动量因子的最速下降法．在MATLAB中新建脚本文件main_xor.m,输入代码如下：%脚本%批量训练方式．BP网络实现异或逻辑%%清理clear allclcrand('seed',2)eb = 0.01; %误差容限eta = 0.6; %学习率mc = 0.8; %动量因子maxiter = 1000; %最大迭代次数%% 初始化网络nSampNum = 4;nSampDim = 2;nHidden = 3;nOut = 1;w = 2*(rand(nHidden,nSampDim)-1/2);b = 2*(rand(nHidden,1)-1/2);wex = [w,b];W = 2*(rand(nOut,nHidden)-1/2);B = 2*(rand(nOut,1)-1/2);WEX = [W,B];%%数据SampIn=[0,0,1,1;...0,1,0,1;…1,1,1,1];expected = [0,1,1,0];%%训练iteration = 0;errRec = [];outRec =[];for i = 1:maxiter% 工作信号正向传播hp = wex*SampIn;tau = logsig(hp);tauex = [tau',1*ones(nSampNum,1)]';HM = WEX*tauex;out = logsig(HM);outRec = [outRec,out'];err = expected - out;sse = sumsqr(err);errRec = [errRec,sse];fprintf('第%d 次迭代,误差：%f \n',i,sse);% 判断是否收敛iteration = iteration + 1;if sse <= ebbreak;end% 误差信号反向传播% DELTA 和delta 为局部梯度DELTA = err.*dlogsig(HM,out);delta = W' * DELTA.*dlogsig(hp,tau);dWEX = DELTA*tauex';dwex = delta*SampIn';% 更新权值if i == 1WEX = WEX + eta*dWEX;wex = wex + eta*dwex;elseWEX = WEX + (1-mc)*eta*dWEX + mc*dWEXold;wex = wex + (1-mc)*eta*dwex+mc*dwexold;enddWEXold = dWEX;dwexold = dwex;W = WEX(:,1:nHidden);end%%显示figure(1)grid[nRow,nCol]=size(errRec);semilogy(1:nCol,errRec,'LineWidth',1.5);title('误差曲线');xlabel('迭代次数');x=-0.2:.05:1.2;[xx,yy] = meshgrid(x);for i=1:length(xx)for j=1:length(yy)xi=[xx(i,j),yy(i,j),1];hp = wex*xi';tau = logsig(hp);tauex = [tau',1]';HM = WEX*tauex;out = logsig(HM);z (i,j) =out;endendfigure(2)mesh(x,x,z);figure(3)plot([0,1],[0,1],'*','LineWidth',2);hold onplot([0,1],[1,0],'O','LineWidth',2);[c,h]=contour(x,x,z,0.5,'b');clabel(c,h);legend('0','1','分类面');title('分类面')2.2 误差下降曲线如下图所示：Finger 1010*******400500600700800900100010-210-110误差曲线迭代次数网格上的点在BP 网络映射下的输出如下图：Finger 2异或本质上是一个分类问题,,分类面如图：Finger 3分类面-0.200.20.40.60.81 1.2本文介绍了神经网络的研究背景和现状,分析了目前神经网络研究中存在的问题．然后描述了BP神经网络算法的实现以及BP神经网络的工作原理,给出了BP网络的局限性．本文虽然总结分析了BP神经网络算法的实现,给出了实例分析,但是还有很多的不足．所总结的BP神经网络和目前研究的现状都还不够全面,经过程序调试的图形有可能都还存在很多细节上的问题,而图形曲线所实现效果都还不够好,以及结果分析不够全面、正确、缺乏科学性等,这些都还是需加强提高的．近几年的不断发展,神经网络更是取得了非常广泛的应用,和令人瞩目的发展．在很多方面都发挥了其独特的作用,特别是在人工智能、自动控制、计算机科学、信息处理、机器人、模式识别等众多方面的应用实例,给人们带来了很多应用上到思考,和解决方法的研究．但是神经网络的研究最近几年还没有达到非常热门的阶段,这还需有很多热爱神经网络和研究神经网络人员的不断研究和创新,在科技高度发达的现在,我们有理由期待,也有理由相信．我想在不久的将来神经网络会应用到更多更广的方面,人们的生活会更加便捷．学年论文成绩评定表。

智能算法应用平台设计说明书目录12 神经网络BP算法 (3)13 神经网络BP改进算法 (4)1神经网络BP算法神经元网络专家系统由开发环境和运行环境两部分组成(见图12-1)。

开发环境由3部分组成：①确定系统框架；②学习样本；③神经元学习，通过样本学习得到知识库。

运行环境实质上是一个专家系统，它由5部分组成：①实际问题参数；②输入模式的转换；③推理机；④知识库；⑤输出模式的转换。

输入输出模式转换是指神经元的输入与输出要求以(-∞,+∞)区间的数值形式表示。

推理机是基于神经元的信息处理过程，包括神经元的输入和输出。

知识库是由BP网络通过对样本的学习而得到的各神经元之间的连接权值，其学习过程如图12-2所示。

确定系统框架包括完成对神经元网络的拓扑结构设计、神经元作用函数和阈值选择。

本文的神经元作用函数采用Sigmoid函数，阈值取为。

图12-1 神经元网络专家系统结构图图12-2 BP网络学习框图最好的分类图为PLS ，在此空间研究优化信息。

使用PLS-BPN 用训练样本建模，输入元为PLS 计算出来的训练样本的得分, 输出元为熔剂量, 用留N 法交叉检验，确定网络结构为输入元5个、隐节点15个和输出节点1个。

2 神经网络BP 改进算法本文所建模型采用含输入层、隐含层和输出层的三层网络。

其结构如图13-1所示。

设有n 个样本、m 个变量、t 个目标量、r 个隐含层单元数，ij x 、ij xˆ、il h 、ik y ˆ 、ik y (i =1, 2, …, n ；j =1, 2,…, m ； l =1, 2,…, r ； k =1, 2,…, t )为样本的输入变量、输入层输出值、隐含层的输出值、输出层输出值及目标量（或称期望值），pq w （pq =jl 或lk ）、e ϑ（e =j , l ,或k ）为网络连接权值。

对样本采用进行批处理的方法进行网络训练，训练算法如下：1）给权值随机赋一较小值；阈值j ϑ=0，l ϑ=ml w ，k ϑ=rk w ； 2）在已知n 个学习样本中，顺序取样本进行预处理后用于训练网络；3）激励函数取Sigmod 函数，分别计算输入层输出值、隐含层和输出层的输出ij xˆ、il h 、ik y ；4）定义i mn λ（mn =lk 或者jl ,）分别为隐层误差和输出层误差，对已知样本的教师可得：)ˆ1(ˆ)ˆ(ik ik ik ik i lk y y yy -⨯⨯-=λ （13-1） ∑=-⨯⨯⨯=tk ij il lk i lk i jlxh w 0)ˆ1(λλ（13-2）并记下各层输出及误差的值。