BP神经网络函数逼近

3、 试用BP 神经网络逼近非线性函数f(u) =)5.0u (9.1e+-sin(10u) 其中，u ∈[-0.5,0.5]（1）解题步骤：①网络建立:使用“net=newff(minmax(x), [20, 1], {'tansig ’,’ purelin' });，语句建立个前馈BP 神经网络。

该BP 神经网络只含个隐含层，且神经元的个数为20。

隐含层和输出层神经元的传递函数分别为tansig 和pure-lin 。

其他参数默认。

②网络训练:使用“net=train (net, x , y) ;”语句训练建立好的BP 神经网络。

当然在网络训练之前必须设置好训练参数。

如设定训练时间为50个单位时间，训练目标的误差小于0.01，用“net.trainParam.epochs=50; net.train-Param.goal=0.01；”，语句实现。

其他参数默认。

③网络仿真:使用“y1=sim(net, x); y2=sim(net, x};”语句仿真训练前后的BP 神经网络。

（2）程序如下：clear all ；x=[-0.5:0.01:0.5];y=exp(-1.9*(0.5+x)).*sin(10*x);net=newff(minmax(x),[20,1],{'tansig' 'purelin'});y1=sim(net,x); %未训练网络的仿真结果 net.trainParam.epochs=50;net.trainParam.goal=0.01;net=train(net,x,y);y2=sim(net,x); %训练后网络的仿真结果 figure;plot(x,y,'-',x,y1,'-',x,y2,'--')title('原函数与网络训练前后的仿真结果比较');xlabel('x');ylabel('y');legend('y','y1','y2');grid on（3）仿真结果如图：图1图1为原函数y与网络训练前后（y1，y2）的仿真结果比较图。

控制系统仿真与模型处理设计报告（采用BP神经网络完成非线性函数的逼近）1、题目要求：（1）确定一种神经网络、网络结构参数和学习算法。

（2）选择适当的训练样本和检验样本，给出选取方法。

（3）训练网络使学习目标误差函数达到0.01，写出学习结束后的网络各参数，并绘制学习之前、第100次学习和学习结束后各期望输出曲线、实际输出曲线。

绘制网络训练过程的目标误差函数曲线。

（4）验证网络的泛化能力，给出网络的泛化误差。

绘制网络检验样本的期望输出曲线和网络输出曲线。

（5）分别改变神经网络的中间节点个数、改变网络的层数、改变学习算法进行比较实验，讨论系统的逼近情况，给出你自己的结论和看法。

2、设计方案：在MATLAB中建立M文件下输入如下命令：x=[0:0.01:1];y=2.2*power(x-0.25,2)+sin(5*pi*x);plot(x,y)xlabel('x');ylabel('y');title('非线性函数');得到如下图形，即所给的非线性函数曲线图：构造一个1-7-1的BP神经网络，第一层为输入层，节点个数为1；第二层为隐层，节点个数为7；变换函数选正切s型函数(tansig)；第三层为输出层，节点个数为1，输出层神经元传递函数为purelin函数。

并且选Levenberg-Marquardt算法(trainlm)为BP网络的学习算法。

对于该初始网络，我们选用sim()函数观察网络输出。

继续在M函数中如下输入。

net=newff(minmax(x),[1,7,1],{'tansig','tansig','purelin'},'trainlm'); y1=sim(net,x);figure;plot(x,y,'b',x,y1,'r')title('期望输出与实际输出比较');xlabel('t');则得到以下所示训练的BP网络期望输出与实际输出曲线比较：应用函数train()对网络进行训练之前，需要预先设置训练参数。

bp使用方法BP（反向传播算法）是一种用于训练神经网络的算法。

它通过反向传播误差来调整神经网络中的权重和偏差，以使其能够更好地逼近目标函数。

BP算法是一种有监督学习算法，它需要有标记的训练集作为输入，并且可以通过梯度下降法来最小化目标函数的误差。

BP算法的基本思想是在神经网络中，从输入层到输出层的正向传播过程中，通过计算网络的输出值与目标值之间的差异（即误差），然后将这个误差反向传播到网络的每一层，在每一层中调整权重和偏差，以最小化误差。

这个反向传播的过程将误差逐层传递，使得网络的每一层都能对误差进行一定程度的“贡献”，并根据这个贡献来调整自己的权重和偏差。

具体来说，BP算法可以分为以下几个步骤：1. 初始化网络：首先需要确定神经网络的结构，包括输入层、隐藏层和输出层的神经元个数，以及每层之间的连接权重和偏差。

这些权重和偏差可以初始化为随机值。

2. 前向传播：将输入样本送入网络，按照从输入层到输出层的顺序，逐层计算每个神经元的输出值。

具体计算的方法是将输入值和各个连接的权重相乘，然后将结果求和，并通过一个非线性激活函数（如Sigmoid函数）进行映射得到最终的输出值。

3. 计算误差：将网络的输出值与目标值进行比较，计算误差。

常用的误差函数有均方误差函数（Mean Squared Error，MSE）和交叉熵函数（Cross Entropy），可以根据具体问题选择合适的误差函数。

4. 反向传播：从输出层开始，根据误差对权重和偏差进行调整。

首先计算输出层神经元的误差，然后根据误差和激活函数的导数计算输出层的敏感度（即对权重的影响），并根据敏感度和学习率更新输出层的权重和偏差。

5. 更新隐藏层权重：同样地，根据输出层的敏感度，计算隐藏层的敏感度，并更新隐藏层的权重和偏差。

隐藏层的敏感度可以通过将输出层的敏感度按权重加权求和得到。

6. 重复步骤4和5：重复执行步骤4和5，将误差逐层传播，更新每一层的权重和偏差，直到达到训练的停止条件（如达到最大迭代次数或误差降至某个阈值）。

BP网络逼近函数方法B P 网络逼近函数方法题目：使用 BP 网络迫近对象 y(k)=u(k) 3 +y(k-1)/(1+2y(k-1) 2)，采样时间取 2ms，输入信号为 u(k)=(2π t)。

解答：本题采纳 matlab 编写程序，其编程思路是：（1）将时间轴范围定为从 0 秒到 1 秒，每隔 2ms 采样一次，即增添时间间隔为，计算 y 值，依据点值画出要迫近函数的图像；（2）用 newff （）函数建立二层 BP 神经网络，隐层神经元数量设为 10，输出层有一个神经元，选择隐层和输出层神经元传达函数分别为 tansig（）和 purelin（），网络训练用 trainlm ，建立开初始网络后，用 sim（）函数观察网络输出，同时绘制输出曲线，并与原函数比较；（3）设置训练参数，将学习速率定为，最大迭代次数定为 100，训练精度设为用 train （）函数对网络进行训练，训练后绘制曲线，并与原函数比较。

详尽程序以下：p=0::1;y(1)=*sin(2*pi*0))^3;for i=2:501y(i)=*sin(2*pi*(i-1)*)^3+y(i-1)/(1+2*(y(i-1))^2);endplot(p,y,'o');title('要迫近的函数 ');xlabel('时间 ');ylabel('迫近函数 ');net=newff(minmax(p),[10,1],{'tansig','purelin'},'trainlm');% 建立 BP 网络结构y1=sim(net,p);figureplot(p,y,'bo',p,y1,'r-');title('未训练网络的输出结果 ')xlabel('时间 ');ylabel('仿真输出 - 原函数 o');[net,tr]=train(net,p,y);y2=sim(net,p);plot(p,y,'bo',p,y2,'r-');title('训练后网络的输出结果 ')xlabel('时间 ');ylabel('仿真输出 - 原函数 o');程序出图以下：所要迫近的函数图像：未训练的初始网络输出结果（红线）和原函数图像（蓝线）：训练后的网络输出结果（红线）和原函数图像（蓝线）：从最后一图中可看出网络输出结果与原函数图形一致，迫近成效很好。

本科毕业论文（设计）题目指数型（对数型）函数的改进BP神经网络逼近学院数学与统计学院专业数学与应用数学年级2008级学号22200831 4011姓名陈曦指导教师王建军成绩2012年4月16日目录第一章引言 (1)1．背景介绍 (1)2. BP神经网络介绍 (1)2.1 BP网络模型 (1)2.2 BP网络的主要能力： (2)2.3 BP学习算法 (3)2.3.1信号的正向传播 (3)2.3.2BP学习算法的误差反向传播与权值阈值更新增量 (3)2.3.3网络权值阈值跟新公式 (4)2．4 BP网络的局限 (5)2.4.1 局部极小点 (5)2.4.2 学习/收敛速度慢 (6)2.5 标准BP算法的改进 (6)2.5.1 增加动量项的BP学习算法 (6)2.5.2 可变学习率的BP算法 (7)2.5.3 弹性BP学习算法 (7)2.5.4 LM算法 (8)第二章指数（对数）函数的神经网络逼近 (9)3 . 指数（对数）函数逼近区间的确定 (9)4. BP网络设计基础 (9)4.1 输入输出量的选择 (9)4.2 隐含层节点数设计 (9)4.3 改进的BP算法 (10)5． BP神经网络逼近对指数（对数）函数 (10)5.1 传统BP神经网络逼近一元指数和对数函数 (10)5.2 利用改进的BP神经网络逼近指数函数和对数函数 (13)5.2.1 利用改进的BP神经网络逼近一元和二元指数函数 (13)5.2.2 利用改进的BP神经网络逼近一元和二元对数函数 (16)第三章总结与展望 (19)参考文献 (20)致谢 (20)指数型（对数型）函数的改进BP神经网络逼近陈曦西南大学数学与统计学院，重庆 400715摘要： BP（Back-Propagation）网络的职能是对非线性可微分函数进行权值训练，是一种多层前馈网络，它采用最小均方差的学习方式，应用广泛。

大量应用于模式识别、函数逼近、数据压缩以及分类。

1、基于BP网络的分类（1）问题的提出：在平直直角坐标系A 区域中 = x,y :x∈−4 ,0 ,y∈−4 ,0随机生成1000个点，令B 区域中的点为一类：B= x,y :x∈(−2.5 ,1) ,y∈(−2.5 ,1)A 区域的其他点为一类，现在利用BP神经网络学习这个分类，并用测试集C 中的点C= x k,y k: x k=−4+0.05k ,y k=−4+0.05k ,k=0,1,…,80测试C 中位于B 区域中的点能否被识别。

（2）网络的结构：net=newff([-4 0;-4 0],[n 2],{'logsig' 'logsig'},'trainlm','learngdm');（3）网络训练（采用不同的隐单元个数，使用常数及自适应学习率，加动量项，数值优化算法）采用不同的隐单元个数：隐层节点个数为n，本次实验取n=8和n=14并对其进行比较。

使用常数及自适应学习率：常数：net.trainParam.lr=0.1。

自适应学习率：'trainlm' 这个位置替换为'traingda' （在分类中并不能换）加动量项：'trainlm' 这个位置替换为'traingdm'（在分类中并不能换）数值优化算法：'trainlm' 这个位置替换为'traingdx'（在分类中并不能换）（4）网络测试与结果分析：①条件：隐层节点个数n=8 + 学习率常数net.trainParam.lr=0.1 + 梯度下降训练'trainglm'clear all;clc%给定训练点及目标值x=(rand(1,1000)*(-0.4))*10;y=(rand(1,1000)*(-0.4))*10;x=[x;y];T=zeros(2,size(x,2));for i=1:size(x,2);if abs(x(1,i)) < 2.5 && abs(x(1,i)) > 1 && abs(x(2,i)) < 2.5 && abs(x(2,i)) > 1 T(1,i)=1;endendfor i = 1:size(x,2);if T(1,i) == 1T(2,i) = 0;else T(2,i) = 1;endendinputs = x;targets = T;% 创建网络n = 8;net=newff([-4 0;-4 0],[n 2],{'logsig' 'logsig'},'trainlm','learngdm'); %Levenberg-Marquardtnet.inputs{1}.processFcns = {'removeconstantrows','mapminmax'}; %数据归一化net.outputs{2}.processFcns = {'removeconstantrows','mapminmax'}; %数据归一化%% 训练参数net.trainParam.epochs = 2000;net.trainParam.goal = 1e-4;net.trainParam.lr = 0.1;% 训练网络[net,tr] = train(net,inputs,targets);% 测试网络outputs = net(inputs);errors = gsubtract(targets,outputs); performance = perform(net,targets,outputs);%% 训练集合绘图figure(1);hold onfor i=1:size(x,2)if T(1,i)==1plot(x(1,i),x(2,i),'b*');endif T(2,i)==1plot(x(1,i),x(2,i),'r*');endend%% 模拟绘图figure(2);test=-4:0.05:0;output=[];[A,B]=meshgrid(test,test);C=[];v=size(test,2);for i=1:vC(1,1+(i-1)*v:i*v)=A(i,:);C(2,1+(i-1)*v:i*v)=B(i,:);endoutput=abs(net(C));N=zeros(1,v*v);for i=1:v*vif output(1,i)>=output(2,i)N(1,i)=1;endendplot3(C(1,:),C(2,:),N,'o');结果分析：说明8个隐藏层节点太少了，没有达到精度就到了最大迭代次数。

神经网络激活函数[BP神经网络实现函数逼近的应用分析]神经网络激活函数是神经网络中非常重要的组成部分，它决定了神经网络的非线性特性，并且对于神经网络的求解效果和性能有着重要的影响。

本文将对神经网络激活函数进行详细的分析和探讨，并以BP神经网络实现函数逼近的应用为例进行具体分析。

1.神经网络激活函数的作用（1）引入非线性：神经网络通过激活函数引入非线性，使其具备处理非线性问题的能力，能够更好的逼近任意非线性函数。

（2）映射特征空间：激活函数可以将输入映射到另一个空间中，从而更好地刻画特征，提高神经网络的表达能力，并且可以保留原始数据的一些特性。

（3）增强模型的灵活性：不同的激活函数具有不同的形状和性质，选择合适的激活函数可以增加模型的灵活性，适应不同问题和数据的特点。

（4）解决梯度消失问题：神经网络中经常会遇到梯度消失的问题，通过使用合适的激活函数，可以有效地缓解梯度消失问题，提高神经网络的收敛速度。

2.常用的神经网络激活函数（1）Sigmoid函数：Sigmoid函数是一种常用的激活函数，它的输出值范围在(0,1)之间，具有平滑性，但是存在梯度消失问题。

（2）Tanh函数：Tanh函数是Sigmoid函数的对称形式，它的输出值范围在(-1,1)之间，相对于Sigmoid函数来说，均值为0，更符合中心化的要求。

（3）ReLU函数：ReLU函数在输入为负数时输出为0，在输入为正数时输出为其本身，ReLU函数简单快速，但是容易出现神经元死亡问题，即一些神经元永远不被激活。

（4）Leaky ReLU函数：Leaky ReLU函数是对ReLU函数的改进，当输入为负数时，输出为其本身乘以一个小的正数，可以解决神经元死亡问题。

（5）ELU函数：ELU函数在输入为负数时输出为一个负有指数衰减的值，可以在一定程度上缓解ReLU函数带来的神经元死亡问题，并且能够拟合更多的函数。

3.BP神经网络实现函数逼近的应用BP神经网络是一种常用的用于函数逼近的模型，它通过不断调整权重和偏置来实现对目标函数的拟合。

实验二基于BP神经网络算法的函数逼近一、引言函数逼近是神经网络应用的重要领域之一、在实际问题中，我们常常需要使用一个适当的数学函数来近似描述现象与问题之间的关系。

BP神经网络作为一种常用的函数逼近方法，具有良好的逼近性能和普适性，能够对非线性函数进行逼近，并且在实际应用中已经得到了广泛的应用。

本实验将通过BP神经网络算法对给定的函数进行逼近，验证其逼近效果和性能。

二、实验目标1.理解和掌握BP神经网络算法的基本原理和步骤；2.掌握使用BP神经网络进行函数逼近的方法；3.通过实验验证BP神经网络在函数逼近中的性能。

三、实验步骤1.准备数据集选择一个待逼近的非线性函数，生成一组训练数据和测试数据。

训练数据用于训练神经网络模型，测试数据用于评估逼近效果。

2.构建神经网络模型根据待逼近的函数的输入和输出维度，确定神经网络的输入层和输出层的神经元个数，并选择适当的激活函数和损失函数。

可以根据实际情况调整隐藏层的神经元个数，并添加正则化、dropout等技术来提高模型的泛化能力。

3.初始化网络参数对于神经网络的参数（权重和偏置）进行随机初始化，通常可以采用均匀分布或高斯分布来初始化。

4.前向传播和激活函数通过输入数据，进行前向传播计算，得到网络的输出值，并通过激活函数将输出值映射到合适的范围内。

5.计算损失函数根据网络的输出值和真实值，计算损失函数的值，用于评估模型的训练效果。

6.反向传播和权重更新通过反向传播算法，计算各个参数的梯度，根据学习率和梯度下降算法更新网络的参数。

7.循环迭代训练重复以上步骤，直至达到预设的训练停止条件（如达到最大迭代次数或损失函数满足收敛条件）。

8.模型测试和评估使用测试数据评估训练好的模型的逼近效果，可以计算出逼近误差和准确度等指标来评估模型的性能。

四、实验结果通过对比逼近函数的真实值和模型的预测值，可以得到模型的逼近效果。

同时，通过计算逼近误差和准确度等指标来评估模型的性能。

基于BP神经网络和RBF网络的非线性函数逼近问题比较研究丁德凯摘要：人脑是一个高度复杂的、非线性的和并行的计算机器，人脑可以组织神经系统结构和功能的基本单位，即神经元，以比今天已有的最快的计算机还要快很多倍的速度进行特定的计算，例如模式识别、发动机控制、感知等。

神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习，以及很强的非线性映射能力，所以它在函数（特别是非线性函数）逼近方面得到了广泛的应用。

BP神经网络和RBF神经网络，都是非线性多层前向网络，本文分别用BP（Back Propagation）网络和RBF（Radial Basis Function）网络对非线性函数f=sin(t)+cos(t)进行逼近，结果发现后者的学习速度更快，泛化能力更强，而前者的程序设计相对比较简单。

关键词：BP神经网络，RBF神经网络，函数逼近0 引言人工神经网络（Artificial Neural Networks，ANN）[1]是模仿生物神经网络功能的一种经验模型。

生物神经元受到传入的刺激，其反应又从输出端传到相联的其它神经元，输入和输出之间的变换关系一般是非线性的，且对输入信号有功能强大的反应和处理能力。

神经网络是由大量的处理单元（神经元）互相连接而成的网络。

为了模拟大脑的基本特性，在神经科学研究的基础上，提出了神经网络的模型。

但是，实际上神经网络并没有完全反映大脑的功能，只是对生物神经网络进行了某种抽象、简化和模拟。

神经网络的信息处理通过神经元的互相作用来实现，知识与信息的存储表现为网络元件互相分布式的物理联系。

神经网络的学习和识别取决于各种神经元连接权系数的动态演化过程。

神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。

当前，它在许多领域有重要的作用。

例如，模式识别和图像处理；印刷体和手写字符识别、语音识别、签字识别、指纹识别、人体病理分析、目标检测与识别、图像压缩和图像复制等。

TAIYUAN UNIVERSITY OF SCIENCE & TECHNOLOGY 基于BP算法函数逼近步骤** : **学号 : S*********班级 : 研1507基于BP算法函数逼近步骤一、BP神经网络算法：BP（Back Propagation）网络是是一种按误差逆向传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。

BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。

它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。

BP神经网络模型拓扑结构包括输入层、隐含层和输出层。

输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐含层或者多隐含层结构；最后一个隐含层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。

当实际输出与期望输出不符时，进入误差的反向传播阶段。

误差通过输出层，按误差梯度下降的方式修正各层权值，向隐含层、输入层逐层反传。

周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。

二、BP学习算法的计算步骤概述BP算法的基本原理是梯度最速下降法，它的中心思想是调整权值使网络总误差最小。

运行BP学习算法时，包含正向和反向传播两个阶段。

（1）正向传播输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元的状态只影响下一层神经元的状态。

（2）反向传播将误差信号沿原来的连接通道返回，通过修改各层神经元的权值，使误差信号最小。

学习过程是一种误差边向后传播边修正权系数的过程。

隐层的反传误差信号为jk Mk k j i w I f ∑=⋅=1')(δδ由此可得，隐层权值的修正公式为：i Mk jk k j ij O w I f w ⋅⋅=∆∑=)()(1'δη或iMk jk k j j ij O w O O w ⋅⋅-=∆∑=)()1(1δη四、程序代码w10=[0.1 0.2;0.3 0.15;0.2 0.4]; w11=[0.2 0.1;0.25 0.2;0.3 0.35]; w20=[0.2;0.25;0.3]; w21=[0.15;0.2;0.4];q0=[0.1 0.2 0.3]; q1=[0.2 0.15 0.25]; p0=0.2;p1=0.1; xj=[0.5;0.9]; k1=5;k2=1200; e0=0;e1=0;e2=0; for s=1:72yp1=cos(2*3.14*k1*s/360); for k=1:k2 for i=1:3x=w11(i,1)*xj(1,:)+w11(i,2)*xj(2,:); z=x+q1(:,i); o=[1-exp(-z)]/[1+exp(-z)]; m=1/[1+exp(-z)]; m1(i,:)=m; o1(i,:)=o; end for i=1:3 yb=0;yb=yb+w21(i,:)*o1(i,:); endyi=yb+p1; n=1/[1+exp(-yi)];y=[1-exp(-yi)]/[1+exp(-yi)]; e0=e1; e1=e2; e2=[(yp1-y).^2]/2; xj1=e2-e1; xj2=e2-2*e1+e0; xj=[xj1;xj2];d2=n*(1-y)*(yp1-y);bk=d2; for i=1:3u=w21(i,:)*bk;d1=[1-o1(i,:)]*u;d0=m1(i,:)*d1;qw=q1(:,i)-q0(:,i);q2=q1(:,i)+0.8*d0+0.4*qw;q3(:,i)=q2;for j=1:2dw=w11(i,j)-w10(i,j);w12=w11(i,j)+0.8*d0*xj(j,:)+0.6*dw; w13(i,j)=w12;endendw10=w11;w11=w13;q0=q1;q1=q3;for i=1:3h=w21(i,:)-w20(i,:);w22=w21(i,:)+0.4*d2*o1(i,:)+0.75*h;w23(i,:)=w22;endw20=w21;w21=w23;ph=p1-p0;p2=p1+0.9*d2+0.6*ph;p0=p1;p1=p2;if e2<0.0001,break;else k=k+1;endende(s)=e2;ya(s)=yp1;yo(s)=y;s=s+1;ends1=s-1;s=1:s1;plot(s,ya,s,yo,'g.',s,e,'rx');title('BP');五、运行结果1．此次逼近的函数为y=cosx，蓝色为真实的余弦曲线，绿色为逼近的余弦曲线，红色代表误差曲线，从图像上可以得出逼近结果与原曲线契合程度高，效果良好。

神经网络作业作业说明第一题（函数逼近）：BP网络和RBF网络均是自己编写的算法实现。

BP网络均采用的三层网络：输入层（1个变量）、隐层神经元、输出层（1个变量）。

转移函数均为sigmoid函数，所以没有做特别说明。

在第1小题中贴出了BP和RBF的Matlab代码，后面的就没有再贴出；而SVM部分由于没有自己编写，所以没有贴出。

而针对其所做的各种优化或测试，都在此代码的基础上进行，相应参数的命名方式也没有再改变。

RBF网络使用了聚类法和梯度法两种来实现。

而对于SVM网络，在后面两题的分类应用中都是自己编写的算法实现，但在本题应用于函数逼近时，发现效果很差，所以后来从网上下载到一个SVM工具包LS-SVMlab1.5aw，调用里面集成化的函数来实现的，在本题函数逼近中均都是采用高斯核函数来测试的。

第二题（分类）：BP网络和RBF网络都是使用的Matlab自带的神经网络工具包来实现的，不再贴出代码部分。

而SVM网络则是使用的课上所教的算法来实现的，分别测试了多项式核函数和高斯核函数两种实现方法，给出了相应的Matlab代码实现部分。

第三题：由于问题相对简单，所以就没有再使用Matlab进行编程实现，而是直接进行的计算。

程序中考虑到MATLAB处理程序的特性，尽可能地将所有的循环都转换成了矩阵运算，大大加快了程序的运行速度。

编写时出现了很多错误，常见的如矩阵运算维数不匹配，索引值超出向量大小等；有时候用了很麻烦的运算来实现了后来才知道原来可以直接调用Matlab里面的库函数来实现以及怎么将结果更清晰更完整的展现出来等等。

通过自己编写算法来实现各个网络，一来提升了我对各个网络的理解程度，二来使我熟悉了Matlab环境下的编程。

1.函数拟合（分别使用BP，RBF，SVM），要求比较三个网络。

2π.x ,05x)sin(5x)exp(y(x)4π.x ,0xsinx y(x)100.x x),1exp(y(x)100.x ,1x1y(x)≤≤-=≤≤=≤≤-=≤≤=解：（1）.1001,1)(≤≤=x x x ya. BP 网络：Matlab 代码如下：nv=10; %神经元个数：10个err=0.001; %误差阈值J=1; %误差初始值N=1; %迭代次数u=0.2; %学习率wj=rand(1,nv); %输入层到隐层神经元的权值初始化wk=rand(1,nv); %隐层神经元到输出层的权值初始化xtrain=1:4:100; %训练集，25个样本xtest=1:1:100; %测试集，100个dtrain=1./xtrain; %目标输出向量，即教师%训练过程while (J>err)&&(N<100000)uj=wj'*xtrain;h=1./(1+exp(-uj)); %训练集隐层神经元输出uk=wk*h;y=1./(1+exp(-uk)); %训练集输出层实际输出delta_wk = u*(dtrain-y).*y.*(1-y)*h'; %权值调整delta_wj = u*wk.*(((dtrain-y).*y.*(1-y).*xtrain)*(h.*(1-h))'); wk = wk+delta_wk;wj = wj+delta_wj;J=0.5*sum((dtrain-y).^2); %误差计算j(N)=J;N=N+1;end%测试及显示uj=wj'*xtest;h=1./(1+exp(-uj));uk=wk*h;dtest=1./(1+exp(-uk));figuresubplot(1,2,1),plot(xtest,dtest,'ro',xtest,1./xtest);legend('y=1/x', 'network output');subplot(1,2,2),plot(xtest,1./xtest-dtest);x=1:N-1;figureplot(x,j(x));运行条件：10个神经元，误差迭代阈值为0.001.学习率为0.2。

实验一、BP及RBF神经网络逼近一、实验目的1、了解MATLAB集成开发环境2、了解MATLAB编程基本方法3、熟练掌握BP算法的原理和步骤4、掌握工具包入口初始化及调用5、加深BP、RBF神经网络对任意函数逼近的理解二、实验内容1、MATLAB基本指令和语法。

2、BP算法的MATLAB实现三、实验步骤1、熟悉MATLAB开发环境2、输入参考程序3、设置断点，运行程序，观察运行结果四、参考程序1. BP算法的matlab实现程序%lr为学习步长，err_goal期望误差最小值，max_epoch训练的最大次数，隐层和输出层初值为零lr=0.05;err_goal=0.0001;max_epoch=10000;a=0.9;Oi=0;Ok=0;%两组训练集和目标值X=[1 1;-1 -1;1 1];T=[1 1;1 1];%初始化wki，wij（M为输入节点j的数量；q为隐层节点i的数量；L为输出节点k的数量）[M,N]=size(X);q=8;[L,N]=size(T);wij=rand(q,M);wki=rand(L,q);wij0=zeros(size(wij));wki0=zeros(size(wki));for epoch=1:max_epoch%计算隐层各神经元输出NETi=wij*X;for j=1:Nfor i=1:qOi(i,j)=2/(1+exp(-NETi(i,j)))-1;endend%计算输出层各神经元输出NETk=wki*Oi;for i=1:Nfor k=1:LOk(k,i)=2/(1+exp(-NETk(k,i)))-1;endend%计算误差函数E=((T-Ok)'*(T-Ok))/2;if (E<err_goal)break;end%调整输出层加权系数deltak=Ok.*(1-Ok).*(T-Ok);w=wki;wki=wki+lr*deltak*Oi';wki0=w;%调整隐层加权系数deltai=Oi.*(1-Oi).*(deltak'*wki)';w=wij;wij=wij+lr*deltai*X';wij0=w;endepoch %显示计算次数%根据训练好的wki，wij和给定的输入计算输出X1=X;%计算隐层各神经元的输出NETi=wij*X1;for j=1:Nfor i=1:qOi(i,j)=2/(1+exp(-NETi(i,j)))-1;endend%计算输出层各神经元的输出NETk=wki*Oi;for i=1:Nfor k=1:LOk(k,i)=2/(1+exp(-NETk(k,i)))-1;endendOk %显示网络输出层的输出2、BP逼近任意函数算法的matlab实现程序⏹X=-4:0.08:4;⏹T=1.1*(1-X+2*X.^2).*exp(-X.^2./2);⏹net=newff(minmax(X),[20,1],{'tansig','purelin'});⏹net.trainParam.epochs=15000;⏹net.trainParam.goal=0.001;⏹net=train(net,X,T);⏹X1=-1:0.01:1;⏹y=sim(net,X1);⏹figure;⏹plot(X1,y,'-r',X,T,':b','LineWidth',2);3.RBF能够逼近任意的非线性函数⏹X=-4:0.08:4;⏹T=1.1*(1-X+2*X.^2).*exp(-X.^2./2);⏹net=newrb(X,T,0.002,1);⏹X1=-1:0.01:1;⏹y=sim(net,X1);⏹figure;⏹plot(X1,y,'-r',X,T,':b','LineWidth',3);五、思考题1. 将结果用图画出。

基于BP神经网络算法的函数逼近神经网络是一种基于生物神经元工作原理构建的计算模型，可以通过学习和调整权重来逼近非线性函数。

其中，基于误差反向传播算法（BP）的神经网络是最常见和广泛应用的一种，其能够通过反向传播来调整网络的权重，从而实现对函数的近似。

BP神经网络的算法包括了前馈和反向传播两个过程。

前馈过程是指输入信号从输入层经过隐藏层传递到输出层的过程，反向传播过程是指将网络输出与实际值进行比较，并根据误差来调整网络权重的过程。

在函数逼近问题中，我们通常将训练集中的输入值作为网络的输入，将对应的目标值作为网络的输出。

然后通过反复调整网络的权重，使得网络的输出逼近目标值。

首先，我们需要设计一个合适的神经网络结构。

对于函数逼近问题，通常使用的是多层前馈神经网络，其中包括了输入层、隐藏层和输出层。

隐藏层的神经元个数和层数可以根据具体问题进行调整，一般情况下，通过试验和调整来确定最优结构。

然后，我们需要确定误差函数。

对于函数逼近问题，最常用的误差函数是均方误差（Mean Squared Error）。

均方误差是输出值与目标值之间差值的平方和的均值。

接下来，我们进行前馈过程，将输入值通过网络传递到输出层，并计算出网络的输出值。

然后，我们计算出网络的输出与目标值之间的误差，并根据误差来调整网络的权重。

反向传播的过程中，我们使用梯度下降法来最小化误差函数，不断地调整权重以优化网络的性能。

最后，我们通过不断训练网络来达到函数逼近的目标。

训练过程中，我们将训练集中的所有样本都输入到网络中，并根据误差调整网络的权重。

通过反复训练，网络逐渐优化，输出值逼近目标值。

需要注意的是，在进行函数逼近时，我们需要将训练集和测试集分开。

训练集用于训练网络，测试集用于评估网络的性能。

如果训练集和测试集中的样本有重叠，网络可能会出现过拟合现象，导致在测试集上的性能下降。

在神经网络的函数逼近中，还有一些注意事项。

首先是选择适当的激活函数，激活函数能够在网络中引入非线性，使网络能够逼近任意函数。