遗传算法优化神经网络-更好拟合函数1.案例背景
BP神经网络是一种反向传递并且能够修正误差的多层映射函数，它通过对未知系统的输入输出参数进行学习之后，便可以联想记忆表达该系统。但是由于BP网络是在梯度法基础上推导出来的，要求目标函数连续可导，在进化学习的过程中熟练速度慢，容易陷入局部最优，找不到全局最优值。并且由于BP网络的权值和阀值在选择上是随机值，每次的初始值都不一样，造成每次训练学习预测的结果都有所差别。遗传算法是一种全局搜索算法，把BP神经网络和遗传算法有机融合，充分发挥遗传算法的全局搜索能力和BP神经网络的局部搜索能力，利用遗传算法来弥补权值和阀值选择上的随机性缺陷，得到更好的预测结果。本案例用遗传算法来优化神经网络用于标准函数预测，通过仿真实验表明该算法的有效性。
2.模型建立
2.1预测函数
2.2 模型建立
遗传算法优化BP网络的基本原理就是用遗传算法来优化BP网络的初始权值和阀值，使优化后的BP网络能够更好的预测系统输出。遗传算法优化BP网络主要包括种群初始化，适应度函数，交叉算子，选择算子和变异算子等。
2.3 算法模型
3.编程实现
3.1代码分析
用matlabr2009编程实现神经网络遗传算法寻找系统极值，采用cell工具把遗传算法主函数分为以下几个部分：
Contents
?清空环境变量
?网络结构确定
?遗传算法参数初始化
?迭代求解最佳初始阀值和权值
?遗传算法结果分析
?把最优初始阀值权值赋予网络预测
?BP网络训练
?BP网络预测
主要的代码段分析如下：
3.2结果分析
采用遗传算法优化神经网络，并且用优化好的神经网络进行系统极值预测，根据测试函数是2输入1输出，所以构建的BP网络结构是2-5-1，一共去2000组函数的输入输出，用其中的1900组做训练，100组做预测。遗传算法的基本参数为个体采用浮点数编码法，个体长度为21，交叉概率为0.4，变异概率为0.2，种群规模是20，总进化次数是50次，最后得到的遗传算法优化过程中最优个体适应度值变化如下所示：
4 案例扩展
4.1 网络优化方法的选择
4.2 算法的局限性清空环境变量
clc
clear
网络结构建立
%读取数据
load data input output
%节点个数
inputnum=2;
hiddennum=5;
outputnum=1;
%训练数据和预测数据
input_train=input(1:1900,:)';
input_test=input(1901:2000,:)';
output_train=output(1:1900)';
output_test=output(1901:2000)';
%选连样本输入输出数据归一化
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);
%构建网络
net=newff(inputn,outputn,hiddennum);
遗传算法参数初始化
maxgen=50; %进化代数，即迭代次数
sizepop=20; %种群规模
pcross=[0.4]; %交叉概率选择，0和1之间pmutation=[0.2]; %变异概率选择，0和1之间
%节点总数
numsum=inputnum*hiddennum+hiddennum+hiddennum*outputnum+outputnum;
lenchrom=ones(1,numsum);
bound=[-3*ones(numsum,1) 3*ones(numsum,1)]; %数据围
%------------------------------------------------------种群初始化
--------------------------------------------------------
individuals=struct('fitness',zeros(1,sizepop), 'chrom',[]); %将种群信息定义为一个结构体
avgfitness=[]; %每一代种群的平均适应度bestfitness=[]; %每一代种群的最佳适应度bestchrom=[]; %适应度最好的染色体
%初始化种群
for i=1:sizepop
%随机产生一个种群
individuals.chrom(i,:)=Code(lenchrom,bound); %编码（binary和grey的编码结果为一个实数，float的编码结果为一个实数向量）
x=individuals.chrom(i,:);
%计算适应度
individuals.fitness(i)=fun(x,inputnum,hiddennum,outputnum,net,inputn, outputn); %染色体的适应度
end
%找最好的染色体
[bestfitness bestindex]=min(individuals.fitness);
bestchrom=individuals.chrom(bestindex,:); %最好的染色体
avgfitness=sum(individuals.fitness)/sizepop; %染色体的平均适应度
% 记录每一代进化中最好的适应度和平均适应度
trace=[avgfitness bestfitness];
迭代求解最佳初始阀值和权值
进化开始
for i=1:maxgen
i
% 选择
individuals=Select(individuals,sizepop);
avgfitness=sum(individuals.fitness)/sizepop;
%交叉
individuals.chrom=Cross(pcross,lenchrom,individuals.chrom,sizepop,bou nd);
% 变异
individuals.chrom=Mutation(pmutation,lenchrom,individuals.chrom,sizep op,i,maxgen,bound);
% 计算适应度
for j=1:sizepop
x=individuals.chrom(j,:); %解码
individuals.fitness(j)=fun(x,inputnum,hiddennum,outputnum,net,inputn, outputn);
end
%找到最小和最大适应度的染色体及它们在种群中的位置
[newbestfitness,newbestindex]=min(individuals.fitness);
[worestfitness,worestindex]=max(individuals.fitness);
% 代替上一次进化中最好的染色体
if bestfitness>newbestfitness
bestfitness=newbestfitness;
bestchrom=individuals.chrom(newbestindex,:);
end
individuals.chrom(worestindex,:)=bestchrom;
individuals.fitness(worestindex)=bestfitness;
avgfitness=sum(individuals.fitness)/sizepop;
trace=[trace;avgfitness bestfitness]; %记录每一代进化中最好的适应度和平均适应度
end
i =
1
i =
2
i =
3
i =
4
i =
5
i =
6
i =
7
i =
8
实验六 遗传算法与优化设计 一、实验目的 1. 了解遗传算法的基本原理和基本操作（选择、交叉、变异）； 2. 学习使用Matlab 中的遗传算法工具箱(gatool)来解决优化设计问题； 二、实验原理及遗传算法工具箱介绍 1. 一个优化设计例子 图1所示是用于传输微波信号的微带线(电极)的横截面结构示意图，上下两根黑条分别代表上电极和下电极，一般下电极接地，上电极接输入信号，电极之间是介质(如空气，陶瓷等)。微带电极的结构参数如图所示，W 、t 分别是上电极的宽度和厚度，D 是上下电极间距。当微波信号在微带线中传输时，由于趋肤效应，微带线中的电流集中在电极的表面，会产生较大的欧姆损耗。根据微带传输线理论，高频工作状态下（假定信号频率1GHz ），电极的欧姆损耗可以写成（简单起见，不考虑电极厚度造成电极宽度的增加）： 图1 微带线横截面结构以及场分布示意图 {} 28.6821ln 5020.942ln 20.942S W R W D D D t D W D D W W t D W W D e D D παπππ=+++-+++?????? ? ??? ??????????? ??????? (1) 其中πρμ0=S R 为金属的表面电阻率， ρ为电阻率。可见电极的结构参数影响着电极损耗，通过合理设计这些参数可以使电极的欧姆损耗做到最小，这就是所谓的最优化问题或者称为规划设计问题。此处设计变量有3个：W 、D 、t ，它们组成决策向量[W, D ,t ] T ，待优化函数(,,)W D t α称为目标函数。 上述优化设计问题可以抽象为数学描述： ()()min .. 0,1,2,...,j f X s t g X j p ????≤=? (2)
神经网络实验报告 基于BP网络的曲线拟合 学院：控制学院 姓名：李嘉頔 学号:09423021 2015年6月
一、实验目的 ⑴掌握BP神经网络的权值修改规则 ⑵利用BP网络修改权值对y=sin(x)曲线实现拟合 二、实验要求 人工神经网络是近年来发展起来的模拟人脑生物过程的人工智能技术，具有自学习、自组织、自适应和很强的非线性映射能力。在人工神经网络的实际应用中，常采用BP神经网络或它的变化形式，BP神经网络是一种多层神经网络，因采用BP算法而得名，主要应用于模式识别和分类、函数逼近、数据压缩等领域。 BP网络是一种多层前馈神经网络，由输入层、隐层和输出层组成。层与层之间采用全互连方式，同一层之间不存在相互连接，隐层可以有一个或多个。BP算法的学习过程由前向计算过程和误差反向传播过程组成，在前向计算过程中，输入信息从输入层经隐层逐层计算，并传向输出层，每层神经元的状态只影响下一层神经元的状态。如输出层不能得到期望的输出，则转入误差反向传播过程，误差信号沿原来的连接通路返回，通过修改各层的神经元的权值，使得网络系统误差最小，最终实现网络的实际输出与各自所对应的期望输出逼近。 三、实验内容 3.1训练数据导入 要对BP网络进行训练，必须准备训练样本。对样本数据的获取，可以通过用元素列表直接输入、创建数据文件，从数据文件中读取等方式，具体采用哪种方法，取决于数据的多少，数据文件的格式等。 本文采用直接输入100个样本数据的方式，同时采用归一化处理，可以加快网络的训练速度。将输入x和输出y都变为-1到1之间的数据，归一化后的训练样本如下图： 3.2网络初始化
根据系统输入输出序列，确定网络输入层节点数为1，隐含层节点数H 为20，输出层节点数为1。初始化输入层、隐含层和输出层神经元之间的连接权值ij w ， jk v ，初始化隐含层阈值0t ，输出层阈值1t ，给定学习速率0a ，1a 和u ，给定算法 迭代次数inum 和最大可接受误差error ，同时给定神经元激励函数sigmoid 。 3.3前向输出计算 根据输入变量x ，输入层和隐含层间连接权值ij w 和隐含层阈值0t ，计算隐含层输出P ： ) )((∑=-?=n i j i ij j t x w u f P 10l j ,...,,21=其中n 为输入层节点数，本实验中取1；l 为隐含层节点数，本实验中取20；f 为隐含层激励函数，该函数可设置为多种形式，本实验中所选函数为： x e x f -+= 11 )(根据隐含层输出P ，隐含层和输出层间连接权值jk v 和输出层阈值1t ，计算BP 神经网络预测输出k Q ： ∑=-=l j k jk j k t v P Q 11m k ,...,,21=其中m 为输出层节点数，本实验中取1。 3.4权值修正 根据网络预测输入Q 和期望输出y ，计算网络预测误差e ： k k k Q y e -=BP 神经网络采用梯度修正法作为权值和阈值的学习算法，从网络预测误差的负梯度方向修正权值和阈值。在本实验采用的sigmoid 激励函数下，隐含层和输出层间连接权值和输出层阈值更新公式为： k j jk jk e P a u v v 1*+=m k l j ,...,,;,...,,2121==k k k e u t t *+=11m k ,...,,21=输入层和隐含层间连接权值和输出层阈值更新公式为： ∑=*-+=m k k jk i j j ij ij e v u x P P a w w 101)(l j n i ,...,,;,...,,2121==∑=*-+=m k k jk j j j j e v u P P a t t 1 0001)(l j ,...,,21=
遗传算法 1、案例背景 遗传算法（Genetic Algorithm，GA）是一种进化算法，其基本原理是仿效生物界中的“物竞天择、适者生存”的演化法则。遗传算法的做法是把问题参数编码为染色体，再利用迭代的方式进行选择、交叉以及变异等运算来交换种群中染色体的信息，最终生成符合优化目标的染色体。 在遗传算法中，染色体对应的是数据或数组，通常是由一维的串结构数据来表示，串上各个位置对应基因的取值。基因组成的串就是染色体，或者叫基因型个体( Individuals) 。一定数量的个体组成了群体（Population)。群体中个体的数目称为群体大小（Population Size），也叫群体规模。而各个个体对环境的适应程度叫做适应度( Fitness) 。 2、遗传算法中常用函数 1)创建种群函数—crtbp 2)适应度计算函数—ranking 3)选择函数—select 4)交叉算子函数—recombin 5)变异算子函数—mut 6)选择函数—reins 7)实用函数—bs2rv 8)实用函数—rep 3、主程序： 1. 简单一元函数优化： clc clear all close all %% 画出函数图 figure(1); hold on; lb=1;ub=2; %函数自变量范围【1,2】 ezplot('sin(10*pi*X)/X',[lb,ub]); %画出函数曲线 xlabel('自变量/X') ylabel('函数值/Y') %% 定义遗传算法参数 NIND=40; %个体数目 MAXGEN=20; %最大遗传代数 PRECI=20; %变量的二进制位数 GGAP=0.95; %代沟 px=0.7; %交叉概率 pm=0.01; %变异概率
神经网络建模及Matlab中重要的BP网络函数一、神经组织的基本特征 1．细胞体是一个基本的初等信号处理器，轴突是信号的输出通路，树突是信号的输入通路。信号从一个神经细胞经过突触传递到另一个细胞。 2．不同的神经元之间有不同的作用强度，称为联接强度。当某细胞收到信号时，它的电位发生变化，如果电位超过某一阈值时，该细胞处于激发态，否则处于抑制状态。 3．两神经元之间的联接强度随其激发与抑制行为相关性的时间平均值正比变化，也就是说神经元之间的联接强度不是一成不变的。这就是生物学上的Hebb律。
∑t j ij t S w )(二、人工神经元的M-P 模型（McCulloch 、Pitts,1943） 1．构造一个模拟生物神经组织的人工神经网络的三要素： （1）．对单个神经元给出定义； （2）．定义网络结构：决定神经元数量及连接方式； （3）．给出一种方法，决定神经元之间的联接强度。 2．M-P 模型 其中，t 表示时间 S i (t)表示第i 个神经元在t 时刻的状态，S i (t)=1表示处于激发态，S i (t)=0表示处于抑制态 w ij 表示第j 个神经元到第i 个神经元的联接强度，称之为权，可正可负 表示第i 个神经元在t 时刻所接收到的所有信号的线性迭加。 μi 表示神经元i 的阈值, 可以在模型中增加一个S k (t)=1神经元k ，并且w ik =-μi ,则阈值可归并到和号中去。 注： 1．M-P 神经元虽然简单，但可以完成任何计算。 2．神经元的状态可以取[0，1]中的连续值，如用以下函数代替θ(x): ???<≥=-=+∑0 0011x x x t S w t S i j j ij i )() )(()(θμθ
实验十遗传算法与优化问题 一、问题背景与实验目的 遗传算法（Genetic Algorithm—GA），是模拟达尔文的遗传选择和自然淘汰的生物进化过程的计算模型，它是由美国Michigan大学的J.Holland教授于1975年首先提出的．遗传算法作为一种新的全局优化搜索算法，以其简单通用、鲁棒性强、适于并行处理及应用范围广等显著特点，奠定了它作为21世纪关键智能计算之一的地位． 本实验将首先介绍一下遗传算法的基本理论，然后用其解决几个简单的函数最值问题，使读者能够学会利用遗传算法进行初步的优化计算．1．遗传算法的基本原理 遗传算法的基本思想正是基于模仿生物界遗传学的遗传过程．它把问题的参数用基因代表，把问题的解用染色体代表（在计算机里用二进制码表示），从而得到一个由具有不同染色体的个体组成的群体．这个群体在问题特定的环境里生存竞争，适者有最好的机会生存和产生后代．后代随机化地继承了父代的最好特征，并也在生存环境的控制支配下继续这一过程．群体的染色体都将逐渐适应环境，不断进化，最后收敛到一族最适应环境的类似个体，即得到问题最优的解．值得注意的一点是，现在的遗传算法是受生物进化论学说的启发提出的，这种学说对我们用计算机解决复杂问题很有用，而它本身是否完全正确并不重要（目前生物界对此学说尚有争议）． （1）遗传算法中的生物遗传学概念 由于遗传算法是由进化论和遗传学机理而产生的直接搜索优化方法；故而在这个算法中要用到各种进化和遗传学的概念． 首先给出遗传学概念、遗传算法概念和相应的数学概念三者之间的对应关系．这些概念如下： 序号遗传学概念遗传算法概念数学概念 1 个体要处理的基本对象、结构也就是可行解 2 群体个体的集合被选定的一组可行解 3 染色体个体的表现形式可行解的编码 4 基因染色体中的元素编码中的元素 5 基因位某一基因在染色体中的位置元素在编码中的位置 6 适应值个体对于环境的适应程度， 或在环境压力下的生存能力可行解所对应的适应函数值 7 种群被选定的一组染色体或个体根据入选概率定出的一组 可行解 8 选择从群体中选择优胜的个体， 淘汰劣质个体的操作保留或复制适应值大的可行解，去掉小的可行解 9 交叉一组染色体上对应基因段的 交换根据交叉原则产生的一组新解 10 交叉概率染色体对应基因段交换的概 率（可能性大小）闭区间[0,1]上的一个值，一般为0.65~0.90 11 变异染色体水平上基因变化编码的某些元素被改变
神经网络在数据拟合中的应用 [摘要] 相对于回归分析等方法，神经网络在拟合曲线的平滑度、精度等方面具有优势。本文通过两个实例，介绍了用BP人工神经网络来进行数据拟合处理的方法。表明采用神经网络方法进行数据拟合处理具有实用和精确的特点。 [关键词] 曲线拟合BP网络 引言 在科研生产中，我们经常会处理这样一些数据，它们的特点是：有一组输入，并且有一组对应的输出，但由于受到各种确定和随机因素的影响，我们难于找到输入输出之间的对应关系，更无法用函数关系来表示对应关系。大多数情况下，人们用数学上的曲线拟合来解决这个问题，例如一元线性回归分析，二次曲线拟合等方法。但是实际中大多数对应关系很复杂，难于拟合或者拟合出的残差较大，而且这种曲线拟合方法难以处理具有多个输入多个输出的情况。 神经网络方法在处理这样的数据时具有优势。具有偏差和至少一个S 型隐含层加上一个线性输出层的BP人工神经网络能够逼近任何有理函数。我们可以利用BP人工神经网络来进行数据拟合处理，能够得到平滑的曲线，不会出现数据有极值点的现象。 一、BP人工神经网络的结构 BP网络是典型的多层网络，分为输入层，隐含层，输出层，层与层之间采用全互联方式，同一层神经元之间不存在相互连接，如图1： 图1BP网络结构 二、BP人工神经网络在频率特性校正中的应用 我们以感应线圈的灵敏度-频率特性数据为例，说明BP网络的设计。为了纠正频率响应特性，需要找 到灵敏度-频率特性之间的对应关系，但由于物理变化过程十分复杂，很难找到它们之间的函数表达式，于是用BP人工神经网络拟合灵敏度-频率特性曲线，输入矩阵是一组频率数值，用T表示，输出矩阵是对应的灵敏度数值，用V 表示。 1.选取神经元数：输入矩阵T有6个数据，是一个列向量，则输入层有一个神经元，如图1，是一个16×6矩阵；是偏差向量，隐含层的激活函数；是输出层的向量，是输出层的偏差；输出层的激活函数；A2即V为输出目标矢量，有6个数据，输出层一个神经元。关键在于如何选取隐含层的神经元数。一般而言
粒子群算法在神经网络非线性函数 拟合中的应用 一、本文研究和解决的问题 在自动控制问题中，系统辨识的目的是为了建立被控对象的数学模型。多年来，控制领域对于复杂的非线性对象的辨识一直未能很好的解决，神经网络所具有的非线性特性和学习能力使其在系统辨识方面有很大的潜力。为解决具有复杂的非线性、不确定性和不确知对象的辨识问题开辟了一条有效的途径。基于神经网络的系统辨识是以神经网络作为被辨识对象的模型，利用其非线性特性，可建立非线性系统的静态或动态模型。理论上，多层前馈神经网络能够以任意精度逼近任意非线性映射。 但传统神经网络学习算法中存在的收敛速度慢、容易陷入局部最优等缺点，于是设计了基于标准粒子群算法的神经网络非线性函数拟合系统。 二、传统的BP神经网络 BP 神经网络即采用误差反向传播算法的网络，是一种至今仍然最为流行的前馈型神经网络模型。BP 神经网络有很强的非线性映射能力，它能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供给网络进行学习训练，它便能完成由n 维输入空间到m 维输出空间的非线性映射。BP 学习算法属于误差修正型学习，其关键在于根据误差修正输出层和隐含层的连接权值。其学习的基本实现方法是基于最小平方误差准则和梯度下降优化方法来确定权值调整法则。 BP网络建模特点： 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建模过程中的许多问题正是具有高度的非线性。 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它具有很强的容错性和很快的处理速度。 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一般情形的能力。神经网络的学习也可以在线进行。 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可以利用传统的工程技术（数值运算）和人工智能技术（符号处理）。 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。
第四章遗传算法与函数优化 4.1 研究函数优化的必要性： 首先，对很多实际问题进行数学建模后，可将其抽象为一个数值函数的优化问题。由于问题种类的繁多，影响因素的复杂，这些数学函数会呈现出不同的数学特征。除了在函数是连续、可求导、低阶的简单情况下可解析地求出其最优解外，大部分情况下需要通过数值计算的方法来进行近似优化计算。 其次，如何评价一个遗传算法的性能优劣程度一直是一个比较难的问题。这主要是因为现实问题种类繁多，影响因素复杂，若对各种情况都加以考虑进行试算，其计算工作量势必太大。由于纯数值函数优化问题不包含有某一具体应用领域中的专门知识，它们便于不同应用领域中的研究人员能够进行相互理解和相互交流，并且能够较好地反映算法本身所具有的本质特征和实际应用能力。所以人们专门设计了一些具有复杂数学特征的纯数学函数，通过遗传算法对这些函数的优化计算情况来测试各种遗传算法的性能。 4.2 评价遗传算法性能的常用测试函数 在设计用于评价遗传算法性能的测试函数时，必须考虑实际应用问题的数学模型中所可能呈现出的各种数学特性，以及可能遇到的各种情况和影响因素。这里所说的数学特性主要包括： ●连续函数或离散函数； ●凹函数或凸函数； ●二次函数或非二次函数； ●低维函数或高维函数； ●确定性函数或随机性函数； ●单峰值函数或多峰值函数，等等。 下面是一些在评价遗传算法性能时经常用到的测试函数： (1)De Jong函数F1： 这是一个简单的平方和函数，只有一个极小点f1(0, 0, 0)＝0。
(2)De Jong 函数F2： 这是一个二维函数，它具有一个全局极小点f 2(1，1) = 0。该函数虽然是单峰值的函数，但它却是病态的，难以进行全局极小化。 (3)De Jong 函数F3： 这是一个不连续函数，对于]0.5,12.5[--∈i x 区域内的每一个点，它都取全局极小值 30),,,,(543213-=x x x x x f 。
人工神经网络及其数据拟合中的应用
人工神经网络及其数据拟合中的应用 摘要 本文将讲述人工神经网络及其数据拟合中的应用。人工神经网络是在现代神经科学的基础上提出和发展起来的，旨在反映人脑结构及功能的一种抽象数学模型。它在模式识别，图像处理，智能控制，组合优化，金融预测与管理通信机器人以及专家系统等领域得到广泛的应用。文章首先介绍人工神经元和人工神经网络的数学结构，然后介绍神经网络的建立、训练与泛化的概念以及MATLAB语言的神经网络工具箱在解决这些问题中的应用。通过实际例题来巩固这些知识点。 关键词：人工神经网络拟合径向基结构MATLAB
一、神经网络基础知识 1.1人工神经元模型 （i ）一组连接（对应于生物神经元的突触） ，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。 （ii ）一个求和单元，用于求取各输入信号的加权和（线性组合） 。 （iii ）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限制在(0,1)或（-1,1）之间）。 此外还有一个阈值 以上作用可分别以数学式表达出来： 式中n x x x ,,21为输入信号， 为神经元k 之 权值， 为线性组合结果， 为阈值， 为激活函数又称为传输函数， 为神经元k 的输出。 常用的传输函数有：Sigmoid 函数和对数Sigmoid 函数。 在神经元中，权值和传输函数是两个关键的因素。权值的物理意义是输入信号的强度，多个神经元则是连接强度。神经元的权值应该通过神经元对样本点反复的学习过程而确定，这个过程称为训练。 1.2神经网络结构 从连接方式上可将其划分为前馈型网络和反馈型网络。 （i ）前馈型网络 各神经元接受前一层的输入，并输出给下一层，没有反馈。结点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出（它可耦合到任意多个其它结点作为其输入） 。通常前馈网络可分为不同的层，第i 层的输入只与第 1 ? i 层输出相连，输入和输出结点与外界相连，而其它中间层则称为隐层。 （ii ）反馈型网络 所有结点都是计算单元，同时也可接受输入，并向外界输出。 1.3神经网络结构工作方式 神经网络的工作过程主要分为两个阶段： 第一个阶段是学习期，此时各计算单元状态不变，各连线上的权值可通过学习来修改；第二阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。 从作用效果看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点都起作用，这一类主要用作各种联想存储器；第二类只利用全局极小点，它主要用于求解最优化问题。 所以我们知道，神经网络要解决的问题是通过已知数据，反复训练神经网络， 得到加权量和阀值，使得神经网络的计算输出信号 与实际期望输出信号 误差最小 。一种较适合的方式就是使得误差的平方和最小，即 ∑==-==p j k k k k k j kj k v y u v x w u 1 ) (,,ψθkp k k w w w ,...,,21k u k θ(.)ψk y i y
Logistics Sci-Tech 2010.5 收稿日期：2010－02－07 作者简介：周兴建（1979-），男，湖北黄冈人，武汉科技学院经济管理学院，讲师，武汉理工大学交通学院博士研究生，研究方向：物流价值链、物流系统规划；刘元奇（1988-），男，甘肃天水人，武汉科技学院经济管理学院；李泉（1989-），男，湖北 武汉人，武汉科技学院经济管理学院。 文章编号：1002-3100(2010)05-0038-03 物流科技2010年第5期Logistics Sci-Tech No.5,2010 摘 要：应用遗传算法对邯运集团仓库库位进行优化。在充分考虑邯运集团仓库所存放的货物种类、货物数量、出入库频 率等因素的基础上进行库位预分区规划，建立了二次指派问题的数学模型。利用遗传算法对其求解，结合MATLAB 进行编程计算并得出最优划分方案。 关键词：遗传算法；预分区规划；库位优化中图分类号：F253.4 文献标识码：A Abstract:The paper optimize the storage position in warehouse of Hanyun Group based on genetic algorithm.With thinking of the factors such as goods categories,quantities and frequencies of I/O,etc,firstly,the storage district is planned.Then the model of quadratic assignment problems is build,and genetic algorithm is utilized to resolve the problem.The software MATLAB is used to program and figure out the best alternatives. Key words:genetic algorithm;district planning;storage position optimization 1 库位优化的提出 邯郸交通运输集团有限公司（简称“邯运集团”）是一家集多种业务为一体的大型综合性物流企业。邯运集团的主要业务板块有原料采购（天信运业及天昊、天诚、天恒等）、快递服务（飞马快运）、汽贸业务（天诚汽贸）及仓储配送（河北快运）等。其中，邯运集团的仓储配送业务由河北快运经营，现有仓库面积总共40000㎡，主要的业务范围为医药、日用百货、卷烟、陶瓷、化工产品的配送，其中以医药为主。邯运集团库存货物主要涉及两个方面：一个是大宗的供应商货物，如医药，化工产品等；另一方面主要是大规模的小件快递货物，如日用百货等[1]。经分析，邯运集团在仓储运作方面存在如下问题： （1）存储货物繁多而分拣速度低下。仓库每天到货近400箱，有近200多种规格，缺乏一套行之有效的仓储管理系统。（2）货架高度不当而货位分配混乱。现在采用的货架高度在2米以上，而且将整箱货物直接码垛在货架上，不严格按货位摆放。当需要往货架最上层码放货物需要借助梯子，增加操作难度且操作效率较低。货物在拣货区货架摆放是以件为单位的，分拣和搬运速度较慢。 （3）拣货货架设计不当而仓储效率低下。发货前装箱工作主要由人工协同完成，出库效率低，出错率难以控制。 （4）存储能力和分拣能力不能满足需求。根据邯运集团的业务发展现状及趋势，现有的仓库储存和分拣能力远远达不到集团公司对配送业务量的需求。 当前邯运集团的货位分配主要采用物理地址编码的方式，很少考虑货位分配对仓储管理员工作效率的影响。对其进行库位优化设计不仅直接影响到其库存量的大小、出入库的效率，还间接影响到邯运集团的整体经营效益。本文对邯运集团的仓库货位进行优化时，结合考虑仓库所存放的货物种类、货物数量、出入库频率等因素，对仓库货位进行规划，以提高仓储效率。 2库位预分区规划 在进行仓库货位规划时，作如下假设： （1）货物的存放种类已知； （2）货物每种类的单位时间内存放的数量己知； （3） 每一种货物的存取频率已知。 在仓库货位优化中一个重要的环节即预分区。所谓预分区，是指没有存放货物时的分区，分区时只考虑仓储作业人员的速基于遗传算法的库位优化问题 Optimization of Storage Position in Warehouse Based on Genetic Algorithm 周兴建1,2，刘元奇1，李泉1 ZHOU Xing-jian 1,2,LIU Yuan-qi 1,LI Quan 1 （1.武汉科技学院经济管理学院，湖北武汉430073；2.武汉理工大学交通学院，湖北武汉430063） (1.College of Economics &Management,Wuhan University of Science &Engineering,Wuhan 430073,China; 2.School of Transportation,Wuhan University of Technology,Wuhan 430063,China) !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! 38
各种优化算法求解函数优化问题 1.遗传算法的简单介绍及流程 1.1遗传算法的基本原理 遗传算法 ( Genetic Algorithm ,简称 GA) 是近年来迅速发展起来的一种全新的随机搜索优化算法。与传统搜索算法不同 ,遗传算法从一组随机产生的初始解 (称为群体 )开始搜索。群体中的每个个体是问题的一个解 ,称为染色体。这些染色体在后续迭代中不断进化 , 称为遗传。遗传算法主要通过交叉、变异、选择运算实现。交叉或变异运算生成下一代染色体,称为后 代。染色体的好坏用适应度来衡量。根据适应度的大小从上一代和后代中选择一定数量的个 体 ,作为下一代群体 ,再继续进化 ,这样经过若干代之后 ,算法收敛于最好的染色体 ,它很可能就是问题的最优解或次优解。遗传算法中使用适应度这个概念来度量群体中的各个个体在优化计算中有可能达到最优解的优良程度。度量个体适应度的函数称为适应度函数。适应度函数的定义一般与具体求解问题有关。 1.2遗传算法的流程 第一步：确定决策变量及各种约束条件，即确定出个体的表现型X和问题的解空间； 第二步：确定出目标函数的类型，即求目标函数的最大值还是最小值，以及其数学描述形式或量化方法，建立其优化模型； 第三步：确定表示可行解的染色体编码方法，即确定出个体的基因型X和遗传算法的搜 索空间。 第四步：确定解码方法，即确定出个体的基因型 X和个体的表现型 X的对应关系或转换方法； 第五步：确定个体时候适应度的量化评价方法，即确定出由目标函数 f(X) 值到个体适应度F(X) 的转换规则； 第六步：设计遗传算子，即确定出选择运算、交叉运算、变异运算等遗传算子的具体操作方法； 第七步：确定出遗传算法的运行参数，即确定出遗传算法的M、 T、 Pc、 Pm等参数。1.3 遗传算法求解函数优化问题中的参数分析 目前，函数优化是遗传算法的经典应用领域，也是对遗传算法进行性能评价的常用范 例。对于函数优化中求解实数型变量的问题，一般采用动态编码和实数编码的方法来提高其搜
神经网络在数据拟合方面的应用 摘要 本文将讲述人工神经网络及其数据拟合中的应用。人工神经网络是从信息处 理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。它在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域得到广泛的应用。本文主要研究神经网络在数据拟合中的应用，通过对背景、基础知识及其神经网络的相关理论，推出神经网络的发展历程及其模型，最后得出神经网络在数据拟合中的算法的设计与实现。本文通过实例介绍了用神 经网络来进行数据拟合处理的方法。 关键词：人工神经网络; 拟合; 径向基结构; MATLAB
Abstract This paper will describe the application of artificial neural network and its data fitting. Artificial neural network is a kind of simple model, which is based on the information processing point of view of the human brain neural network to establish a simple model. The different connection ways form different networks. It is widely used in pattern recognition, intelligent robot, automatic control, prediction and estimation, biology, medicine, economy and so on. This paper studied the neural network in the data fitting application. By the background, basic knowledge and neural network theory, we introduced the development process of neural network and its models, and finally we got the design and implementation of algorithm of neural network in data fitting. This paper introduced the method of using neural network to fit the data through an example. Key Words:Curve fitting; Surface fitting; Least-squares method; Engineering applications
BP 神经网络与多项式拟合曲线 摘要 首先介绍了曲线拟合的原理及其在曲线拟合中的应用。接着讨论了BP 神经网络的原理，研究了非线性拟合的在MATLAB 中仿真过程 通过比较可以看出利用神经网络进行非线性拟合具有拟合速度快、拟合精度高的特点。 关键词：曲线拟合；BP 神经网络；MATLAB 0 引言 在实际工程应用和科学实践中，为了描述不同变量之间的关系，需要根据一组测定的数据去求得自变量x 和因变量y 的一个函数关系)(x f y =，使其在某种准则下最佳地接近已知数据。 曲线拟合是用连续曲线近似地刻画或比拟平面上离散点组所表示坐标之间的函数关系的一种数据处理方法。从一组实验数据(i i y x ,) 中寻求自变量x 和因变量y 之间的函数关系)(x f y =来反映x 和y 之间的依赖关系，即在一定意义下最佳地逼近已知数据。应用曲线拟合的方法揭示数据之间内在规律具有重要的理论和现实意义。 1 多项式曲线拟合 1.1 曲线拟合原理 最小二乘法原理：对给定的数据点（i i y x ,）（N i ,...,2,1 =），在取定的函数类 φ中，求函数φ∈)(x f ，使误差i i y x f -)(（N i ,...,1,0=）的平方和最小，即 [] ∑=-N i i i y x f 0 2 )(取到最小值。从几何意义上讲，就是寻求与给定点（i i y x ,） （N i ,...,2,1=）的距离平方和为最小的曲线)(x f y =。函数)(x f 称为拟合函数或最小二乘解，求拟合函数)(x f 的方法称为曲线拟合的最小二乘法。拟合函数和标志数据点之间的垂直距离是该点的误差。对该数据点垂直距离求平方，并把平方距离全加起来，拟合曲线应是使误差平方和尽可能小的曲线，即是最佳拟合。 1.2 最小二乘法曲线拟合
%利用神经网络工具箱对一个正弦函数进行拟合，源码如下： clc clear close all %----------------------------------------------- %产生训练样本与测试样本 P1=1:2:200; %训练样本，每一列为一个样本 T1=sin(P1*0.1); %训练目标 P2=1:2:200; %测试样本，每一列为一个样本 T2=sin(P2*0.1); %测试目标 %------------------------------------------------ %归一化 [PN1,minp,maxp,TN1,mint,maxt] = premnmx(P1,T1); PN2=tramnmx(P2,minp,maxp); TN2=tramnmx(T2,mint,maxt); %------------------------------------------- %设置网络参数 NodeNum = 20; %隐藏节点数 TypeNum = 1; %输出维数 TF1='tansig'; TF2='purelin'; %判别函数（缺省值） net=newff(minmax(PN1),[NodeNum TypeNum],{TF1 TF2}); %------------------------------------------------------ %指定训练参数 net.trainFcn='trainlm'; net.trainParam.show=20; %训练显示间隔 net.trainParam.lr=0.3; %学习步长-traubgd，traubgdm net.trainParam.mc=0.95; %动量项系数-traingdm，traingdx net.trainParam.mem_reduc=1; %分块计算Hessian矩阵（仅对Levenberg-Marquardt算法有效） net.trainParam.epochs=1000; %最大训练次数 net.trainParam.goal=1e-8; %最小均方误差 net.trainParam.min_grad=1e-20; %最小梯度 net.trainParam.time=inf; %最大训练时间 %------------------------------------------------------- %训练 net=train(net,PN1,TN1); %训练 %-------------------------------------------------- %测试 YN1=sim(net,PN1); %训练样本实际输出 YN2=sim(net,PN2); %测试样本实际输出 MSE1=mean((TN1-YN1).^2); MSE2=mean((TN2-YN2).^2);
TSP问题的遗传算法求解 摘要：遗传算法是模拟生物进化过程的一种新的全局优化搜索算法，本文简单介绍了遗传算法，并应用标准遗传算法对旅行包问题进行求解。 关键词：遗传算法、旅行包问题 一、旅行包问题描述： 旅行商问题，即TSP问题（Traveling Saleman Problem）是数学领域的一个著名问题，也称作货郎担问题，简单描述为：一个旅行商需要拜访n个城市（1，2，…，n），他必须选择所走的路径，每个城市只能拜访一次，最后回到原来出发的城市，使得所走的路径最短。其最早的描述是1759年欧拉研究的骑士周游问题，对于国际象棋棋盘中的64个方格，走访64个方格一次且最终返回起始点。 用图论解释为有一个图G=（V,E），其中V是顶点集，E是边集，设D=（d ij）是有顶点i和顶点j之间的距离所组成的距离矩阵，旅行商问题就是求出一条通过所有顶点且每个顶点只能通过一次的具有最短距离的回路。若对于城市V={v1，v2，v3，...，vn}的一个访问顺序为T=(t1，t2，t3，…，ti，…，tn)，其中ti∈V(i=1，2，3，…，n)，且记tn+1= t1，则旅行商问题的数学模型为：min L=Σd(t(i),t(i+1)) （i=1，…，n） 旅行商问题是一个典型组合优化的问题，是一个NP难问题，其可能的路径数为（n-1）！，随着城市数目的增加，路径数急剧增加，对与小规模的旅行商问题，可以采取穷举法得到最优路径，但对于大型旅行商问题，则很难采用穷举法进行计算。 在生活中TSP有着广泛的应用，在交通方面，如何规划合理高效的道路交通，以减少拥堵；在物流方面，更好的规划物流，减少运营成本；在互联网中，如何设置节点，更好的让信息流动。许多实际工程问题属于大规模TSP，Korte于1988年提出的VLSI芯片加工问题可以对应于1.2e6的城市TSP，Bland于1989年提出X-ray衍射问题对应于14000城市TSP，Litke于1984年提出电路板设计中钻孔问题对应于17000城市TSP，以及Grotschel1991年提出的对应于442城市TSP的PCB442问题。
多目标遗传算法优化 铣削正交试验结果 说明： 1.建立切削力和表面粗糙度模型 如： 3.190.08360.8250.5640.45410c e p z F v f a a -=（1） a R =此模型你们来拟合（上面有实验数据，剩下的两个方程已经是我帮你们拟合好的了）（2） R a =10?0.92146v c 0.14365f z 0.16065a e 0.047691a p 0.38457 10002/c z p e Q v f a a D π=-????（3） 变量约束范围：401000.020.080.25 1.0210c z e p v f a a ≤≤??≤≤??≤≤? ?≤≤? 公式（1）和（2）值越小越好，公式（3）值越大越好。π=3.14 D=8 2.请将多目标优化操作过程录像（同时考虑三个方程，优化出最优的自变量数值），方便我后续进行修改；将能保存的所有图片及源文件发给我；将最优解多组发给我，类似于下图（黄色部分为达到的要求）
遗传算法的结果:
程序如下: clear; clc; % 遗传算法直接求解多目标优化 D=8; % Function handle to the fitness function F=@(X)[10^(3.19)*(X(1).^(-0.0836)).*(X(2).^0.825).*(X(3).^0.564).*(X(4).^0. 454)]; Ra=@(X)[10^(-0.92146)*(X(1).^0.14365).*(X(2).^0.16065).*(X(3).^0.047691).*( X(4).^0.38457)]; Q=@(X)[-1000*2*X(1).*X(2).*X(3).*X(4)/(pi*D)];
基于BP神经网络的非线性函数拟合 摘要：本文建立BP神经网络对一个多输入多输出系统的二元非线性函数进行拟合，仿真实验表明：在样本数据充足且不含噪声的情况下，训练的精度越高，逼近的效果越好；数据不充足且不含噪声时，训练精度的高低在一定范围内对于网络性能没有决定性的影响，网络性能主要取决于初始化；不管训练数据是否充足，若含有噪声，训练精度过高会使网络泛化能力降低。 0引言 作为当前应用最为广泛的一种人工神经网络，BP网络在函数逼近、模式识别、数据压缩、智能控制等领域有着非常广泛的应用。BP网络由大量简单处理单元广泛互联而成，是一种对非线性函数进行权值训练的多层映射网络，结构简单，工作状态稳定，具有优良的非线性映射能力，理论上它能够以任意精度逼近任意非线性函数。BP神经网络通过学习能够存储大量输入输出样本中蕴含的映射关系，只需提供足够的样本模式对BP网络进行训练，而无需事先了解数学方程。本文采用BP神经网络解决下列函数拟合问题。 函数逼近：设计一个神经网络拟合下列多输入多输出函数： y1=2+x1RP1.5-1.5sin(3x2); y2=x2sin(x1)+x1cos(x2); 1< x1, x2<5 产生200个数据，其中100个用来训练网络，另外100个用于网络模型的测试。1BP神经网络结构和算法 一个典型的3层BP神经网络结构如图1所示，包括输入层、隐含层和输出层。各层
神经元之间无反馈连接，各层内神经元之间无任何连接。其中隐含层的状态影响输入输出之间的关系，及通过改变隐含层的权系数，就可以改变整个多层神经网络的性能。BP 神经网络的学习过程由正向传播和反向传播组成。在正向传播中，输入的样本从输入层经过隐含层之后，传向输出层，在逐层处理的过程中，每一层神经元的状态只对下一层神经元的状态产生影响。在输出层把现行输出和期望输出进行比较，如果现行输出不等于期望输出，则进入反向传播过程。反向传播过程中，误差信号从输出层向输入层传播，并对每个隐含层的各个神经元的权系数进行修改，使误差不断减少，直至达到精度要求。BP 算法的实质是求取误差函数最小值问题，通过多个样本的反复训练，一般采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权系数。 隐含节点 图1 典型3层BP神经网络结构图 2用于函数拟合的BP神经网络模型的建立 为建立函数拟合的BP神经网络模型，一般要考虑以下几步： (1) 样本数据的产生 为简单起见，在x1，x2均属于[1,5]区间内选择均匀分布的200个数据点分别作为训练和测试样本。如图2所示。
BP神经网络用于函数拟合的实验 一、实验目的 本实验要求掌握前向型神经网络的基本工作原理及利用反向传播确定权系数的方法，并能在MATLAB仿真环境下设计相应的神经网络，实现对非线性函数的逼近与拟合，并分析影响函数拟合效果的相关因素。 二、实验要求 设计神经网络的基本结构与激励函数，实现对非线性函数y=sin(x)的逼近与拟合，并分析影响函数拟合效果的相关参数（包括激励函数的选择sigmoid、线性函数、权系数的初值、步长的大小、训练样本的多少等），并对比实验效果。 三、实验步骤 1. 确定神经网络的结构 本次实验采用前向型BP神经网络，神经元分层排列，每一层的神经元只接受前一层神经元的输入。输入模式经过各层的顺序变换后，得到输出层输出。各神经元之间不存在反馈。 该实验神经网络含输入层和输出层两层神经元，其中输入层含六个神经元，输出层含一个神经元。输入信号传输到输入层，在输出层得到拟合结果。 2.确定采用的激励函数、拟合方法 选择激励函数为sigmoid的函数，因其便于求导，且值域在（0,1）之间，具有较好的收敛特性。 拟合方法采用梯度下降法，该方法使试验数值沿梯度方向增加有限步长，避免了盲目搜索，提高搜索效率。 3.训练流程 1）初始化各参数 2）开始训练 3）计算误差 4）计算广义误差 5）调整连接权系数，直到误差小于设定值 6）编写程序实现对非线性函数y=sin(x)的逼近与拟合
算法流程图如图4.1所示。 四、实验结果及分析 通过BP网络学习逼近sin(x)函数的实验发现，不同的初值对逼近效果有较大影响。权系数初值随机选取时，多次运行程序，得到一组较好的拟合结果（见图1），其权系数为w1 =[-2.9880,-1.9267,-1.3569,-1.5064,-0.6377,-2.3899] w2=[2.0316,2.1572,-1.1427,-1.3108,-0.6328,-1.8135]，阈值yw1 =[-11.3291,-4.0186,-6.6926,-7.6080,-0.5955,-2.1247]，yw2 =-0.4377。