当前位置:文档之家› 神经网络算法及模型

神经网络算法及模型

神经网络算法及模型
神经网络算法及模型

神经网络算法及模型

思维学普遍认为,人类大脑的思维分为抽象(逻辑)思维、形象(直观)思维和灵感(顿悟)思维三种基本方式。

人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统,其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单,功能有限,但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。神经网络的研究内容相当广泛,反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面:

(1)生物原型研究。从生理学、心理学、解剖学、脑科学、病理学等生物科学方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

(2)建立理论模型。根据生物原型的研究,建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

(3)网络模型与算法研究。在理论模型研究的基础上构作具体的神经网络模型,以实现计算机模拟或准备制作硬件,包括网络学习算法的研究。这方面的工作也称为技术模型研究。

(4)人工神经网络应用系统。在网络模型与算法研究的基础上,利用人工神经网络组成实际的应用系统,例如,完成某种信号处理或模式识别的功能、构作专家系统、制成机器人等等。

纵观当代新兴科学技术的发展历史,人类在征服宇宙空间、基本粒子,生命起源等科学技术领域的进程中历经了崎岖不平的道路。我们也会看到,探索人脑功能和神经网络的研究将伴随着重重困难的克服而日新月异。

神经网络和粗集理论是智能信息处理的两种重要的方法,其任务是从大量观察和实验数据中获取知识、表达知识和推理决策规则。粗集理论是基于不可分辩性思想和知识简化方法,从数据中推理逻辑规则,适合于数据简化、数据相关性查找、发现数据模式、从数据中提取规则等。神经网络是利用非线性映射的思想和并行处理方法,用神经网络本身的结构表达输入与输出关联知识的隐函数编码,具有较强的并行处理、逼近和分类能力。在处理不准确、不完整的知识方面,粗集理论和神经网络都显示出较强的适应能力,然而两者处理信息的方法是不同的,粗集方法模拟人类的抽象逻辑思维,神经网络方法模拟形象直觉思维,具有很强的互补性。

首先,通过粗集理论方法减少信息表达的属性数量,去掉冗余信息,使训练集简化,减少神经网络系统的复杂性和训练时间;其次利用神经网络优良的并行处理、逼近和分类能力来处理风险预警这类非线性问题,具有较强的容错能力;再次,粗集理论在简化知识的同时,很容易推理出决策规则,因而可以作为后续使用中的信息识别规则,将粗集得到的结果与神经网络得到的结果相比较,以便相互验证;最后,粗集理论的方法和结果简单易懂,而且以规则的形式给出,通过与神经网络结合,使神经网络也具有一定的解释能力。因此,粗集理论与神经网络融合方法具有许多优点,非常适合处理诸如企业战略风险预警这类非结构化、非线性的复杂问题。

关于输入的问题--输入模块。

这一阶段包括初始指标体系确定,根据所确定的指标体系而形成的数据采集系统及数据预处理。企业战略风险的初始评价指标如下:

企业外部因素:政治环境(法律法规及其稳定性),经济环境(社会总体收入水平,物价水平,经济增长率),产业结构(进入产业障碍,竞争对手数量及集中程度),市场环境(市场大小)。

企业内部因素:企业盈利能力(销售利润率,企业利润增长率),产品竞争能力(产品销售率,市场占有率),技术开发能力(技术开发费比率,企业专业技术人才比重),资金筹措能力(融资率),企业职工凝聚力(企业员工流动率),管理人才资源,信息资源;战略本身的风险因素(战略目标,战略重点,战略措施,战略方针)。

本文所建立的预警指标系统是针对普遍意义上的企业,当该指标系统运用于实际企业时,需要对具体指标进行适当的增加或减少。因为各个企业有其具体的战略目标、经营活动等特性。

计算处理模块。这一模块主要包括粗集处理部分和神经网络处理部分。

粗集处理阶段。根据粗集的简化规则及决策规则对数据进行约简,构造神经网络的初始结构,便于神经网络的训练。

企业战略风险分析需要解决的问题是在保证对战略风险状态评价一致的情况下,选择最少的特征集,以便减少属性维数、降低计算工作量和减少不确定因素的影响,粗集理论中的属性约简算法可以很好地解决这个问题。

然后是输出模块~

该模块是对将发生的战略风险问题发出警报。

按照战略风险大小强弱程度的不同,可将其分为三个层次。第一层次是轻微战略风险,是损失较小、后果不甚明显,对企业的战略管理活动不构成重要影响的各类风险。这类风险一般情况下无碍大局,仅对企业形成局部和微小的伤害。第二层次是一般战略风险,是损失适中、后果明显但不构成致命性威胁的各类风险。这类风险的直接后果使企业遭受一定损失,并对其战略管理的某些方面带来较大的不利影响或留有一定后遗症。第三层次是致命性战略风险,指损失较大,后果严重的风险。这类风险的直接后果往往会威胁企业的生存,导致重大损失,使之一时不能恢复或遭受破产。在实际操作中,每个企业应根据具体的状况,将这三个层次以具体的数值表现出来。

两个重要的神经网络算法模型:

人工神经网络模型示例:

1设计信息处理单元连接的方式

按照信息处理单元的连接方式,神经网络可以分为多种类型。这里介绍按照结点有无反馈划分的两种典型的网络结构:

(1)前馈网络

网络可以分为几个层。各层按信号传输先后顺序依次排列,第i层的神经元只接受第i-1层神经元给出的信号。各神经元之间没有反馈。输入层结点与输出层结点称为“可见层”,其他中间层则称为“隐层”。

(2)反馈网络

网络分层,某些结点除了接受外加输入以外,还要接受其他结点的反馈,或者是自身的反馈。

当然,除了这种划分方式,还有按照层数划分为单层网络与多层网络,按照输入数据的特点划分为离散网络和连续网络等。

不同的网络在性能和效率上会有很大的差异,一般来说,跨层连接的结点越多,网络越是可靠;层数越多,网络的效率越低;反馈越多,网络的学习能力越强;结点个数越多,网络的记忆能力就越好。因此往往要根据实际应用设计网络的连接。在这里,我们不难得出一个结论:信息处理单元连接的方式的设计是人工神经网络算法设计的一个重要方面。

目前研究得相对成熟的是BP误差反传神经网络,Hopfield反馈神经网络,BAM双向联想记忆神经网络,CMAC小脑神经网络,RBF径向基函数神经网络,SOM自组织特征映射神经网络,CPN对偶传播神经网络,ART自适应谐振理论,量子神经网络。有兴趣的读者可参照相关资料。

2设计学习算法

在人工智能领域,人工神经网络是模拟人脑的模式匹配的主要手段。根据常识我们很容易理解,人脑要对某个模式得到正确匹配,需要大量的训练和纠正。训练越多,纠正越多,匹配就越准确。人工神经网络也是如此,要通过大量的学习才能投入正确使用,在使用中又不断地自我学习。这里摘抄一段来自百度网站的例子,虽然并不够权威,但能够很简单地说明问题。

现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明,规定当“A”输入网络时,应该输出“1”,而当输入为“B”时,输出为“0”。

所以网络学习的准则应该是:如果网络作出错误的的判决,则通过网络的学习,应使得网络减少下次犯同样错误的可能性。首先,给网络的各连接权值赋予(0,1)区间内的随机值,将“A”所对应的图象模式输入给网络,网络将输入模式加权求和、与门限比较、再进行非线性运算,得到网络的输出。在此情况下,网络输出为“1”和“0”的概率各为50%,也就是说是完全随机的。这时如果输出为“1”(结果正确),则使连接权值增大,以

便使网络再次遇到“A”模式输入时,仍然能作出正确的判断。

如果输出为“0”(即结果错误),则把网络连接权值朝着减小综合输入

加权值的方向调整,其目的在于使网络下次再遇到“A”模式输入时,减小

犯同样错误的可能性。如此操作调整,当给网络轮番输入若干个手写字母“A”、“B”后,经过网络按以上学习方法进行若干次学习后,网络判断的正确率

将大大提高。这说明网络对这两个模式的学习已经获得了成功,它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时,能够作出迅速、准确的判断和识别。一般说来,网络中所含的神经元个数越多,则它能记忆、识别的模式也就越多。

这个例子引出了一个“学习算法”。学习算法的设计是人工神经网络算法设

计的另外一个重要的方面。学习算法设计得好,网络的学习能力就越强,容错能力也越强。

经典的学习算法有Hebb规则,误差修正法学习规则,胜者为王学习规则,有兴趣的读者可参照相关资料。

3 设计功能函数

信息处理单元的功能是人工神经网络算法设计的又一重要方面,一般以功能

函数的形式给出(及模型中的F函数)。功能函数的设计直接影响到网络的

功能。常见的功能函数有:

(1)简单线性函数

神经元功能函数F连续取值,输入X由连接矩阵W加权产生输出。F(X)=X

(2)对称硬限幅函数

F(X)=SGN(X-Θ).此函数只有二值,大于阀值Θ输出+1,小于阀值Θ输出-1。

(3)正线性函数

F(X)=0 if X<0;F(X)=X if X>=0。

另外还有硬限幅函数,线性函数,饱和线性函数,对称饱和线性函数,淡

极性S形函数,双曲正切S形函数,竞争函数等。

综上,设计信息处理单元的连接方式,设计网络学习算法,设计信息处理单

元的功能,是人工神经网络算法设计的三个基本的方面。具体的算法细则应

该根据网络的性能,功能,应用场合等设计。

BP神经网络模型示例:

BP网络模型处理信息的基本原理是:输入信号Xi通过中间节点(隐层点)

作用于输出节点,经过非线形变换,产生输出信号Yk,网络训练的每个样本包

括输入向量X和期望输出量t,网络输出值Y与期望输出值t之间的偏差,通过

调整输入节点与隐层节点的联接强度取值Wij和隐层节点与输出节点之间的联

接强度Tjk以及阈值,使误差沿梯度方向下降,经过反复学习训练,确定与最小

误差相对应的网络参数(权值和阈值),训练即告停止。此时经过训练的神经网

络即能对类似样本的输入信息,自行处理输出误差最小的经过非线形转换的信息。

BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。

(1)节点输出模型

隐节点输出模型:Oj=f(∑Wij×Xi-q j) (1)

输出节点输出模型:Yk=f(∑Tjk×Oj-q k) (2)

f-非线形作用函数;q -神经单元阈值。

图1 典型BP网络结构模型

(2)作用函数模型

作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数,一般取

为(0,1)内连续取值Sigmoid函数: f(x)=1/(1+e-x) (3)

(3)误差计算模型

误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数:

Ep=1/2×∑(tpi-Opi)2 (4)

tpi- i节点的期望输出值;Opi-i节点计算输出值。

(4)自学习模型

神经网络的学习过程,即连接下层节点和上层节点之间的权重拒阵Wij的设定

和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需

输入模式之分。自学习模型为

△Wij(n+1)= h ×Фi×Oj+a×△Wij(n) (5)

h -学习因子;Фi-输出节点i的计算误差;Oj-输出节点j的计算输出;a-动量因子。

2.3 BP网络模型的缺陷分析及优化策略

(1)学习因子h 的优化

采用变步长法根据输出误差大小自动调整学习因子,来减少迭代次数和加快收敛速度。

h =h +a×(Ep(n)- Ep(n-1))/ Ep(n) a为调整步长,0~1之间取值(6)

(2)隐层节点数的优化

隐节点数的多少对网络性能的影响较大,当隐节点数太多时,会导致网络学习时间过长,甚至不能收敛;而当隐节点数过小时,网络的容错能力差。利用逐步回归分析法并进行参数的显著性检验来动态删除一些线形相关的隐节点,节点删除标准:当由该节点出发指向下一层节点的所有权值和阈值均落于死区(通常取±0.1、±0.05等区间)之中,则该节点可删除。最佳隐节点数L可参考下面公式计算:

L=(m+n)1/2+c (7)

m-输入节点数;n-输出节点数;c-介于1~10的常数。

(3)输入和输出神经元的确定

利用多元回归分析法对神经网络的输入参数进行处理,删除相关性强的输入参数,来减少输入节点数。

(4)算法优化

由于BP算法采用的是剃度下降法,因而易陷于局部最小并且训练时间较长。用基于生物免疫机制地既能全局搜索又能避免未成熟收敛的免疫遗传算法IGA取

代传统BP算法来克服此缺点。

3. 优化BP神经网络在系统安全评价中的应用

系统安全评价包括系统固有危险性评价、系统安全管理现状评价和系统现实危险性评价三方面内容。其中固有危险性评价指标有物质火灾爆炸危险性、工艺危险性、设备装置危险性、环境危险性以及人的不可靠性。

3.1 基于优化BP神经网络的系统安全评价模型

图-2 基于优化BP神经网络的系统安全评价模型

3.2 BP神经网络在系统安全评价中的应用实现

(1)确定网络的拓扑结构,包括中间隐层的层数,输入层、输出层和隐层的节点数。

(2)确定被评价系统的指标体系包括特征参数和状态参数

运用神经网络进行安全评价时,首先必须确定评价系统的内部构成和外部环境,确定能够正确反映被评价对象安全状态的主要特征参数(输入节点数,各节点实际含义及其表达形式等),以及这些参数下系统的状态(输出节点数,各节点实际含义及其表达方式等)。

(3)选择学习样本,供神经网络学习

选取多组对应系统不同状态参数值时的特征参数值作为学习样本,供网络系统学习。这些样本应尽可能地反映各种安全状态。其中对系统特征参数进行(-

∞,∞)区间地预处理,对系统参数应进行(0,1)区间地预处理。神经网络的学习过程即根据样本确定网络的联接权值和误差反复修正的过程。

(4)确定作用函数,通常选择非线形S型函数

(5) 建立系统安全评价知识库

通过网络学习确认的网络结构包括:输入、输出和隐节点数以及反映其间关联度的网络权值的组合;即为具有推理机制的被评价系统的安全评价知识库。

(6) 进行实际系统的安全评价

经过训练的神经网络将实际评价系统的特征值转换后输入到已具有推理功能的神经网络中,运用系统安全评价知识库处理后得到评价实际系统的安全状态的评价结果。实际系统的评价结果又作为新的学习样本输入神经网络,使系统安全评价知识库进一步充实。

3.3 BP神经网络理论应用于系统安全评价中的优点

(1)利用神经网络并行结构和并行处理的特征,通过适当选择评价项目,能克服安全评价的片面性,可以全面评价系统的安全状况和多因数共同作用下的安全状态。

(2)运用神经网络知识存储和自适应特征,通过适应补充学习样本,可以实现历史经验与新知识完满结合,在发展过程中动态地评价系统的安全状态。(3)利用神经网络理论的容错特征,通过选取适当的作用函数和数据结构,可以处理各种非数值性指标,实现对系统安全状态的模糊评价。

相关主题
文本预览
相关文档 最新文档