神经网络分类器及相关改进的实现与比较

格式：pdf
大小：422.47 KB
文档页数：8

下载文档原格式

监督分类方法在遥感影像分类处理中的比较

监督分类方法在遥感影像分类处理中的比较孙坤;鲁铁定【摘要】随着计算机解译技术的发展,遥感影像分类方法不断涌现,各种分类器分类精度不一的问题,对其应用产生了一定的影响.运用ENVI软件,采用同一地区的Landsat TM影像,通过目视解译选择相对应的训练样本和已有的验证样本进行试验,对监督分类的6种分类器(最大似然、神经元网络、支持向量机、最小距离、马氏距离、平行六面体分类方法)进行分类后的精度比较.通过对试验区的地物做分类结果的评判和比较研究,再经过分类后处理,得出分类结果的总体精度和Kappa系数.结果表明,最大似然分类方法的精度明显高于其他分类方法的精度,而对比分类影像的细部图,也优于其他分类法,即在监督分类中,最大似然分类法具有较好的分类效果.【期刊名称】《江西科学》【年(卷),期】2017(035)003【总页数】6页(P367-371,468)【关键词】ENVI;遥感影像;分类方法;总体精度;Kappa系数【作者】孙坤;鲁铁定【作者单位】东华理工大学测绘工程学院,330013,南昌;流域生态与地理环境监测国家测绘地理信息局重点实验室,330013,南昌;东华理工大学测绘工程学院,330013,南昌;流域生态与地理环境监测国家测绘地理信息局重点实验室,330013,南昌【正文语种】中文【中图分类】TU43;O344遥感技术的不断发展，已具备多波段、多时相、大尺度、多平台、周期短等众多特点，在地表覆盖信息获取、土地利用等方面突显出较大优势[1]。

而随着模式识别技术、计算机学习技术、遥感分类技术等学科的进步，作为遥感数据和遥感技术应用基础的影像分类方法也层出不穷，遥感影像分类以及影像信息获取技术取得飞跃的发展[2-3]。

当前，随着遥感卫星技术的飞速发展，遥感影像空间分辨率不断提高，更多有效的数据可以从图像中获取。

同时，不同的遥感影像卫星对图像处理有着不同的要求，如何将遥感影像准确分类显得极其重要。

一种改进一维卷积神经网络的轴承故障诊断方法

第 22卷第 4期2023年 4月Vol.22 No.4Apr.2023软件导刊Software Guide一种改进一维卷积神经网络的轴承故障诊断方法潘琳鑫，巩永旺，晏生莲（盐城工学院信息工程学院，江苏盐城 224051）摘要：经典一维卷积神经网络模型诊断准确率不高且模型存在过拟合问题，难以满足轴承故障诊断时效性和准确率要求。

鉴于此，提出一种基于改进一维卷积神经网络的轴承故障诊断方法，在卷积层之后加入批量归一化层的方法以增加模型泛化能力，并采用Dropout的方法解决模型过拟合问题。

基于凯斯西储大学轴承故障数据集的实验结果显示，相比经典一维卷积神经网络，该方法可显著提升故障诊断准确率，故障诊断准确率可达99.79%，并且整个诊断过程无需手动特征提取，从而减少了特征提取过程中的损失，实现端到端的检测，具有较好的通用性。

关键词：故障诊断；卷积神经网络；深度学习；Dropout方法DOI：10.11907/rjdk.221570开放科学（资源服务）标识码（OSID）：中图分类号：TP183 文献标识码：A文章编号：1672-7800（2023）004-0038-05A Bearing Fault Diagnosis Method Based on Improved One-dimensionalConvolutional Neural NetworkPAN Lin-xin， GONG Yong-wang， YAN Sheng-lian（School of Information Engineering，Yancheng institute of Technology， Yancheng 224051， China）Abstract：Aiming at solving the problems of low diagnostic accuracy and over fitting of the classical one-dimensional convolutional neural net‐work model， a bearing fault diagnosis method based on improved one-dimensional convolutional neural network is proposed. The normaliza‐tion method is used to increase the generalization ability of the model. For the problem of model over fitting， the dropout method is adopted. Fi‐nally， the proposed method is applied to the experimental data of rolling bearing failure of Case Western Reserve University. The experimental results show that compared with the classical convolutional neural network， the proposed method can improve greatly the diagnostic accuracy （as high as 99.79%）. Moreover， the entire diagnosis process does not require any manual feature extraction， which can reduce the loss in the feature extraction process， and the method can realize end-to-end detection and has better versatility.Key Words：fault diagnosis； convolutional neural network； deep learning； Dropout method0 引言滚动轴承是旋转机械设备中最重要的零部件之一，在维持运动精度和提高机械效率上发挥重要作用，在复杂机械装备中有着广泛应用［1］。

(完整版)卷积神经网络CNN原理、改进及应用

卷积神经网络（CNN）一、简介卷积神经网络（Convolutional Neural Networks，简称CNN）是近年发展起来，并引起广泛重视的一种高效的识别方法。

1962年，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的局部互连网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络[1]（Convolutional Neural Networks-简称CNN）7863。

现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用。

Fukushima在1980年基于神经元间的局部连通性和图像的层次组织转换，为解决模式识别问题，提出的新识别机（Neocognitron）是卷积神经网络的第一个实现网络[2]。

他指出，当在不同位置应用具有相同参数的神经元作为前一层的patches时，能够实现平移不变性1296。

随着1986年BP算法以及T-C问题[3]（即权值共享和池化）9508的提出，LeCun和其合作者遵循这一想法，使用误差梯度（the error gradient）设计和训练卷积神经网络，在一些模式识别任务中获得了最先进的性能[4][5]。

在1998年，他们建立了一个多层人工神经网络，被称为LeNet-5[5]，用于手写数字分类,这是第一个正式的卷积神经网络模型3579。

类似于一般的神经网络，LeNet-5有多层，利用BP算法来训练参数。

它可以获得原始图像的有效表示，使得直接从原始像素（几乎不经过预处理）中识别视觉模式成为可能。

然而，由于当时大型训练数据和计算能力的缺乏，使得LeNet-5在面对更复杂的问题时，如大规模图像和视频分类，不能表现出良好的性能。

因此，在接下来近十年的时间里，卷积神经网络的相关研究趋于停滞，原因有两个：一是研究人员意识到多层神经网络在进行BP训练时的计算量极其之大，当时的硬件计算能力完全不可能实现；二是包括SVM在内的浅层机器学习算法也渐渐开始暂露头脚。

利用证据神经网络的多分类器系统构造

利用证据神经网络的多分类器系统构造和红顺;韩德强;杨艺【摘要】为了充分利用数据信息进而提高分类正确率,提出一种证据神经网络的分类器,并据此构造了多分类器系统.首先将训练数据中的含混数据视为新类别——混合类,将原始的训练数据重组成含有混合类的训练数据,然后使用证据神经网络分类器系统用重组后含混合类的训练数据进行训练,对分类输出进行证据建模,并使用多种不同的证据组合规则实现多分类器融合.采用人工数据集和UCI数据集进行对比实验,结果表明:与其他采用神经网络的多分类器系统相比,采用证据神经网络的多分类器系统能有效提高分类正确率;在数据集Magic 04和Waveform2上,采用提出的多分类器系统比采用投票法的神经网络多分类器系统的分类正确率分别提高了6％和10％左右.【期刊名称】《西安交通大学学报》【年(卷),期】2018(052)011【总页数】8页(P93-99,141)【关键词】神经网络;多分类器系统;证据理论;信度函数【作者】和红顺;韩德强;杨艺【作者单位】西安交通大学电子与信息工程学院,710049,西安;中国电子科技集团公司航天信息应用技术重点实验室,050004,石家庄;西安交通大学电子与信息工程学院,710049,西安;中国电子科技集团公司航天信息应用技术重点实验室,050004,石家庄;西安交通大学机械结构强度与振动国家重点实验室,710049,西安【正文语种】中文【中图分类】TP391复杂环境或场景下,单一分类器的分类效果往往不够理想[1]。

多分类器系统[2]是应对复杂环境下模式分类问题的有效方法,已被广泛应用于图像识别[3]、语音识别[3]、医疗诊断[4]等领域。

学者们基于多分类器系统的多个层面开展了研究。

在成员分类器生成层面,已有研究方法主要有选用不同训练样本获得成员分类器[5]及基于不同的分类算法生成成员分类器[6]等。

由多个相同的分类器构成的多分类器系统,其性能并不会优于单一成员分类器[7]。

改进的LeNet-5模型在苹果图像识别中的应用

改进的LeNet-5模型在苹果图像识别中的应用张力超;马蓉;张垚鑫【摘要】针对红富士与红元帅价格口感不同而外形相似的现象,提出一种基于LeNet-5改进的神经网络模型对其进行机器自动分类识别.以64×64像素的彩色图像作为模型输入,在全连接层之前加入Flatten层压缩三维彩色图像维度;改变全连接层激活函数为LeakyReLU,加入Dropout策略减少过拟合;通过对比实验找出该模型中最佳的训练优化器、卷积核大小、滤波器数量、学习步长、全连接层神经元个数等影响卷积神经网络性能的重要参数.与其它两种SVM方法进行对比,实验结果表明,在经过多次参数寻优后,该模型在对红富士和红元帅两种苹果的分类识别中的测试时间与测试精度优于SVM方法.【期刊名称】《计算机工程与设计》【年(卷),期】2018(039)011【总页数】6页(P3570-3575)【关键词】苹果分类;卷积神经网络;目标识别;Dropout;LeakyReLU【作者】张力超;马蓉;张垚鑫【作者单位】石河子大学机械电气工程学院,新疆石河子832003;石河子大学机械电气工程学院,新疆石河子832003;石河子大学机械电气工程学院,新疆石河子832003【正文语种】中文【中图分类】TP1830 引言早期的图像识别与分类系统主要是基于用尺度不变特征变换(scale-invariant feature transform，SIFT)[1]和方向梯度直方图(histogram of oriented gradients，HOG)[2]等特征提取方法进行特征提取，再将提取到的特征作为支持向量机[3]、Adaboost[4]等分类器的输入来进行识别与分类。

然而很多特征本质上都是通过人对特定问题进行深入研究之后设计的，当问题较复杂的时候，特征的设计将十分困难。

因此，这段时期的视觉识别与分类系统大多是针对某个或某几个特定的识别任务，数据量一般不大，且泛化能力也较差。

神经网络算法的优化和改进

神经网络算法的优化和改进随着科技的发展和人类对于信息处理能力的需求提升，神经网络算法成为了研究和应用的热点之一。

然而，神经网络算法中存在一些问题，例如模型的泛化能力不足、训练速度较慢等等。

因此，优化和改进神经网络算法成为了当前热门的研究方向。

本文将探讨神经网络算法的优化和改进，以及研究进展和应用前景。

一、神经网络算法中存在的问题1.泛化能力不足泛化能力是衡量神经网络算法性能的重要指标之一，它表示模型在训练集以外的数据上的表现能力。

泛化能力不足会导致模型对噪声数据等不良因素过于敏感，或者在未知数据上的预测能力较差。

2.训练速度慢神经网络算法训练的过程中，需要进行反向传播优化权重，这个过程需要大量的计算资源和时间。

训练速度慢会影响算法的实际应用效果，并且阻碍了算法的进一步发展。

3.过拟合神经网络算法的一个缺点是容易出现过拟合现象。

当模型过于复杂并且参数过多时，模型会过于拟合训练集数据，忽略了真实数据的规律性，导致泛化能力降低。

二、优化神经网络算法的思路1.改进神经网络结构神经网络模型的抽象层次较高，具体的因素比较难以分析和优化。

因此，调整神经网络结构是一种可行的思路。

例如，采用更加合适的激活函数、添加正则化项等等，这些方法可以有效提高神经网络的泛化能力。

2.优化神经网络训练方法为了加速神经网络模型的训练，可以优化反向传播和参数更新的方法。

这些方法包括使用梯度下降算法、基于批处理的训练算法以及引入振荡、动量等优化技巧，可以提高神经网络训练的速度和稳定性。

3.引入新的技术和算法优化神经网络随着计算机技术和算法的不断发展，研究人员不断提出新的方法和技术优化神经网络。

这些方法包括卷积神经网络、递归神经网络、自编码神经网络等等，在特定的场景下用于优化神经网络可以取得很好的效果。

三、神经网络算法的改进和应用神经网络算法的不断改进与完善，使其在实际应用中具有了广泛的应用前景。

以下是一些神经网络算法的具体应用场景：1.图像识别基于神经网络的图像识别算法已经成为了目前最先进的技术之一。

分类器优缺点比较

在噪音较大的分类问题容易过拟合；取值划分多的属性对随机森林模型结果影响大，这类属性权值可信度较低。
次优先（对比GBDT，RF模型训练更容易，且准确率较高，可考虑先用随机森林进行特征筛选）
梯度提升树(GBDT)
Boosting算法，在迭代的每一步构建弱学习器来弥补原有模型的不足，训练速度较快；可处理多分类和回归问题。
相比随机森林，调参要求更高（如深度、学习率等；训练数据集的小变化可能使模型发生根本变化，模型稳定性较低。
不建议（在二分类实战案例中，RF比GBDT更常用）
神经网络
有很强的非线性拟合能力，可映射任意复杂的非线性关系；有很强的鲁棒性和强大的自学习能力。
推理过程和推理依据是黑箱，解释性力弱；当数据不充分时无法进行训练。
不建议（过程黑箱，无法很好地帮助了解哪个环节对流失影响大）
支持向量机(SVM)
选取合适的核函数时，能较好得处理特征线性不可分的问题，得到较高得分类正确率；在维数通常很高的文本分类中应用广泛。
需要调整大量参数；需要较大的内存需求。
不建议（调参要求高，计算资源消耗多）
随机森林(RF)
Bagging算法，解决决策树模型容易过拟合的问题；调参要求低（调参对模型结果影响较小），只需要设置一个超参数即可；对于不平衡的数据集来说，可以平衡误差；如果有很大一部分特征遗失，仍能维持一定准确度。
不建议（FILA客户样本训练集较大）
逻辑回归(LR)
不需要考虑样本是否相关；相比树模型、SVM和神经网络，LR有较好的概率解释度；抗噪能力较强。
对多重共线性数据较为敏感；较难处理数据不平衡问题；逻辑回归本身不能做特征筛选（树模型可R往往效果比树模型更好；在流失预测中较为常用）
分类器优缺点比较

神经网络在液体火箭发动机故障检测中的应用(ⅱ)模式识别技术

神经网络在液体火箭发动机故障检测中的应用(ⅱ)模式识别技术摘要：本文旨在介绍神经网络（NN）在液体火箭发动机故障检测中的应用，并探讨其与传统模式识别技术（PAT）的比较。

首先，本文提供了液体火箭发动机故障检测技术和模式识别技术的背景知识，包括高压电气声学技术（HPET）和特征提取方法。

其次，本文将讨论NN在液体火箭发动机故障检测中的应用，旨在提高检测的准确性，以减少故障的情况。

本文还尝试比较了利用NN和PAT的结果，由此可以证明NN 在液体火箭发动机故障检测中表现出优越的性能。

关键词：神经网络，液体火箭发动机故障检测，高压电气声学技术，模式识别技术正文：1. 引言本文旨在介绍神经网络（NN）在液体火箭发动机故障检测中的应用，并探讨其与传统模式识别技术（PAT）的比较。

液体火箭发动机（LRE）是宇宙立体平台技术的重要组成部分，其可靠性对宇宙飞行任务至关重要[1]。

随着太空航天技术的发展，对LRE的可靠性寿命和可靠性要求显著提高。

因此，必须检测和检测LRE中的故障，以减少造成的损失。

2. 技术背景2.1 液体火箭发动机故障检测液体火箭发动机（LRE）故障检测是一项关键任务，旨在及早识别和检测LRE中可能发生的故障，以减少由故障造成的损害。

目前，已经开发出了许多基于传感器的检测方法，如高压电气声学技术（HPET）[2]、声纳（SNA）[3]和光学检测技术（ODT）[4]。

其中，HPET是一种常用的技术，可以检测微小的振动，从而进行故障检测。

2.2 模式识别技术模式识别技术（PAT）是一类常用的故障检测技术，以及识别信号中的特征，从而将其分类成正常状态和故障状态。

常用的PAT方法包括小波变换（WT）[5]，统计特征提取（STEF）[6]，聚类方法（Clustering）[7]等。

其中，小波变换（WT）是一种常用的特征提取方法，可以有效的提取LRE振动信号的特征，用以进行故障诊断。

3. 神经网络在LRE故障检测中的应用随着神经网络技术的发展，神经网络也被用于故障检测，能够更好地提取振动信号中的特征，实现更高准确度的故障检测。

基于改进粒子群算法的小波神经网络分类器

２ＴｃｎａＣｎｒｈｎｉｌＳｒｉｓｏｔ，ｅｉ０９，ｈｎ）ｅｈｉｌｅｔ，ＣｉＯｅｅｃ．ＬｄＢｉｇ１１４ＣｉａｃｅａｄｖｅＣｊｎ１
Ａｂｓｒｃｔａｔ：ＩｉｗｆｔｅｄｆｃｓｔａｒｄｔｏａｎｖｅｏｈｅｅｔｈｔｔａｉｉｎｌＢＰ— ＮＮａｇｒｔｍｎａｉＳＯ— ＮＮｌｏｉｈｈｖｌｗｏｖｒＷｌｏｉｈａｄｂｓｃＰＷａｇｒｔｍａｅｓｏｅｎｅ — ｇｎｅｓｅｄａｄｌｗｅｅａｉａｉｎｃｐａｉｉｅｃｐｅｎｏｇｎｒｌｚｔｏａｂｌｔｙ，Ｌｙｐｎｖｓａｉｔｈｅｒｓｕｅｏｏｔｉｈｏｖｒｅｃｏｄｔｏａｕｏｔｂｌｙｔｏｙｉｓｄｔｂａｎｔｅｃｎｅｇｎｅｃｎｉｉｎｉ
第３卷１
第１０期
仪器仪表学报
ＣｉｅｅＪｕｎｌｏｃｅｔｉＩቤተ መጻሕፍቲ ባይዱｓｒｍｅｔｈｎｓｏｒａｆＳｉｎｉｃｎｔｆｕｎ
Ｖｏ．Ｎｏ０１３１．１０ｃ．２Ｏｔ０１
２１年１月００Ｏ
基于改进粒子群算法的小波神经网络分类器
Ｚｈｎｅ，ＳｉＹｉｎ，ＺｈｕＬｎｆ，Ｌｏ＇ａｇＷｉｈｂｉｇｏｏｇｕｕＴａ
０ｃｏｌｕｏａｉＵｉｒｔｏＥｅｔｎｃｃｒｅｎｅｈｏｇ｝ｈｎＣｅｇｕ６３ＣｉＳｈｏｏＡｔｍｔｎｎｖｓｙｆｌｒｉＳｉｗｄＴｃｎｌｙｏＣｉｌｆｏｅｉｃｏｅａｏａ，ｈｎｄ１７ｈａｌ１ｎ

改进的BP神经网络在高速公路A动收费系统中的应用研究

车辆的类型并送给收费管理系统加以处理，而得到应收费用．从
１车辆图像处理及特征提取
车辆检测系统结构框图见图ｌ工作过程如下：，首先利用ＣＤ摄像头和图像采集卡获得汽车的原始Ｃ图像，并对原始图像进行预处理和特征提取，然后用所获得的特征来进行车型分类，而输出车型编码；从
摘要：介绍了一种高速公路自动收费系统，系统在图像预处理和特征提取的基础上利用该
改进的ＢＰ神经网络设计了神经网络分类器，提高了车辆的识别精度与识别速度，较好地实现
了不停车收费，在现代交通管理和监控中有着广阔的应用前景 ห้องสมุดไป่ตู้ 关键词：Ｐ神经网络；分类器；虚拟仪器；特征提取Ｂ
Ｖ０．Ｎｏ．１５３Ａｕｇ．２ＯＯ６
改进的ＢＰ神经网络在高速公路自动收费系统中的应用研究
孙红兵。，谷金花
（．阴师范学院物理与电子学系，苏淮安１淮江２３０；２江苏省淮阴中学物理教研组，江苏淮安２０１．２３０）２０２
维普资讯
第３期
孙红兵等：改进的ＢＰ神经网络在高速公路自动收费系统中的应用研究
２０１
较平滑连续的边缘，还需要对原始图像作某种方式的平滑．）图像分割．汽车从原图像的复杂背景２即将中分离出来．）二值化及二值图像处理．图像进一步处理之前，对其进行二值化处理，图像处理３在要使的数据量大大减少．阈值分割可实现二值化，关键是最佳阈值的确定，另外由于二值图像存在孤立点以及轮廓不连续，要对其作进一步处理：除孤立点、充、修正、化等一系列处理．需消填图像细最终得到一幅

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

3. 基于退火的后向神经网络优化（SA-BP） 2. 后向神经网络（BP）后向传播算法是训练神经网络的基本实现算法。它主要分成传播和权重修改这两部分。其基本算法如下： Step 1. 初始网络权重（通常采用随机化） Step 2. 如果训练集非空，从训练集中抽取一条记录 e 进行训练。否则，训练结束。 Step 3. O = neural-net-output(network, e); Step 4. 对输出节点计算误差(T-O) Step 5. 计算从输出层到隐藏层的权重矩阵中权重更改量。 Step 6. 计算从隐藏层到输入层的权重矩阵中权重更改量 Step 7. 如果所得网络对训练集达到所要求的误分类率，则终止训练，返回神经网络。否则转入 Step 2。对于上述算法，我们进行如下更改： 1) 在进行抽取记录 e 时，我们并没有按照训练数据集的原有顺序进行抽取，而是采用原始的 BP 算法有陷入局部最优的趋势，为了跳出 BP 算法对局部最优解的选取，模拟退火是一个可选的可用于搜索全局最优解的技术[7]。模拟退火算法(Simulated Annealing，SA)最早由 Kirkpatrick 等应用于组合优化领域，它是基于蒙特卡洛迭代求解策略的一种随机寻优算法，其出发点是基于物理中固体物质的退火过程与一般组合优化问题之间的相似性。模拟退火算法从某一较高初温出发，伴随温度参数的不断下降，结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解中能概率性地跳出并最终趋于全局最优。它通过赋予搜索过程一种时变且最终趋于零的概率突跳性，从而可有效避免陷入局部极优并最终趋于全局最优的优化算法。在进行这一部分的优化时，我们参考了中国科学技术大学张涛、席道瑛，李石灿的论文 [8] ，策略是将 BP 与模拟退火结合使用，交替进行，当后向神经网络陷入局部最优无法继续提升准确率时则切换到模拟退火的模式，如果认为程序在
4
数据挖掘课程报告
Step 1. 随机产生若干初始权重矩阵和权重偏移，构成集合 S 并从原始训练集中随机抽取若干记录组成新的较小训练集 T。令 N 表示 S 中的个体数目。 Step 2. 对 S 中的每个个体，采用 T 来计算误分类率。如果误分类率低于某一阈值，则终止，返回 S 中误分类率最低的个体作为 BP 的初始值。否则进入 Step 3。 Step 3. 对 S 中的个体任取两个个体进行杂交，即随机交换矩阵中的部分权重。杂交操作共进行 N 次。同时，对 S 中每个个体进行一定概率的变异操作，即随机产生新的随机值赋给 S 中的个体。 Step 4. 对繁衍后的集合 S 进行筛选，筛选后的个体数目为 N。转入 Step 2。 Step 5. 若繁衍次数大于某一阈值，终止繁衍。返回性能最优的个体作为初始值。在获得最优个体后，我们将该个体作为后向传播算法的初始种子对神经网络进行训练。
如下图所示，这上述的这种操作会使结果从 A 点变为 E 或 D 点，虽然暂时看上去结果变差了但实际是朝着全局最优更近了一步。
E(n 1) E (n 1) E (n)
如果发现某次的误差值小于某一足够小的正数即
E (n 1)
则认为达到了局部最优点并转入退火模式。记录此时的误差值以及权重矩阵： TempW=W, TempE=E。退火的过程如下： Step 1. 初始化：给定一初始的温度 T0 ，迭代次数为 0，TempW 为当前解； Step 2. 输入学习样本； Step 3. 对权值进行随机修正， W 1 TempW+W ，修正后重新按照误差函数计算新的误差值 E1。 Step 4. 如果 E1<TempE，那么接受这次修正。如果 E1>TempE，按照 Boltzman 分布确定是否接受修正：具体就是比较 P exp(E / kT ) 与一个随机数 f(0~1 之间)的大小，若 P>f，接受这次修改(W=W1, TempW=W1)，否则，拒绝此次修改(W=TempW) Step 5. 对系统进行降温 T=rT (r 为 0~1 之间的降温系数，也可以用其他的函数进行降温)。 Step 6. 跳出局部最小时，回到后向神经网络中继续运行。如此交替进行直到找到全局最优。该算法中可能跳出局部最优的关键是在第三步中进行随机的修改权值以及即使修改后使结果变差了也以一定的概率接受修改结果。
使网络收敛于某个部分最优解，而不是解空间里的全局最优解。而模拟退火 [3] 算法的作用就是打破神经网络收敛于局部最优解的稳定状态使其重新收敛，直至收敛于全局最优解为止。传统的后向传播算法的初始值是通过随机数随机产生的。初始产生的种子对训练网络时的迭代次数、收敛速度和收敛位置有很大程度上的影响。一个好的初始种子能够使神经网络快速收敛于最优解。本文采用了遗传算法 [4] 对网络初始种子的选取过程进行了优化，使收敛过程更加迅速。粒子群算法 [5] 在在获得全局最优解上也有很强的搜索能力。采用粒子群算法对后向传播算法
神经网络分类器及相关改进的实现与比较
1
神经网络分类器及相关改进的实现与比较
石贝,a 吴含宇,b 姚思佳,c 杨鑫晟 c *
a b c
中科院软件所基础软件中心, 北京, 中国, 100190 中科院软件所互联网实验室, 北京, 中国, 100190 中科院软件所软件工程中心, 北京, 中国, 100190
随机抽样的方法从训练集随机抽取数据对网络进行训练。这大大减弱了训练集数据顺序对神经网络的影响。抽取训练集数据后，我们并没有完全采用 Min-Max 归一化对训练数据进行归一化。在归一化过程中，我们尝试了多种归一化方法，并取误分类率最低的归一化方法对训练集进行归一化。
后向传播过程由于其算法特性具有以下缺点： 1) 训练过程和迭代过程缓慢。 2) 训练过程的收敛结果不能够得到保证。 3) 后向传播算法需要对输入数据进行归一化，通常输入范围为 0.1 至 0.9 时会得到较好的性能。 4) 训练过程容易收敛于局部最优解。为了改善上述的第一条和第四条缺点，我们提出了如下三个改进算法。
Pg ( pg1 , pg 2 ,..., pgD ) 。对速度的定义和位置相似，第 i 个粒子的速度为 Vi (vi1 , vi 2 ,..., viD ) 。接下来定义每次迭代速度
过的最好位置定义为和位置更新公式如下：
vid (t 1) w vid (t ) c1 rand () [ pid (t ) xid (t )] c2 rand () [ pgd (t ) xid (t )]
4. 基于遗传算法的后向神经网络优化（GA-BP）遗传算法是计算数学中用于解决最优化的搜索算法，是进化算法的一种。进化算法最初是借鉴了进化生物学中的一些现象而发展起来的，这些现象包括遗传、突变、自然选择以及杂交等。对于一个最优化问题，一定数量的候选解的抽象表示的种群可以向更好地解进化。进化从完全随机个体的种群开始，之后一代一代发生。在每一代中，整个种群的适应度被评价，从当前种群中随机地选择多个个体（基于它们的适应度），通过自然选择和突变产生新的生命种群，该种群在算法的下一次迭代中成为当前种群。其具体算法如下： Step 1. 选择初始生命种群 Step 2. 评价种群中的个体适应度 Step 3. 以比例原则选择产生下一个种群 Step 4. 通过交叉和变异改变该种群 Step 5. 如果所得种群满足条件则终止繁衍，否则转入 Step2。神经网络的训练过程中，初始值的选取至关重要。一个好的初始值能够很好的减少神经网络训练过程中的迭代次数，并决定了训练的收敛位置。采用遗传算法对后向传播算法的改进策略便是对随机产生的训练种子进行筛选，然后对其进行筛选后的结果进行杂交和变异操作。具体算法如下：
神经网络分类器及相关改进的实现与比较
3
退火的过程中跳出了局部最优或者温度降到最小值以下则切换回后向神经网络模式。退火的具体步骤如下：我们首先定义一个误差函数 1 k 2 E (W ) ( D k j O j ) 2 D 为期望值，O 为实际输出值，k 为样本序号，j 为输出结点序号。在后向神经网络的执行过程中，每隔一定次数计算 E(W)值，与前一次的进行比较，定义误差的改变为
摘要
神经网络分类器由于具有对噪音数据很高的承受能力从而越来越受到人们的重视。后向传播算法作为神经网络的主要实现之一，具有简洁的优点，但同时也有收敛速度慢，收敛于局部最优解等缺点。本文实现了后向传播算法，并对其使用标准数据集进行测试，统计它的分类性能。为了解决神经网络收敛速度慢和收敛于局部最优解的缺点，本文采用了模拟退火，遗传算法和粒子群优化等高级算法对神经网络进行优化，并采用标准数据集对它们进行测试。实验结果表明，这些高级算法的应用改进了神经网络的收敛速度，并使神经网络收敛于全局最优解。
ห้องสมุดไป่ตู้
c2 越大则全局最优值对粒子的移动方向影响越大，粒子间交流的影响更大。 w 一般被定义为一
个递减函数，用于限制适应性粒子群优化算法的迭代次数。除此之外，还可以限制位置和速度的最大最小值来防止对无效解空间的搜索。基于粒子群优化的后向神经网络 [9] 是一种结合粒子群优化算法和后向神经网络的优化算法。和遗传算法相似，粒子群优化算法拥有很强的全局最优解的搜索能力，但是其在全局最优解附近的搜索速度很慢。相反的，后向神经网络算法拥有很强的局部最优解搜索能力并且收敛迅速，但是它有较大的可能性无法获得全局最优解。基于粒子群优化的后向神经网络算法通过粒子群对数据进行预处理，在粒子群迭代终止后使用后向神经网络算法搜索全局最优解，具有很快的收敛的速度和很高的准确率。算法步骤叙述如下： Step 1. 初始化粒子群的位置和速度，值在 [0, 1] 之间。 Step 2. 计算每个粒子当前位置的价值存入 P ib ，将粒子最优位置 P ib 初始化为当前位置。将例子中最大价值的位置存入全局最优位置 Pg 。 Step 3. 假如到达最大迭代次数，跳至 Step 8，否则进入 Step 4。