当前位置：文档之家 › 基于粒子群优化算法的神经网络在

基于粒子群优化算法的神经网络在

  • 格式：pdf
  • 大小：88.13 KB
  • 文档页数：5

下载文档原格式

  / 5

合集下载

基于粒子群优化的BP神经网络

基于粒子群优化的BP神经网络

基于粒子群优化的ＢＰ神经网络【摘要】人工神经网络的优化学习是其研究中的一个重要课题。

将粒子群优化算法用于BP神经网络的学习，将粒子优化算法的全局搜索和BP神经网的局部搜索相结合，并设计一网络实例加以训练，达到了比较满意的效果。

【关键词】粒子群优化算法BP神经网络BP算法BP网络(Back Propagation Network)是用途最为广泛的一类神经网络，具有很强的信息处理能力。

但是，由于BP算法的基本思想是最小二乘法，采用的是梯度搜索技术，难免存在收敛速度慢、局部极小等问题。

粒子群优化算法(Particle Swarm Optimaziton，简称PSO )是由Kennedy J和Eberhart R C于1995年提出的一种优化算法，源于对鸟群和鱼群群体运动行为的研究。

由于其容易理解，易于实现，不要求目标函数和约束条件是可微的，并能以较大概率求得全局最优解，目前已在许多优化问题中得到成功应用。

由于它具有并行计算的特点，而且可以提高计算速度。

因此，可以用粒子群优化算法来优化BP网络。

一、BP神经网络及其算法BP网络是一种具有三层或三层以上的单向传播的多层前馈网络，其拓扑结构如图1。

图1 拓扑结构图BP算法的执行步骤如下：(1)对各层权系数置一个较小Wij的非零随机数。

(2)输入一个样本X=(X1，X2，…，x n)，以及对应期望输出) Y=(y1，y2，…，yn)。

(3)计算各层的输出。

对于第k 层第i个神经元的输出有：Uki=∑WijXk-1i，Xki=f(Uki)(一般为sigmoid 函数，即f(x)=1/(1-epx(-x))。

(4)求各层的学习误差dki。

对于输出层，有，k=m，dmi=Xmi(1-Xmi)(Xmi-Ymi)。

对于其他各层，有dxi=Xki(1-Xki)∑Wijdk+1i。

(5)修正权系数Wij。

Wij (t+1)=Wij-η•dki•Xk-1j。

基于粒子群算法的RBF神经网络的优化方法

基于粒子群算法的RBF神经网络的优化方法
力 系统 应 用 的研 究 。
体最 好 位 置 。设 群体 中的微 粒 数 为 ｓ 群 体 中所有 ， 微粒 所 经历过 的最 好位 置 为 ，称 为全 局最 好位 置 。
５ ２
李
林
李建 兵等 ： 基于粒 子群算 法 的 Ｒ Ｆ神经 网络 的优化方 法 Ｂ
Ｖ１３Ｎ ． ｏ１ ｏ １
网络 的函数 逼 近能 力 具有 很 大 的影 响 ，不恰 当地 选取 会使 网络 收敛 慢 ， 至会 造 成 网 络发 散［ 目 甚 ２ １ 。
收 稿 日期 ： ０ ０ Ｏ —１ ２ １一 １ ２
找 到的最 优解 ， 逐代 搜索 ， 直到最 后得 到最优 解 。
设 ＸＦ（ 置， …・ ・ ） 为粒 子 ｉ 当前 位置 ； 的
山东 电力高等 专科学 校学 报
第１ ３卷 第 １ 期
Ｊ ｕ ｎ ｌ ｆＳ ａ ｄ ｎ ｅ ｔｉ ｏ ｒＣ ｌ ｇ ｏ ｒ ａ ｈ ｎ ｏ ｇＥｌｃｒｃＰ ｗｅ ｏｌ ｅ ｏ ｅ
５ ｌ
基于粒 子群算 法的 Ｒ Ｆ神经 网络 的优化方法 Ｂ
Ｏｐ ｉ ｚ ｔｏ ｐｒ ａ ｈ Ｂａ ｅ ｎ Ｐａ ｔｃ ｅ Ｓ ｒ ｆ ｒＲＢＦ Ｎｅ ａ ｔ ｒ ｔｍｉａ ｉ ｎ Ａｐ ｏ ｃ ｓ ｄ ｏ ｒｉ ｌ ｗａ ｍ ｏ ｕｒ ｌＮｅｗｏ ｋ
李 林 李建 兵 牛鹏超
西 南交通 大学 电气工 程 学院 四川 成都 ６ ０ １ １ ３ ０
【 摘要 】 文用 粒子群 算 法来优 化 Ｒ 经 网络 的中心值 和连 接权值 ， 之具 有 更强 的非 线性 本 Ｂ Ｆ神 使
逼近 能力 ， 并将优 化 后 的 Ｒ Ｂ Ｆ神经 网络 和未 经优 化 的 Ｒ 经 网络用 于 非线 性 函数 的逼 近 ， Ｂ Ｆ神 实例 证 明优化 后 的 Ｒ Ｂ Ｆ神经 网络 比未经 优 化 的 Ｒ Ｂ Ｆ神经 网络具 有更 强 的非 线性 函数 的逼 近 能 力。

粒子群优化算法在计算机神经网络中的应用

粒子群优化算法在计算机神经网络中的应用
定 的 优 化 问题 有 效 。 不 过 导 数 的 问 世 又 给
研究者发现通过对导函数进行求解 因为这种算法具 有全 局优化 的特 点， 所 以被广泛 的用于 函数 优化 优化 问题 带了新的解决办法 ， 但是这种求导 的解决方法也有一个很大 的 和计算 机神经 网络等领 域 中。 目前 ， 国 内对 于粒子群优 化算法 的 也可以解 决优 化问题。 研 究 尚处于发展 阶段 ， 今后还有 很多工 作要逐步 展开 。 本文将针 缺 陷 就 是 导 函数 只 能 对 一 些 简 单 的 并 且 满 足 一 定 条 件 的 问 题 进 对 于复杂 问题 的优化就 需要 悍匪很大 的精 力和时 间， 因 对 现有 的研 究， 对粒子群优化算法 的产生和发展 以及其在神经 网 行优 化， 此 ， 实 际 运 用 并 不 是 很理 想 。 络 中的应用进行 论述 ， 同时对粒 子群 优化算法 的未来发展趋 势进 行 展望 。 ． 就在研 究者 走投无路 的时候， 数值 算法应运而 生。 所 谓数值
ｎｅｕｒ ａｌ ｎｅ ｔ ｗ ｏｒ ｋ
Ｄｉ ｎ ｇ Ｌ ｉ ｎ ｇ ， Ｆ ａ ｎ Ｐｉ ｎ ｇ ， Ｗｅ ｎ Ｂｉ ｎ
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ ｃ ｏ ｍ ｐ ｕ ｔ ｅ ｒ ｓ ｃ ｉ ｅ ｎ ｃ ｅ ａ ｎ ｄ ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ，Ｈ ｕ ｂ ｅ ｉ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ． ４ ２ １ ０ ０ ９ ）
粒子群优 化算 法在计算机神经网络 中的应用
丁 玲 ， 范 平 ， 闻 彬 （ 湖北科技 学院计 算机 科学与技 术学院 ４ ２ １ ０ ０ ９ ）
摘要 ： 粒子群优化算法 是一种新型 的计算技术 ， 具有全局优化 的优势， 因而被广泛 的应用于优化 函数和计算机神经 网络 中。 本

粒子群优化的神经网络在故障诊断中的应用

粒子群优化的神经网络在故障诊断中的应用

关 键 词 齿 轮 箱 故 障 诊 断 神 经 网络 粒 子 群 优 化
中 图分 类 号 Ｔ ３ ＨＩ ２
本文 建立 了 以齿轮 箱振 动信 号 的时频域 特 征为
引 言
齿 轮箱 故 障诊 断 是一个 非 常复杂 的 问题 。由 于 齿 轮 箱 内齿 轮 、 承 、 等 受 安装 位 置 、 轴 轴 运行 工 况 等 复 杂 因素 的影 响 ， 故障 与征兆 问 的关 系不很 明确 ， 其 是 非线 性映 射关 系 。 Ｐ神 经 网络 模 型具 有较强 的 自 Ｂ 学习、 自适 应 、 想 记忆 及 非 线性 模 式 识 别能 力 ， 联 特 别 适用 于多 故 障、 多征 兆这类 复杂模 式 的识 别 ， 因而 在 齿 轮故 障诊 断方 面得 到广泛应 用 。神 经 网络 通过 对 故 障 实例 和 诊 断经 验 的训 练 学 习 ， 用分 布 在 神 经 网络 内部 的联 结权 表 达 所 学 习 的故 障诊 断 知识 ， 具 有对 故 障的联 想记忆 、 式匹 配和 相似 归纳 等能 力 ， 模 可 实现故 障 与征兆 之 间复杂 的非线 性映 射关 系 。
种 基 于生 物进 化 过 程 的随 机搜 索 的全 局优 化 方 法 ，
避免了 Ｂ Ｐ算 法 陷入 局部 最 优 解 ， 又没 有 遗 传 算 法
的 交叉 和 变异 等 复 杂操 作 过 程 ， 以搜 索 到最 优 结 可 果， 而不 是停 留在 局部 最优处 Ｌ 。 ２ ］
国 家 自然 科 学 基 金 资 助 项 目 （ 号 ；０ ７ ２ ４ 。 编 ５５５１） 收 稿 日期 ：０ ５０—２ 修 改 稿 收 到 日期 ；０ ５０— ９ ２０ —７１ ； ２ ０—９１ 。 图 １ 齿轮箱诊断的 Ｂ Ｐ网 络结 构 图

基于粒子群优化算法的神经网络在油品质量预测中的应用

基于粒子群优化算法的神经网络在油品质量预测中的应用

Ｔ ｅａｖ ｔ ｅｏ Ｓ ｈｔｉｉ ｅ ｙｔ ｏｅａ ｄｔ ａｈｅｅ ｏｅ ｉ ｅｒｔ ｇＰ Ｏ ａｄＮ （ ｅｒｌ ｅ ｏｋ Ｗ ｈ ｄａ ａ ｆ Ｏ ｉ ｔａ ｔｓ ａ ｏ ｐ ｒｔ ａ ｃ ｉ ． ｍ ｄｌ ｎ ｇａ ｎ Ｓ Ｎ ｎｕａ ｎｔ ｒ） ａ ｎ ｇ Ｐ ｓ ｓ ｅｎ ｏ ｖ Ａ ｔ ｉ ｎ ｗ ｓ
粒子 群优化算 法 （ａｉｅ ｗｒ ｐｍｚ ｉ ， Ｓ ） ｐｒｃ ａ ｏｔ ｉｔｎ ＰＯ 目前 ｔｌ ｓ ｍ ｉ ａ ｏ 已经演化成为一种简单实用的优化计算方法 。ＰＯ算法 概念 Ｓ 简单 ， 易实现 ， 具有深 刻的智能 背景 ， 于科 学研 究 容 并且 适合 和工程应用 ， 前 国内对 ＰＯ算法 的研 究不 是很 多 ， 目 Ｓ 特别 是
基 于粒 子群 优 化 算 法 的神经 网络在 油 品质 量预 测 中的应 用
李 方方 赵 英 凯 贾玉莹 ， ， （． １ 南京 工业 大学 自动化 学 院 ， 苏 南京 ２００ ； 江 １０９ ２ ．南京 工业 大 学 信 息科 学与工程 学 院， 苏 南京 ２００ ） 江 １０９
（ｉ ｎｆｎ ｌ １０ ＠ １３ ｃｎ） １ａ ｇ ｇ０ ６ ４ ６ ．ｏ ｆ ａ
Ａｂｔ ｃ：Ｐ Ｏ（ ａｔｌ Ｓ ａｎ ｏ ｔ ｚｔ ｎ ａ ｏｉ ｍ ｉ ａ ｋｎ ｆｓ ｃａｔ ｌｂｌｏ ｔ ｚｔ ｎ ｂ ｅ ｎ Ｓａｎ ｓｒ ｔ Ｓ ｐ ｒｃｅ Ｗ ｌｌ ｐｉ ａｉ ） ｌ ｒｈ ｓ ｉｄ ｏ ｔ ｈｓｃ ｇ ａ ｐｉ ａｏ ａ ｄ ｏ Ｗ ｌｌ ａ ｉ ＇ ｍｉ ｏ ｇ ｔ ｏ ｉ ｏ ｍｉ ｉ ｓ ＇
ｉｔｌ ｇ ｎ ｅ ｎｅ ｌ ｅ ｃ ．Ｔ ｒ ｕ ｈ ｔｅ ｉ ｔ ｒｃ ｉｎ ｏ ａ ｉｌ ｓ Ｓ ｅ ｒ ｈ ｓｔ ｅｓ ｌ ｔ ｎ ｓ ａ ｅ ｉ ｔｌ ｇ ｎ ｙａ ｄ ｆｎ ｓ ｏ ｔ ｈ ｅ ｔ ｏ ｕ ｏ ． ｉ ｈ ｏ ｇ ｈ ｎ ｅａ ｔ ｆｐ ｒ ｃ ｅ ，Ｐ Ｏ ｓ ａ ｃ ｅ ｏｕ ｉ ｐ ｃ ｎｅｌ ｅ ｔ ｎ ｄ ｕ ｅ ｂ ｓ ｌｔ ｎ ｏ ｔ ｈ ｏ ｉ ｌ ｉ ｔ ｓ ｉ

基于改进粒子群优化算法的神经网络设计

基于改进粒子群优化算法的神经网络设计
宁东方 章卫 国 ， ，田 娜
（ ．西北 工业 大学 自动化 学 院 ， １ 西安 ７０７ ； ． １０ ２ ２ 陕西工 业职 业技术 学 院 工业 中心 ，陕西 成 阳 ７２０ ） １００ 摘 要 ：借鉴 分层递 阶 结构原 理和 蚁群 算 法的思 想 ， 出了一种基 于信 息素 的粒子 群算 法并 用来优 化 前 向神 经 提
Ｋｅ ｒ ｓ ｐ ｒｉｌ ｗ ｒ ｏ ｔ ｚ ｔ ｎ；ａ ｔ ｏ ｏ ｙ ｏ ｔ ｚ ｔ ｎ；ｐ ｅ ｏ ｎ ；ｎ ｕ ａ ｅｗｏｋ ｄ ｓｇ ｙ ｗｏ ｄ ： ａｔ ｅ ｓ ａ ｍ ｐ ｉ ａｉ ｃ ｍｉ ｏ ｎ ｌ ｎ ｐ ｉ ａ ｉ ｃ ｍｉ ｏ ｈ ｒ ｍｏ ｅ ｅ ｒ ｎ ｔ ｒ ｅ ｉｎ ｌ
网络 的结 构和权 值 。通过 在控 制基 因中释 放信 息 素进行 粒子 控制 基 因的更新 ， 实现 了粒子 间信 息的 共享 。粒子
群的 惯性权 重采 用指 数 曲线 衰减 的形 式 ， 每代 最差 粒子 的 速度 随机 加 入 干扰 ， 给 克服 了标 准 粒子 群 算 法在 寻优 时 出现 的 粒子早 熟现 象。仿 真 结果表 明该 算 法能 快速确 定神 经 网络的 结构和 权值 ， 现 出良好 的收敛 性 能。 表 关 键词 ：粒 子群 算法 ； 群算 法 ； 息素 ； 经 网络设 计 蚁 信 神
中图分 类号 ：Ｔ １ ３ Ｐ８ 文献标 志码 ：Ａ 文 章编 号 ：１０ ．６ ５ ２０ ） １３ ｉｎ ｏ ｅ ｄ ｆｒ ｒ ｅ ｒｌｎ ｔ ｒ ｓｇ ｆｆｅ ｏ ｗａ ｄ ｎ ｕ ａ ｅｗｏ ｋ
１ １ ・ １ ・ １ ● ’
粒子群优化 （ ａｔｌ ｓａｍ ｏｔ ｚｒ Ｐ Ｏ） 一种新 兴 的 ｐｒｃｅ ｗ ｒ ｐｉ ｅ，Ｓ 是 ｉ ｍｉ
基于群智能方法 的进 化优化技术 ． ， ２ 其模 拟鸟群 和鱼 群等人 Ｊ

基于粒子群优化算法的BP神经网络在图像识别中的应用

ｌ ｌ
（） １
第 Ｐ个输入训练样本输 出层第 ｋ 个神经元的输出信
息 为
ｑ
＝
从输入到输 出的任 意非线性 映射。假设输入层、 隐
含层和输 出层的单元个数分别 为 ｎ ｑ ｍ， 、 、 利用该 网 络可实现 ｎ 维输入 向量 Ｘ＝（ － ） 到 ｍ维输 － ， 。
维普资讯
第２ ５卷第 ４期 ２０ ０ ６年 ｌ ２月
武
汉
丁
业
学
院
学
报
Ｖｏ ＿ ５ ｏ ４ ｌ２ Ｎ ．
Ｄｅ ２ ｏ ｃ． Ｏ ６
Ｊｕ ｎ ｌ ｏ Ｗｕ ａ Ｐ ｌｔｃ ｎｃ Ｕ ｉｅｓｔ ｏ ｒａ ｆ ｈｎ ｏｙｅ ｈ ｉ ｎｖ ｒｉ ｙ
经 验 和认 知 的影 响 ， 同时 也会 受 到 整 体 社会 行 为 的
应值 ， 若当前适应值更优 ， 则令 当前适应值为该微 粒历史最好适应值 ， 并保存该微粒 的位置为其个体
历史最好位置；比较群体所有微粒 的当前适应值 和 群体历史最好适应值 ， 若当前 适应值更优 ， 则令当 前适应值为历史全局最好适应值 ， 并保存历史全局
２ 粒子群优化算法 （ Ｓ Ｐ Ｏ）
２ １ 粒子群 优化 算 法思 想 ．
粒子群优化 算法 （ ａｉｅＳ ａ ｐ ｍｚ ｉ ， Ｐｒｃ ｗｒ Ｏ ｔ ｉ ｔ ｎ ｔｌ ｍ ｉ ａｏ
权值 、 加速 系数 、 最大允许 迭代次数或适应值 误差 限、 各微粒的初始位置和初始速度等。 ２２ ３ 前向计算 神经 网络直至输 出， ．． 并按预定准
０ 引 言
模式识别是近 ３ Ｏ年来迅速发展起来 的新兴学 科， 主要 目的是研究如何用机器来模拟人的学习、 识 别和思维能力。其中基于视觉图像的模式识别技术 广泛应用于工业 、 商业、 农业、 军事、 医学等领域¨ 。 Ｊ 人工神经网络中的 Ｂ 神经网络从仿生学的途 Ｐ 径模拟了人脑的智 能行为如信息处理、 存储及检索 功能 ， 结构简单 ， 易实现 ， 具有抗干扰能力强 、 自适 能 应学习以及能把识别处理和若干预处理融为一体来 完成等优点 ， 因此在模式识别 中应用非常广泛。传

基于粒子群优化的小波神经网络及其在齿轮箱故障诊断中的应用


＝ １２３ … ， ， ， ， Ⅳ
ＥⅣ ＝ ∑ （ ） （） Ｄ一
基金项 目：国家 自然科学基金资助（ 目编号 ：０ ７２ ４ 项 ５ ５５ １ ）
（） ６
收稿 日 ： ０６— ５～ ９ 修改稿收到 日 ： ０ ０ — ４ 期 ２０ ０ ２ 期 ２ ６— ８ ２ ０ 第一作者 毛鸿伟 男 ， 硕士 ， ８ 年 １ 月生 １ １ ９ １
关键词 ：粒子群算法 ， 小波神经 网络 ， 故障诊断
中图分类号 ：Ｔ Ｄ Ｕ ２ ． Ｈ ２；２ ６ ８＋１ 文献标 识码 ：Ａ
小 波 神 经 网络 （ ｖｌｔ ｅｒｌ ｅ ｏｋ 是 小 波 理 Ｗａｅ ｕａ Ｎ ｔ ｒ） ｅＮ ｗ
论与神经 网络理论 相结合 的产物 ， 它既具有神经 网络 的学 习能力 、 泛化 能力及 非 线 性 映 射能 力 ， 又具 有 小 波 变换 的多尺 度 时频 分 析 手段 和 良好 的 逼 近 特 性 ， 有 具 广 阔的应 用前景 ¨ 。 由于 小波 神 经 网 络 没有 专 门 的 训 Ｊ 练方法 ， 其常规学习训练算法一般为梯度下降算法 ， 因 而网络 具 有训 练 时 间 较 长且 易 陷入 局 部 极 小值 的 缺点 。 粒 子 群 优 化 算 法 （ ａｉ ｅ Ｓ ａ ｐ ｍｚｔｎ Ｐｒｃ ｗ ｒ Ｏ ｔ ｉ ｉ ， ｔｌ ｍ ｉ ａｏ Ｐ Ｏ 是 由 Ｅ ｅ ａ 博士与 Ｋ ｎｅｙ Ｓ） ｂｒ ｒ ｈｔ ｅｎｄ 博士提出的一种新 的全局优化进化算法。该算法源于对鸟类 捕食行为的 模拟 ， 是一类新兴 的随机全局优化技术 ， 其最 主要特点 是简单 、 收敛速 度快 ， 并具有较 好 的全局 与局 部收敛 能力 。 本 文提 出一种 基 于粒 子群 算 法 优 化 的多 输 入 多输 出小波神经网络学 习训练算法 ， 并用于齿轮箱 的故 障 诊断。实验结果表 明， 使用粒 子群优化算 法训 练的小 波神经网络不仅迭代次数少 ， 而且收敛精度也得到 了 较大 的提 高 。这 说 明 Ｐ Ｏ算 法 适 合 训 练 小 波 神 经 网 Ｓ 络， 且优化后的小波神经网络具有很 好的信号 分类能 力， 能有效地用于故障诊断类问题 。

基于粒子群优化的高维小波神经网络及其应用

山西师范大学学报 （自然科学版 ）
第２ ７卷第 ３期
２ ０ １ ３年 ９月
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ｓ ｈ ａ ｎ ｘ ｉ Ｎ ｏ ｒ ｍａ ｌ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ
Ｎａ ｔ ｕ ｒ ｌ ａ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ Ｅｄ ｉ ｔ ｉ ｏ ｎ
Ｖｏ １ ． ２ ７ Ｎ ｏ ． ３
Ｓ ｅ ｐ ｔ ．２ ０１ ３
文章编 号 ： １ ０ ０ ９ － ４ ４ ９ ０（ ２ ０ １ ３ ） ０ ３ － ０ ０ ０ ６ － ０ ５
基 于 粒 子 群 优 化 的 高维 小 波神 经 网络 及 其 应 用
张碧夏 ， 邢进生
（ 山西师范大学数学 与计算 机科学学 院，山西 临汾 ０ ４ １ ０ ０ ４ ） 摘 要： 本文提 出一种粒子群优化小波神 经 网络 的新 方法． 先采 用基 于梯度 下降 的误 差 反传算法 调整
化， 符强等 ２ 利用人工神经网络预测 了热连轧参数 ， 王秀梅等 利用人工神经 网络预报热连轧机组轧制
压力 ．
针对生产热连轧产品的复杂工业过程 ， 所建 的神经网络模型具有输入变量维数高的特点， 使得模型在 实际 应用 中的 收敛 速度 和预测 精 度 不能 满 足 要 求 ． 万百 五 提 出 了逐 步 扩 大 样 本学 习算 法 ， 邢 进 生等
基金项 目：山西软科学基金资助项 目（ ２ ０ １ １ ４１ ０ ０ ３ ３ ０ － ３ ） ． 作者简介 ：张碧夏 （ １ ９ ８ ９ 一） ， 女， 山西宁武 人 ， 山西师范大学数 学与计算 机科学学院硕 士研究生 ， 主要从 事智能计算 方面 的 研究． 通讯作者 ： 邢进生 （ １ ９ ６ ４ 一） ， 男， 山西 太原人 ， 山西 师范大学数学与计算机科学学 院教授 ， 博士， 主要从事智 能控制 、 数据挖 掘、 人工神经 网络 、 技术转移理论及应用等方 面的研 究．

基于粒子群优化算法的神经网络钻削参数优化

陷 ， 经 网络 模 型 能 有 效 模 拟 非 线 性 输 入 输 出 关 系 。 其 常 规 训 练 算 误 差 平 方 和 的 均 值 ： 神 但 法为 Ｂ Ｐ或 其 它梯 度 算 法 。 致 训 练 时 间 较 长 且 易 陷入 局 部 极 小 点 。 导 粒 子 群优 化 算 法训 练 的 神 经 网络 不 仅 收 敛 速 度 明 显 加 快 ， 且 其 预 报 精 而 度 也得 到 了较 大 的 提 高 。
Ｋｅ ｗｏ ｄ ｐ ｒｉ ｌ ｗａ ｍ ’ｐ ｉ ｚ ｔｏ ｌ ｏ ｉｈ ｎ ｕ ａ ｅ ｗｏ ｋ ； ａ ａ ｔｒ ｏ ｔｍｉａｉ ｎ ｙ ｒ ｓ： ａ ｔ ｅ ｓ ｒ ｏ ｔ ｃ ｍｉａ ｉｎ ａ ｇ ｒｔ ｍ； ｅ ｒ ｎ ｔ ｒ ｓ ｐ ｒ ｍｅ ｅ ｐ ｉ ｚ ｔｏ ｌ
１ 引言 ． ｝ ＋ ） ）｝ ＋ ） ， １＝ ＋， １ ； （） ２ 其 中： 为 惯 性 权值 ， 常 随进 化 代 数 从 ０ ｗ 通 ． 性 递 减 至 ０４ｄ １２ ９线 ．，＝ … 兑 现 代 化 生 产 来 说 ，无 论 是 数 控 机 床 （ Ｎ 、 机 械 加 工 中 心 Ｃ Ｃ） （ ） 柔 性 制 造 系统 （ ＭＳ 、 算 机 集 成 制 造 系 统 （ ［ ） 工 艺 参 数 ｎｎ为 解 空 间 的 维 数 ， 自变量 个 数， ＭＣ 、 Ｆ ）计 ＣＭＳ ， ， 即 ｄ为 ｎ维 中 的第 ｄ维 ．为 当 前进 化 ｔ
优 化 是 一 个 至 关 重 要 的 问题 。 现 代 的 数 控 加 工 工 艺 系 统 ， 果 不 搞 代 数 ， ｌ ， 种 群 规模 ， 对 如 ｉ ～ ＳＳ为 ＝２ 和 ｒ为 分 布 于 【，］ 间 的 随 机 数 ． 和 Ｃ ２ Ｏ１ 之 ｃ 。 ２ 通 。设 定 位 移 上 限 控 制 粒 子位 移 工 艺参 数 优化 ， 搞 科 学 制 定 工 艺 规程 。 从 “ 验 判 断 ” 向 “ 学 定 为 位 移 变 化 的 限 定 因子 ， 常取 为 ２ 不 不 经 转 科 量 分析 ”则 提 高 数 控 加 工 工 艺水 平 便 难 于 实 现 ， 产 效 率 的提 高受 到 不 致 过 大 。Ｐ ０ 算 法 主要 计 算 步 骤 为 ： ） 始 化 ， 定 位 移 因 子 Ｃ ｃ ， 生 Ｓ （初 １ 设 和 影 响 ， 而 缺 乏 市 场 竞 争力 。 机 械加 工过 程 中 ， 品 质 量 和成 本直 接 惯 性 权 值 Ｗ最 大 进 化 代 数 ７ ， 当前 进 化 代 数 置 为 ｔ 定 义 空 间 从 在 产 ， 舾 ．将 ， 在 与加 工 的 各项 参 数 有 关 ， 而 加 工 参 数 的 优 化 选 择 至 关 重 要 ， 接 影 中 随 机 产 生 Ｓ个 粒 子 ｌ２ … 组 成 初 始 种 群 ｘ ｔ 随 机 产 生 各 粒 子 故 直 … （； ） ｐ （ （评 ）２ ｔ（ ）３ 响着 企 业 的效 益 。 在 现代 机 械 制 造 业 中 ， 多 参 数 需 要 操 作 人 员 一 次 初 始位 移 变化 ， … …ｐ 组 成 位 移 变 化 矩 阵 Ｖｔ； ） 价 种 群 Ｘ（ ； ） 许
  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

基于粒子群优化算法的神经网络在农药定量构效关系建模中的应用张丽平　俞欢军3　陈德钊　胡上序(浙江大学化工系,杭州310027)摘　要　神经网络模型能有效模拟非线性输入输出关系,但其常规训练算法为BP 或其它梯度算法,导致训练时间较长且易陷入局部极小点。

本实验探讨用粒子群优化算法训练神经网络,并应用到苯乙酰胺类农药的定量构效关系建模中,对未知化合物的活性进行预测来指导新药的设计和合成。

仿真结果表明,粒子群优化算法训练的神经网络不仅收敛速度明显加快,而且其预报精度也得到了较大的提高。

关键词　粒子群优化算法,神经网络,定量构效关系　2004201204收稿;2004207225接受本文系国家自然科学基金资助项目(N o.20276063)1　引 言药物定量构效关系(QS AR )是研究药物生理活性和药物分子结构参数间的量变规律并建立相应的数学模型,进而研究药物的作用机理,从而用于预测未知化合物的生物活性,探讨药物的作用机理,指导新药的设计和合成,在药物和农药的研究与设计中已经显示出广阔的应用前景1。

以往QS AR 的建模方法大多基于统计原理,局限于线性模型,只进行简单的非线性处理,由此所建立的模型很难契合实际构效关系,并且其处理过程都比较繁琐2。

神经网络通过学习将构效关系知识隐式分布在网络之中,适用于高度非线性体系。

在药物QS AR 中采用神经网络(NN )始于20世纪80年代末3,此后得到迅速的发展,目前已发展为除多重线性回归和多元数据分析之外的第3种方法4。

通常多层前传网络采用BP 算法,通过误差反传,按梯度下降的方向调整权值。

其缺点是可能陷入局部极小点,且对高维输入收敛速度非常缓慢。

粒子群优化算法(particle swarm optimization ,PS O )是K ennedy 等5源于对鸟群、鱼群和人类社会行为的研究而发展的一种新的进化型寻优技术。

PS O 已成为进化寻优算法研究的热点,其最主要特点是简单、收敛速度快,且所需领域知识少。

本实验拟将该方法初始化前传神经网络为苯乙酰胺类农药建立良好适用的QS AR 模型。

2　苯乙酰胺类农药的Q SAR 问题苯乙酰胺类化合物是除草农药,其除草活性与其分子结构密切相关。

所有的N 2(12甲基212苯乙基)苯乙酰胺都可用相应的羧酸酰胺通过霍夫曼反应生成。

N 2(12甲基212苯乙基)苯乙酰胺的基本结构式为:其中X 为Me 、F 、Cl 、OMe 、CF 3和Br 等,Y 为Me 、Cl 、F 和Br 等,由不同的X 和Y 取代基可构成不同的化合物。

常用以下7个理化参数描述化合物的分子组成和结构:log P 、log 2P (疏水性参数及其平方项)、σ(电性效应参数)、E s (T aft 立体参数)、MR (摩尔折射度),1χ、2χ(分子连接性指数)。

于是这类化合物的QS AR 就转化为上述理化参数与除草活性间的关系。

为研究这种关系,选用具有代表性的50个化合物,他们的活性值取自文献1,见表1。

第32卷2004年12月分析化学(FE NXI H UAX UE )　研究报告Chinese Journal of Analytical Chemistry 第12期1590～1594表1　苯乙酰胺类化合物分子结构参数与除草活性值T able1　S tructural parameters and anti2scipusjuncoides activity of N2phenylacetamides序号N o.自变量Independent variableslog PσMR E s1χ2χlog2P因变量Dependent variable活性Activity1 1.12-0.349.240.007.31 5.59 1.254 5.8520.70-0.11 4.510.78 6.93 5.170.490 5.683 1.270.069.620.277.42 5.70 1.613 5.7240.54-0.4411.460.697.43 5.480.292 6.075 1.12-0.249.240.007.31 5.65 1.254 5.896 1.270.209.620.277.41 5.77 1.613 6.007 1.270.069.620.277.42 5.70 1.662 5.5880.850.29 4.89 1.057.03 5.280.722 5.449 1.420.4610.000.547.52 5.81 2.016 5.65100.69-0.0411.840.967.53 5.590.476 5.4611 1.270.169.620.277.41 5.76 1.613 5.5712 1.420.6010.000.547.51 5.88 2.016 5.65130.690.1011.840.967.52 5.630.476 5.4214 1.270.069.620.277.41 5.76 1.613 5.1815 1.420.4610.000.547.51 5.88 2.016 5.4116 1.12-0.249.240.007.31 5.65 1.254 5.79170.70-0.01 4.510.78 6.92 5.230.490 5.9218 1.270.169.620.277.41 5.75 1.613 6.10190.54-0.3411.460.697.42 5.530.292 5.7920 1.12-0.149.240.007.30 5.71 1.254 5.8221 1.270.309.620.277.40 5.83 1.613 6.2222 1.440.368.61-1.167.39 5.66 2.074 5.7323 1.420.1612.470.087.80 6.27 2.016 4.64240.94-0.3116.060.038.00 5.800.884 4.32 250.700.17 4.510.78 6.92 5.200.490 6.47 260.850.57 4.89 1.057.02 5.310.722 6.5727 1.270.209.620.277.41 5.76 1.613 6.49280.850.43 4.89 1.057.02 5.340.7227.0429 1.420.6010.000.547.51 5.87 2.016 6.71300.690.1011.840.967.52 5.650.476 6.5331 1.270.309.620.277.40 5.83 1.613 6.3832 1.420.7410.000.547.51 5.94 2.016 6.9533 1.570.6212.850.357.90 6.32 2.465 6.47340.56-0.349.240.007.31 5.640.314 5.82 350.70-0.11 4.510.78 6.92 5.220.490 6.0136 1.270.069.620.277.41 5.75 1.613 6.22370.54-0.4411.460.697.42 5.530.292 5.82 380.56-0.249.240.007.30 5.700.314 5.8939 1.270.209.620.277.40 5.82 1.613 5.92400.70-0.11 4.510.78 6.92 5.190.490 6.25 410.850.29 4.89 1.057.02 5.310.7227.05 420.12-0.21 6.73 1.477.03 5.080.014 6.44 430.70-0.01 4.510.78 6.91 5.260.490 6.50 440.850.43 4.89 1.057.02 5.370.722 6.3945 1.270.069.620.277.41 5.76 1.613 6.68460.850.29 4.89 1.057.02 5.340.722 6.6347 1.420.4610.000.547.51 5.87 2.016 6.9148 1.270.169.620.277.40 5.82 1.613 6.8449 1.000.297.740.867.41 5.79 1.000 6.6050 1.570.6012.850.357.90 6.39 2.465 6.49　1951第12期张丽平等:基于粒子群优化算法的神经网络在农药定量构效关系建模中的应用 3　前传神经网络3.1　网络结构网络有7个输入端和1个输出端,分别与7个理化参数和1个活性值相对应。

根据经验规则,网络中权重总数应等于或小于样本容量,所得数学模型才比较稳定6。

由此,在本实验中隐层结点为5比较合适,网络结构为72521,共46个权值。

3.2　样本使用由于各变量表示样本的各种性质,往往使用不同的度量单位,其观测值也可能相差十分悬殊。

这样绝对值大的变量其影响可能盖过绝对值小的变量,使后者应有的作用得不到反映。

为了确保各变量在分析中的地位相同,故对输入端的7个变量实施极差标准化。

为避免偶然性,采用交叉验证法,将50个样品构成10个组合,每组均有45个样品作训练用,另外5个样品作预报用,因此每个样品有9次作训练用,1次作预报用。

3.3　过拟合控制为了避免训练网络时出现过拟合,实验使用测试集监控训练的过程,即由训练所得数学模型计算预报误差,如果测试集的训练误差曲线显著上升,并且预报误差和训练误差为可接受的大小,则训练终止。

实验表明,该方法可以有效地降低过拟合程度。

3.4　初始化前传神经网络的PSO 算法与其他进化寻优算法相类似,PS O 算法也将通过个体间的协作与竞争,实现多维空间中最优解的搜索。

PS O 方法首先生成初始种群,即在可行解空间中随机初始化一群粒子,每个粒子都为寻优问题的一个可行解,并用某个函数计算出相应的适应值以确定是否达到寻优目标。

每个粒子将在解空间中运动,并由一个矢量决定其运动方向和位移。

通常粒子将追随当前的最优粒子而动,并经逐代搜索最后得到最优解。

在每一代中,粒子将跟踪两个极值,一为粒子本身迄今找到的最优解,代表该粒子自身对寻优方向的认知水平;另一为全种群迄今找到的最优解,代表社会认知水平。

设第i 个粒子位置为x i =(x i 1,x i 2,……x in )T ,其位移为v i =(v i 1,v i 2,……v in )T 。

它的个体最优值点为p i =(p i 1,p i 2,……p in )T ,种群的全局最优值点为p g =(p g 1,p g 2,……p gn )T 。