当前位置：文档之家 › 一种改进的基于误差最小化的极限学习机

一种改进的基于误差最小化的极限学习机

  • 格式：pdf
  • 大小：639.50 KB
  • 文档页数：5
网络 ， 大 部分是 采取 较 多 的 隐层结 点 数 利用 传 统极
限学 习 机构 建 初 始 网络 Ｊ 。剪 枝 型算 法 的缺 点 在
输 出权 重 利用广 义 逆矩 阵方 法 计算 得 到 ， 不 需 要 迭
代多次进行权重的修改 ， 相较于传统的神经 网络具 有学 习速 度快 、 泛化性能好 、 易于实现、 不 会 陷人 局
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ： Ｔｈ ｅ ｐ ａ ｐ ｅ ｒ ｐ ｒ ｏ ｐ ｏ ｓ ｅ ｄ ａ ｎ ｉ ｍｐ ｒ ｏ ｖ ｅ ｄ ＥＭ ＥＬ Ｍ ｂ ａ ｓ ｅ ｄ ｏ ｎ ｔ ｈ ｅ ｅ ｒ ｒ ｏ ｒ ｍｉ ｎ ｉ ｍｉ ｚ ｅ ｄ ｅ ｘ ｔ ｒ ｅ ｍｅ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ
于人工 智 能各个 方 面 。 在极 限学 习机 的应用 研究 中发现 存在 着两个 方
面缺 陷 ： 参 数 随机 生 成 且不 会改 变 ， 会导致 Ｅ Ｌ Ｍ 获
点增 加之 后权重 就不再 改 变。基 于误 差最 小化 的增 长 型极 限学 习机 （ Ｅ Ｍ— Ｅ Ｌ Ｍ） 在 每 次增 加 结 点 之 后更 新输 出权重 。将 凸优化 思想 引人到增 长型极 限
摘
要 ：在 基 于误 差最 小化 的极 限 学 习机 （ Ｅ Ｍ—Ｅ Ｌ Ｍ） 的基 础 上 ，提 出了一种 改进 的基 于误 差
最 小化 的极 限学 习机 ，输 入权 重 和偏 置 采 用递 归 最 小二 乘 法获 得 。 实验证 明 ，该 方 法具 有更 快
的 学 习速度 、 良好 的预测精 度和 更精 简的 网络 结构 。
—
ｍ ａ ｃ ｈ ｉ ｎ ｅ （ Ｅ Ｍ ＿ Ｅ Ｌ Ｍ） ．Ｔ ｈ ｅ ｉ ｎ ｐ ｕ ｔ ｗ ｅ ｉ ｇ ｈ ｔ ｓ ａ ｎ ｄ ｈｅ ｔ ｂ ｉ ａ ｓ ｏ ｆ ｔ ｈ ｅ ｈ ｉ ｄ ｄ ｅ ｎ ｎ ｏ ｄ ｅ ｓ ａ ｒ ｅ ｏ ｂ ｔ ａ ｉ ｎ ｅ ｄ ｂ ｙ ｒ ｅ ｃ ｕ ｒ ｓ ｉ ｖ ｅ ｌ ｅ ａ ｓ ｔ
学 习集 中 ， 采用 凸优 化 的方 式 更 新 网络 的输 出权 重
得 的网络 结构 比较 复杂 ； 用 户确 定 网络结 构 ， 需 要用 户在 反复 多次试 验 中选取 优值 ， 不利 于 Ｅ Ｌ Ｍ 的 推广
２ ０ １ ４ 年第６ 期
文 章编 号 ： １ ０ ０ ９—２ ５ ５ ２ （ ２ ０ １ ４） ０ ６— ０ ０ ９ ９— ０ ４ 中图分类号 ： Ｔ Ｐ １ ８ １ 文献标识码 ： Ａ
一
种 改 进 的基 于误 差 最 小 化 的极 限学 习机
孙 鑫 ，秦亮曦
（ 广西大学计算机与 电子信息学院 ， 南宁５ ３ ０ ０ ０ ４ ）
Ｋｅ ｙ ｗｏ ｒ ｄ ｓ ：ｓ ｉ ｎ ｇ ｌ ｅ — ｈ ｉ ｄ ｄ ｅ ｎ — ｌ ａ ｙ ｅ ｒ ｆ ｅ ｅ ｄ ｆ ｏ ｒ ｗ ａ ｒ ｄ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗ ｏ ｒ ｋ；ｅ ｘ ｔ ｒ ｅ ｍｅ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｍ ａ ｃ ｈ ｉ ｎ ｅ ；ｅ ｉ ＇ ｉ ＇ ｏ ｒ ｍｉ ｎ ｉ ｍｉ ｚ ｅ ｄ ； ｒ ｅ ｃ ｕ ｒ ｓ ｉ ｖ ｅ ｌ ｅ ａ ｓ ｔ ｓ ｑ ｕ ａ ｒ ｅ ｍｅ ｈｏ ｔ ｄ
０ 引 言
极 限学习机 （ Ｅ ｘ ｔ ｒ ｅ ｍ ｅ Ｌ ｅ ａ ｎｉ ｒ ｎ ｇ Ｍａ ｃ ｈ ｉ ｎ ｅ ） 是南 洋 理工 大学 黄广 斌 教授 在 ２ ０ ０ ６年 提 出 的… 。 它是 一 种单 隐层前 馈神 经 网络 ， 输 人权 重和偏 置 随机产 生 ，
点， 从而达到精简网络 的 目的。剪枝型算法 中最重 要 的是构 建合适 的隐层 结 点 贡献 度 函数 ， 有 Ａ ｋ ￣ｋ ｅ 信 息准则 ］ 、 ＭＲ Ｓ Ｒ 等 。剪枝 型 算 法 的初 始 剪 枝
部最 优值 的优点 ， 而 且 极 限 学 习机 可 以直 接 用 来 训
于时间耗费大。在增长型算法中， 单个或批量增加
隐层 结点 直至训 练精 度达到 用户需求 。改进 的增 长
型 极限学 习机 （ Ｅ Ｉ — Ｅ Ｌ Ｍ） 是 单 个 增 加结 点 ， 且 结
练阈值网络 ］ ， 因此极 限学习机在提 出后就被应用
Ｓ Ｕ Ｎ Ｘ ｉ ｎ ．Ｑ Ｉ Ｎ Ｌ ｉ ａ ｎ ｇ ． ｘ ｉ
（ Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｃ ｏ ｍｐ ｕ ｔ ｅ ｒ ａ ｎ ｄ Ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ， Ｇｕ ａ ｎ ￣， ｉ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ， Ｎａ ｎ ｎ ｉ ｎ ｇ ５ ３ ０ ０ ０ ４ ，Ｃ ｈ ｉ ｎ ａ ）
ｓ ｑｕ ａ ｒ ｅ ｍｅ ｈｏ ｔ ｄ ．Ｔ ｈ ｅ ｅ ｘ ｐ ｅ ｒ ｉ ｍｅ ｎ ｔ ｓ ｓ ｈ ｏ ｗ ｔ ｈａ ｔ ，ｔ ｈｉ ｓ ｍｅ ｈｏ ｔ ｄ ｈａ ｓ ｆ ａ ｓ ｔ ｅ ｒ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｓ ｐ ｅ ｅ ｄ， ｂ ｅ ｔ ｔ ｅ ｒ ｐ ｒ ｅ ｄ ｉ ｃ ｔ ｉ ｏ ｎ ａ ｃ ｃ ｕ ｒ ａ ｃ ｙ ａ ｎ ｄ ｍｏ ｒ ｅ ｃ ｏ ｍｐ ａ ｃ ｔ ｎ ｅ ｔ ｗｏ ｒ ｋ ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ｈａ ｔ ｎ ｏ ｈｅ ｔ ｒ ｇ ｒ ｏ ｗｔ ｈ ａ ｌ ｇ ｏ ｉｔ ｒ ｈ ｍｓ ｏ ｎ ＥＬＭ．
关键 词 ：单 隐层 前馈 神经 网络 ；极 限学 习 机 ；误 差最 小化 ；递归最 Ａ ￣ － －乘 － 法

Ａｎ ｉ ｍ ｐｒ ｏ ｖ ｅ ｄ ｅ ｒ ｒ ｏ ｒ ｍｉ ｎ ｉ ｍｉ ｚ ｉ ｎｇ ｂ ａ ｓ ｅ ｄ ｅ ｘ ｔ ｒ ｅ ｍｅ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｍａ ｃ ｈ ｉ ｎ ｅ

合集下载

【CN109521176A】一种基于改进深度极限学习机的虚拟水质监测方法【专利】

【CN109521176A】一种基于改进深度极限学习机的虚拟水质监测方法【专利】

代理人 周希良
(51)Int .Cl . G01N 33/18(2006 .01)
(10)申请公布号 CN 109521176 A (43)申请公布日 2019.03.26
( 54 )发明 名称 一种基于改进深度极限学习机的虚拟水质
监测方法 ( 57 )摘要
本发明公开了一种基于改进深度极限学习 机的虚拟水质监测方法，本发明针对水质监测中 监测站点的建设成本高 ，设备维护繁琐等问题， 利用与虚拟监测位置相关的站点的历史数据，提 出了一种改进的深度极限学习机用于实现对虚 拟位置处的水质预测。在该方法中 ，为了提取水 质监 测网 络采集到的 水 质数 据中 更具不变性的 鲁棒性特征，开发出了一种新的深层极限学习机 模型，该模型将局部去噪准则和收缩惩罚项引入 基于极限 学 习机的自 编码器 。然 后 ，在此基 础上 利 用加权极值学 习机对虚拟位置处的 水 质参数 实际值进行预测，实现了对未知位置处的水质监 测。本发明可以更好地对实时的未知站点处的水 质信息 进 行 实 时 预 测 ，且 具 有 较 好的 预 测准 确 度。
步骤3 ：初始化改 进的 深度极限 学 习机模型结构 ：模型主要由 两部分构成 ，第一部分是 通过堆叠基于极限 学 习机的降噪收 缩自 编码器构成 ，第二部分是 加权极限 学 习机 ；其中 第 一部分中的降噪收缩自编码器数量m为3，各降噪收缩自编码器中隐藏层中的神经元个数为 8，激活函数g(x)为sigmod函数，引入的噪声为高斯噪声；
背景技术 [0002] 水质监测应在空间尺度上尽可能大范围的提供水体当前状态的信息，并突出可能 需要新的管理措施的地方，或者确定当前的管理做法是否足够。因此，整个水体中监测点的 数量越多 ，它们准确代表其当前状态的概率就越高。然而 ，根据市场调研 ，在中国 ，一个具有 五个水质参数(高锰酸盐指数、氨氮、总磷、水温、pH)的小型自动监测站的建设成本高达400 万元人民 币 ，甚至不包括后期的设备维护和人力资源。因此 ，在存在大范围监测的需求下 ， 需要在资源需求和科学严谨性之间取得平衡。常见的做法就是通过空间插值来实现水质的 在空间分布中的 预 测 ，进而对监 测网络进行优化 ，减 少监 测站点的 个数 ，降 低维 护费 用，提 高监测效率。 [0003] 目前，基于数学模型的空间插值技术被广泛的运用在水质空间分布的插值预测 中 ，常见的 如克里金插值法、反向距离权重、信息熵法等。除此之外 ，随着人工智能技术的发 展 ，人工神经网络也逐渐被运 用于水 质空间分布的预 测之中 ，并 相对于传统的数学模型有 更高的预测精度。然而，当前运用于水质空间分布预测神经网络模型常为浅层模型，容易陷 入局部最优，且对水质空间数据的高层特征提出能力不足，和深度模型相比明显存在不足。
改进的核极限学习机定位算法

改进的核极限学习机定位算法

改进的核极限学习机定位算法杨晋生;郭雪亮;陈为刚【期刊名称】《重庆邮电大学学报（自然科学版）》【年(卷),期】2018(030)002【摘要】针对神经网络无线定位方法,存在训练耗时长,定位结果易受噪声干扰的问题,提出了一种改进的核极限学习机无线定位算法.采取在同一位置进行多次测量的方法得到训练数据;把同一位置测得的数据划分为一个样本子空间并提取样本子空间的特征,以样本子空间的特征代替原来的训练数据;利用矩阵近似及矩阵扩展的相关理论改进核极限学习机算法;将处理过的训练数据利用改进的核极限学习机进行训练,得到定位预测模型.仿真结果表明,在相同数据集下,改进的核极限学习机训练用时短、定位速度快;在相同噪声干扰情况下,此算法定位预测误差小.经验证,该算法不但能提高网络的训练速度、定位速度,还能有效地降低噪声的干扰,提高定位精度.【总页数】8页(P249-256)【作者】杨晋生;郭雪亮;陈为刚【作者单位】天津大学微电子学院,天津300072;天津大学微电子学院,天津300072;天津大学微电子学院,天津300072【正文语种】中文【中图分类】TP39;TN929.5【相关文献】1.基于ZigBee的RSSI改进定位算法在r列车盲区定位中的实现 [J], 李卫东;刘影2.基于改进双向测距-到达时间差定位算法的超宽带定位系统 [J], 卞佳兴;朱荣;陈玄3.基于TDOA定位模型的Chan井下定位算法的改进 [J], 靳伟超;马翠红;杨友良4.基于极点对称模态分解-分散熵和改进乌鸦搜索算法-核极限学习机的短期负荷区间预测 [J], 岳有军;刘英翰;赵辉;王红君5.基于改进灰狼算法和多核极限学习机的铁水硅含量预测建模 [J], 方一鸣;赵晓东;张攀;刘乐;王硕玉因版权原因，仅展示原文概要，查看原文内容请购买。

基于p阶Welsch损失的鲁棒极限学习机

基于p阶Welsch损失的鲁棒极限学习机

文章编号：1006-3080(2020)02-0243-07DOI: 10.14135/ki.1006-3080.20181209001基于p 阶Welsch 损失的鲁棒极限学习机陈剑挺， 叶贞成， 程 辉（华东理工大学化工过程先进控制和优化技术教育部重点实验室，上海 200237）摘要：针对极限学习机（ELM ）异常值敏感的问题，提出了一种基于p 阶Welsch 损失的鲁棒极限学习机。

使用p 阶Welsch 损失代替常规ELM 的均方误差损失，提高算法的鲁棒性；在目标函数中引入l 1范数正则项，降低ELM 网络模型的复杂度，增强模型的稳定性；采用快速迭代阈值收缩算法（FISTA ）极小化目标函数，提升计算效率。

对人工合成数据集和部分UCI 回归数据集进行仿真，实验结果表明本文方法在鲁棒性、稳定性和训练时间上都具有很好的性能。

关键词：p 阶Welsch 损失；极限学习机；鲁棒性；FISTA 中图分类号：TP18文献标志码：A极限学习机(ELM)[1]是一种机器学习算法，一种有监督的单隐层前馈神经网络（SLFN ）。

它通过随机生成输入权重和偏置的方式将输入映射到高维隐层空间，具有训练速度快、泛化精度高的特点，并且该算法已被证明具有通用逼近能力[2]，因此，ELM 已被广泛应用于回归、分类等问题之中，如风电预测[3]、故障检测[4]、醋酸精馏软测量[5]、图像识别[6]等。

针对该算法输入权重不能改变的缺点，近些年开发了一些新的技术对ELM 算法进行改进[7-8]，但都是基于最小二乘法（Least Square ，LS ）来求解ELM 的输出权重矩阵。

最小二乘法的目标是学习未知的映射（线性或非线性），使得模型输出和标签值之间的均方误差（Mean Square Error ，MSE ）最小化。

在均方误差损失中所有数据样本所占的权重都相同，因此当数据中有异常值存在时，最小二乘法为了达到极小化残差平方和的目标，必须迁就异常值，这往往会导致参数估计存在较大的偏差[9]。

一种基于遗传算法的极限学习机改进算法研究

一种基于遗传算法的极限学习机改进算法研究

一种基于遗传算法的极限学习机改进算法研究作者：王新环刘志超来源：《软件导刊》2017年第09期摘要：针对传统极限学习机（ELM）缺乏有效的训练方法、应用时预测精度不理想这一弱点，提出了一种基于遗传算法（GA）训练极限学习机（GA-ELM）的方法。

在该方法中，ELM的输入权值和隐藏层节点阈值映射为GA的染色体向量，GA的适应度函数对应ELM的训练误差；通过GA的遗传操作训练ELM，选出使ELM网络误差最小的输入权值和阈值，从而改善ELM的泛化性能。

通过与ELM、I-ELM、OS-ELM、B-ELM4种方法的仿真结果对比，表明遗传算法有效地改善了ELM网络的预测精度和泛化能力。

关键词：遗传算法；极限学习机；权值；阈值DOI：10.11907/rjdk.171419中图分类号：TP312 文献标识码：A 文章编号：1672-7800（2017）009-0079-04Abstract：In order to improve the prediction accuracy of traditional Extreme Learning Machine （ELM） algorithm. Aim to overcome the lack of effective training methods for traditional extreme learning machine （ELM）， the prediction accuracy is not ideal .We proposed a method which based on genetic algorithm （GA） training Extreme Learning Machine. In this method， the initial input weights and threshold vector of ELM maps to the chromosome vector of GA， and the fitness function of GA corresponds to the training error of ELM；By means of the GA to train ELM，improve the ELM’s generalization capacity. Comparing the simulation results of GA-ELM with ELM， I-ELM， OS-ELM， B-ELM， the simulation results show that the genetic algorithm can effectively improve the prediction accuracy and generalization ability of ELM network.Key Words：genetic algorithm； extreme learning machine； weight0 引言Huang G B等[1] 于 2006 年在传统神经网络的基础上，提出了极限学习机（Extreme Learning Machine，ELM）算法，它属于单隐藏层前馈神经网络（SLFNs），具有自适应能力和自主学习特点，主要应用于图像分割、故障诊断、数据挖掘自动控制等领域[2-4]。