基于ELM-AE的迁移学习算法

迁移学习AI技术中的迁移学习方法与应用案例迁移学习是人工智能领域的一种重要技术，它通过将一个领域中的知识和经验应用于另一个相关领域，以提高模型在新领域上的性能。

本文将介绍迁移学习方法以及一些应用案例，以展示它在AI技术中的重要性和潜力。

一、迁移学习方法1. 领域自适应领域自适应是迁移学习中常用的方法之一。

在这种方法中，源领域和目标领域之间存在一定的差异，例如数据分布、特征空间等。

通过使用各种领域自适应算法，可以减小这些差异，从而提高在目标领域上的性能。

常见的领域自适应方法包括最大均值差异、核对齐、特征选择等。

2. 重标定重标定是一种将源领域的标签重新映射到目标领域的方法。

通过建立源领域和目标领域之间的标签映射函数，可以使得源领域上的模型能够适应目标领域的标签分布。

重标定方法包括有监督和无监督两种，其中无监督方法更适用于目标领域未标记的情况。

3. 预训练模型迁移预训练模型迁移是将在一个大规模数据集上预训练过的模型迁移到目标任务中。

通过将模型的参数进行微调，可以在目标任务上获得更好的性能。

常见的预训练模型包括深度神经网络模型、卷积神经网络模型等。

二、迁移学习应用案例1. 图像分类在图像分类任务中，迁移学习可以帮助解决样本数据不足的问题。

例如，当源领域有丰富的标记数据，而目标领域的数据较少时，可以使用迁移学习方法将源领域的知识迁移到目标领域上。

通过使用预训练模型迁移和领域自适应方法，可以提高目标领域图像分类的准确性。

2. 文本情感分析文本情感分析是判断文本情感倾向的任务，例如判断一段文本是正面的、负面的还是中性的。

当源领域有大量情感标记的文本数据，而目标领域的情感标签较少时，可以使用迁移学习方法将源领域的情感知识迁移到目标领域上。

通过重标定和领域自适应方法，可以提高目标领域情感分析的准确性。

3. 语音识别语音识别是将语音信号转换为文本的任务。

当源领域中有大量的语音数据和对应的文本标签，而目标领域的语音数据较少时，可以使用迁移学习方法将源领域的语音识别知识迁移到目标领域上。

基于ELM-AE的二进制非线性哈希算法邓万宇;张倩;屈玉涛【摘要】21世纪是数据信息时代,移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域,由此而衍生的各类数据呈爆炸式增长,使得传统的数据分析手段已无法进行有效的数据分析.为了有效解决大规模图像数据的高效检索问题,满足大规模图像数据库的实际应用需求,提出一种基于快速极限学习机自编码(ELM-AE)的哈希二进制自编码算法.算法通过ELM-AE对数据样本进行优化,提升了图像检索的效率;通过二进制哈希实现高维图像数据向低维的二进制空间的映射和重表,提高了图像检索的精度和效率;此外,通过非线性激励函数解决了线性函数在处理非线性数据时的局限.实验结果表明,基于ELM的二进制自编码哈希算法在运行时间等方面有着良好的表现,取得了良好的检索效率和精确度.%The field of Internet applications is so expandable because of the development of mobile Internet,social network and e-com-merce in the data information age of 21 century that the various types of data are in explosive growth,which make the traditional data a-nalysis ineffective. In order to effectively solve the problem of retrieval of image with large scale and meet the application requirements of large scale image database,a binary nonlinear hashing algorithm based on Extreme Learning Machine Auto-Encoders ( ELM-AE) is pro-posed. It optimizes the data sample by ELM-AE and raises the efficiency of image retrieval. Through binary hashing to implement the mapping from high-dimensional image data to low-dimensional binary space,the retrieval accuracy and efficiency are improved. In addi-tion,nonlinear retrieval problem is solved by nonlinear activation function.The experimental results show that the proposed algorithm a-chieves good retrieval efficiency and accuracy with good performance in operation time and other aspects.【期刊名称】《计算机技术与发展》【年(卷),期】2017(027)012【总页数】6页(P61-66)【关键词】哈希学习;自编码;极限学习机;图像检索;机器学习【作者】邓万宇;张倩;屈玉涛【作者单位】西安邮电大学计算机学院,陕西西安 710000;西安邮电大学计算机学院,陕西西安 710000;西安邮电大学计算机学院,陕西西安 710000【正文语种】中文【中图分类】TP399;TP391.4随着数据信息时代的到来，移动通信、社交网络、电子商务大大拓展了互联网的疆界和应用领域，由此而衍生的各类数据呈爆炸式增长。

极限学习机(ELM)网络结构调整方法综述翟敏;张瑞;王宇【摘要】从原始ELM算法和增长结构ELM算法(I-ELM)的基本思想与基本理论出发,分析其优点与不足,概括基于不同角度所改进的网络结构调整方法,包括结构增长型算法、结构递减型算法和自适应型算法三大方面.最终对极限学习机(ELM)中网络结构的各种调整方法进行综述,为相关研究者提供该研究方向的发展历史和最新结果.【期刊名称】《西安文理学院学报（自然科学版）》【年(卷),期】2014(017)001【总页数】6页(P1-6)【关键词】ELM算法;网络结构;隐节点【作者】翟敏;张瑞;王宇【作者单位】西北大学数学系,西安710127;西北大学数学系,西安710127;西北大学数学系,西安710127【正文语种】中文【中图分类】O29神经网络是由大量简单的处理单元(神经元)相互连接，通过模拟人的大脑神经处理信息的方式，进行信息并行处理和非线性转换的复杂网络系统.由于神经网络具有强大的学习功能，可以较轻松的实现非线性映射过程，并且具有大规模的计算能力.因此，它在自动化、计算机和人工智能等领域都有着广泛的实用性，解决了很多传统方法都难以解决的问题[1-2].但是如何确定最优的网络结构使得网络误差达到最小且能获得更好的泛化能力成为研究的热点问题之一.基于此，文献[3]提出一种新的学习算法，即ELM 算法.在该算法中，输入权值和隐层阀值均随机产生，最后通过最小二乘法直接计算输出层权值.ELM 算法无需迭代，因而其学习速度较快，并且具有很好的泛化能力.给定N 个不同的样本(xj,tj)∈Rn×Rm，对于含有个隐节点且激活函数为g(x)的单隐层前向神经网络(SLFNs)的数学模型可表示为：其中(ωi，bi)是隐节点参数且随机产生，βi是链接第i个隐节点的权值，且j=1,2,…,N.若网络实际输出等于期望输出，则,N.以上N个等式可以简写成：Hβ=T.其中这里的H叫做隐层输出矩阵；H的第i 行代表第i个训练样本关于所有隐节点的输出；H的第j 列代表所有训练样本关于第j个隐节点的输出.原始的ELM 算法可总结如下[3-4]：给定训练集={(xj, tj)|xj∈Rn,tj∈Rm, j=1,…,N}且激活函数为g(x)，隐节点个数为，随机选取输入权重ωi 和阀值bi；(2)计算隐层输出矩阵H ；(3)计算输出权重β,β=H+T.注1 H+表示H的Moore-Penrose广义逆.虽然ELM算法的隐层无需迭代且学习速度较快，但是该算法需要人为确定隐节点的个数，过程比较繁琐，同时ELM算法基于经验风险最小化原则，也容易导致过度拟合.为了避免人为因素对网络结构的影响，文献[5]对ELM算法进行改进，提出增长结构的ELM算法(I-ELM).该算法无需提前设置隐单元个数，而是通过比较误差逐个增加隐节点.2.1 I-ELM 算法ELM 算法事先给定了隐节点个数，但该隐节点个数是通过多次试验比较误差得到，因而比较麻烦.而I-ELM 算法是基于ELM 算法改进得到的， I-ELM网络初始仅有一个隐节点，随后通过比较误差向隐层逐个增加隐节点.理论及实验表明，通过不断增加隐节点而产生的函数序列可以以任意小的精度逼近给定的目标函数.文献[5]也已经证明了在单隐层前向神经网络中，随机产生“和节点”(additive nodes)或“径向基节点”(RBF nodes) 类型的激活函数均可以以任意小的误差逼近任何连续的目标函数.定理1[5] 给定任意有界、非常值、分段、连续函数g : R→R (对和节点) 或者任意可积、分段、连续函数g:R→R且∫Rg(x)dx≠0(对径向基节点)，对于任何连续的目标函数f和任何随机产生的函数序列gn有‖f-fn‖=0 (以概率1)当且仅当.注2 通常情况下激活函数类型有以下两种:(i) 当g(x)为“和节点”类型时，gi=g(ωi·x+bi)，(ωi,bi)∈Rd×R，其中ωi为连接输入层到第i个隐节点的权重向量，bi代表第i个隐节点的阀值；(ii) 当g(x)为“径向基节点”类型时，gi=g(bi‖x-ωi‖)，(ωi,bi)∈Rd×R，其中ωi 和bi分别代表第i个径向基节点的图心和影响因子.增长结构ELM (I-ELM) 算法总结如下：给定训练集={(xj, tj)|xj∈Rn,tj∈Rm, j=1,…,N}且激活函数为g(x)，最大隐节点个数，期望学习精度为ε：(1) 初始化阶段：令，误差E=t ，其中t=[t1,…,tN]T；(2) 学习阶段：当且‖E‖>ε.时：(a) 增加一个隐节点：；(b) 给新增隐节点随机赋权值);(c) 对新增隐节点计算其输出权重;(d) 计算增加第个隐节点后的误差：(3) 终止条件：当或‖E‖<ε时停止.其中隐节点的输出权重是按最小二乘法求得，同时每增加一个隐节点计算一次输出权重，因此较ELM 算法收敛的更快.同时，因I-ELM 算法所需隐节点个数也比ELM 算法的少很多，因而I-ELM 算法比ELM 算法得到的网络结构更加紧凑. 2.2 CI-ELM (Convex I-ELM) 算法在I-ELM 算法中：且每当增加一个隐节点，该隐节点的输出权重βn .一经计算就被固定，其中,文献[6]在此基础之上提出CI-ELM 算法.CI-ELM 算法是将I-ELM算法和Barron 的凸优化思想相结合,其输出函数为：与 (1) 式相比，在 (2) 式中，当增加新的隐节点后会重新更新已存在隐节点的连接权值而非永久固定. 并且已存在的隐节点和新增加的隐节点系数满足凸组合，即(1-βn)+βn=1.CI-ELM 算法总结如下[6]：给定训练集={(xj, tj)|xj∈Rn,tj∈Rm, j=1,…,N}且激活函数为g(x)，最大隐节点个数，期望学习精度为ε：(1) 初始化阶段：令，误差E=t ，其中t=[t1,…,tN]T；(2) 学习阶段：当且‖E‖>ε. 时：(a) 增加一个隐节点：；(b) 给新增隐节点随机赋权值(c) 对新增隐节点计算其输出权重(d) 更新前-1个隐节点的输出权重：；(e) 计算增加第个隐节点后的误差；(3) 终止条件：当或‖E‖<ε时停止.注3 F=[t1,…,tN]T代表目标向量，tj代表第j个训练数据xj的目标输出.实验结果表明， CI-ELM 算法比I-ELM 算法收敛的更快并且需要更少的隐节点，因而CI-ELM 算法的网络结构也比I-ELM 算法更紧凑.2.3 EI-ELM (Enhanced I-ELM) 算法I-ELM 算法是随机增加隐节点，但是却不能保证每次增加的隐节点使得误差减小最快.文献[7]提出了一种新的改进算法—EI-ELM 算法.该算法基于I-ELM 算法基础之上，每次产生k个隐节点，然后通过比较误差选取最优的隐节点并将其添加到网络中.可见EI-ELM 算法比I-ELM 算法收敛的快且网络结构更加紧凑.值得注意的是，当k=1时 EI-ELM算法即为I-ELM 算法.可见，I-ELM 算法是EI-ELM 算法的特殊情况.2.4 ECI-ELM (CI-ELM based on enhanced random search) 算法ECI-ELM算法[8]的主旨思想是将EI-ELM 算法中提高随机搜索的思想应用到CI-ELM算法中.其增加隐节点的思想同EI-ELM 算法一样，都是每次产生k 个隐节点，其对应的输出分别为g(n-1)k+1，…,gnk计算并比较相应的误差并将误差减小最快的隐节点添加到网络中.则：其中(n-1)k+1≤i≤nk且表示ECI-ELM算法在第n-1步最终的输出.链接新增节点和输出节点的权向量的计算公式为：.则ECI-ELM算法最终的输出表达式可写为：不难看出，当增加一个新的隐节点并计算出其输出权重之后，还要更新已有隐节点的输出权重.即输出权重一经计算并非永久固定，而是每一步都会被更新一次.显然，ECI-ELM 算法不仅每次产生k个隐节点并将误差最小的隐节点添加到网络中，同时它的网络输出为凸组合的形式，即该算法吸收并保留了EI-ELM算法和CI-ELM算法的优点. 因而同EI-ELM和CI-ELM算法相比，ECI-ELM 算法也具有广义的逼近能力，并且能获得更加紧凑的网络结构.2.5 EM-ELM (Error Minimized I-ELM) 算法I-ELM 算法开始仅有1 个隐节点且随后逐个增加，文献[9]在其基础之上进行改进，提出了EM-ELM 算法.该算法中网络初始有L0个隐节点，并且随后隐节点可以逐个增加，也可以一块一块增加，这样很大程度上提高了网络的学习速度.EM-ELM 算法中输出权重β通过最小误差得到，从而减小了计算复杂度.网络初始时，其隐层输出矩阵可以表示为：则，误差E(H1) =‖‖=‖‖.若E(H1)<ε(其中ε为期望误差且事先给定)，则不增加隐节点且学习过程结束.否则，向网络增加δL0=L1-L0个隐节点，此时隐层输出矩阵变为H2=[H1，δH1].不同于ELM 算法通过求(即H2的广义逆)来计算2，该算法采取一种快速更新输出权重的方法来计算2. 方法如下：为方便推导，记则根据二阶方阵求逆矩阵的方法[10]，即运用公式：其中SA=D-CA-1B,得到，则，进而计算误差：E(H2)=‖2-T‖=‖‖.并将其与ε进行比较来决定是否继续增加隐节点.同理，第k 次向隐层增加δLk-1个隐节点，此时隐层输出矩阵变为：则进而计算误差并与ε进行比较来决定是否还需向网络中添加隐节点.可见，EM-ELM 算法无需通过多次试验比较误差来确定隐节点个数，因而EM-ELM 算法比原始的ELM 算法收敛的更快.当L0=1，且每次只增加一个隐节点，即δLK=1，则为I-ELM 算法.显然， EM-ELM 算法较I-ELM 算法收敛的更快且更稳定.以上六种改进算法都是增长结构算法，这些算法的共同特点都是隐层参数均随机产生，只有输出权重通过解析的计算得到.与构造性算法相反的一类算法叫破坏性算法，也称修正(剪)性算法.这类算法也是确定网络结构的一类有效方法.其主要思想是，网络初始给定比实际需要更大的隐节点个数，然后利用统计学相关知识去掉相关度低或不相关的隐节点，最终得到一个结构更紧凑的网络.如P-ELM[11]、OP-ELM[12]等算法.4.1 AG-ELM (ELM with adaptive growth of hidden nodes) 算法AG-ELM 算法[13]中隐节点是自适应调整的，即在下一步迭代后得到的网络的隐节点有可能增加，也可能减少. 同时在每一步迭代过程中都产生一组网络而不是一个网络. 当新的网络具有较好的逼近能力时就用该新网络代替原来的网络. 该算法的主旨思想是：首先，随机产生带有一个隐节点的网络，其中)∈Rd×R×R,则得到其次，通过比较当前网络输出与目标函数的误差可得到两个SLFNs 和：其中,x)以及分别代表含有一个隐节点和含有两个隐节点的两个临时SLFNs.同理，到第s步可得到s个,比较过程如下：其中代表s步中含k个隐节点的临时网络，且1≤k≤s.如此进行下去直到满足期望误差或最大隐节点个数时停止，其中所有的参数均随机产生.可见该算法无需人为调整任何参数，并且隐节点个数是自适应增长的，因而能够达到更加紧凑的网络结构，并且具有很好的泛化能力.4.2 D-ELM (Dynamic ELM and its approximation capability) 算法与I-ELM 算法截然不同， AG-ELM 算法中所有参数均随机产生，包括网络的输出权重也是随机产生.基于此，文献[14]对AG-ELM 算法进行改进，得到收敛速度更快的D-ELM 算法，该算法是隐节点动态增长的 ELM算法. 在该算法中，隐节点参数(ωi,bi)∈Rd×R，但输出权重βi则是利用EM-ELM 算法计算权重的方法迭代计算得到的.D-ELM 算法的思想同AG-ELM 算法一样都是用新网络代替旧网络. 该算法的每一步迭代过程都是从所有的备选网络(x),φn-1}中选择一个既含有最少隐节点数且误差最小的网络作为该步的最终网络φn.显然，该步最终网络的隐节点个数可能是{1,2,…,Ln-1}中的任意一个，其中2≤Ln-1≤n-1.在此基础之上，最后再随机产生一个隐节点并将其添加到所得到的最终网络φn中，作为最终的网络Ψn.为了保证网络的误差可以减小的更多，此时网络隐节点个数Ln为{2,3,…,Ln-1+1}中的任意一个.因此，这样得到的最终网络的隐节点个数Ln满足下列情况之一：{Ln<Ln-1;Ln=Ln-1;Ln>Ln-1} .这充分说明D-ELM算法的隐节点是动态增加的.同AG-ELM 算法比较，D-ELM算法具有更好的泛化能力，同时获得更加紧凑的网络结构.其主要原因是D-ELM算法的输出权重是利用EM-ELM算法中误差最小的方法迭代计算得到的，而不像AG-ELM算法是随机产生的.本文从原始的ELM算法和增长结构的ELM算法 (I-ELM) 出发，分析其优点及不足，不仅概括了基于不同角度的增长结构ELM算法的改进，还概括了自适应增长隐节点的相关算法.这些算法的提出都是为了寻求更优的网络结构，对这些改进算法的全面总结为今后寻求更好的网络结构提供一个好的参考.【相关文献】[1] 孙树林，原存德. 捕食者有病的生态-流行病SIS模型的分析[J].工程数学学报，2005,22(1)：30-34[2] 蒋宗礼.人工神经网络导论[M]. 北京:高等教育出版社,2010.[3] 董长虹.神经网络与应用[M]. 北京:国防工业出版社,2005.[4] HUANG G-B, ZHU Q-Y, SIEW C-K. Extreme learning machine: theory and applications [J]. Neurocomputing, 2006, 70: 489-501.[5] HUANG G-B, ZHU Q-Y, SIEW C-K. Extreme learning machine: a new learning scheme of feedforward neural network[J]. Proceedings of International Joint Conference on Neural Networks(IJCNN’04), 2004, 59:985-501.[6] HUANG G-B, CHEN L, SIEW C K. Universal approximation using incremental constructive feedforward networks with random hidden nodes[J]. IEEE Transactions onNeural Networks, 2006, 17(4): 879-892.[7] HUANG G-B, CHEN L. Convex incremental extreme learning machine[J]. Neurocomputing, 2007, 70: 3056-3062.[8] HUANG G-B, CHEN L. Enhanced random search based incremental extreme learning machine[J]. Neurocomputing, 2008, 71: 3060-3068.[9] WANG W, ZHANG R. Improved convex incremental extreme learning machine based on enhanced random search[M]. Lecture Notes in Electrical Engineering, 2012.[10] FENG G R, HUANG G-B, LIN Q P, et al. Error minimized extreme learning machine with growth of hidden nodes and incremental learning[J]. IEEE Transactions on Neural Networks, 2009,20(8):1352-1357.[11] BOYD S, CHAOUL L E, FERON E, et al. Linear Matrix Inequalities in System and Control Theory[M]. Philadelphia, PA: SIAM, 1994.[12] RONG H J, ONG Y S, TAN A H, et al. A fast pruned-extreme learning machine for classification problem[J]. Neurocomputing, 2008, 72: 359-366.[13] MICHE Y, SORJAMAA A, LENDASSE A. OP-ELM: theory, experiments and a toolbox[J]. Lecture Notes in Computer Science, 2008,5163:145-154.[13] ZHANG R, LAN Y, HUANG G B, et al. Extreme learning machine with adaptive growth of hidden nodes and incremental updating of output weight[J]. International Conference on Autonomous and Intelligence Systems, Burnaby Canada, 2011, 6752:253-262.。

基于ELM-KNN算法的网络入侵检测模型
顾兆军;李冰;刘涛
【期刊名称】《计算机工程与设计》
【年(卷),期】2018(039)008
【摘要】针对传统神经网络算法在处理入侵检测问题时易陷入局部极小导致分类正确率不高的问题,提出基于极限学习机(ELM)特征映射的K最近邻(KNN)算法的网络入侵检测模型.利用ELM算法将低维输入空间中复杂线性不可分的样本投影到高维特征空间,使其线性可分,用KNN算法对投影到高维特征空间的样本进行分类,建立入侵检测分类器.采用KDD Cup99数据集的仿真结果表明,相比其它入侵检测方法,基于ELM-KNN算法的入侵检测模型提高了入侵检测正确率.
【总页数】6页(P2412-2416,2421)
【作者】顾兆军;李冰;刘涛
【作者单位】中国民航大学信息安全测评中心,天津300300;中国民航大学计算机科学与技术学院,天津300300;中国民航大学信息安全测评中心,天津300300;中国民航大学计算机科学与技术学院,天津300300;中国民航大学计算机科学与技术学院,天津300300
【正文语种】中文
【中图分类】TP393.08
【相关文献】
1.基于云模型BBO算法优化KELM的网络入侵检测 [J], 叶炼炼
2.基于量子人工鱼群和模糊核聚类算法的网络入侵检测模型研究 [J], 李根
3.基于量子人工鱼群和模糊核聚类算法的网络入侵检测模型研究 [J], 李根
4.基于蝙蝠优化算法的网络入侵检测模型 [J], 赵青杰; 王龙葛; 李捷; 于俊洋
5.基于GR-CNN算法的网络入侵检测模型设计与实现 [J], 池亚平; 杨垠坦; 李格菲; 王志强; 许萍
因版权原因，仅展示原文概要，查看原文内容请购买。

基于自然进化策略的可再生能源ELM预测两阶段优化训练方
法
权浩;吕立臻;郭健;葛轶文;柳伟
【期刊名称】《电力系统自动化》
【年(卷),期】2022(46)20
【摘要】随着中国“双碳”目标的提出和可再生能源接入比例的不断提高,其精确预测对提高新能源消纳水平和电网稳定性以及降低系统规划运行成本具有重要意义。

为此,提出了基于自然进化策略(NES)的极限学习机(ELM)网络参数两阶段优化训练方法及可再生能源功率预测改进模型。

在第1阶段,使用ELM随机参数和广义矩阵逆运算过程训练模型网络参数。

ELM训练过程具有随机性且矩阵逆运算过程缺少
对参数的微调,导致模型虽然训练速度较快,但在精度上有所欠缺。

因此,第2阶段在原有模型训练结果的基础上引入输出层偏移和自适应的NES算法,对网络参数进行二次优化调整。

结果表明,该两阶段优化算法能够有效地提高模型预测精度。

【总页数】9页(P83-91)
【作者】权浩;吕立臻;郭健;葛轶文;柳伟
【作者单位】南京理工大学自动化学院
【正文语种】中文
【中图分类】F42
【相关文献】
1.基于两阶段优化算法的神经网络预测模型
2.含高渗透率可再生能源的主动配电网两阶段\r柔性软开关与联络开关协调优化控制
3.基于两阶段鲁棒优化的可再生能源DNE极限评估
4.基于经济模型预测控制的多虚拟电厂两阶段协调优化调度
5.基于鲁棒随机模型预测控制的园区综合能源系统两阶段优化
因版权原因，仅展示原文概要，查看原文内容请购买。

基于ELM-AE和BP算法的极限学习机特征表示方法
苗军;刘晓;常艺茹;乔元华
【期刊名称】《北京信息科技大学学报（自然科学版）》
【年(卷),期】2024(39)1
【摘要】基于极限学习机自编码器(extreme learning machine based autoencoder,ELM-AE)和误差反向传播(back propagation,BP)算法,针对ELM提出了一种改进的特征表示方法。

首先,使用ELM-AE以无监督的方式学习紧凑的特征表示,即ELM-AE输出权重;其次,利用ELM-AE输出权重来初始化BP神经网络的输入权重,然后对BP网络进行监督训练;最后,用微调的BP网络输入权重初始化ELM的输入权重参数。

在MNIST数据集上的实验结果表明,采用BP算法对ELM-AE学习的参数进行约束,可以得到更紧凑且具有判别性的特征表示,有助于提高ELM的性能。

【总页数】5页(P37-41)
【作者】苗军;刘晓;常艺茹;乔元华
【作者单位】北京信息科技大学网络文化与数字传播北京市重点实验室;北京工业大学应用数理学院
【正文语种】中文
【中图分类】TP389.1
【相关文献】
1.用于表示级特征融合与分类的相关熵融合极限学习机
2.流形极限学习机自编码特征表示
3.基于多特征融合与极限学习机的植物叶片分类方法
4.一种基于ELM-AE 特征表示的谱聚类算法
5.一种基于时频特征融合和极限学习机的非侵入式负荷识别方法
因版权原因，仅展示原文概要，查看原文内容请购买。

ELECTRONIC ENGINEERING & PRODUCT WORLD2023.8电子产品世界基于ELM改进K-SVD算法的多特征融合物体成像识别Multi-feature fusion object image recognition based on ELM improved K-SVD algorithm杨玲玲 （河南工业贸易职业学院，信息工程学院，郑州 450064）摘 要：通过极限学习机ELM算法改进K-SVD字典学习算法，并成功应用于多特征融合物体成像识别领域。

研究结果表明：通过ELM算法，字典精确度和优势在处理后的提升效果均十分显著。

不论是从计算效率还是计算准确率来看，改进的K-SVD算法表现出较佳优势。

K-SVD算法性能可通过ELM显著提升，算法识别准确率在多特征加入后也相应快速增长。

将较低分辨率的样本从图像中筛选出来，有利于减少傅里叶叠层成像数量。

关键词：K-SVD算法；算法改进；图像识别0 引言作为一项重要可用于恢复样品高分辨率和相位的技术，近几年来傅里叶叠层成像(FP)取得显著进步[1,2]。

样品高分辨率成像在大视场下完成的主要原因是具有相对较为简单的运行设施及FP技术所需算法，实现的功能还包括三维重聚焦[3,4]。

在处理稀疏矩阵时应用协同过滤算法，该算法基于内存分析完成建立，所以系统准确预测及高效运行均不能得到充分有效保障，此问题需将新算法引入完成处理，将原传统算法进行改进。

在推荐算法中早已应用SVD技术，表现出较强的降维性能，结果显示可显著改善数据稀疏性[5]。

最初在搜索潜在语义领域应用SVD技术，该算法被应用于推荐算法中，确定维数完成预测前，需按照含有奇异值对角矩阵、用户特征向量矩阵、低维项目特征向量矩阵分解高维用户-项目评分矩阵，维数确定需结合奇异值大小及 数量[6]。

本文获取ELM算法采用K-SVD算法改进处理实现，并成功应用于多特征融合物体成像识别领域。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201810800629.2(22)申请日 2018.07.19(71)申请人 工极（北京）智能科技有限公司地址 100089 北京市海淀区中关村南大街5号二区683号楼20层31(72)发明人 马宏宾　费庆　克莱　李楠楠　(74)专利代理机构 郑州翊博专利代理事务所(普通合伙) 41155代理人 张擎(51)Int.Cl.G06K 9/66(2006.01)G06N 3/08(2006.01)(54)发明名称一种基于极限学习机的ELM -IN -ELM框架集成学习算法(57)摘要本发明公开了一种基于极限学习机的ELM -IN -ELM框架集成学习算法，ELM -IN -ELM框架能够自动学习组合不同的单个极限学习机模型，本方法采用ELM算法学习到的参数来组合不同的ELM 输出计算最后的结果，它包括两个阶段：单个的ELM训练和融合参数学习。

本发明所述ELM -IN -ELM框架自动地学习怎样组合不同的ELM分类器在小网络上以实现更高的性能，通过最小化分类误差和网络权重范数，将会在一个更紧凑的神经网络上获得更好的泛化性能。

其他的ELM集成模型可以视为ELM -IN -ELM的特殊情况，使得ELM -IN -ELM成为基于ELM集成的一个统一的框架。

几个修改和扩展应用到ELM -IN -ELM模型中，可以改善模型性能以解决其他问题。

权利要求书2页 说明书8页 附图4页CN 109034278 A 2018.12.18C N 109034278A1.一种基于极限学习机的ELM-IN-ELM框架集成学习算法，其特征在于：ELM-IN-ELM框架能够自动学习组合不同的单个极限学习机模型，本方法采用ELM算法学习多个ELM模型的融合参数，进而通过组合各个单个ELM模型的输出来计算最后的结果，它包括两个阶段：第一阶段是单个的ELM训练，训练M个独立的ELM模型，输入：数据集X，目标T，单个模型数目M，隐含层节点数L输出：ELM-IN-ELM模型参数产生随机输入权重W(m)和偏差b(m)计算隐含层输出矩阵H(m)＝G(XW(m)+b(m))计算输出权重计算输出O(m)＝H(m)β(m)，m＝1,2，……，M其中G(·)是任意非线性分段连续函数，同时满足ELM通用逼近能力定理；第二阶段是基于第一个阶段的学习，计算每一个模型的输出值，然后学习多个ELM模型的融合参数；将所有单个模型输出的级联作为一个全部ELM模型的隐藏矩阵H g,H g＝[O(1)O(2)…O(M)]式中O(m)是第m个模型的输出；如果所有的ELM模型有同样的大小，则H g是一个N*MC矩阵；所计算的融合参数为全部ELM模型的输出权重是一个MC*C的矩阵，表示M个不同ELM模型贡献给最后结果的组合权重；ELM-IN-ELM模型被其参数W(m),b(m),β(m),m＝1,2,...M以及输出权重F完全定义；每一个输出权重F m是一个C×C矩阵，表示第m个单个模型和最后输出之间的连接，ELM-IN-ELM的输出为：ELM-IN-ELM输出是不同ELM输出的线性组合。