ELM-Chinese-Brief

什么是超限学习机1 

Guang‐Bin Huang 

School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore 

egbhuang@ntu.edu.sg

1. 摘要 

近年来，超限学习机（Extreme Learning Machine, ELM）作为一种新兴的机器学习

方法，在全世界许多研究者的不断研究下，已经成为了一个热门研究方向。超限学习

机主要有以下四个特点。（1）超限学习理论探讨了一个60年来在神经网络、机器学习和神经科学领域悬而未决的问题：在学习过程中隐层节点/神经元是否需要调整。与

常识和传统神经网络不同，该理论证明，对于大多数神经网络和学习算法（如隐层激

活为函数傅里叶级数，生物学习等），隐层节点/神经元不需要迭代式的调整，而早期

工作并没有提供随机隐层节点前馈神经网络的理论基础。（2）超限学习机既属于通用

单隐层前馈网络，又属于多隐层前馈网络（包括生物神经网络）。（3）超限学习机的

相同构架可用作特征学习，聚类，回归和（二类/多类）分类问题。（4）相比于超限

学习机，支持向量机（SVM）和最小二乘支持向量机（LS‐SVM）趋向于得到次优解。

支持向量机和最小二乘支持向量机也没考虑多层前馈网络中隐层的特征表征。 

2. 介绍 

正如Huang等[6]指出：“一般来讲，‘超限’指超过传统人工学习方法的局限，

并向类脑学习靠拢。超限学习机的提出，是为了打破传统人工学习方法和生物学习机

制之间的屏障。‘超限学习机’基于神经网络泛化理论，控制理论，矩阵理论和线性

系统理论，代表了一整套不需要调整隐层神经元的机器学习理论。” 

为了更清楚的理解其本质，我们从其哲学观，理论，网络结构，网络神经元类型，

学习目标和算法等角度分析超限学习机。 

3. 超限学习机的信念、哲学观和目标 

超限学习机的研究开始于我们对生物学习和神经网络泛化理论[14]的直观思考。进

一步来讲，超限学习机发展的基础是Frank Rsenblatt的多层“感知机”[9]，支持向量

机[15]，最小二乘支持向量机[16]，傅里叶级数，线性系统，数值方法和矩阵理论等，

以及必要的衍生。 

1 Hao‐Qi Sun摘要翻译自G.‐B. Huang, “What are Extreme Learning Machines? Filling the Gap between Frank Rosenblatt's Dream and John von Neumann's Puzzle,”Cognitive Computation, vol. 7, pp. 263‐278, 2015. Frank Rosenblatt[9]相信多层前馈网络（感知机）可以让电脑“走路、说话、看东

西、写东西、繁衍自己并拥有自我存在的意识”。Minsky和Papert[17]不相信感知机有

这样的学习能力，因为没有隐层的感知机甚至无法学习简单的抑或问题。类似这样的

反例让许多研究者对人工神经网络望而却步，并导致了1970年代的“人工智能之冬”。

根据我们的理解，Rosenblatt的梦想和Minsky的反例之间蕴含着一个值得深思的道理。

Rosenblatt并不能在神经网络研究之初给出一个高效的学习算法。Minsky和Papert[17]

使用的是被认为是两层感知机的，有输入输出层但没有隐层的前馈网络。但是实际上，

一个有输入输出层但没有隐层的前馈网络就好像一个“大脑”，它有输入层（眼睛，

鼻子等）和输出层（肌肉等），却没有“中枢神经元结构”。很明显，这样的“大脑”

是一个没有任何“学习和认知”能力的空壳。尽管如此，Rosenblatt和Minsky的矛盾

也告诉我们一个道理，人工智能和机器学习界的一小步，也许需要一代或几代人的很

多努力。他们的专业讨论也可以间接地激发人工神经网络领域的研究。 

所以在1980年代，在隐层的地位被重视后，神经网络毫无疑问地重现辉煌。但是

与此同时，神经网络研究面临一个很直接的问题，那就是既然隐层是学习的一个不可

或缺的重要条件，研究者自然而然地认为所有网络的隐层神经元都需要不断调整。所

以从1980年代开始，成千上万来自世界各地的研究者努力地通过调整隐层来寻找通用

的、可训练不同类型神经网络的学习算法。这种“令人迷惑”的情况使我们不得不早

在1995年就严肃地提出了一些问题[18]： 

1) 我们真的需要花费这么多人力物力来寻找这种需要人工调整隐层参数的学习算法，

并应用于不同的神经网络中吗？很明显，在生物大脑中没有调整参数的“小精灵”。 

2) 我们真的需要不同的学习算法来使不同类型的神经网络可以有特征学习，聚类，回

归和分类能力吗？ 

3) 为什么生物大脑比那些集成人工学习算法的机器/电脑更加“高效”和“智能”？ 

4) 我们是否能解决John von Neumann的困惑[19,20]：为什么“一个不完美的神经网

络，它包含很多随机连接，却能稳定的执行那些需要有完美电路才能执行的功能”？ 

在2003年以前，人们做了很多努力，但以上问题并没有解决。最终，我们发现问

题的关键“死结”在于： 

1) Minsky和Papert[17]的反例说明隐层是必要的。 

2) 早期的神经网络万能逼近理论（例如[21,22]）也建立在学习过程中隐层神经元必须

不断调整的假设之上。 

3) 所以，自然可知，人工神经网络中的隐层神经元需要不断调整。 

为了解决以上的问题，我们必须解决这些关键“死结”，即对于大多数类型的神

经网络（人工神经网络或人们未知其结构和神经模型的生物神经网络），隐层神经元

很重要，但无需调整。 

我们在机器学习和生物学习领域中的这种信念和哲学观最终使我们提出一种新方

法，称为超限学习机（ELMs）及其相关理论。正如Huang等[6]强调，“超限”指超过

传统人工学习方法的局限，并向类脑学习靠拢。超限学习机是为了打破传统人工学习

方法和生物学习机制之间的屏障。超限学习机代表一整套机器学习方法（包括单隐层

前馈网络和多隐层前馈网络），它们不需要调整隐层神经元，同时符合神经网络泛化理论，控制理论，矩阵理论和线性系统理论。随机地生成隐层节点是“不需要调整隐

层神经元”的其中一种常用方法；与此同时，也有很多其他方法，例如核方法[6,23]，

奇异值分解（SVD）和局部感受域[8]。我们相信超限学习机反映了某些生物学习机制

的实际情况。它的机器学习效能在2004年被确认[24]，它的万能逼近性（对于“通用

单隐层前馈网络”，其隐层节点可以是由一些节点构成的子网络，并/或拥有基本上任

何类型的非线性分段连续激活函数的神经元（确切数学模型/公式/形状未知））在

2006到2008年[5,25,26]被非常严格地证明。它的实际生物证据在2011到2013年 [27‐

30] 接着出现。 

超限学习机不仅面向“通用” 单隐层前馈网络，它还面向“通用” 多隐层前馈网

络，其中一个节点可以是由其它隐层节点组成的子网络[5,8,26]。单隐层超限学习机也

包括大多数类型的神经网络，包括sigmoid网络和径向基函数（RBF）网络（细节请参

见“‘通用’单隐层前馈网络（SLFNs）”章节）。 

数据压缩、特征学习、聚类、回归和分类是机器学习和机器智能的基础。超限学

习机的目标是在相同超限学习机架构中实现这五种基本学习操作（参见图1）。 

图1 超限学习机的基础操作和角色。感谢匿名网络设计师提供此机器人图片。 

4. 超限学习机理论 

尽管在1950到1990年代，人们进行了一些随机sigmoid隐层神经元和/或径向基

函数神经元的尝试，除了RVFL[34]以外，这些尝试并没有真正的成功和普及应用。原

因如下：

 1) 常识认为许多种神经网络的隐层节点需要调整。 

2) 除了RVFL外没有理论分析。 

3) 除Rosenblatt感知机外，缺乏向生物学习靠拢的强力动机。 

超限学习理论成功地探讨了这个具有挑战性的问题“对于各种拥有不同节点/神经

元（大部分非线性分段连续激活函数）的神经网络（包括生物神经网络），它们是否

可以随机生成。”尽管超限学习机既面向“通用” 单隐层前馈网络，又面向“通用” 

多隐层前馈网络，它的理论在过去十年里主要集中在SLFN的探讨上。 

5. 万能逼近能力 

严格来讲，没有一种早期工作（比如Baum[31]，Schmidt等[1]和RVFL[2,32]）在理

论上解释了随机隐层节点能否用于sigmoid或径向基函数网络上，自然就不包括由超限

学习理论覆盖的广泛神经网络类型。Lowe[35]的径向基函数网络并没有包括随机影响

因子，尽管其径向基函数节点的中心是随机产生的。人们还是需要根据不同应用来调

整其影响因子。换言之，这些网络[35]使用的是半随机的径向基函数节点。其详细分析

请参见Huang[3]。 

Baum[31]和Schmidt等[1]仅注重使用特定网络结构来处理经验性的、人工合成的

小型数据（可看作超限学习机的特例）。据我们所知，这些早期工作并没有理论分析

和严格理论证明。尽管简单地讲，Igelnik和Pao[32]在[4,8]中尝试证明了RVFL的万能逼

近能力。但是，其证明仅适用于使用半随机sigmoid和径向基函数隐层节点的情况，即

输入权值ai是随机生成的，而隐层节点偏移bi是根据训练样本xi和输入权值ai来计算

得到（详情请参见Huang等[4]）。 

对比之下，超限学习机理论揭示了绝大多数使用非线性分段连续激活函数（包括

前期工作用到的sigmoid函数和径向基函数，也包括小波函数，傅里叶级数和生物神经

元）的隐层节点都可用于超限学习机，并且该网络有万能逼近能力[5,25,26]。不同于

RVFL证明 [32] 中用到的半随机sigmoid和径向基函数节点，超限学习理论中的随机节

点是指所有的隐层节点都是随机生成，且与训练样本独立，例如对可加性的隐层节点，

输入权值ai和偏移bi都随机产生，对径向基函数网络，中心ai和影响因子bi都随机产

生，傅里叶级数和小波函数中的参数随机产生等。超限学习理论第一次揭示了在各种

类型的神经网络中，也包括在生物学习机制中，所以隐层节点/神经元的生成可以独立

于训练样本，也可以独立于其他节点[5,6,25,26]。 

定义 [5,25,26] 给定一个隐层映射h(x) = [h1(x), …, hL(x)]，如果所有的隐层节点参数

都是根据一个任意连续的抽样分布生成的，那么该映射被称为超限学习随机特征映射。

其中，hi(x) = Gi(ai,bi,x), i=1,…,L（L是隐层神经元数）。 

不同的隐层节点允许有不同的激活函数Gi。在大多数应用中，为了简单起见，对

所有隐层节点使用相同的激活函数，即对于所有i, j=1,…L，Gi=Gj。 

定理1 （万能逼近能力[5,25,26]）给定任何非常数分段连续函数作为激活函数，

若调整隐层参数可让单层前馈网络逼近任何连续的目标函数f(x)，那么󱈼󰝄󰯜󱈺󰜠󱈻󱈽󰯜󰭀󰬵󰯅就可