下载文档原格式
1 极限学习机传统前馈神经网络采用梯度下降的迭代算法去调整权重参数，具有明显的缺陷：1）学习速度缓慢，从而计算时间代价增大；2）学习率难以确定且易陷入局部最小值；3）易出现过度训练，引起泛化性能下降。
这些缺陷成为制约使用迭代算法的前馈神经网络的广泛应用的瓶颈。
针对这些问题，huang等依据摩尔-彭罗斯（MP）广义逆矩阵理论提出了极限学习(ELM)算法，该算法仅通过一步计算即可解析求出学习网络的输出权值，同迭代算法相比，极限学习机极大地提高了网络的泛化能力和学习速度。
极限学习机的网络训练模型采用前向单隐层结构。
设分别为网络输入层、隐含层和输出层的节点数，是隐层神经元的激活函数，为阈值。
设有个不同样本，，其中，则极限学习机的网络训练模型如图1所示。
图1 极限学习机的网络训练模型极限学习机的网络模型可用数学表达式表示如下：式中，表示连接网络输入层节点与第i个隐层节点的输入权值向量；表示连接第i个隐层节点与网络输出层节点的输出权值向量；表示网络输出值。
极限学习机的代价函数E可表示为式中，，包含了网络输入权值及隐层节点阈值。
Huang等指出极限学习机的悬链目标就是寻求最优的S，β，使得网络输出值与对应实际值误差最小，即。
可进一步写为式中，H表示网络关于样本的隐层输出矩阵，β表示输出权值矩阵，T表示样本集的目标值矩阵，H，β，T分别定义如下：极限学习机的网络训练过程可归结为一个非线性优化问题。
当网络隐层节点的激活函数无限可微时，网络的输入权值和隐层节点阈值可随机赋值，此时矩阵H为一常数矩阵，极限学习机的学习过程可等价为求取线性系统最小范数的最小二乘解，其计算式为式中时矩阵的MP广义逆。
2实验结果>>ELM('diabetes_train', 'diabetes_test', 1, 20, 'sig')TrainingTime =0.0468TestingTime =TrainingAccuracy =0.7934TestingAccuracy =0.7396由实验结果可得，极限学习机方法具有耗时短，效率高等优点，但是训练和测试的精度还有待提高。
统计与决策2021年第3期·总第567期管理决策0引言近年来，随着经济社会的发展以及工业化和城镇化进程的加快，空气污染问题日益突显，PM 2.5作为大气污染中的主要污染物之一，对空气质量以及人们的生活造成了很大的影响。
对PM 2.5浓度做出精准的预测，有效地减少和控制大气污染，降低公众健康风险，可以为相关政策制定者提供有意义的参考。
目前PM 2.5等空气污染物浓度的预测，主要可分为三类：确定性模型、经典的统计学模型和机器学习模型。
确定性方法主要包括天气研究预报模式（Weather Researchand Forecasting，WRF ）[1]、多尺度空气质量模型（CommunityMultiscale Air Quality Modeling System,CMAQ）[2]、WRF-CMAQ 气象化学耦合模型[3]等，利用相关的气象数据和污染源数据，模拟污染物复杂的排放、累积、扩散和转移过程，从而对污染物的浓度进行预测和分析。
该方法复杂且和其他模型相比，在预测精度上并没有明显的优势[4]。
统计学模型中自回归移动平均(Autoregressive Moving Inte-grated Average,ARIMA)模型[5]、多元线性回归（MultipleLinear Regression，MLR ）[6]模型等经常被用于PM 2.5浓度的预测。
然而，PM 2.5浓度受到多种可变因素的影响，具有较强的非线性和复杂性，这类模型在处理非线性时间序列数据上，通常不能达到令人满意的效果[7]。
随着数据挖掘技术的兴起，机器学习方法以其优越的预测性能受到了大量的关注，被广泛应用于空气污染物的浓度预测中，主要包括人工神经网络(Artificial Neural Network,ANN)[8—10]、支持向量机[11，12]等。
Park 等（2018）[9]建立了人工神经网络模型，通过室外PM 10浓度、地铁列车的运行数量和通风率的信息，对6个地铁站内的PM 10浓度进行了预测，精度达到了67%~80%。
极限学习机理论与应用研究在深度学习领域中，神经网络一直是一个热门话题。
然而，神经网络不仅复杂而且计算密集，因此新的机器学习算法也不断涌现，希望取代这种方法。
极限学习机是这样一种算法，它有效地解决了传统神经网络所面临的问题。
本文将深入介绍极限学习机的理论和应用研究。
一、极限学习机的概念极限学习机是一种快速的单层前馈神经网络，符合大数据环境下高效率和高精度的要求。
与传统的神经网络不同，极限学习机模型不涉及网络层中权值的调节，因此更容易使用。
这个模型常常简称为ELM。
它的训练方式是在网络学习过程中，只调整输入层和输出层之间的链接权重和偏差。
与其他的神经网络相比，极限学习机有以下优点：1. 快速：传统神经网络通常需要使用反向传播算法训练，这个过程非常耗时。
在性能要求的情况下，ELM的训练速度更快。
2. 简单：ELM的参数只包括输入层和输出层之间的链接权重和偏差。
这使得神经网络的设计和实现更加容易。
3. 鲁棒性：ELM对于权重和偏差的初始值并不敏感，也就是说，它可以在初始权重和偏差值上取得很好的效果。
4. 高精度：在处理大量数据的时候，ELM的精度相当高。
二、极限学习机的原理在ELM中，输入层与神经元之间的连接权重是随机初始化的，然后通过解方程组来确定输出层与神经元之间的连接权重。
这个过程被称为“随机稠密映射（Random Projection）”。
随机稠密映射通常可以被看做是一种优秀的特征提取器。
在ELM的训练过程中，首先要将样本输入层的输入值x通过一个由与节点神经元个数相同的系数矩阵Omega和偏置项b组成的线性变换$H = g(x\Omega+b)$中映射到隐藏层，其中g是一个激活函数。
公式中的随机矩阵Omega是样本输入层和输出层之间的链接权重。
目标是找到输入矩阵X和标签矩阵Y之间的连接权重W，使预测值P与真实值T的误差最小化：$P=H W$$minimize \quad \frac{1}{2} ||Y-P||^2_F$其中||·||_F 是矩阵F范数选择逆矩阵(Inv)方法，将权重$W = H^+ Y$公式中，H⁺是矩阵H的Moore-Penrose伪逆。
基于极限学习机的机械设备故障诊断研究随着机械设备的广泛应用，设备故障诊断已成为工业生产过程中不可或缺的一部分。
传统的设备故障诊断方法主要使用基于规则的专家系统，这种方法需要专家的知识和经验，并且难以适应复杂设备的故障模式。
近年来，基于神经网络的机械设备故障诊断方法受到了广泛关注。
然而，神经网络需要选择适当的结构和算法，而且需要大量的训练数据和计算资源。
极限学习机（ELM）是一种新型的快速学习算法，能够在一次正向传播中训练出神经网络的参数，具有快速训练、较少的计算资源和良好的泛化性能等优点。
因此，本文提出了一种基于ELM的机械设备故障诊断方法。
该方法首先构建设备故障诊断模型，包括采集故障数据、预处理数据、特征提取和故障分类。
然后，采用ELM算法训练神经网络模型，并将训练好的模型应用于设备故障诊断中。
具体步骤如下：步骤1：采集故障数据在机械设备运行过程中，收集传感器信号和设备状态，记录设备的运行情况和故障发生时间等信息。
步骤2：预处理数据对采集的数据进行滤波和降噪处理，以排除信号噪声的影响。
此外，对数据进行归一化处理，使其具有相似的尺度。
步骤3：特征提取从预处理的数据中提取特征，以捕捉故障模式。
常用的特征提取方法有时域特征、频域特征、小波变换等。
步骤4：故障分类根据特征向量将故障数据分类，确定机械设备的故障类型。
步骤5：ELM训练神经网络模型使用已分类的故障数据，将特征数据和标签数据送入ELM网络中训练，得到神经网络的权重和偏置。
步骤6：应用ELM模型进行故障诊断利用训练好的ELM网络模型进行设备故障诊断。
当新的故障数据输入模型时，模型能够输出该数据的故障类型。
实验结果表明，基于ELM的机械设备故障诊断方法具有较好的诊断性能和泛化性能。
相对于传统的专家系统和神经网络算法，本方法训练速度快、运行效率高，且不需要调节网络结构和算法参数。
因此，该方法具有较好的工程应用前景。
前交叉韧带断裂后足底压力特征的聚类分析李晓理;黄红拾;王杰;于媛媛;敖英芳【摘要】运动过程中,人体的步态特征可以在足底压力图像上有准确的记录,而这也就可以成为判断步态正常与否的一条有效依据.通过一组压力传感器阵列获取人体运动过程的足底压力分布数据,提取步态的运动学和动力学特性.在此基础上,采用极限学习机(Extreme learning machines,ELM)神经网络聚类算法对足底压力数据进行分析,完成正常与异常步态的分类辨识工作.本文从实际临床数据出发,对前交叉韧带断裂患者进行步态分析,并据医生的临床诊断结果进行校验.该方法在步态分析上取得了较为良好的效果,仿真结果表明了其有效性.%The gait characteristics of an actor can be recorded accurately on the plantar pressure map in a movement. It can be used to distinguish whether the gait of this actor in a movement is abnormal or not. Using a set of pressure sensors, the plantar pressure during dynamic motion is collected, and the kinetic and dynamic characteristics of gait are extracted. Then extreme learning machines (ELM) neural network cluster algorithm is used to the analyze of the plantar pressure data and identification of normal or abnormal gait is done. Based on actual clinical data, this method carries out an analysis of patients with anterior cruciate ligament deficiency, which is checked according to the doctor's clinical diagnosis results. Result shows that this method is effective.【期刊名称】《自动化学报》【年(卷),期】2017(043)003【总页数】12页(P418-429)【关键词】足底压力;步态特征;极限学习机神经网络;前交叉韧带断裂;聚类分析【作者】李晓理;黄红拾;王杰;于媛媛;敖英芳【作者单位】北京工业大学电子信息与控制工程学院北京 100124;北京大学第三医院运动医学研究所北京 100191;北京科技大学自动化学院北京 100083;北京大学第三医院运动医学研究所北京 100191;北京大学第三医院运动医学研究所北京100191【正文语种】中文人体的足部虽小,却也是一个极为重要而复杂的结构.每一步行走在足底产生的压力都是十分巨大的.众所周知,当腿足受伤后,人体的行走就会受到一定的影响,这种变化也会有肉眼可见的直观呈现;而经常为大家所忽视的是,这些异常也会导致人体每一步行走的足底压力产生相应的变化.足底压力图像是人体行走信息的一个极为重要的载体.对人体运动过程的足底压力与压强分布进行分析,可以获知运动的一系列步态特征;在此基础上进行进一步的分析可以获知人体的健康情况.当然不同损伤不同病症对于足底压力产生的作用效果不一样,对于不同的步态特征参数会有不同的影响.有些作用效果极为明显,易于辨别分析;有些作用效果轻微,分析难度很高.足底压力数据承载着重要的行走信息,近几十年来,伴随着计算机技术的普及和新型传感器技术的发展,压力测量仪器有了很大的改进甚至变革.无论是性能、质量还是准确性都有了明显提升.告别了脚印法等原始的测压方法,以压力传感器为核心的各式各样的足底压力测量仪器大量涌入;足底压力测量技术也在运动生物力学步态研究中有了日益显要的地位,成为了研究的热点.然而与足底压力测量技术飞速发展不相称的是,足底压力数据分析的研究尚不成熟.在社会高度信息化的今天,疾病的智能诊断与康复必然也是一项极具价值的研究内容.学者们的研究工作目前主要集中于人体行为对足底压力数据的影响,以及足底压力数据与步态特征的关系[1−3]等方面,将足底压力数据与特定病症进行直接连结的分析相对较少.另一方面,人体结构复杂,不同病症在足底压力上也有着复杂的表现;当前对于足底数据的分析有很大一部分仍需要依赖研究者自己直接在足压数据图上进行编辑处理,如文献[4]中步态特征的提取与足底压力数据图的标准化.当足底压力数据量较大时,就给医务工作者带来较大工作量与工作难度,因而对医生的工作强度与素养有较高要求.而控制算法的引入可以使这些问题有较为明显的改观.聚类问题本质是数学优化问题,不同的分类标准可以产生不同的聚类算法,基于神经网络的聚类算法有着极为重要的地位.这种将人工神经网络应用于聚类问题的算法主要起源自Kononen的学习向量量化(Learning vector quantization,LVQ)[5]和自适应组织特征映射 (Self-organizing feature map,SOFM)[6]以及Carpenter 等的自适应共振理论(Adaptive resonance theory,ART)[7].由于其具有自组织自适应、大规模并行、鲁棒性好等优点,目前在图像识别、故障检测等领域有着广泛的应用.传统的人工神经网络中,网络的隐层节点参数往往是通过一定的学习算法,进行多次优化并最终确定.这些学习步骤大多会使参数的训练过程占用大量的时间,从而使网络训练过程的效率得不到保证.为增强神经网络的整体性能,Huang等提出了一种新的学习算法—极限学习机(Extreme learning machines,ELM)算法[8].ELM神经网络学习过程简单,大大降低了网络参数的调节时间.近几年间该网络已经得到了广泛关注.本文基于ELM神经网络聚类算法对前交叉韧带断裂损伤进行辨识研究.通过对测试者的足底压力数据进行分析,从中提取关键的步态特征信息.并以此为特征值,应用ELM神经网络聚类算法,完成前交叉韧带断裂者与正常者之间的辨识工作.本研究可为临床医疗中该伤情的诊断或康复效果检查提供参考意见.1.1 足底压力数据的测量提取市场上可用于足底压力测量的仪器设备很多,本研究选用FootScan足底压力测量平板系统,如图1所示.该系统可用于赤足或穿鞋的走、跑等不同运动的静态或动态足底压力测量.测量平板总大小为200cm×40cm,共包含16384个压力传感器,每个压力传感器大小为7.62mm×5.02mm.该测量平板被放置在一条16米长的跑道中间,我们要求测试者裸足进行足底压力测试.为了保证测量数据的有效性,每个测试者测试前都需要先进行热身并熟悉裸足测试的基本流程.测试者可以选择自己适合的运动速度进行测试,测试中采用“左–右–左”的“三步走”方法.对于正常的运动过程而言,每个人的足部着地过程都应为足跟首先触地,所以当测试者不是足跟部先着地时该次测试无效.在测试中,测试者选择走路方式测试,系统的采样频率设置为126Hz.1.2 步态特征生物力学与运动医学都是有着较长历史的研究领域,用于标识行走信息的步态特征参数很多;然而这些步态特征可用于足底压力分析的内容却是寥寥,目前研究较多的有足行进角、足弓指数、足底压力中心轨迹线等[9].足行进角(Foot progression angle,FPA)是用来衡量人体运动过程中足部偏转行走方向程度的一个参数.生活上常提及的内八字与外八字走路方式即可用该参数进行较为直接的表示.虽然大致含义很明确,但是该参数的具体计算却尚未有统一的标准.目前文献[4]中的定义有着较为广泛的认可.在该文献中,作者先以10kPa的压强作为临界值提取一幅完整足底压力图的轮廓线,并分别在足内侧和外侧提取了前足与后足的公切线.以两条公切线的对称轴作为足部中轴线,该中轴线与行进方向的夹角被定为足行进角.目前对之进行研究的学者有很多[3].足弓指数(Arch index,AI)是用来标识人体足底几何特征的一个参数.它和人们常说的扁平足有着较为直接的对应关系.该参数在1987年由Cavanagh等[10]提出,其计算方法目前已成公认.该参数值即为将足底压力图像(此处足底压力图不包含足趾)长轴三等分后,中间区域的压力占整体足底压力图的比例.一般正常人的足弓指数范围为0.21＜AI＜0.26.足底压力中心轨迹线(Trajectory of the center of pressure,COP)[2]是标识一只脚整个着地过程足底接触面压力中心运动轨迹的参数.它同样表示着人足部着地过程整体重心的移动轨迹.我们可以在文献[4]中的标准化过程中得到该参数的计量方法,即直接获取每帧压力数据图的压力中心点,并将所有压力数据帧的压力中心点直接连成一条线即可.该参数在后文提到的前交叉韧带断裂足底压力分析中发挥着至关重要的作用.1.3 前交叉韧带断裂前交叉韧带 (Anterior cruciate ligament, ACL),又称前十字韧带,是人体膝关节的一个十分重要的稳定器.ACL断裂(ACL de fi ciency,ACLD)是很常见的一种损伤,多为高强度运动致伤.ACL断裂[11]后,伤者会出现明显的膝关节不稳现象,对膝关节功能产生严重的负面影响.未得到有效治疗会继发关节软骨和半月板损伤.文献[12]中提到,为了便于对足底压力数据进行分析,我们可以在一只脚着地的整个周期提取出5个特征时刻,如图2所示:足跟触地时刻(First foot contact,FFC)、前足触地时刻(First metatarsal contact,FMC)、前后足支撑地时刻(Forefoot fl at, FFF)、足跟离地时刻(Heel o ff,HO)和足尖离地时刻(Last foot contact,LFC).相应的整个周期又被分为4个阶段:足跟触地阶段 (Initial contact phase,ICP)、前足触地阶段(Forefoot contact phase,FFCP)、全足支撑阶段 (Foot fl at phase, FFP)和前足蹬离阶段(Forefoot push o ffphase, FFPOP).由于足膝偶联机制的存在,整个着地周期的4个阶段出现不同的表现:在足跟触地阶段和前足触地阶段,前足旋前、胫骨内旋;而在全足支撑阶段和前足蹬离阶段则出现相反的运动:前足旋后、胫骨外旋.当ACL断裂后,伤者行走的足底压力数据会有对应的变化.ELM是一种快速的单隐层神经网络训练算法.其核心为:神经网络学习过程中,我们设置好合适的隐层节点参数,输入权值可以随机赋值,只调整最外层网络输出权值.网络参数的确定过程中只需一步求逆,无需任何迭代步骤,从而大大降低了网络参数的调节时间,在理论上可以达到很快的学习速度.图3为ELM神经网络结构.2.1 ELM神经网络算法针对训练数据样本(x,t),具有L个隐层神经元的单隐层前向神经网络,Huang等[13]给出了ELM的基本算法.给定初始训练样本隐层输出函数G(a,b,x),隐层节点个数L.步骤1.随机生成隐层节点参数(ai,bi),i=1, ···,L;步骤2.计算隐层输出矩阵H;步骤 3. 计算网络输出层的权值β:β= H+T.利用Moore-Penrose广义逆可以得到H+= (HTH)−1HT,式中,T=[t1···tN]Tm×N.基本ELM算法需要数据离线获得,不能在线进行学习.此外,对于隐层神经网络节点个数L.系统并不能给出一个合理的指导算法来选择合适的隐层神经网络节点个数L,因而往往会导致网络的冗余.考虑到上述问题,Huang等[7,14]提出了几种ELM神经网络的衍生形式.传统的ELM神经网络,当面临新到来数据时,需要与之前的数据一起重新训练,这使得学习效率低下,不利于实际生产中的应用.OS-ELM算法[13]给出一个ELM算法的在线形式.OS-ELM算法相对于传统批处理式学习算法而言,当新数据到来时,其串行学习的方法不需要对以往的数据进行重新训练,只需对当前新到来的数据块进行训练.OS-ELM算法是一种简单有效的在线学习算法,不仅可以处理连续的单个数据,还可以处理连续的数据块.而无论是传统的ELM算法还是OS-ELM算法,其隐层节点神经元个数L一旦给定,便不再改变.由于没有指导性的指标机制,网络隐层节点个数的选取不当会引起ELM 过学习或欠学习.因此, Feng等[14]提出基于误差极小的ELM神经网络学习算法—EM-ELM算法.该算法能够根据需要自增加隐层节点个数,避免了网络的冗余.相对传统的ELM神经网络及其他变形形式,EM-ELM神经网络能够简化网络结构,避免网络冗余,提高网络的学习效率.2.2 基于ELM神经网络的聚类分析文献[15]将核函数融入到ELM算法中,并解释到ELM神经网络可以用于回归和分类问题的分析计算.当用之进行聚类分析时,首先需要采用上面的方法用一系列样本数据对ELM分类器进行学习训练.训练完成后可按下述思路计算新样本的类别所属. ELM分类器的输出为式中,h(x)为ELM神经网络隐层神经元的输出,它是关于输入样本x的函数.当需要解决的聚类问题只是一个二分问题时, ELM神经网络可以只用一个输出节点,ELM分类器的分类结果为当这是一个多类划分问题(聚类个数为c,c＞2)时,ELM神经网络则需要有c个输出层节点,即m=c,ELM分类器的分类结果为该方法将作为下一节足底压力数据分析的核心算法思想.3.1 足底压力数据预处理按照上文所述,采用一定的采样频率,借助足底压力测量平板可以获取测试者一次运动的足底压力数据.该数据由一组二维表表示,每张二维表即一帧压力数据,它按照实际的空间位置关系记录某一时刻压力传感器阵列各个点的压强大小(即足底压力的大小);二维表的张数取决于测试者运动的速度与我们设置的采样频率.可以根据每一帧的压力数据画出对应时刻的足底压力数据图.参见图4.本文共测取了75份实验数据.其中正常人裸足步行数据25份,左膝ACL断裂者裸足步行数据25份,右膝ACL断裂裸足步行数据25份.每份测试数据都既包含测试者左足着地数据,也包含同一测试者当次运动的右足着地数据.对于每足的完整着地周期数据由100～200帧二维压力数据组成.本文将以ACL断裂为例,对足底压力数据进行分析研究.如第1节所述,ACL断裂会对人体运动的足底压力数据产生一定的影响,该影响会对足底压力数据中心轨迹线产生较明显的影响.依据重心计算公式可以计算每帧二维压力数据表的压力中心:其中,X和Y分别表示以压力传感器为单位的坐标的两个维度,整足所占空间的左下角被记为坐标原点;不同次测试中,着脚点位置会有偏移而不同,选定的坐标原点也会有对应的变化,所以着脚点位置的不同不会影响分析.Pi表示压力测量平板每个测量点的压强大小.将一个完整着地周期的各帧压力中心连结在一起即可获得该足着地过程的足底重心移动轨迹,即COP轨迹线.据此,我们可以做出各个测试数据的COP轨迹线,并了解ACL断裂对COP参数的影响,如图5和图6所示.图5中左图为正常测试者左侧足底压力COP轨迹线图,其中直连线为25份测试数据各自的COP轨迹线,星连线为25份测试数据的平均COP轨迹线.右图为左膝ACL断裂测试者的左侧足底压力COP轨迹线图.从图5可以看出,正常测试者与ACL断裂患者的压力中心轨迹线有明显区别.这是由于ACL断裂后,受伤侧的胫骨出现异常增加的内旋、内移和前移[16],在着地或突然改变运动方向,股四头肌发生离心收缩时,就易出现膝关节不稳症状[17].在支撑相早期阶段,膝关节接近伸直,小腿所受的剪切力主要是由股四头肌产生的前向剪力,产生胫骨前向负荷较大;而且足跟触地阶段和前足触地阶段发生的足旋前和胫骨内旋[18],会加重ACL断裂后的膝关节不稳.这些原因均可能导致胫骨前移,加重ACL断裂后的膝关节紊乱.基于足膝偶联关系,这种膝关节功能紊乱有可能引起人体的代偿调整,改变动态足底压力分布,以便维持一定水平的步行能力.如图6所示,同样的特征在右侧足底压力数据也有对应的体现.图6中左图为正常测试者右侧足底压力的COP轨迹线图,右图为右膝ACL断裂测试者的右侧足底压力COP轨迹线图.由于测试过程的诸多不确定因素影响,右侧足底压力测试结果中有个别数据特征没有特别突出,但大致趋势仍可从图6中看出.为避免ACL断裂测试者的伤足数据对正常数据产生影响致使分析结果不够科学可靠,研究中所用的正常数据皆选自完全正常的测试者.虽然从图5和图6中原始特征提取所得的COP轨迹线可以看出ACL断裂对足底压力数据的影响,但是该数据尚不能直接用于聚类分析.结合生活常识,观察图5和图6可以意识到,不同测试的足型不同,每个人的脚有小有大,如果对不同人的足底压力中心坐标值直接进行对比分析,结果必然是不准确的.所以,这些足底压力数据还需要通过下式进行坐标放缩:式中,和分别表示放缩后的压力中心坐标值, LX和LY分别表示该测试者足底压力数据两个维度的宽度,即该测试者足型大小.通过此式,所有足底压力数据被放缩映射到一个30×20(此数值取自标准足型大小近似对应的传感器阵列单位模型)的矩形坐标系中.以某一COP轨迹线为例,其放缩效果如图7所示.由于每条COP轨迹线都由上百个压力中心点组成,每个点又由两个坐标值组成,如果直接用这样超两百的数据作为标识一个样本的特征,对于聚类分析无疑是巨大的工作量.为了降低运算量,需要在此基础上进行坐标点的提取.然而每位测试者的整足着地周期时间长度不同,每份测试数据的二维压力数据表帧数不同,这就意味着每条COP轨迹的压力中心点数不同,不能直接按照统一的时间标度作为坐标点提取的依据;同样由于坐标本身是特征信息的载体,也不能直接选用统一的空间标度作为坐标点提取的依据.结合第2节中的着地周期的5个特征时刻说明,研究中最终选用从整条COP轨迹线中提取对应的5个关键坐标点(10个特征值)作为该样本的特征描述.为了使X和Y坐标对分析结果的影响权重一致,同时考虑到日后可能的特征扩展,最后需要对提取的特征序列进行归一化.通过将所得特征序列中的值与全体样本中对应特征的最大值作比,将所有特征值转化到[0,1]范围内.3.2 足底压力数据仿真计算在本研究中,左右侧足底压力数据分别分析,每组分析的聚类个数为2,即正常人足底压力数据类与ACL断裂者足底压力数据类.选用基于径向基核函数的ELM神经网络作为聚类算法.径向基核函数可以表示为式中,σ是一个需要自行调控的参数,在仿真实验中可以通过调整它以使保有较为理想的训练效果,本实验中选取σ2=15.根据上一节的数据预处理,可以获得以下数据样本的特征序列.表中每个特征向量由10个特征值表示.表1为25份正常测试者左侧足底压力数据提取的特征序列,表2为左膝ACL断裂测试者的足底压力数据,各数据在表中随机排序.该数据已经过坐标放缩映射,但未进行归一化处理.在表2中可以看到较为明显的坐标特征.以左侧足底压力数据分析为例,现在已得两类50条测试样本数据.ELM神经网络是一种有监督的聚类算法,它需要先由一系列的样本数据对神经元进行训练,然后才可以进一步完成新样本的聚类辨识工作.为保证分析结果的可靠性,选用K-交叉验证法(取K=5)对数据进行分析.测试者数据被分为A, B,C,D,E五组,已标注在表中.现选取其中四组作为训练数据,剩余一组数据作为测试数据进行仿真分析.将数据带入仿真计算得最后的辨识结果如表3所示. 该仿真分析训练时间在毫秒级.对五次仿真测试的辨识结果求取平均值,最后的平均辨识准确率为76%.接下来采用同样的方法对右侧足底压力数据进行分析,首先得到正常测试者与右膝ACL断裂者的足底压力数据特征序列,如表4和表5所示.与左侧足底压力数据分析相同,我们仍将测试者数据分为A,B,C,D,E五组,取其中四组作为训练数据,剩余一组数据作为测试数据进行仿真分析.将右侧足底压力数据代入仿真计算得最后的辨识结果如表6所示.最后的右侧足底压力数据平均辨识准确率为76%.3.3 仿真结果分析观察上面的仿真辨识结果可以发现,ELM神经网络聚类算法对于ACL断裂者与正常者的足底压力数据辨识分析有着比较令人认可的准确率.但是该结果存在辨识误差,有小部分正常测试样本被辨为ACL断裂类;作为一个新领域的课题研究,其错误率在可接受的范围之内,可以作为医生临床诊断的参考意见,为之提供辅助分析.当然ELM神经网络在该问题上的应用是一项极为有价值的研究发展,但是从客观角度来讲,该问题优化改进的主要突破角度应选在特征提取部分.一个合理的特征提取方案,可以使得特征值序列对原始样本有一个最客观的描述,也可以使得不同类别样本有着更为明显的区别,这也是聚类算法有效工作的一个合理保证.本研究所选用的步态特征目前尚且较少,日后研究中需丰富特征提取内容以使其对原始样本有更加全面的描述,进而使聚类分析达到更高的准确度.本文将ELM神经网络聚类算法应用于足底压力数据分析,以COP足底压力轨迹线作为主要特征描述,完成ACL断裂与正常膝足的辨识工作.在足底压力数据分析研究暂为寥寥的现在,本文将聚类算法与之融合属于一种创新性研究.在本文的研究结果中,该聚类分析已有了值得认可的准确率,对于临床诊断有很大的参考意义;本研究有着十分乐观的研究前景,可以作为后续工作的良好基础.【相关文献】1 Taylor A J,Menz H B,Keenan A M.The in fl uence of walking speed on plantar pressure measurements using the twostep gait initiation protocol.The Foot,2004,14(1):49−552 Stolwijk N M,Duysens J,Louwerens J W K,Keijsers N L.Plantar pressure changes after long-distance walking. Medicine and Science in Sports and Exercise,2010,42(12):2264−22723 Lai Y C,Lin H S,Pan H F,Chang W N,Hsu C J,Renn J H.Impact of foot progression angle on the distribution of plantar pressure in normal children.Clinical Biomechanics,2014,29(2):196−2004 Keijsers N L W,Stolwijk N M,Nienhuis B,Duysens J.A new method to normalize plantar pressure measurements for foot size and foot progression angle.Journal of Biomechanics,2009,42(1):87−905 Kohonen T.The self-organizing map.Proceedings of the IEEE,1990,78(9):1464−14806 Kohonen T.Self-Organizing Maps.New York:Springer-Verlag,2001.7 Carpenter G A,Grossberg S,Rosen D B.Fuzzy ART:fast stable learning and categorization of analog patterns by an adaptive resonance system.Neural Networks 1991,4(06):759−7718 Huang G B,Wang D H,Lan Y.Extreme learning machines: a survey.International Journal of Machine Learning and Cybernetics,2011,2(2):107−1229 Stolwijk N M,Duysens J,Louwerens J W,van de Ven Y H,Keijsers N L.Flat feet,happy feet?Comparison of the dynamic plantar pressure distribution and static medial foot geometry between Malawian and Dutch adults.PLoS One, 2013,8(2):e5720910 Cavanagh P R,Rodgers M M.The arch index:a useful measure from footprints.Journal of Biomechanics,1987,20(5): 547−55111 Andriacchi T P,Dyrby C O.Interactions between kinematics and loading during walking for the normal and ACL de ficient knee.Journal of Biomechanics,2005,38(2):293−29812 Huang Hong-Shi,Yu Yuan-Yuan,Guo Qin-Wei,Xu Yan, Ao Ying-Fang.Temporal characteristics of plantar pressure in patients with anterior cruciate ligament rupture during walking.Chinese Journal of Sports Medicine,2015,34(3): 271−274 (黄红拾,于媛媛,郭秦炜,徐雁,敖英芳.前交叉韧带断裂患者步行时足底压力时间特征.中国运动医学杂志,2015,34(3):271−274)13 Huang G B,Chen Y Q,Babri H A.Classi fi cation ability of single hidden layer feedforward neural networks.IEEE Transactions on Neural Networks,2000,11(3):799−80114 Feng G R,Huang G B,Lin Q P,Gay R.Error minimized extreme learning machine with growth of hidden nodes and incremental learning.IEEE Transactions on Neural Networks, 2009,20(8):1352−135715 Huang G B,Zhou H M,Ding X J,Zhang R.Extreme learning machine for regression and multiclass classi fi cation. IEEE Transactions on Systems,Man,and Cybernetics,PartB(Cybernetics),2012,42(2):513−52916 DeFrate L E,Papannagari R,Gill T J,Moses J M,Pathare N P,Li G A.The 6 degrees of。
极限学习机在预测和优化中的应用极限学习机是一种新型的人工神经网络算法，它能够快速训练出高度精确的预测模型，是目前比较流行的机器学习算法之一。
由于极限学习机在预测和优化领域中的独特性，它广泛地被应用于各种领域，如金融预测、医药研究、图像识别、机器人等。
本文将介绍极限学习机在预测和优化中的应用，并探讨它的优缺点。
一、极限学习机简介极限学习机（Extreme Learning Machine，ELM）是一种基于单层前向神经网络结构的机器学习算法。
它主要有两个步骤：首先随机生成神经元的权值和偏置，然后通过激活函数将输入值映射到神经元的输出值，最后将输出值作为预测结果。
相比于传统人工神经网络模型，ELM具有快速收敛、低存储和计算成本等优势。
二、ELM在预测中的应用1. 金融预测金融预测一直是经济学家和投资者关注的重点。
通过对历史数据的分析，可以预测未来的市场趋势和股价涨跌。
ELM在金融预测领域已经被广泛应用。
例如，通过ELM可以预测股票的收盘价、期货的价格等等。
ELM在金融预测领域的应用，有效地提高了数据的处理效率和预测精度，帮助投资者做出更稳健的投资决策。
2. 医药研究医药研究是一个长期且高风险的过程。
通过对大量的药物试验数据进行分析，可以挖掘出药物的性质和作用。
ELM在药物研究中的应用，可以有效地预测药物的活性和毒性，并优化药物设计过程。
例如，通过ELM可以预测药物对人类细胞的毒性，从而降低药品的副作用。
三、ELM在优化中的应用1. 图像处理图像处理是一个需要大量计算的领域。
通过ELM可以有效地处理和优化图像，减少计算时间和能源消耗。
例如，通过ELM可以快速地识别图像中的物体，从而更好地理解图像内容。
2. 机器人控制机器人控制需要高度精准的指令和反馈，以实时控制机器人的运动。
通过ELM可以实现机器人的自主控制和优化，避免机器人的运动出现偏差和错误。
四、ELM的优缺点ELM相比于传统的神经网络算法具有以下优点：1. ELM可以在一个较短的时间内进行训练，而不需要进行大量的迭代，可以快速地处理海量数据。
基于极限学习机的数据分类方法研究数据分类作为一种重要的数据挖掘技术，已经被广泛应用于各个领域。
而在数据分类中，分类模型的选择将直接关系到分类的准确性和效率。
在此基础上，本文将介绍一种新颖的基于极限学习机的数据分类方法，探讨其理论原理和应用前景。
一、背景概述在数据分类中，传统的机器学习算法如SVM、KNN等已经被逐渐淘汰。
而以神经网络为代表的深度学习算法，虽然在分类准确性上表现出色，但其训练过程非常复杂，需要大量的计算资源和时间。
因此，极限学习机（ELM）作为一种新型的快速学习方法，备受研究者的关注。
ELM是由黄广省博士于2006年提出的一种单隐层前馈神经网络模型。
其主要特点是采用随机初始化神经元的权重和偏置，然后直接获取最小二乘解以避免传统神经网络中的时间和空间消耗问题。
由于其快速的学习速度和优异的性能，ELM 在图像识别、文本分类、生物医药等领域得到了广泛的应用。
二、极限学习机的基本理论1. ELM的网络结构ELM网络由三个层组成，分别为输入层、隐层和输出层。
其中，输入层接收原始数据，隐层负责提取特征向量，输出层则进行分类。
2. ELM的优化目标ELM通过最小化随机初始化的权重和偏置的最小二乘解来优化模型，以达到分类正确率最高的效果。
3. ELM的分类方法ELM将输入数据映射到隐层，从而得到特征向量，然后再将特征向量与权重矩阵进行乘积运算得到输出结果。
最后，输出结果经过sigmoid函数处理，得到最终的分类结果。
三、基于ELM的数据分类方法基于ELM的数据分类方法包括以下几个步骤：1. 数据预处理数据预处理是分类的前置工作，主要包括数据清洗、降维和标准化等操作。
其中，数据清洗可以去除数据中的异常值和缺失值，降维可以减少特征向量的维度，标准化可以使数据的分布更加均匀。
2. 配置ELM模型ELM模型的配置包括隐层神经元的选择、激活函数的选择等。
其中，隐层神经元的选择需要根据实际情况确定，通常需要进行交叉验证来确定最优的隐层神经元数量。
大连大学论文题目：一种新型学习算法极限学习机当前研究*名：***学科、专业：计算机科学与技术年级： 2015级日期： 2016年7月摘要机器学习是当今大数据时代的核心研究方向，机器学习的研究成果被广泛应用到模式识别、计算机视觉、数据挖掘、控制论等领域当中，并渗透到人们日常生活的方方面面当中。
而在机器学习的研究当中，预测、分类的研究占据着重要的地位，预测、分类模型的性能往往是一个应用成果与否的关键。
数据挖掘，如支持向量机（SVM)、极限学习机（ELM)等，的潜力已经成为了当今机器学习的主流研究方向。
传统前馈神经网络采用梯度下降的迭代算法去调整权重参数，具有明显的缺陷；（1）学习速度缓慢，从而计算时间代价增大；（2）学习率难以确定且易陷入局部最小值；（3）易出现过度训练，引起泛化性能下降。
这些缺点制约迭代算法的前馈神经网络的广泛应用。
针对这些问题，近几年来，许多学者研究极限学习(ELM)算法，该算法仅通过一步计算即可解析求出学习网络的输出权值，同迭代算法相比，极限学习机(ELM)算法提高了神经网络的学习速度。
关键词：神经网络；极限学习机；分类；回归；数据挖掘目录摘要 (1)目录 (2)1. ELM 算法概述 (3)3.当前ELM的研究状况 (6)4.几种ELM结构选择方式的对比 (8)总结 (11)参考文献 (12)1. ELM 算法概述虽然神经网络研究经过五十多年的发展，已经取得了诸多显着的理论成果，但由于大规模系统中大数据量，高维度的数据中包含的高不确定性，都使得神经网络辨识速度缓慢而难于满足实际要求。
例如在数据挖掘、智能控制领域，使用神经网络控制方法虽然可以辨识高度复杂和非线性系统，解决被控对象复杂和高不确定时的建模问题，但神经网络的实时性是非常差，学习时间过久。
此外，对于大中型数据集的系统辨识和分类、回归问题，传统神经网络方法如BP网络、RBF网络、SVM算法等不仅需要大量的训练时间，还会出现“过饱和”、“假饱和”和最优化隐含层节点数目难以确定等各种问题。
2004年南洋理工大学Huang G.B.教授等人提出了ELM算法。
极限学习机（ELM Extreme Learning Machine)是一种快速的单隐含层神经网络（SLFN）[1,2]。
ELM神经网络和BP神经网络、RBF神经网络一样，都是SLFN(single-hidden layer feed forward neural network)。
近几年来相继提出了基于极限学习的多种神经网络学习算法，将神经网络研究又推进了一步。
在传统的人工神经网络中，网络的隐含层节点参数是通过一定的迭代算法进行多次优化并最终确定的。
这些迭代步骤往往会使参数的训练过程占用大量的时间，并且，例如BP算法很容易产生局部最优解，从而使网络训练过程的效率得不到保证，同时迭代耗时比较多。
图1.1为增强构建网络的整体性能，ELM神经网络的隐含层到输出层的之间的连接不需要迭代，该算法的特点是在网络参数的确定过程中，隐含层节点参数随机选取，在训练过程中无需调节，只需要设置隐含层神经元的个数，便可以获得唯一的最优解;而网络的外权（即输出权值）是通过最小化平方损失函数得到的最小二乘解，最终化归成求解一个矩阵的 Moore-Penrose 广义逆[3]。
这样网络参数的确定过程中无需任何迭代步骤，从而大大降低了网络参数的调节时间。
与传统的训练方法相比，该方法具有学习速度快优点，可以采用最小二乘原理求出[4]。
};,....,{X 21n x x x =为数输入数据},...,{21n y y y Y =为输出数据，i i b a ,表示第i 个隐含层的参数，）（i i i x b a ,,G 为第i 个隐含层的启动函数， i β是第i 隐含层都输出层的连接权值，针对于训练集（X ，Y ）具有以下关系；∑==L i j i i X b a G f 1),,()X (βi e 是训练集中第i 样本误差即;)(i i i y x f e -=T Y T =；）（∑∑∑===-==n j i L i j i i i n j j L y x b a G e 11121|),,(|,....,ββββϕ;B ),,(.......),,(G :::),,(.......),,(H 21111111⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=⨯L L N n L L n L L x b a G x b a x b a G x b a G βββ：，令；则可以表示成 T HB = T H +∧=B ELM 算法:① Input:给定训练样本集{X ，Y}层输出函数),,(i i i x b a G 和隐含层节点个数L.② 随机生成隐含层的参数i i b a ,；③ 计算隐含层输出矩阵H ;④ Output:网络外权T +=H B ；其中,加法型隐含层节点的单隐含层神经网络的启动函数可以选作任意有界非常数分段连续函数;而对于RBF 型隐含层节点的单隐含层神经网络,启动函数可以选作任意分段连续可积函数。
数据压缩、特征学习、聚类、回归和分类是机器学习和机器智能的基础。
极(2.1)(2.2) (2.3)限学习机的目标实现这五种基本学习操作[5]。
2.2图近年来，极限学习机（Extreme Learning Machine, ELM）作为一种新兴的机器学习方法，在全世界许多研究者的不断研究下，已经成为了一个热门研究方向。
极限学习机主要有以下四个特点：（1）极限学习理论探讨了神经网络、机器学习领域悬而从未决的问题：在学习过程中隐含层节点数目，神经元之间的权值是否需要调整。
与传统神经网络有所不同，在理论父母已经证明，对于ELM神经网络和学习算法，隐含层节点，神经元不需要迭代式的调整，而早期工作并没有提供随机隐含层节点前馈神经网络的理论基础。
（2）极限学习机的相同构架可用作特征学习，聚类，回归和（二类/多类）分类问题。
（3）相比于极限学习机，支持向量机（SVM）和最小二乘支持向量机（LS ‐SVM）趋向于得到次优解。
支持向量机和最小二乘支持向量机也没考虑多层前馈网络中隐含层的特征表征[6]。
3.当前ELM的研究状况我们知道神经网络的学习速度是至关重要的，但目前的情况远远小于我们要求的，多年来，它都是其应用的一个瓶颈，主要有两个原因：（1）基于梯度的慢的学习算法，（2）神经网络中的参数需要迭代调整。
比如说BP。
为此，黄广斌等2004 年针对单隐含层前馈神经网络（SLFNs）提出了ELM 算法，并在2006 年对ELM 做了进一步研究，给出了部分理论证明及应用[1,2]。
但是该算法同时也有一些缺点，主要是网络结构的确定没有启发性算法，只能随机指定隐含结点个数，隐含层结点个数的多少直接影响了分类器最后的精度和性能[7]，此外尽管随机指定隐含层权值和偏置使得网络的学习速度很快，但也同时使得该网络不稳定，两次独立的实验结果可能会相差较大，网络输出波动较大。
另外对于该算法中随机指定权值和偏置能否使网络具有一致逼近能力有待进一步证明。
针对ELM 的这些优点和缺点，近年来众多专家学者投身于其研究中研究方向如下：(1)随机生成参数的优化：由于隐含层节点参数随机选取,从而使得隐含层不具有调节能，,因此，隐含层元在构建的单隐含层网络中不具有多大的作用。
在不影响ELM算法学习能力和预测能力的情况之下，对其隐含层进行优化显得更加重要。
在2010年Huang G. B.和Lan Y.等提出CS_ELM[8]和TS_ELM[9]，用不同的方法对随机生成的隐含层节点参数进行筛选，淘汰显着性较弱的隐含层,来实现对已得ELM算法的优化。
2011年, Wang Y. G., Cao F. L.和Yuan Y. B.提出了对角占优的方法(EELM) [10]来优化隐含层节点参数，因此保证了隐含层输出矩阵的非奇异性，提高了ELM算法的稳定性。
Rong H. J.等提出了P-ELM[11]，针对分类问题的ELM算法，利用统计学原理，裁剪对网络分类效果影响较弱的隐含层来实现网络结构的优[7]。
(2)最优外权的求解：由于ELM的外权求解过程中要用到求解隐含层输出矩阵的Moore-Penrose[3]广义逆,而隐含层矩阵奇异和接近奇异的情况不能得到有效的避免,为提高所构建ELM算法的学习能力,避免噪音带来的广义扰动所产生的偏差,Toh K. A.等均借助添加正则项的方法优化了最优外权的选取[7]。
(3)最优隐含层节点个数的选取:针对ELM算法需要较多的隐含层节点个数来弥补隐含层节点参数随机选取带来的缺陷这一问题, Huang G. B.等在2006年和2008年先后提出了I-ELM[13]和EI-ELM[14]来优化随机选取的隐含层节点参数,从而大为简化了ELM算法的复杂程度,提高了其优化效率.然而由上述算法过程可知,最终确定的外权并不能保证是相应单隐含层的最优外权.针对该问题, Huang G. B.等在2009年提出EM-ELM[15]实现了在增加隐含层元的过程中,求得相应单隐含层的最优外权,同时又避免了对上一级隐含层输出矩阵的重复计算。
(4)ELM核函数:在原始的ELM算法中, Huang G. B.等在2004年提出了训练对应于常加法型隐含层节点网络[1]以及径向基型隐含层节点的单隐含层网络的ELM算法[16]。
结合支持向量机的学习原理Huang G. B.等又在2010提出了ELMKernel,利用该方法[17]所构建的ELM算法较Liu Q.[17]和Frenay B[18].所提出的Extreme SVMs有着更少的约束条件和更好的学习能力。
(5)在线ELM算法:在很多情况下,数据的采集往往是一个在线过程,也就是说,所有的样本数据不能一次性的得到,而是每隔一定的时间得到一批数据.由于样本不能同时得到,这样就使得数据的训练过程变得非常复杂.针对这一情况,Liang N. Y.和Huang G. B.提出了处理在线数据的OS-ELM[19]，该方法有效地将新旧样本的训练衔接在一起,同时避免了对已有数据的多次重复训练。
4.几种ELM 结构选择方式的对比在学习了有关Extreme Learning Machine (ELM) 的一些基础的及其扩展的论文，对ELM 有了更深入的了解。
由于ELM 中隐藏层和输出层的权重分别是随机和分析得到的，唯一不能确定的（需要人为指定的）是隐节点的个数，也就是网络结构的大小。
本文对当前已有的有关ELM 的结构选择方法进行了简单的介绍和比较[20]。
在神经网络的研究中，如何确定网络结构一直是一个公开问题。
在模式识别中，我们都知道如果我们设计的网络太小，则它不能够很好的拟合训练数据，这样的网络，我们肯定也不希望它能够很好的拟合未见数据。
