基于深度信念网络的WSN链路质量预测

一种基于BP神经网络的WSNs链路质量预测方法刘琳岚;樊佑磊;舒坚;臧超【期刊名称】《计算机研究与发展》【年(卷),期】2011(048)0z2【摘要】Link quality prediction can provide the basis for the upper layer protocol of wireless sensor networks (WSNs) choosing the path to transport data so as to improve the data transfer rate and save the energy. The prediction method of link quality of WSNs based on BP neural network is proposed which uses BP neural network to predict the sequence of PRR. It includes the setting of prediction windows and the design of BP neural network. The results show that the link quality prediction based on BP neural network has higher prediction accuracy compared with EWMA alone.%链路质量预测可以为无线传感器网络上层协议选择路径进行数据传输提供依据从而达到提高数据传输率、节省能量的目的.提出一种基于BP人工神经网络的WSNs链路质量预测方法,使用BP神经网络对PRR的序列进行预测,包括预测窗口的设置和BP神经网络的设计两个阶段.实验结果表明,基于BP神经网络的链路质量预测方法与单独使用EWMA方法相比具有预测精度高的优点.【总页数】4页(P212-215)【作者】刘琳岚;樊佑磊;舒坚;臧超【作者单位】南昌航空大学物联网技术研究所,南昌330063;南昌航空大学信息工程学院,南昌330063;南昌航空大学物联网技术研究所,南昌330063;南昌航空大学软件学院,南昌330063;南昌航空大学物联网技术研究所,南昌330063;南昌航空大学软件学院,南昌330063;南昌航空大学物联网技术研究所,南昌330063;南昌航空大学信息工程学院,南昌330063【正文语种】中文【中图分类】TP309【相关文献】1.一种基于Python和BP神经网络的股票预测方法 [J], 曾武序;钱文彬;王映龙;杨文姬;柳军2.一种基于ARIMA的无线传感器网络链路质量预测方法 [J], 胡莘;程良伦3.一种基于BP神经网络的地区用电量预测方法研究 [J], 章熙; 郭翔; 万会江; 吴佩泽; 陈鹏; 陈佳捷4.一种基于BP神经网络的电网负荷预测方法的设计 [J], 王开林; 胡昊; 陈靖; 郭阳; 王水英; 袁辉5.一种基于BP神经网络算法的旅游人数预测方法 [J], 张峰; 柳炳祥; 张月因版权原因，仅展示原文概要，查看原文内容请购买。

第47卷第1期自动化学报Vol.47,No.1 2021年1月ACTA AUTOMATICA SINICA January,2021深度信念网络研究现状与展望王功明1,2乔俊飞1,2关丽娜1贾庆山3摘要深度信念网络(Deep belief network,DBN)是一种基于深度学习的生成模型,克服了传统梯度类学习算法在处理深层结构所面临的梯度消失问题,近几年来已成为深度学习领域的研究热点之一.基于分阶段学习的思想,人们设计了不同结构和学习算法的深度信念网络模型.本文在回顾总结深度信念网络的研究现状基础上,给出了其发展趋势.首先,给出深度信念网络的基本模型结构以及其标准的学习框架,并分析了深度信念网络与其他深度结构的关系与区别;其次,回顾总结深度信念网络研究现状,基于标准模型分析不同深度信念网络结构的性能;第三,给出深度信念网络的不同无监督预训练和有监督调优算法,并分析其性能;最后,给出深度信念网络今后的发展趋势以及未来值得研究的方向.关键词深度信念网络,深度学习,无监督预训练,有监督调优,结构设计引用格式王功明,乔俊飞,关丽娜,贾庆山.深度信念网络研究现状与展望.自动化学报,2021,47(1):35−49DOI10.16383/j.aas.c190102Review and Prospect on Deep Belief NetworkWANG Gong-Ming1,2QIAO Jun-Fei1,2GUAN Li-Na1JIA Qing-Shan3Abstract Deep belief network(DBN)is a generative model based on deep learning and overcomes vanishing gradient problem resulted from traditional gradient-based algorithm when it comes to deep architecture,and it is one of hot issues in thefield of deep learning.Based on the idea of learning in stages,DBN models with different structures and learning algorithms have been proposed.The aim of this paper is to summarize the current research on DBN and gives some views about its development trends in the future.First,the basic structure and standard learning framework of DBN are introduced,the relationship and difference between DBN and other deep structures are analyzed.Second,the current research on DBN is given,the performances of DBN with different structures are analyzed based on standard the model. Thirdly,the different unsupervised pre-training and supervisedfine-tuning of DBN are given,and their performances are also analyzed.Finally,some views about DBN s development trends in the future are presented.Key words Deep belief network(DBN),deep learning,unsupervised pre-training,supervisedfine-tuning,structure designCitation Wang Gong-Ming,Qiao Jun-Fei,Guan Li-Na,Jia Qing-Shan.Review and prospect on deep belief network. Acta Automatica Sinica,2021,47(1):35−49人工神经网络是计算机模拟人类大脑处理信息的一种运算模式,即通过训练输入和输出数据,使网络得到关于输入和输出的非线性映射关系,从而在未来的任务中进行自主计算.因此,人工神经网络是计算机科学、认知科学、脑科学和数学的交叉学科,其在模式识别、智能控制、多种信号处理、优化设计等领域得到较大的发展,并已在信息产业中得收稿日期2019-02-25录用日期2019-05-19Manuscript received February25,2019;accepted May19,2019国家自然科学基金(61533002)资助Supported by National Natural Science Foundation of China (61533002)本文责任编委张敏灵Recommended by Associate Editor ZHANG Min-Ling1.北京工业大学信息学部北京1001242.计算智能与智能系统北京市重点实验室北京1001243.清华大学自动化系智能与网络化系统研究中心北京1000841.Faculty of Information Technology,Beijing University of Technology,Beijing1001242.Beijing Key Laboratory of Computational Intelligence and Intelligent System,Beijing 1001243.Center for Intelligent and Networked Systems,De-partment of Automation,Tsinghua University,Beijing100084到了成功的应用[1−5].20世纪八十年代末期,用于人工神经网络的反向传播算法(Back-propagation, BP)的发明,给机器学习带来了希望,掀起了基于统计模型的机器学习热潮.这个时候的人工神经网络虽然也被称作多层感知器(Multi-layer perceptron, MLP),但实际上是一种只含有一个隐含层的浅层人工神经网络模型.进入21世纪以后,随着互联网的高速发展,对大数据的智能化分析和预测提出了巨大需求.由于浅层网络往往采用梯度类学习算法,人为经验因素较多,缺乏自主学习过程且对初始参数的设定依赖性较强[6−8],这限制了神经网络的特征自动提取能力,使得其在处理大规模不确定性数据时往往误差较大.生物神经系统学研究结果表明,人类的智能主要取决于大脑皮层,而大脑皮层是一个大规模互连的深层生物神经网络[9−11],主要认知方式是无监督自主学习与推理.探求大脑的组织结构和运行机制,从模仿人脑深层学习机制的角度出发,36自动化学报47卷寻求新的信息处理方法是当前人工智能领域发展的优先方向.然而,由于理论分析的难度,加上训练方法需要很多经验和技巧,所以这个时期深层人工神经网络相对较为沉寂.2006年,加拿大多伦多大学教授、机器学习领域泰斗―Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《Science》上发表了一篇文章,开启了深度学习(Deep learning,DL)在学术界和工业界的浪潮[12−14].主要思想是利用“逐层初始化(Layer-wise pre-training)”来完成自主学习与推理过程,从而有效克服深层结构的训练困难.近几年来,深度学习凭借其模拟人脑分层学习和自主推理的认知机理逐渐成为研究热点[15],同时也带动了人工神经网络领域的进一步发展.由于深度学习能够在大量数据任务中快速稳定地计算,这推动了云计算、大数据科学的发展,如今已经在自然语义理解、模式识别问题、机器人学和数据挖掘等方面得到了较好的应用[16−19],甚至在机器情感分析方面也开始被研究,使得该领域朝着图灵机的实现又迈进了一大步.2016年,利用深度学习技术训练过的阿尔法围棋(AlphaGo)击败人类围棋冠军,引起了学术界和科技界的巨大轰动,并激起了人们对深度学习研究的再一次热潮.目前,深度信念网络(Deep belief network, DBN)是深度学习的主要实现方法之一.DBN是具有若干潜变量层的生成模型.潜变量通常是二值的,而可见单元可以是二值或实数[20−21].尽管构造连接比较稀疏的DBN是可能的,但在一般的模型中,每层的每个单元连接到每个相邻层中的每个单元,而层内没有连接.DBN可以通过若干个受限玻尔兹曼机(Restricted Boltzmann machine,RBM)的顺序堆叠来构造,其学习过程分为两个阶段,即首先对RBM进行逐层无监督预训练,再用反向传播算法对整个网络进行有监督的调优.DBN的这种分阶段训练方法使其在学习深层结构上取得了一定的成功,并在图像处理、模式识别、系统建模和预测等任务中得到了关注和研究[20,22−27].近年来,众多学者在现有DBN结构和学习算法的基础上进行了拓展与改进,并提出了多种类型的DBN变种模型.目前,比较常见的DBN变种模型主要有稀疏DBN[28−29]、自组织DBN[26]、增量式DBN[27]、递归DBN[30].与传统的DBN相比,改进型的DBN分别在各自的聚焦点上取得了部分性能上的提升.但是,在结构自主确定方面,DBN仍然存在一些难以解决的瓶颈问题,相关的研究工作还处于刚刚起步状态,在理论、技术以及应用层面上还有很大的提升空间,在未来一段时间内仍将是深度学习研究中比较热门的研究方向之一.1深度信念网络基本模型与概述深度信念网络是为了简化逻辑斯蒂信念网络的推理困难而提出的一种深度模型,也是目前深度学习最主要的实现方式之一.DBN可以通过受限玻尔兹曼机的顺序堆叠来构造,其学习过程分为两个阶段,首先是对RBM进行逐层无监督预训练,然后再用反向传播算法对整个网络进行有监督的调优.本节重点介绍DBN的无监督学习.RBM和DBN的结构分别如图1和图2所示.图1RBM结构图Fig.1Structure of RBM图2DBN结构图Fig.2Structure of DBN给定模型参数θ=(w R,b v,b h),那么可视层和隐含层的联合概率分布P(v,h;θ)用能量函数E(v,h;θ)定义为P(v,h;θ)=1Ze−E(v,h;θ)(1)其中,Z=v,he−E(v,h;θ)是归一化因子,模型关于1期王功明等:深度信念网络研究现状与展望37 v的边缘分布为P(v;θ)=1Zhe−E(v,h;θ)(2)对于一个伯努利(可视层)分布–伯努利(隐含层)分布的RBM,能量函数定义为E(v,h;θ)=−mi=1b vi v i−nj=1b hj h j−m i=1nj=1v i w Rijh j(3)其中,w Rij是RBM的连接权值,b vi和b hj分别表示可视层节点和隐含层节点的偏置.那么条件概率分布可表示为Ph j=1v,θ=σb hj+mi=1v i w Rij(4) Pv i=1h,θ=σb vi+nj=1w Rijh j(5)式中,σ(·)是一个Sigmoid函数.由于可视层和隐含层是伯努利的二值状态,所以判断它们二值概率取值的标准常通过设定一个阈值来实现[31].通过计算对数似然函数log P(v;θ)的梯度,可以得到RBM权值更新公式为w Rij (τ+1)=w Rij(τ)+η∆w Rij(6)∆w Rij=E data(v i h j)−E model(v i h j)(7)式中,τ和η分别表示RBM的迭代次数和学习率, E data(v i h j)和E model(v i h j)分别表示训练集中观测数据的期望和模型所确定分布上的期望[32].特别地, RBM有一个有趣的性质,即当利用基于最大似然的学习规则训练时,连接两个神经元的特定权重的更新仅取决于这两个神经元在不同分布下收集的统计信息:P model(v)和ˆP data(h/v).网络的其余部分参与塑造这些统计信息,但是权值参数可以在完全不知道网络其余部分或这些统计信息如何产生的情况下更新.这意味着学习规则是“局部”的,这使得RBM的学习似乎在某种程度上是符合生物学机理.我们可以设想每个神经元都是RBM中随机变量的情况,那么连接两个随机变量的轴突和树突只能通过观察与它们物理上实际接触细胞的激发模式来学习.特别地,经常发生某种强烈的脉冲激励时的两个神经元之间的连接会被加强,这就是Hebb学习规则的核心思想.Hebb学习规则给出了生理学与心理学之间的内在联系,该规则至今仍被许多神经网络学习算法所使用.作为一种深层网络模型,DBN兼具生成模型和判别模型的双重属性.因为DBN的预训练过程主要用来表达数据的高阶相关性或者描述数据的联合统计分布,具有生成模型的特点;DBN有监督调优过程通常用来分类数据的内在模式或者描述数据的后验分布,具有判别模型的特点.这里的“生成”是指从隐含层到输入数据的的重构过程,而“判别”是指从输入数据到隐含层的归约过程.同时,作为一种生成模型,生成式对抗网络(Generative adversarial network,GAN)近年来同样受到很大的关注并进行了广泛的应用[32−33].GAN实质上属于一种基于深度学习的混合模型,其通过框架中生成模型和判别模型的互相博弈学习产生相当好的输出.从数据生成角度看,GAN的数据生成过程是在有监督信号的反馈作用下完成的.而DBN作为一种生成模型时,其监督信号是数据本身,即通过对原始数据的重构完成网络的训练,从而具有生成能力.具体应用中, DBN常作为GAN的生成模型,与判别模型进行对抗学习[32].DBN学习模型的优点是通过组合许多RBM,把上一层RBM的特征激励作为下一层的训练数据,可以高效地对隐含层进行学习.递归神经网络(Recurrent neural networks,RNN),它的深度甚至可以达到和输入数据序列的长度一致.在无监督学习模式下,RNN被用来根据先前的数据样本预测未来的数据序列,并且学习过程中没有用到类别信息.然而,RNN在近几年才得以广泛使用,部分原因是由于在训练中遇到的梯度弥散或梯度爆炸问题,它很难通过训练来捕捉长时相关性.随着在Hessian-free优化研究方面的进展,在一定程度上解决了这个问题,该方法使用了近似二阶信息或随机曲率估计.另外,RNN没有基于无监督预训练的参数初始化过程,这也是其与DBN在训练原理上的最大区别.卷积神经网络(Convolutional neural net-works,CNN)是另一种具有判别性能的深度学习网络,它的每个模块都是由卷积层(Convolutional layer)和池化层(Pooling layer)组成.卷积层共享权值,池化层对卷积层的输出进行降采样,减少了下一层的数据量.研究发现,CNN的应用主要集中于计算机视觉或者图像识别领域,并且效果较为出色[34].而DBN的应用则广泛分布于计算机视觉和数据建模及预测等领域.另一种与DBN相似的深度结构基本学习模型是自编码器(Auto encoder),自编码器主要用于完成数据转换的学习任务,在本质上是一种无监督学习的非线性特征提取模型.自编38自动化学报47卷码器与DBN也有着重要的区别,这种区别的核心在于:自编码器希望通过非线性变换找到输入数据的特征表示,它是某种确定论性的模型;而DBN的训练则是围绕概率分布进行的,它通过输入数据的概率分布(能量函数)来提取高层表示,是某种概率论性的模型.另外,DBN具有较多的超参数,可分为两类:一类是训练参数(如学习率和动量项);另一类是定义网络结构的参数(如网络层数和每层神经元数).前者的自动调优属于超参数优化(Hyperparame-ter optimization,HO)的范畴,而后者的自动调优一般称为神经网络架构搜索(Neural architecture search,NAS).严格地讲,NAS属于DBN结构设计的方法之一,目前DBN结构设计大多数通过提前赋值来完成,即在网络训练过程中结构不变,只有训练参数在不断调整.本文即将介绍的两种变结构设计策略(自组织结构和增量式结构)对固定结构来讲是一种突破,但是与NAS又存在区别,主要体现在: NAS先定义搜索空间,然后通过搜索策略找出候选网络结构,对它们进行评估,根据反馈进行下一轮的搜索;而变结构策略只要是以某种触发机制或误差导向来实时调整结构规模.2深度信念网络结构分析与性能比较2.1固定结构深度信念网络目前最为常见的DBN应用形式是定结构模型,即在训练过程中DBN结构固定不变.尽管现在与其他无监督或生成学习算法相比,固定结构的DBN 大多已经失去了青睐并很少使用,但它们在深度学习历史中的重要作用仍应该得到承认[20].定结构DBN在处理实际复杂数据时,无监督预训练和反向传播调优算法均具有提升和改进的空间,主要表现在预训练耗时和调优精度两方面.同时,定结构DBN主要是通过足够的经验和充足的数据来确定其结构,且其结构一旦确定将不再调整,这导致定结构DBN无法满足待处理数据的多样性变化要求.众所周知,DBN具有很强的计算和信息处理能力,但是它对于模式识别、感知以及在复杂环境中作决策等问题的处理能力却远不如人.神经生理学研究结果表明,人的智能主要取决于大脑皮层,而大脑皮层是一个大规模互连的生物深度神经网络.在处理不同信息时,生物深度神经网络会启用不同的神经元连接结构,也就是说,其采用的是一种变结构的信息处理机制[35].而在实际过程中,定结构DBN只是通过改变权值参数来适应任务的变化,但如何构造一种DBN使其结构在动态调整的同时不断调整权值参数,是今后DBN发展的趋势,也是一个开放且尚未解决的问题[36].2.2稀疏深度信念网络研究发现,现有的DBN模型在学习过程中内部神经元之间的权值连接均是一种密集表述[37−38].然而,在深度学习算法中,一个主要的目的是独立地表述数据的差异[36],密集表述容易导致网络不稳定,因为任何输入上的扰动都会引起中间隐含层特征表述向量发生变化,甚至是巨变[38].稀疏表述就是用较少的基本信号的线性组合来表述大部分或者全部的原始信号.利用稀疏表述对DBN进行稀疏连接训练,可以有效地降低输入扰动对中间隐含层特征表述向量的影响[39].无监督学习过程中的稀疏表述原理如图3所示.图3稀疏表述原理图Fig.3Sparse representation schemeLee等[40]通过在RBM训练过程中引入一个正则化惩罚项来降低密集表述的程度.具体来讲,首先设置一个隐含层神经元的期望激活强度值,然后惩罚隐含层神经元实际激活强度与期望激活强度之间的偏差.给定m组训练数据集v(1),...,v(m),其实现稀疏表述的优化问题为Maximizeθlog P(v)+λR sparse1(8) R sparse1=−µ−1nnj=1Eh jv2(9)其中,λ是正则化常数,µ是控制着第j个隐含层神经元稀疏度的期望激活强度值,通过这种提前给定期望激活阈值的方法可以实现一定意义上的稀疏表述.为了使所有隐含层神经元能够以一定的概率或者波动性逼近期望激活强度值,Keyvanrad等[41]通过引入正态函数的集中分布思想来控制网络的稀疏度.根据这种思想,对应于稀疏表述优化问题的正则化项可表示为R sparse2=nj=11σ√2πe−(h j−µ)22σ2(10)其中,σ是控制稀疏强度波动性的方差.1期王功明等:深度信念网络研究现状与展望39同时,应该注意到参数的设置对网络学习效果的影响是显著的[38],如果设置不当,要实现较高精度的建模并学习到正确的特征信息往往比较困难.因此上述稀疏表述方法虽然在网络性能的鲁棒性方面取得一定程度的效果,但对无监督学习的迭代次数和神经元数量等有一定依赖.2.3自组织深度信念网络目前DBN在应用中存在一个重要问题,即针对不同的问题,DBN需要提前设置网络深度,然后利用经验法比较各种不同深度的精度和训练效果.这极大地制约了网络解决问题时的效率,使DBN的进一步推广与应用受到很大限制.实际上,著名深度学习专家Bengio在2009年提出了一个与此类似的问题[36],该问题原文描述为:“Is there a depththat is mostly sufficient for the computations nec-essary to approach human-level performance of AItasks?”.意思是,是否存在一个合适深度的DBN,可以用来尽可能像人类解决问题那样去解决大多数的AI问题呢?由于该问题比较笼统,涉及的学科范围太广,很难通过一个有效的数学方法来解决该问题,难以设计出包含较多的特征并具有代表性的实验对其进行验证,因此该问题在短时间内难以得到彻底的解决.目前,针对此问题的初步试探性解决方法有结构自组织策略和凑试法.本节只介绍结构自组织策略.Qiao等[26]提出了一种基于神经元激活强度和误差下降率最小化的结构自组织方法.首先,在无监督预训练阶段将隐含层神经元的激活强度作为神经元的“贡献度”,并根据“贡献度”的大小对神经元进行增加或删减.其次,在有监督调优阶段,将训练误差的下降率作为隐含层的删减标准,当训练误差下降率首次出现递减时删掉一个隐含层,否则增加隐含层.激活强度SI可表示为SI li =αs2i·l1+s2i·l+o2i·l(11)其中,α是正常数,o i·l是第l个隐含层的第i个神经元的输出,i=1,2,3,···,N l,N l是第l个隐含层的神经元个数,s i·l表示第l个隐含层的第i个神经元的输入权值之和,可通过如下公式计算得到s2 i·l =n ij=1w ij r ij(12)其中,r ij是i个神经元的第j个输入量,w ij是第j个输入神经元和第i个神经元之间的连接权值,n i 是第i个神经元的输入神经元个数,s i·l所表示的权值连接过程如图4所示.DBN的结构自组织策略原理如图5所示.在传统浅层神经网络的结构设计方面,研究人员注重结构自组织设计方法[42−43],即根据神经元激活强度的大小来增加或者删减结构.尽管结构自组织设计方法在浅层神经网络中得到了成功的应用并取得了较好的效果,但关于DBN结构自组织方法的研究却非常有限.本节介绍的基于传统自组织方法的变结构DBN模型在学习精度上有所提高,但是在学习效率方面提高不明显,相关研究还需要进一步加强.图4计算激活强度的权值连接过程Fig.4Weights connecting process of computing spikingintensity2.4增量式深度信念网络与传统浅层神经网络的结构自组织相比,DBN 结构自组织策略一直没有得到学术界的广泛关注,主要原因有:1)自组织方法将神经元的激活强度作为增加和删减结构的评判标准,而DBN往往拥有多个隐含层且每个隐含层含有较多的神经元,这导致DBN自组织设计过程复杂且计算量庞大[26];2)预训练好的初始DBN可被视为一种知识源域(Source domain),其中的知识可被视为一种可重复利用的经验[44],但是结构自组织方法未能在知识源域到目标域(Target domain)之间实现知识的转移.因此,在DBN结构自组织过程中需要不间断地对目标域内若干个新增子结构进行参数初始化,从而导致自组织方法在DBN结构设计中应用成本较高,甚至难以实现.通过上述分析可知,DBN结构自组织方法遇到的主要障碍是计算量巨大,而如何在知识源域与目标域之间实现知识的有效转移成为关键.迁移学习(Transfer learning,TL)是一种旨在实现知识转移的学习方法且具有较强的鲁棒性[45−47].常用的迁移学习方法是:首先训练一个模型并将其作为知识源域,然后再利用特定的方法将知识源域中可重复40自动化学报47卷图5结构自组织策略原理图Fig.5Self-organizing structure strategy scheme利用的知识转移到目标域中来加速新结构的学习过程[48−49],从而提高复杂模型的训练效率.近些年来,基于迁移学习的神经网络复合训练方法大批涌现并取得了较好的效果[50−51].为了解决上述问题,Wang等[27]提出了一种基于迁移学习策略的增量式深度信念网络(TL-GDBN)模型.相较于浅层神经网络的结构自组织方法,不同之处在于TL-GDBN没有利用神经元的激活强度作为结构增长或删减的依据.首先,初始化一个单隐含层DBN并对其进行预训练(Pre-training),然后固定预训练好的初始DBN并将其作为知识源域.其次,在初始DBN的基础上不断增加固定规模的隐含层和神经元并将其作为目标域,同时建立基于迁移学习的知识转移规则来加速目标域的训练过程.第三,根据TL-GDBN的预训练的重构误差设置结构增长的停止准则及其阈值,从而获得最优的结构.基于迁移学习的增量式深度信念网络(TL-GDBN)的结构增长过程仅在预训练阶段进行.每一步的结构增长包括神经元和隐含层两部分.数据被分为三部分:训练数据(Training data)、验证数据(Validating data)和测试数据(Testing data).训练数据用来预训练初始DBN并获得知识源域,验证数据用来结合迁移学习实现TL-GDBN结构的增量式变化,测试数据用来测试TL-GDBN.预训练结束后TL-GDBN结构将不再变化.知识在迁移学习规则下持续地被转移到新增结构中,TL-GDBN的一步结构增长过程如下:步骤1.结构初始化和预训练.首先初始化一个单隐含层的DBN结构,然后利用对比散度(Con-1期王功明等:深度信念网络研究现状与展望41trastive divergence,CD)算法和训练数据进行预训练.假设初始化DBN的输入和其隐含层神经元的个数分别为m和n,那么预训练后学习到的知识(权值参数矩阵)w R1∈R m×n将被保存在知识源域中.步骤2.增加神经元.增加两倍于初始DBN隐含层神经元数量的神经元,新的权值参数矩阵变为ˆw R1∈R m×3n.步骤3.增加隐含层.增加与初始DBN具有相同数量神经元的隐含层,对应的新增权值参数矩阵为w R2∈R3n×n.步骤4.计算预训练过程的重构误差,并将重构误差作为预训练过程误差.步骤5.设置结构增长的停止准则.利用验证数据计算重构误差,并将重构误差的连续若干步的减小量作为结构增长的停止准则.同时设置停止准则的阈值,当训练过程中的重构误差满足阈值条件时, TL-GDBN结构停止增长并进入步骤6;否则,跳转到步骤2.步骤6.固定当前TL-GDBN的最优结构,预训练过程结束.TL-GDBN的一步结构增长过程原理如图6所示.结构增长过程一旦结束,TL-GDBN的结构和对应的初始权值参数即被确定.实验结果发现,TL-GDBN的稀疏度随着结构的不断扩大而表现出先增大后稳定的趋势.这种趋势表明在结构增长过程中TL-GDBN的密集表述越来越弱,网络各隐含层提取到的特征向量受输入波动影响的程度也越来越弱,即网络鲁棒性较强.然而,关于如何进行知识迁移仍然是一个难点,究其原因主要在于:在迁移学习中,学习器必须执行两个或更多个不同的任务,但是我们假设能够解释P1变化的许多因素和学习P2需要抓住的变化相关.例如,我们可能在第一种情景中学习了一组数据分布特性,然后在第二种场景中学习了另一组数据分布特性.如果第一种情景P1中具有非常多的数据,那么这有助于学习到能够使得从P2抽取的非常少的样本中快速泛化表示.一般来讲,当不同情景或任务存在有用特征时,并且这些特征对应多个情景出现的潜在因素,迁移学习可以发挥事半功倍的效果.然而,有时不同任务之间共享的不是输入的数据分布特性,而是输出的目标数据分布特征.这种情况下,使用迁移学习往往会得到不尽人意的学习效果.2.5递归深度信念网络从学习策略上看,传统DBN模型是一种前馈网络,堆叠的RBM只能保存暂时的信息(达到能量平衡后的稳态信息),故现有的DBN模型对时间序列的建模与预测精度相对较低[52−55].Ichimura 等[30]提出一种递归深度信念网络(RNN-DBN),其在结构上是由若干个递归受限玻尔兹曼机(RNN-RBM)[56]堆叠组成.而RNN-RBM则是在递归时间RBM(RTRBM)的基础上发展起来的[52],是一种基于能量的时域序列密度估计模型.RTRBM结构如图7所示.图6TL-GDBN的一步增长过程Fig.6Illustration of one-growing step。

基于深度学习的无线信道预测技术研究无线信道预测技术的研究旨在提高通信系统的可靠性和性能。

它是无线通信技术中最为重要的问题之一。

近年来，随着深度学习技术的发展，基于深度学习的无线信道预测技术也得到了广泛关注。

一、无线信道预测技术的发展历程无线信道预测技术早在上个世纪八十年代就得到了广泛的研究与应用。

当时的预测方法主要依靠经验公式和统计学模型。

但这些方法都存在较大的误差，不能满足精密通信系统的要求。

随着计算机技术的发展，研究者开始采用人工神经网络模型、支持向量机模型等方法进行研究。

但这些方法在处理大数据、复杂信道环境时也存在着一些瓶颈。

近些年来，深度学习技术的崛起为无线信道预测技术的研究提供了新的思路和方法。

二、基于深度学习的无线信道预测技术的优势1.更准确的预测结果深度学习技术可以通过多层神经网络，从大量的数据中学习出信道预测模型，从而提高预测的准确性和精度。

2.更强的适应性和通用性基于深度学习的无线信道预测技术可以通过深度学习网络对信号进行特征提取和分类，从而可以更好地适应各种复杂信道环境和不同类型的通信系统。

3.更高的实用性和可扩展性基于深度学习的无线信道预测技术可以通过大规模并行计算和深度学习平台来实现快速训练和实时预测，同时也方便了在不同硬件平台上的部署和调试。

三、基于深度学习的无线信道预测技术的应用前景基于深度学习的无线信道预测技术在未来的通信系统中将发挥重要作用。

它可以优化无线电频谱的利用，提高通信带宽和可靠性，帮助无线通信系统迎接万物互联的时代。

同时，基于深度学习的无线信道预测技术也广泛应用于智能交通、环境监测、安防监控等领域。

通过无线信道预测技术，可以使这些领域的传感器节点更好地感知周围环境，进而实现智能化的监测和控制。

四、结语随着人工智能技术的快速发展，基于深度学习的无线信道预测技术将会得到更多应用和发展。

同时，相信在不久的将来，这个技术将成为无线通信系统中最为重要的研究和应用之一。

基于深度信念网络的家居设备状态预测模型安世博;何勇;孟亚茹【摘要】由于不同的智能家居设备之间的独立性以及通讯方式的差异,增大了用户使用和管理方面的难度.为了解决智能家居设备在自动化控制方面的难题,提出了一种基于深度信念网络的网络预测模型.该模型首先针对单个设备采用基于受限玻尔兹曼机的深度置信网络构建设备模型,通过无监督预训练逐层地挖掘设备通用化特征,最终采用有监督BP神经网络作为常规拟合层,综合考虑多个独立设备进行构建和训练网络预测模型.经过训练,该模型能够预测智能设备工作状态,根据预测结果调整相应设备,实现对智能家居设备的预测.该模型对智能设备工作状态的预测准确率达到97％,并在收敛速度以及设备数量影响方面具备较好的预期效果.实验结果表明,该模型能够充分发掘智能设备状态和用户信息间的联动关系,实现后续对设备的智能化自动控制.【期刊名称】《计算机技术与发展》【年(卷),期】2019(029)008【总页数】6页(P161-166)【关键词】智能家居;深度信念网络;网络预测模型;自动化控制【作者】安世博;何勇;孟亚茹【作者单位】贵州大学计算机科学与技术学院,贵州贵阳 550000;贵州大学计算机科学与技术学院,贵州贵阳 550000;贵州大学计算机科学与技术学院,贵州贵阳550000【正文语种】中文【中图分类】TP1830 引言智能家居是以人的居住环境作为系统搭建的平台，在居住环境中搭建系统并进行统一有效的管理，智能家居系统整体实施过程即为智能家居的集成。

随着科学技术飞速的发展，大力发展智能家居已经成为时代发展的必然趋势，以此可以预见智能家居技术将成为社会经济发展的强大推动力[1]。

在目前的智能家居系统应用管理平台上，采用的平台设备管理方式仍旧是依靠用户提前输入指定设备规则命令进行控制，例如在室温超过30℃的情况下则开启空调制冷模式[2]。

采用上述管理设备方式在设备数目较少或家居环境较为简单的情况下能够满足用户基本需求，然而在较为复杂的家居环境情况下，对智能家居系统性能要求较高，很难满足用户的需求和体验，尤其在多用户产生冲突需求或发生突发事件的情况下，依靠用户预先输入的制定规则难以完成用户和系统的基本需求。

无线传感器网络中的链路预测算法研究无线传感器网络（Wireless Sensor Network，WSN）是一种由大量分布式传感器节点组成的网络系统，能够实现对感知环境进行数据采集、处理和传输等任务。

链路预测算法（Link Prediction Algorithm）则是WSN领域中非常重要的一项研究，主要用于预测无线信号传输时的链路品质。

本文将从需求出发，探讨WSN中链路预测算法的发展现状、分类、技术原理及优化方向。

需求WSN中传感器节点一般采取无线传输数据的方式，但是传输链路质量可能会受到干扰、削弱、丢失等因素的影响，导致数据传输失败。

在这些环境中，链路预测算法能够预测无线信号传输的质量，进而优化数据信号的传输和管理，提高网络的总体性能和稳定性。

分类从算法的角度来看，链路预测算法分为两大类：基于邻居关系的链路预测算法和基于拓扑图的链路预测算法。

基于邻居关系的链路预测算法依据节点之间的邻居关系来预测链路质量。

这种算法主要通过传输距离、信噪比、功率控制等手段来衡量邻居节点之间的距离，从而预测链路的质量。

这种算法的优点是能够有效提高网络的传输能力和维护质量，但是对传感器节点的数量和分布范围有一定的限制。

基于拓扑图的链路预测算法主要通过建立网络的拓扑图，对节点之间的路径、距离、可靠性等因素进行预测链路质量。

这种算法对节点数量和分布没有限制，是比较常用的一种链路预测算法，但是需要同时考虑节点的复杂度和计算量。

技术原理链路预测算法的主要技术原理包括距离预测、能量预测、机器学习预测等。

距离预测是链路预测算法中比较常用的预测方式。

通过节点之间的距离和传输功率等参数，预测链路的质量。

但是这种方法的可靠性和精度较低，需要对节点的分布、地理环境等因素有一定的控制。

能量预测则是采用传感器节点的能量信息来进行链路预测，为了追求更高的精度和稳定性，需要对节点的能量信息有更加严格的要求，对传输和计算等方面的成本也更高。

机器学习预测是近年来发展较快的一种链路预测方法，主要采用神经网络、支持向量机、贝叶斯网络等机器学习算法来进行链路质量的预测。

改进的深度信念网络预测模型及其应用邵双双;刘丽冰;谭志洪;孙世荣;王梦雅【摘要】针对深度信念网络(DBN)模型在非线性系统预测时,由于在模型构建中固定的学习率难以寻找全局最优以及学习速度慢等问题,提出了一种改进的DBN预测模型.将动量学习率引入到DBN无监督预训练阶段,改进了受限波尔兹曼机(RBM)网络以提高特征提取精度及参数在训练过程中的抗振荡能力;同时,将共轭梯度法嵌入DBN微调阶段来提高学习速度;最后,在袋式除尘器数字样机工作性能数据集上进行了验证.实验结果表明,与传统DBN及其变型模型相比,改进的DBN网络模型不仅收敛速度快而且预测精度高.【期刊名称】《计算机应用》【年(卷),期】2018(038)0z1【总页数】5页(P28-31,66)【关键词】深度信念网络;动量学习率;共轭梯度法;预测模型【作者】邵双双;刘丽冰;谭志洪;孙世荣;王梦雅【作者单位】河北工业大学机械工程学院,天津300130;河北工业大学机械工程学院,天津300130;南昌大学资源环境与化工学院,南昌330031;河北工业大学机械工程学院,天津300130;河北工业大学机械工程学院,天津300130【正文语种】中文【中图分类】TP389.10 引言深度信念网络(Deep Belief Network, DBN)是一种具有特征提取能力的深层模型,具有较强的数据分析和学习能力,被广泛用于非线性系统预测中[1-3]。

Dedinec等[4]提出了利用深度信念网络对短期电力负荷进行预测,其预测精度要远高于传统预测方法。

Shen等 [5]提出了使用连续受限波尔兹曼机来构建深度信念网络,从而实现了对汇率的准确预测。

田杨[6]提出将动态学习率法引入深度信念网络模型构建中,实现了对磨削加工中粗糙度值的预测。

王功明等[7]提出了一种基于偏最小二乘回归自适应深度信念网络,对出水总磷实现了准确快速预测。

由于在DBN算法中学习率ε值的选择对算法成败起着关键作用:当ε偏大时收敛速度较快,但会造成算法的不稳定；当ε偏小时虽然运算稳定,但会使得收敛速度变慢。

基于动态贝叶斯网络的WSNs链路质量预测舒坚;刘松;刘琳岚;谷小乐【期刊名称】《工程科学与技术》【年(卷),期】2017(049)002【摘要】无线传感器网络中,链路质量预测为数据可靠传输和上层网络协议性能的提高提供支撑。

为进一步提高链路质量预测的准确性,提出基于动态贝叶斯网络（dynamic Bayesian networks,DBN）的链路质量预测机制。

为避免单一评价指标的片面性,从链路信号质量、链路稳定性及非对称性3方面综合评价链路质量;采用K-means聚类算法对参数进行离散化预处理,得到各参数的离散区间;采用熵值法确定各参数的权重,以消除参数权重计算中主观因素的干扰;为避免最大隶属原则的缺陷,采用非对称贴近度分析法构建综合性的链路质量等级指标;借助贝叶斯网络（Bayesian networks,BN）处理不确定性问题的优势和BN分类器在分类上的良好性能,确定DBN的初始网络和转移网络,采用EM算法进行DBN模型的参数学习,从而构建了基于DBN的链路质量预测模型。

实验结果表明了采用非对称贴近度分析法划分链路质量等级的合理性与DBN链路质量预测模型的合理性;与4C及FLI 预测模型相比,本文模型具有更高的预测准确度。

采用链路信号质量、链路稳定性及非对称性3个指标评价链路质量,采用DBN构建预测模型,可得到更准确及鲁棒性更好的链路质量预测结果。

【总页数】8页(P152-159)【作者】舒坚;刘松;刘琳岚;谷小乐【作者单位】[1]南昌航空大学物联网技术研究所,江西南昌330063;[2]南昌航空大学软件学院,江西南昌330063;[3]南昌航空大学信息工程学院,江西南昌330063【正文语种】中文【中图分类】TP393【相关文献】1.基于动态贝叶斯网络的WSNs链路质量预测2.基于模糊支持向量回归机的WSN s链路质量预测3.一种基于BP神经网络的WSNs链路质量预测方法4.基于BPPN 的微电网通信WSN链路质量预测5.基于深度信念网络的WSN链路质量预测因版权原因，仅展示原文概要，查看原文内容请购买。

基于窗口均值的WSNs链路质量评估方法段磊;刘琳岚;谌业滨【期刊名称】《南昌大学学报（理科版）》【年(卷),期】2011(035)005【摘要】无线传感器网络(wireless sensor networks,WSNs)通信的不可靠性为网络协议的设计带来很大的挑战.准确而高效的链路质量评估则是保证上层协议性能的基础.针对传统的LQI (Link Quality Indication)均值评估法所存在的问题,提出了一种LQI窗口均值(window mean-LQI,WM-LQI)评估方法.实验结果表明该评估方法是合理的,且与传统的均值评估法相比,提高了评估的精度,从而更加具有实用性.%The unreliability of wireless sensor networks (WSNs) communication poses major challenges to networks protocols. The accurate and high efficient link quality estimation guarantees the performance of upper layer protocols. For the disadvantages of the traditional mean Link Quality Indication (LQI) measurement^ new link quality estimation method about the window mean LQI (WM-LQI) was proposed. The experimental results suggested that the link quality estimation method was reasonable. Compared with the previous,it had higher accuracy on assessment,which made it much more practical.【总页数】5页(P495-499)【作者】段磊;刘琳岚;谌业滨【作者单位】南昌航空大学物联网技术研究所,江西南昌 330063;南昌航空大学软件学院,江西南昌 330063;南昌航空大学物联网技术研究所,江西南昌 330063;南昌航空大学信息工程学院,江西南昌 330063;南昌航空大学物联网技术研究所,江西南昌 330063;南昌航空大学软件学院,江西南昌 330063【正文语种】中文【中图分类】TP393【相关文献】1.基于动态贝叶斯网络的WSNs链路质量预测 [J], 舒坚;刘松;刘琳岚;谷小乐2.基于动态贝叶斯网络的WSNs链路质量预测 [J], 舒坚;刘松;刘琳岚;谷小乐;3.基于Ornstein-Uhlenbeck模型的WSN链路质量估计 [J], 叶润;闫斌4.基于BPPN的微电网通信WSN链路质量预测 [J], 安江;陈泰屹5.基于深度信念网络的WSN链路质量预测 [J], 刘琳岚;许江波;李越;杨志勇因版权原因，仅展示原文概要，查看原文内容请购买。

基于深度学习的移动通信中的通信质量预测算法研究移动通信技术作为现代社会最重要的通信方式之一，已经成为人们日常生活不可或缺的一部分。

随着移动通信网络的发展和普及，通信质量的稳定性和可靠性也变得尤为重要。

而如何准确地预测移动通信中的通信质量，成为了当前研究的热点之一。

本文将基于深度学习技术，探讨移动通信中的通信质量预测算法，希望能够为提高通信系统性能和用户体验提供一定的参考和帮助。

一、移动通信中的通信质量问题移动通信中的通信质量问题一直是业界关注的焦点之一。

移动通信网络受多种因素影响，如天气、地形、用户密度等，这些因素会导致信号强度、带宽、延迟等指标发生变化，进而影响通信质量。

通信质量不佳会导致通话中断、数据传输不稳定等问题，严重影响用户体验和通信系统的性能。

二、传统通信质量预测算法存在的问题传统的通信质量预测算法通常基于统计学方法和经验模型，通过数学建模和特征提取来预测通信质量。

然而，这些传统算法往往需要大量的手动特征提取和人工干预，且预测准确度有限。

随着深度学习技术的兴起，越来越多的研究开始利用深度学习算法来进行通信质量预测，以提高预测的准确性和稳定性。

三、深度学习在通信质量预测中的应用深度学习是一种基于人工神经网络的机器学习方法，其具有逐层特征学习、端到端学习等优势，能够更好地挖掘数据中的特征信息。

在通信质量预测中，利用深度学习算法可以更准确地建模复杂的通信环境和用户行为，从而实现更精准的通信质量预测。

四、基于深度学习的通信质量预测算法研究1.数据集的构建在进行深度学习算法的研究之前，首先需要构建一个合适的数据集。

数据集的质量和多样性直接影响了模型的预测效果。

可以从现有通信网络中采集通信质量数据，并结合用户信息、网络状态等多维度特征，构建一个全面的通信质量数据集。

2.特征提取与数据预处理在构建数据集之后，需要进行特征提取和数据预处理。

传统的特征提取方法往往需要手动进行，但在深度学习中，可以使用卷积神经网络等自动学习特征的方法来提取数据中的有效信息，减少人工干预，提高预测的准确性。

基于深度信念网络的网络流量预测模型
任玮
【期刊名称】《山西电子技术》
【年(卷),期】2016(000)001
【摘要】为了提高网络流量预测精度,根据深度学习理论提出一种基于深度信念网络(DBN)的网络流量预测模型.该预测模型由受限玻尔兹曼机(RBM)单元组成,采用逐层无监督贪心算法训练参数,然后利用反向传播学习算法微调整个网络参数.最后基于该预测模型对收集到的真实网络流量进行预测和分析,并与传统神经网络预测进行对比研究,结果表明,该预测模型克服了传统神经网络容易陷入局部最优、训练时间长及函数拟合度不高等缺点,具有更高的预测精度.
【总页数】4页(P62-64,76)
【作者】任玮
【作者单位】中北大学计算机与控制工程学院,山西太原030051
【正文语种】中文
【中图分类】TP393.02
【相关文献】
1.基于改进深度信念网络的池塘养殖水体氨氮预测模型研究 [J], 陈英义;成艳君;杨玲;刘烨琦;李道亮
2.基于深度信念网络的家居设备状态预测模型 [J], 安世博;何勇;孟亚茹
3.基于小波变换和极限学习机的网络流量预测模型 [J], 穆昌
4.基于大数据分析的非线性网络流量组合预测模型 [J], 许绘香;曹敏;马莹莹
5.基于深度神经网络的网络流量预测模型仿真 [J], 周任军;王文晶
因版权原因，仅展示原文概要，查看原文内容请购买。