第42卷第5期自动化学报Vol.42,No.5 2016年5月ACTA AUTOMATICA SINICA May,2016
深度学习在控制领域的研究现状与展望
段艳杰1吕宜生1张杰1,2赵学亮1王飞跃1
摘要深度学习在特征提取与模型拟合方面显示了其潜力和优势.对于存在高维数据的控制系统,引入深度学习具有一定的意义.近年来,已有一些研究关注深度学习在控制领域的应用.本文介绍了深度学习在控制领域的研究方向和现状,包括控制目标识别、状态特征提取、系统参数辨识和控制策略计算.并对相关的深度控制以及自适应动态规划与平行控制的方法和思想进行了描述.总结了深度学习在控制领域研究中的主要作用和存在的问题,展望了未来值得研究的方向.
关键词深度学习,控制,特征,自适应动态规划
引用格式段艳杰,吕宜生,张杰,赵学亮,王飞跃.深度学习在控制领域的研究现状与展望.自动化学报,2016,42(5): 643?654
DOI10.16383/j.aas.2016.c160019
Deep Learning for Control:The State of the Art and Prospects DUAN Yan-Jie1LV Yi-Sheng1ZHANG Jie1,2ZHAO Xue-Liang1WANG Fei-Yue1
Abstract Deep learning has shown great potential and advantage in feature extraction and model?tting.It is signi?cant to use deep learning for control problems involving high dimension data.Currently,there have been some investigations focusing on deep learning in control.This paper is a review of related work including control object recognition,state feature extraction,system parameter identi?cation and control strategy calculation.Besides,this paper describes the approaches and ideas of deep control,adaptive dynamic programming and parallel control related to deep learning in control.Also,this paper summarizes the main functions and existing problems of deep learning in control,presents some prospects of future work.
Key words Deep learning,control,feature,adaptive dynamic programming(ADP)
Citation Duan Yan-Jie,Lv Yi-Sheng,Zhang Jie,Zhao Xue-Liang,Wang Fei-Yue.Deep learning for control:the state of the art and prospects.Acta Automatica Sinica,2016,42(5):643?654
近年来,深度学习(Deep learning)[1]在学术界和工业界发展迅猛.它在很多传统的识别任务上取得了识别率的显著提升[2],显示了其处理复杂识别任务的能力,吸引了大批学者研究其理论和应用.许多领域开始尝试利用深度学习解决本领域的一些问题.在控制领域,关于深度学习的研究已初现端倪.本文在概述深度学习的主要思想和方法的基础上,阐述深度学习在控制领域的研究现状,回顾相关的深度网络与深度控制的研究内容,介绍深度学习在控制领域常用的结合方法:自适应动态规划及其拓展平行控制.综合以上内容提出深度学习在控制领
收稿日期2015-12-26录用日期2016-03-26
Manuscript received December26,2015;accepted March26, 2016
国家自然科学基金(71232006,61233001,71402178)资助Supported by National Natural Science Foundation of China (71232006,61233001,71402178)
本文责任编委侯忠生
Recommended by Associate Editor HOU Zhong-Sheng
1.中国科学院自动化研究所复杂系统管理与控制国家重点实验室北京100190
2.青岛智能产业技术研究院山东266000
1.The State Key Laboratory of Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sciences,Beijing100190
2.Qingdao Academy of Intelligent Industries,Shandong266000域的研究展望.
1深度学习概述
深度学习源于神经网络的研究,可理解为深层的神经网络.通过它可以获得深层次的特征表示,免除人工选取特征的繁复冗杂和高维数据的维度灾难问题.目前较为公认的深度学习的基本模型包括基于受限玻尔兹曼机(Restricted Boltzmann machine,RBM)的深度信念网络(Deep belief net-work,DBN)[3?4]、基于自动编码器(Autoencoder, AE)的堆叠自动编码器(Stacked autoencoders, SAE)[5]、卷积神经网络(Convolutional neural net-works,CNN)[6]、递归神经网络(Recurrent neural networks,RNN)[7].为便于清楚地阐述深度学习在控制领域的研究现状,本节将概述以上四种深度学习模型的主要思想和方法.关于深度学习的更多内容,参见深度学习领域的综述[1,8?11].
1.1DBN
基于RBM的DBN由多个RBM堆叠而成,其结构如图1所示.网络前向运算时,输入数据从低层
644自动化学报42卷
RBM 输入网络,逐层向前运算,得到网络输出.网络训练过程,不同于传统的人工神经网络(Arti?-cial neural network),分为两个阶段:预训练(Pre-training)和全局微调(Fine tuning).预训练阶段,从低层开始,每个RBM 单独训练,以最小化RBM 的网络能量为训练目标.低层RBM 训练完成后,其隐层输出作为高层RBM 的输入,继续训练高层RBM.以此类推,逐层训练,直至将所有RBM 训练完成.预训练阶段,只使用了输入数据,没有使用数据的标签,属于无监督学习(Unsupervised learn-ing).全局微调阶段,以训练好的RBM 之间的权重和偏置作为深度信念网络的初始权重和偏置,以数据的标签作为监督信号计算网络误差,利用BP (Back propagation)算法计算各层误差,使用梯度下降法完成各层权重和偏置的调节.DBN 可用于特征提取和数据分类等
.
图1DBN 网络结构
Fig.1
The structure of DBN
1.2SAE
类似于DBN,SAE 由多个AE 堆叠而成,其结构如图2所示.SAE 前向计算类似于DBN,其训练过程也分为预训练和全局微调两个阶段.不同于RBM 的是,AE 之间的连接是不对称的.每个AE 可视为一个单隐层的人工神经网络,其输出目标即此AE 的输入.在预训练阶段,从低层开始,每个AE 单独训练,以最小化其输出与输入之间的误差为目标.低层AE 训练完成后,其隐层输出作为高层AE 的输入,继续训练高层AE.以此类推,逐层训练,直至将所有AE 训练完成.同样地,SAE 的预训练阶段也只使用了输入数据,属于无监督学习.在全局微调阶段,以训练好的AE 的输入层和隐层之间的权重和偏置作为堆叠自动编码器的初始权重和偏
置,以数据的标签作为监督信号计算网络误差,利用BP 算法计算各层误差,使用梯度下降法完成各层权重和偏置的调节
.
图2SAE 网络结构
Fig.2
The structure of SAE
1.3CNN
CNN 由卷积层和次采样层(也叫Pooling 层)交叉堆叠而成,其结构如图3[6]所示.网络前向计算时,在卷积层,可同时有多个卷积核对输入进行卷积运算,生成多个特征图,每个特征图的维度相对于输入的维度有所降低.在次采样层,每个特征图经过池化(Pooling)得到维度进一步降低的对应图.多个卷积层和次采样层交叉堆叠后,经过全连接层到达网络输出.网络的训练类似于传统的人工神经网络训练方法,采用BP 算法将误差逐层反向传递,使用梯度下降法调整各层之间的参数.CNN 可提取输入数据的局部特征,并逐层组合抽象生成高层特征,可用于图像识别等问题.1.4RNN
无论是DBN 和SAE 还是CNN,都没有考虑样本之间的关联问题.RNN 则考虑了样本之间的关联关系,将这种关联关系以神经网络之间的连接体现出来.一般情况下,单向RNN [12]中,如图4所示,单个神经网络的隐层连接至下一个神经网络的隐层.这种连接方式考虑了前面样本对后面样本的影响.还有一种双向RNN [13]的连接方式,单个神经网络的隐层连接了其前后神经网络的隐层.这种连接方式考虑了前后样本对当前样本的影响.一般认为RNN 的各个神经网络具有相同的权重和偏置.RNN 训练时,可使用RBM 或者AE 对其进行预训
5期段艳杰等:深度学习在控制领域的研究现状与展望
645
图3CNN 网络结构[6]
Fig.3
The structure of CNN [6]
练来初始化网络参数,然后计算每个样本的输出误差,并以累计误差训练网络参数.RNN 可用于处理时序数据或者前后关联数据.RNN 还可以和CNN 结合使用,处理考虑样本之间相关性的问题
.
图4RNN 网络结构
Fig.4
The structure of RNN
2深度学习在控制领域的研究现状
深度学习在控制领域的研究已初现端倪.就已有的研究报道,目前的研究主要集中在控制目标识别、状态特征提取、系统参数辨识、控制策略计算等方面.尤其是深度学习和强化学习的结合已经产生了令人振奋的研究成果.如图5所示,深度学习在控制系统的各环节均有应用研究,本节从控制系统的角度分类,从四个方面介绍深度学习在控制领域的研究现状
.
图5深度学习在控制系统各环节的应用Fig.5The application of deep learning in
control system
2.1控制目标识别
在传统的控制系统中,控制目标一般以给定量的形式直接给出.而在智能控制系统中,控制目标有时并不明确或者不能直接得到.就已有研究深度学习进行控制目标识别的报道,在先进机械手抓取系统[14]中,系统首先需要检测被抓取物的位置、识别被抓取物并估计其姿态以确定机械手需要到达的位置和角度.本节以此为例说明深度学习在控制目标识别中的作用.
图6[14]显示了先进机械手抓取系统的流程.输入数据是颜色深度图.在物体检测过程中,系统利用前景背景分割技术检测出物体位置.然后从图片中分割出包含物体的统一大小图片.在物体识别和姿态估计过程中,获取的统一大小图片输入CNN 网络,经过前向计算在网络输出端获得物体的类别.该类别信息包含了物体的种类和姿态.最后,机械手按照规划的路径到达物体上方,调整夹持器的姿态,使得其姿态符合物体的姿态,然后执行抓取动作
.
图6机械手抓取系统[14]
Fig.6
Robotic grasping system [14]
从系统流程可以看出,深度学习作用于物体识别和姿态估计过程.具体地,使用了CNN 网络进行分类.网络的输出类别按照选取的n 种物体不同角度的姿态进行区分,第i 种物体有c i 种姿态,那么
输出的类别总数为C = n
i =1c i ,即CNN 网络的输出层节点个数.网络的输入是统一大小的图片,以二维矩阵的方式输入网络.所使用的CNN 通过卷积层和次采样层交叉堆叠的方式建立特征提取的网络,然后通过全连接层连接到输出层建立分类器.网络结构建立后,收集一定数量具有类别标记的图片样本,一部分用于训练网络参数,剩余部分用于测试网络性能.经过迭代训练,获取训练完成的CNN 网络.当有新的图片样本输入网络时,网络经过前向计算,
646自动化学报42卷
输出图片中物体的类别,包括物体的种类和姿态.机械手获取物体类别后,在执行抓取动作之前,将夹持器调整到和物体的姿态相一致的状态,以完成抓取动作.在这个系统中,机械手抓取之前需要达到的姿态为机械手控制系统的控制目标,此控制目标由物体的种类和姿态决定,所以采用深度学习进行物体分类实质上在控制系统中起到了控制目标识别的作用.至于机械手如何达到控制目标则由系统的控制器决定.2.2状态特征提取
现代控制理论引入了状态空间的概念,以系统的状态为基础进行分析与综合.在基于视觉的控制系统中,系统状态由图片体现,其维度高,不容易进行人工特征抽取,不利于系统的分析综合与控制.而深度学习十分适合对图片数据进行降维与特征抽取,所以深度学习在基于视觉的控制系统中研究较多.基于视觉的控制系统中,深度学习多与强化学习方法结合,使得系统能够根据深度学习提取的特征给出控制策略.在深度学习用于控制系统状态特征提取的研究中,Lange 等[15?16]利用SAE 进行特征提取;Mnih 等[17]则利用CNN 进行特征提取.无论采用哪种深度学习模型,其思想基本一致,以下以Atari 游戏系统[17?18]为例介绍深度学习在状态特征提取中的作用.
Atari 是一款计算机游戏,玩家通过计算机屏幕显示的游戏场景,决策执行的游戏动作,获得游戏得分的变化.在使用深度学习进行Atari 游戏的系统中,游戏场景以图片的形式输入CNN 网络,CNN 网络和Q 网络连接,游戏动作的决策是最终的输出,系统结构如图7所示.其中,Q 网络是用于获得系统预期回报函数的网络.在这个系统中,可执行的动作集合包含有限个游戏动作元素,而状态集合包含无限个场景状态元素.评价网络的输出层节点个数为可执行的游戏动作个数,每个节点的输出即在输入场景下采用该节点所代表动作的预期回报.系统选择评价网络输出节点中预期回报最高的节点所代表的游戏动作执行.Atari 游戏执行了游戏动作后,更新游戏场景图像并得到一个强化信号
.
图7使用深度学习进行Atari 游戏Fig.7
Playing Atari with deep learning
整个网络的权重参数根据强化学习的方法进行
训练,具体的训练方法和技巧不在本文介绍的范围,这里仅说明其主要思想.当前时刻的预期回报一方面是当前时刻来自于游戏的强化信号与下一时刻来自于网络的最高预期回报之和,另一方面也是当前时刻来自于网络的最高预期回报,二者之间的差距即整个网络的损失函数,训练的目标是最小化该损失函数.由此,网络获得了可传递的误差用于网络参数的训练.据报道,该系统在实验中的多个游戏任务上超越了人类的水平.
2.3系统参数辨识
系统辨识是现代控制理论的重要研究内容,它根据系统输入输出来确定描述系统的模型.对于复杂的非线性动态系统,其模型难以用线性函数或者根据先验知识建立.而神经网络具有拟合复杂非线性函数的能力,可以用于系统辨识.但浅层神经网络在训练中容易受到局部最优等问题的影响,有时并不能准确描述动态系统.深度学习的发展给解决这一问题带来了启发.已经有部分研究专注于利用深度学习的方法进行系统辨识.由于系统模型由深度神经网络代替,系统辨识任务就转变成深度神经网络的参数优化,故而称这类任务为系统参数辨识.
使用深度学习进行系统参数辨识的控制系统一般涉及模型预测控制.模型预测控制的主要思想是在每个时刻基于系统当前状态和预测模型,计算出系统未来一段时间的最优控制序列,并执行序列的首个控制策略.其中,预测模型使用深度学习实现.这类研究中,直升机动态模型[19]使用深度ReLU 网络模型拟合,主要思想是利用历史一段时间的数据预测未来时刻的加速度.切割机器人[20]考虑了系统状态在时间序列上的相关性,使用RNN 构建系统动态模型,利用历史时间窗的系统状态预测未来时间窗的系统状态.车杆摆动系统[21]使用深度神经网络拟合系统动态模型,利用当前时刻的状态和控制输入预测下一时刻状态与当前时刻状态的差值.
值得一提的是,在车杆摆动系统中,深度网络经过训练能够拟合系统动态模型后,在输出端引入一个新的节点代表预期回报函数.这样,深度网络同时表达了系统动态模型和动作评价函数.如图8[20]所示,s t 表示系统在t 时刻的状态,a t 表示系统在t 时刻采取的动作,Q (s t ,a t )表示系统在状态s t 下,执行动作a t 所得的预期回报函数.网络训练思路是,先忽略输出端的Q 函数,采用随机初始化的状态和任意动作产生一系列(s t ,a t ,s t +1?s t )用于拟合系统动态模型.然后忽略输出端的s t +1?s t ,按照强化学习的方法,每一步执行最优的动作并且根据每一步产生的回报训练Q 网络.这种训练方法基于一个基本假设,那就是对于状态预测有效的隐层特征有
5期段艳杰等:深度学习在控制领域的研究现状与展望647
助于预期回报函数的预测.用深度网络拟合系统动态模型的步骤相当于对Q 网络的预训练,这一步不需要考虑回报.实验证明,经过预训练的Q 网络能够比直接使用强化学习训练的Q 网络更快达到较好优化水平.
2.4控制策略计算
在单输出控制系统中,控制策略指的是单一的控制量.而在智能控制系统中,控制策略除了指单一控制量之外,也可以指一串动作或一个决策.对于传统的控制器而言,需要获取给定量和系统输出之间的差,从而计算控制策略.而对于智能控制系统而言,控制器获取系统状态进行控制策略计算.经典的PID 控制从系统机理出发设计控制器,而深度神经网络是一个需要监督信号进行训练的模型.所以深度学习在控制策略计算方面的研究也主要集中在有监督信号的情形
.
图8进行状态预测和学习Q 函数的深度网络[20]
Fig.8
Neural network for learning state prediction and
Q function [20]
此类研究中,有利用深度学习模型拟合PID 控制器的报道[22].其主要思想是对于一个线性定常系统,首先设计一个能够满足控制要求的PID 控制器.然后以DBN 网络替代PID 控制器.DBN 网络的参数由PID 控制器的输入输出数据训练.训练后的DBN 网络的输入是原来PID 控制器的输入,经过前向计算的网络输出替代原来PID 的输出作为控制量.这项工作虽然没有说明深度学习用于此处的必要性和优势,但是却证明了深度学习可以用于控制策略计算.有研究比较单层网络、多层网络和RNN 网络分别用于粗糙地形运动系统[23].在这项研究中,网络使用状态作为输入,动作作为输出.而训练则采用引导策略搜索法,需要的监督信号来源于已有的范例.网络从已有的成功的运动范例中采样其状态–动作样本,用于网络训练.此研究的实验结果表明多层网络或RNN 网络需要更多的训练样本才能达到比较好的性能,而随着样本数目的增加,二者的表现性能都有超越单层网络的趋势.训练好的网络对于新的状态输入,能够通过前向计算给出需要执行的动作,即本系统的控制策略.在运动控制函数[24]的研究中,使用深度网络计算从初始状态到
目标状态的控制指令序列和状态轨迹序列.其中,初始状态和目标状态作为网络的输入,控制指令序列和状态轨迹序列作为网络的输出.
比较特别的是,在运动控制函数的研究中,输入数据的维度远小于输出数据的维度.研究中首先使用SAE 对输出数据进行降维.降维过程中逐层训练AE 的阶段,不同于一般的从底层开始逐层训练的方法,这项研究从最顶层开始逐层训练AE.如图9所示,高层AE 训练完后,其隐层输出作为低层AE 的输入,继续训练低层AE.SAE 训练完成后,得到从低维特征到输出控制和轨迹序列的网络,这里需要注意的是此网络取自SAE 的上半部分.然后使用神经网络将系统输入端连接至已经训练好的网络.最后使用随机的到达样本对整个网络进行训练,每个到达样本包含运动的初始状态、目标状态和从初始状态到目标状态的轨迹.训练好的网络对于一个输入的初始状态和目标状态,经过前向计算输出控制指令和运动轨迹序列
.
图9
进行运动控制函数研究的深度网络
Fig.9
Deep neural network for motor control function
3深度网络与深度控制
早在深度学习出现之前,就有学者曾利用多层神经网络实现一种自适应模糊逻辑控制系统[25].从今天的角度看,可以称为深度模糊控制网络.另外,Saridis 及合作者在研究智能机控制理论的过程中,曾采用玻尔兹曼机的结构和最小化网络能量的方法用于智能机的“组织”阶段,即获取最优任务(动作)序列[26?27].这些方法、思想和当前的深度学习方法具有一定的相似性和不同之处.期望本节的介绍能够拓宽深度学习在控制领域的研究思路,激发深度学习在控制领域的研究灵感.
648自动化学报42卷
3.1深度模糊控制网络
深度模糊控制网络系统的目标是开发一种基于模糊逻辑和神经网络实现拟人控制的方法,该方法主要针对这样一类系统:构建数学模型不可行或难以实行;熟练操作人员的知识可用于实现控制目的.因此人类控制涉及的知识表示和知识进化在此系统中均有体现.如图10所示,该系统包含3类子网络:SN 、RN 和CN,分别用于模式识别、模糊推理和控制合成
.
图10深度模糊控制网络Fig.10
Neuro-fuzzy network
模式识别神经网络实现输入信号的模糊化.具体地,将输入信号通过隶属度函数映射为模糊语义项的隶属度.图10的示例中,有两个输入信号,每个信号分别对应三个模糊语义项.此处的模糊语义项描述了信号模式.语义项的隶属度在0到1之间,表示输入信号符合语义项描述的程度.SN 被训练以替代隶属度函数.输入信号的模糊化完成后,语义项及其隶属度作为输入进入模糊推理神经网络.该子网络运用规则集(知识库)进行模糊推理.具体地,利用满足输入信号模糊语义项的规则进行推理,计算出每条决策规则的耦合强度.图10的示例中,有九条决策规则,每条规则遵循if-then 的决策模式.每条规则对应一个RN.对于一个输入信号,每条规则的条件只含有其一个模糊语义项.所以对于图10的示例,每个RN 的输入是两个模糊语义项,分别来源于两个不同的SN.每个RN 被训练以替代规则集中的决策规则.RN 输出规则的耦合度作为控制合成神经网络的输入,此网络利用一系列步骤和控制模糊语义项的隶属度函数输出最终的控制量.这些步骤
包括单个规则的推理,产生模糊控制量和解模糊.这些步骤均使用CN 网络替代完成.SN 、RN 和CN 网络构造完成后,可以连接成如图10所示的深度模糊控制网络,在3个子网络分别训练的基础上进行全局训练,进一步优化控制效果.深度模糊控制网络能够实现从采集状态信号到输出控制变量的全过程,更具体的过程参见文献[25],此处不再赘述.
文献[28]曾试图利用Memetic 进化计算推广Neuro-fuzzy 网络,并将中间节点值抽取出来,组成基于规则的决策系统,通过语言动力学系统进行描述[29?30],实现从数计算到词计算之间的转换.这种方法可用于“当地简单,远程复杂”的网络化深度学习的硬件实现.能有效结合在线的实时决策与远程的云计算,从而低成本地提高系统性能.
通过对以上方法的介绍,我们可以发现,此方法和现在的深度学习方法既有共通之处又有不同特点.二者从整体上看都是多层神经网络结构,均是由不同的神经网络模块组合而成.二者都可以采用预训练和全局微调的训练过程.不同的是,前者可采用并行的方式对3个子网分别训练,而后者需采用串行的方式逐层训练.前者将人类知识以规则的形式嵌入网络,子网训练过程使用了这些规则提供的启发式信息.后者在子网训练过程中一般采用自动训练的方法,减少人为干预.对于网络结构和训练结果,前者可解释其含义,后者则不可解释.深度模糊控制网络最大的特点是包含知识结构,网络结构融合了知识表示,训练学习过程蕴含了知识进化.
3.2智能机的组织
Saridis 开发了一种分层递阶智能控制方法,将智能机的控制分为3个阶段:组织、协调和执行[31].其中,组织阶段负责智能机的任务规划,主要问题是对期望的动作构建最小化熵的正确任务序列.Saridis 及合作者利用玻尔兹曼机建立了熵的解析方法来衡量任务序列的正确性.
玻尔兹曼机的构建方法:输入节点表示期望的目标;输出节点表示为满足目标智能机需要执行的任务序列;隐藏节点使得输入和输出节点之间能够发展复杂的交互.节点的状态是1或0,表示任务执行或不执行.熵定义成任务序列正确概率的函数,任务序列正确概率定义成网络能量的函数,而网络能量由节点状态和节点之间的权重计算得到.在一定的约束条件下,网络能量越小,任务序列的正确概率越大,熵越小.玻尔兹曼机通常使用网络能量作为代价函数,通过最小化网络能量找到节点最优状态.类似地,这里以最小化熵为目标,利用最优化方法,例如遗传算法等,搜索出最优的网络权重,计算出对应的节点状态.从而获得最优节点状态对应的最优任
5期段艳杰等:深度学习在控制领域的研究现状与展望649
务序列.4自适应动态规划与平行控制
从深度学习在控制领域的研究现状可以看出,强化学习方法中的自适应动态规划方法在深度控制系统的实现中起到重要的作用.本节主要对自适应动态规划方法进行介绍,进而引出其在复杂系统中的扩展:平行控制.
为实现最优控制,自适应动态规划方法和深度学习的结合是研究深度控制的关键领域.最优控制以性能指标最优为目的,是在上世纪50年代起发展起来的重要控制领域.其不但在工程控制中具有重要意义,在社会经济系统的管理中也有着重要的应用.由Bellman 提出的动态规划方法[32?33]以倒推的思想,求解最优控制的Bellman 方程:
J ?(x (k ))=min u (k ){l (x (k ),u (k ))+J ?(x (k +1))}
(1)
J (x (k ))=
∞ i =k
l (x (i ),u (i ))
(2)s.t.x (k +1)=F (x (k ),u (k )),k =0,1,···
(3)
需要存储不同状态下的最优性能指标J ?(x (k )),进而通过求解Bellman 方程(1)中的最优性能条件得到针对任意状态的最优控制.动态规划方法可用于求解闭环形式的最优控制,且广泛地适用于线性系统、非线性系统、离散系统和连续系统等各种情况.然而,在使用动态规划方法求解复杂
最优控制问题时,会面临所谓“维数灾难”[33?34]
,即,算法所需存储量和计算量随状态空间的维数增长而迅速提高.1977年,Werbos [35]首次提出使用多层神经网络逼近动态规划方法中的性能指标函数和控制策略以近似地满足Bellman 方程,从而时间向前(Forward-in-time)获得最优控制和最优性能指标函数.近年来,基于这种自适应动态规划(Adaptive dynamic programming,ADP)思想的研究层出不穷,但使用的名称不尽相同,如Adaptive critic designs 、Approximate dynamic programming 、Asymptotic dynamic program-ming 、Relaxed dynamic programming 、Neuro-dynamic programming 、Neural dynamic program-ming 等,因其思路相同或相近,在本文中将统称为自适应动态规划[36].近年来,自适应动态规划成果斐然,学者结合神经网络和强化学习思想实现了对不确定系统的鲁棒控制[37]、大型系统的分散式控制[38]、对自适应系统的可持续激励控制[39]等.
4.1自适应动态规划的神经网络结构
启发式动态规划(Heuristic dynamic program-ming,HDP)[40]是由Werbos 提出的一种自适应动态规划近似结构.
如图11所示,在这种自适应动态规划的近似结构中,为了近似性能指标函数,神经网络扮演了重要的角色.该结构由模型网络、评价网络和执行网络三个多层神经网络组成.模型网络用于近似状态方程(3).评价网络根据Bellman 方程中最优性的满足程度,对系统输入的控制信号进行评价,给出评价信号即最小化的误差
E c =|J (k )?l (k )?J (k +1)|2
(4)
执行网络则根据评价网络的评价信号更新并获得近
似的最优控制,最小化性能指标对控制的偏导
E a = ?l (x k ,u k )?u k +?J (x k +1)?x k +1?
F (x k ,u k )?u k
(5)由此可见,早期的自适应动态规划研究中已经包含
了深层神经网络的思想.然而自适应动态规划中的深层神经网络并未运用预训练等现代深度学习技术,无法利用未标记数据,对于过深的结构还不能摆脱陷入局部收敛的困境
.
图11
自适应动态规划的神经网络结构
Fig.11
The network structure of adaptive dynamic
programming
4.2自适应动态规划的迭代型算法
2002年,Murray 等率先提出了对连续状态方
程的自适应动态规划迭代型算法[41].迭代型ADP 依然可以使用神经网络近似性能指标函数,在每次迭代中都更新现有的最优性能指标及最优控制律.迭代型ADP 最显著的优势是从理论上可以证明迭代算法的稳定性和收敛性,是自适应动态规划研究中的重大进展.目前主要有值迭代ADP 和策略迭代ADP 两类算法.
依然以离散系统为例,值迭代自适应动态规划
方法[42?44]首先以J ?
0(x k )=0作为最优性能指标函数的初值.对每次迭代i =0,1,···,求解迭代的近似最优控制
u i (x k )=arg min u k
{l (x k ,u k )+J ?i (x k +1)}
(6)
650自动化学报42卷
随后求得迭代的近似最优性能指标函数
J ?i +1(x k )=l (x k ,u i (x k ))+J ?
i (F (x k ,u i (x k )))(7)
Wei 等[45]给出了不同初值情况下的值迭代ADP 的收敛性证明.
策略迭代自适应动态规划方法多数讨论连续系统[41,46?48].对于离散系统,Liu 等[49]提出一种策略迭代ADP 并分析了该算法的稳定性和收敛性.策略迭代ADP 初始于一个给定的容许控制律u 0(x k ).对每次迭代i =0,1,···,求解近似的最优性能指标函数V i 以满足
J ?i (x k )=l (x k ,u i (x k ))+J ?i (F (x k ,u i (x k )))
(8)
随后求得迭代的近似最优控制
u i +1(x k )=arg min u k
{l (x k ,u k )+J ?i (x k +1)}
(9)
4.3平行控制
平行控制[50]是一种反馈控制,是ACP (Arti?-cial societies,Computational experiments,Paral-lel execution)方法[51?55]在控制领域的具体应用,其核心是利用人工系统进行建模和表示,通过计算实验进行分析和评估,最后以平行执行实现对复杂系统的控制.平行控制是自适应控制的自然扩展,在图11中,被控对象往往并无自主行为的能力,使用神经网络模型可以得到近似的微分方程或差分方程以描述系统状态变化.在控制包含具有自主行为代理的复杂系统时,无法使用状态方程近似被控对象状态对控制输入的变化.控制与管理、试验与评估、学习与培训代替了经典控制系统中单一的控制变量,复杂的人工系统则代替了被控对象的模型网络,如图12[50]所示
.
图12平行控制系统[50]
Fig.12
Parallel control systems [50]
神经网络在平行控制中依然扮演重要的角色.一方面,尽管无法使用神经网络模型近似系统状态方程(3),我们却可以使用神经网络模型近似剥离了
代理模型自主行为的方程
x (k +1)=F (x (k ),u (k ),u 1(k ),···,u n (k ))(10)
其中u 1,···,u n 为代理1,···,n 的主动行为,通过
在实际系统中充分激励代理行为和系统控制,可获得方程(10)的近似.另一方面,自适应动态规划中通过迭代求解的近似最优性能指标,在平行控制中则拓展为以计算实验和涌现观测获得的性能指标估计,在对控制策略的评估中,评价网络依然可以作为这一性能指标估计的近似手段.
平行控制是自适应控制方法在复杂系统中的扩展,以自适应动态规划和基于代理的控制(Agent-based control,ABC)作为主要计算方法,已经成功应用于社会计算[56?58]、智能交通[59?60]、健康[61?62]等领域.
5总结与展望
本文首先概述了当前较为公认的四种深度学习基本模型,在此基础上,对深度学习在控制领域的研究现状进行分类描述.为打破深度学习在控制领域的研究局限,对深度学习概念出现之前的深度控制相关研究进行介绍.对当前和深度控制联系十分紧密的自适应动态规划方法的神经网络结构以及算法进行了详细描述,并对其在复杂系统中的扩展平行控制的概念进行了介绍.以下针对深度学习在控制领域的研究现状进行总结.由于在特征提取以及模型拟合等方面显示出的潜力和优势,深度学习已经被用于控制领域的相关研究,并且在一些控制系统中表现出了较好的性能.但是,从上文的研究现状可以看出,深度学习主要在涉及视觉的控制系统中具有应用的优势.对于控制目标识别,其识别的对象是图片中物体的种类和姿态.对于状态特征提取,其提取的是场景图片的抽象特征.对于系统参数辨识,其本质也是从系统状态中提取特征,然后拟合特征和输出之间的关系.对于控制策略计算,虽然有直接拟合PID 控制器的研究,但是没有体现出深度学习的优势甚至引入的必要.输出控制策略的深度网络需要从已有的范例中学习如何计算控制策略,网络对系统的控制性能在很大程度上会受训练范例的影响,不能估计其对系统出现的新情况的控制效果.综上,目前深度学习在控制领域的研究虽然已有以上介绍的一些实例,但是相关研究的报道仍然相对较少,研究的广度和深度都略显不足.
虽然深度学习在控制领域的研究存在一些问题,不可否认的是,深度学习在控制领域的研究前景仍然十分广阔.就在本文投稿后一个月,谷歌在Nature 上发表了利用深度神经网络和树搜索方法进行围棋博弈的论文[63],其围棋程序AlphaGo 在
5期段艳杰等:深度学习在控制领域的研究现状与展望651
随后进行的人机围棋比赛中以4:1的战绩打败了专业围棋选手.这无疑给深度学习在控制领域的研究带来新的动力和想象力.以下对未来值得研究的内容进行展望.
5.1仿人感知与控制
深度学习之所以受到重视,最早是其在语音识别和图像识别方面取得的重大突破.而语音和图像识别的目的是能够达到人对语音和图像的识别水平,所以深度学习从本质上讲是模拟人的听觉和视觉.听觉和视觉是人感知世界的能力.对于控制来讲,例如机器人的机械手抓取控制系统的目的是能够达到人对物体抓取的速度和精度,所以深度学习是否能够模拟人的运动控制系统是其用于控制领域的关键问题.模拟系统以及实现该系统的硬件都是值得研究的问题.深度学习需要监督信号才能训练出有效的模型.引导策略搜索法是一种利用已经观察到的范例样本训练网络的方法.引导策略搜索方法中,对某些控制系统例如机器人行走,人的行走模式可以当作训练中的范例样本.所以对于智能控制领域的问题,如何充分利用人的智能这一资源是十分有意义的.而深度学习具有表达人类某些智能的潜力,所以挖掘深度学习对于仿人型机器人等系统中存在的智能控制问题具有十分重要的意义.
5.2无人系统
自动控制领域的研究使得无人系统的软硬件研究得到了快速发展,例如无人机(Unmanned aevial vehicle,UAV)、无人驾驶车等.对于这类复杂的无人系统,它们的动态模型一般具有复杂非线性的特点,利用传统的建模方法较难表示其动态特性.而深度学习擅长对复杂非线性系统进行建模,所以深度学习对这类无人系统的建模是值得进一步研究的问题.无人系统需要尽量减少人的参与或者没有人的参与,深度学习自动学习状态特征的能力使得深度学习在无人系统的研究中具有先天的优势.如何充分利用和发挥深度学习在无人系统中的优势并发展深度学习在环的无人系统控制是下一步研究的方向.
5.3强化自适应控制
强化学习模拟人对世界认知的过程,利用从外界反馈的回报信号和接收或采集的环境状态不断调整系统参数,改变控制策略,达到自适应控制的效果.对于环境状态维度较高的情况,例如视觉环境,深度学习能够自动提取识别状态特征,为强化学习提供源数据.深度学习与强化学习的结合能够使感知环境和系统控制无缝连接,其所在的系统能够自动感知不确定的环境状态并完成自适应控制.这样的系统值得进一步研究.5.4复杂系统
平行控制针对复杂系统,以大数据和ACP方法为基础,采用人工系统作为建模工具,通过虚实互动的平行执行方式来完成任务.平行控制是一种数据驱动的计算控制方法,与深度学习有天然的契合.平行控制作为自适应动态规划在复杂系统的自然扩展,鉴于自适应动态规划在深度控制系统发挥的重要作用,平行控制与深度学习的结合为解决复杂系统的管理与控制问题提供了重要的解决思路.
5.5控制性能评估
最后,我们应该看到深度学习用于控制系统中的理论研究仍然欠缺.目前没有理论能够评估使用了深度学习的控制系统的稳、准、快等性能.虽然深度学习在控制系统中能够表现出一定的控制效果,但是仅仅通过试错等方式不能保证控制性能.这方面理论上的欠缺有可能阻碍深度学习在控制系统中的研究发展.所以理论方面的研究也是一个非常值得注意的方向.
References
1LeCun Y,Bengio Y,Hinton G.Deep learning.Nature,2015, 521(7553):436?444
2Krizhevsky A,Sutskever I,Hinton G E.ImageNet classi?ca-tion with deep convolutional neural networks.In:Proceed-ings of the2012Advances in Neural Information Process-ing https://www.doczj.com/doc/a46586477.html,ke Tahoe,Nevada,USA:Curran Associates, Inc.,2012.1097?1105
3Hinton G E,Salakhutdinov R R.Reducing the dimensional-ity of data with neural networks.Science,2006,313(5786): 504?507
4Hinton G E,Osindero S,Teh Y W.A fast learning algo-rithm for deep belief nets.Neural Computation,2006,18(7): 1527?1554
5Bengio Y,Lamblin P,Popovici D,Larochelle H.Greedy layer-wise training of deep networks.In:Proceedings of the 2007Advances in Neural Information Processing Systems.
Cambridge,MA:MIT Press,2007.153?160
6Lecun Y,Bottou L,Bengio Y,Ha?ner P.Gradient-based learning applied to document recognition.Proceedings of the IEEE,1998,86(11):2278?2324
7Sutskever I.Training recurrent neural networks[Ph.D.dis-sertation],University of Toronto,Canada,2013
8Bengio Y.Learning deep architectures for AI.Foundations and Trends in Machine Learning,2009,2(1):1?127
9Arel I,Rose D C,Karnowski T P.Deep machine learning—
a new frontier in arti?cial intelligence research.IEEE Com-
putational Intelligence Magazine,2010,5(4):13?18
10Bengio Y,Courville A,Vincent P.Representation learn-ing:a review and new perspectives.IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(8): 1798?1828
652自动化学报42卷
11Schmidhuber J.Deep learning in neural networks:an overview.Neural Networks,2015,61:85?117
12Boulanger-Lewandowski N,Bengio Y,Vincent P.Modeling temporal dependencies in high-dimensional sequences:ap-plication to polyphonic music generation and transcription.
arXiv:12066392,2012.
13Schuster M,Paliwal K K.Bidirectional recurrent neural networks.IEEE Transactions on Signal Processing,1997, 45(11):2673?2681
14Yu J,Weng K,Liang G,Xie G.A vision-based robotic grasp-ing system using deep learning for3D object recognition and pose estimation.In:Proceedings of the2013IEEE Interna-tional Conference on Robotics and Biomimetics(ROBIO).
Shenzhen,China:IEEE,2013.1175?1180
15Lange S,Riedmiller M.Deep auto-encoder neural networks in reinforcement learning.In:Proceedings of the2010In-ternational Joint Conference on Neural Networks(IJCNN).
Barcelona:IEEE,2010.1?8
16Mattner J,Lange S,Riedmiller M.Learn to swing up and balance a real pole based on raw visual input data.In: Proceedings of the19th International Conference on Neu-ral Information Processing.Doha,Qatar:Springer,2012.
126?133
17Mnih V,Kavukcuoglu K,Silver D,Graves A,Antonoglou I,Wierstra D,Riedmiller M.Playing Atari with deep rein-forcement learning.arXiv:1312.5602,2013.
18Mnih V,Kavukcuoglu K,Silver D,Rusu A A,Veness J, Bellemare M G,Graves A,Riedmiller M,Fidjeland A K, Ostrovski G,Petersen S,Beattie C,Sadik A,Antonoglou I,King H,Kumaran D,Wierstra D,Legg S,Hassabis D.
Human-level control through deep reinforcement learning.
Nature,2015,518(7540):529?533
19Punjani A,Abbeel P.Deep learning helicopter dynamics models.In:Proceedings of the2015IEEE International Conference on Robotics and Automation.Seattle,WA: IEEE,2015.3223?3230
20Lenz I,Knepper R,Saxena A.DeepMPC:learning deep la-tent features for model predictive control.In:Proceedings of Robotics:Science and Systems(RSS).Rome,Italy,2015.
21Anderson C W,Lee M,Elliott D L.Faster reinforcement learning after pretraining deep networks to predict state dynamics.In:Proceedings of the2015International Joint Conference on Neural Networks(IJCNN).Killarney:IEEE, 2015.1?7
22Cheon K,Kim J,Hamadache M,Lee D.On replacing PID controller with deep learning controller for DC motor sys-tem.Journal of Automation and Control Engineering,2015, 3(6):452?456
23Levine S.Exploring deep and recurrent architectures for optimal control.In NIPS(Neural Information Processing Systems)2013Workshop on Deep Learning,2013.arXiv: 1311.1761,2013.
24Berniker M,Kording K P.Deep networks for motor control functions.Frontiers in Computational Neuroscience,2015, 9:3225Wang F-Y,Kim H-M.Implementing adaptive fuzzy logic controllers with neural networks:a design paradigm.Jour-nal of Intelligent&Fuzzy Systems:Applications in Engi-neering and Technology,1995,3(2):165?180
26Saridis G N,Moed M C.Analytic formulation of intelligent machines as neural nets.In:Proceedings of the1988IEEE International Symposium on Intelligent Control.Arlington, VA:IEEE,1988.22?27
27Moed M C,Saridis G N.A Boltzmann machine for the orga-nization of intelligent machines.IEEE Transactions on Sys-tems,Man,and Cybernetics,1990,20(5):1094?1102
28Wang F-Y.Evolutionary Neuro-fuzzy Networks for Anal-ysis of Complex Systems:a Memetic Approach,Technical report#03-09-99,Program for advanced research of complex systems,the University of Arizona,1999
29Wang F-Y.Modeling,analysis and synthesis of linguistic dy-namic systems:a computational theory.In:Proceedings of the1995IEEE International Workshop on Architecture for Semiotic Modeling and Situation Control in Large Complex Systems.Monterey,CA:IEEE Press,1995.173?178
30Wang Fei-Yue.Fundamental issues in research of computing with words and linguistic dynamic systems.Acta Automat-ica Sinica,2005,31(6):844?852
(王飞跃.词计算和语言动力学系统的基本问题和研究.自动化学报, 2005,31(6):844?852)
31Saridis G N,Stephanou H E.A hierarchical approach to the control of a prosthetic arm.IEEE Transactions on Systems, Man,and Cybernetics,1977,7(6):407?420
32Bellman R.On the theory of dynamic programming.Pro-ceedings of the National Academy of Sciences of the United States of America,1952,38(8):716?719
33Bellman R.Dynamic Programming.Princeton:Princeton University Press,1957.
34Dreyfus S E,Law A M.The Art and Theory of Dynamic Programming.New York:Academic Press,1977.
35Werbos P J.Advanced forecasting methods for global crisis warning and models of intelligence.General Systems Year-book,1977,22(12):25?38
36Wang F-Y,Zhang H G,Liu D R.Adaptive dynamic pro-gramming:an introduction.IEEE Computational Intelli-gence Magazine,2009,4(2):39?47
37Liu D R,Wang D,Wang F-Y,Li H L,Yang X.Neural-network-based online HJB solution for optimal robust guar-anteed cost control of continuous-time uncertain nonlinear systems.IEEE Transactions on Cybernetics,2014,44(12): 2834?2847
38Liu D,Wang D,Li H.Decentralized stabilization for a class of continuous-time nonlinear interconnected systems using online learning optimal control approach.IEEE Trans-actions on Neural Networks and Learning Systems,2014, 25(2):418?428
39Xu B,Yang C,Shi Z.Reinforcement learning output feed-back NN control using deterministic learning technique.
IEEE Transactions on Neural Networks and Learning Sys-tems,2014,25(3):635?641
40Werbos P J.Approximate dynamic programming for real-time control and neural modeling.Handbook of Intelligent Control:Neural,Fuzzy,and Adaptive Approaches.New York:Van Nostrand Reinhold,1992.493?525
5期段艳杰等:深度学习在控制领域的研究现状与展望653
41Murray J J,Cox C J,Lendaris G G,Saeks R.Adaptive dy-namic programming.IEEE Transactions on Systems,Man, and Cybernetics,Part C:Applications and Reviews,2002, 32(2):140?153
42Bertsekas D P.Dynamic Programming and Optimal Con-trol.Massachusetts:Athena Scienti?c Belmont,1996.
43Sutton R S,Barto A G.Reinforcement Learning:An Intro-duction.Cambridge:MIT Press,1998.
44Al-Tamimi A,Lewis F L,Abu-Khalaf M.Discrete-time non-linear HJB solution using approximate dynamic program-ming:convergence proof.IEEE Transactions on Systems, Man,and Cybernetics,Part B:Cybernetics,2008,38(4): 943?949
45Wei Q,Liu D,Lin H.Value iteration adaptive dynamic programming for optimal control of discrete-time nonlinear systems.IEEE Transactions on Cybernetics,2015,46(3): 840?853
46Abu-Khalaf M,Lewis F L.Nearly optimal control laws for nonlinear systems with saturating actuators using a neural network HJB approach.Automatica,2005,41(5):779?791
47Zhang H G,Wei Q L,Liu D R.An iterative adaptive dy-namic programming method for solving a class of nonlin-ear zero-sum di?erential games.Automatica,2011,47(1): 207?214
48Bhasin S,Kamalapurkar R,Johnson M,Vamvoudakis K G,Lewis F L,Dixon W E.A novel actor-critic-identi?er architecture for approximate optimal control of uncertain nonlinear systems.Automatica,2013,49(1):82?92
49Liu D,Wei Q.Policy iteration adaptive dynamic program-ming algorithm for discrete-time nonlinear systems.IEEE Transactions on Neural Networks and Learning Systems, 2014,25(3):621?634
50Wang Fei-Yue.Parallel control:a method for data-driven and computational control.Acta Automatica Sinica,2013, 39(4):293?302
(王飞跃.平行控制:数据驱动的计算控制方法.自动化学报,2013, 39(4):293?302)
51Wang Fei-Yue.Parallel system methods for management and control of complex systems.Control and Decision,2004, 19(5):485?489
(王飞跃.平行系统方法与复杂系统的管理和控制.控制与决策, 2004,19(5):485?489)
52Wang https://www.doczj.com/doc/a46586477.html,putational theory and method on com-plex system.China Basic Science,2004,6(5):3?10
(王飞跃.关于复杂系统研究的计算理论与方法.中国基础科学, 2004,6(5):3?10)
53Wang Fei-Yue,Lansing J S.From arti?cial life to arti?cial societies—new methods for studies of complex social https://www.doczj.com/doc/a46586477.html,plex Systems and Complexity Science,2004,1(1): 33?41
(王飞跃,史帝夫?兰森.从人工生命到人工社会—复杂社会系统研究的现状和展望.复杂系统与复杂性科学,2004,1(1):33?41) 54Wang Fei-Yue.On the modeling,analysis,control and man-agement of complex https://www.doczj.com/doc/a46586477.html,plex Systems and Com-plexity Science,2006,3(2):26?34
(王飞跃.关于复杂系统的建模、分析、控制和管理.复杂系统与复杂性科学,2006,3(2):26?34)
55Wang Fei-Yue.Arti?cial societies,computational experi-ments,and parallel systems:a discussion on computational theory of complex social-economic https://www.doczj.com/doc/a46586477.html,plex Sys-tems and Complexity Science,2004,1(4):25?35
(王飞跃.人工社会、计算实验、平行系统—关于复杂社会经济系统计算研究的讨论.复杂系统与复杂性科学,2004,1(4):25?35)
56Wang F-Y.Toward a paradigm shift in social computing: the ACP approach.IEEE Intelligent Systems,2007,22(5): 65?67
57Wang F-Y,Carley K M,Zeng D,Mao W.Social computing: from social informatics to social intelligence.IEEE Intelli-gent Systems,2007,22(2):79?83
58Wang Fei-Yue.Study on cyber-enabled social movement or-ganizations based on social computing and parallel systems.
Journal of University of Shanghai for Science and Technol-ogy,2011,33(1):8?17
(王飞跃.基于社会计算和平行系统的动态网民群体研究.上海理工大学学报,2011,33(1):8?17)
59Wang F-Y.Parallel control and management for intelligent transportation systems:Concepts,architectures,and ap-plications.IEEE Transactions on Intelligent Transportation Systems,2010,11(3):630?638
60Zhu F,Wen D,Chen https://www.doczj.com/doc/a46586477.html,putational tra?c experiments based on arti?cial transportation systems:an application of ACP approach.IEEE Transactions on Intelligent Trans-portation Systems,2013,14(1):189?198
61Wang F-Y,Wong P K.Intelligent systems and technology for integrative and predictive medicine:an ACP approach.
ACM Transactions on Intelligent Systems and Technology (TIST),2013,4(2):32
62Duan W,Cao Z D,Wang Y Z,Zhu B,Zeng D,Wang F-Y,Qiu X G,Song H B,Wang Y.An ACP approach to public health emergency management:using a campus out-break of H1N1in?uenza as a case study.IEEE Transactions on Systems,Man,and Cybernetics:Systems,2013,43(5): 1028?1041
63Silver D,Huang A,Maddison C J,Guez A,Sifre L,Van den Driessche G,Schrittwieser J,Antonoglou I,Panneershelvam V,Lanctot M,Dieleman S,Grewe D,Nham J,Kalchbren-ner N,Sutskever I,Lillicrap T,Leach M,Kavukcuoglu K, Graepel T,Hassabis D.Mastering the game of Go with deep neural networks and tree search.Nature,2016,529(7587): 484?489
段艳杰中国科学院自动化研究所复杂
系统管理与控制国家重点实验室博士研
究生.主要研究方向为智能交通系统,机
器学习及应用.
E-mail:duanyanjie2012@https://www.doczj.com/doc/a46586477.html,
(DUAN Yan-Jie Ph.D.candidate
at The State Key Laboratory of Man-
agement and Control for Complex Sys-tems,Institute of Automation,Chinese Academy of Sci-ences.Her research interest covers intelligent transporta-tion systems,machine learning and its application.)
654自动化学报42卷
吕宜生中国科学院自动化研究所复杂
系统管理与控制国家重点实验室助理研
究员.主要研究方向为交通数据分析,动
态交通建模,平行交通管理与控制系统.
E-mail:yisheng.lv@https://www.doczj.com/doc/a46586477.html,
(L V Yi-Sheng Assistant professor
at The State Key Laboratory of Man-
agement and Control for Complex Sys-tems,Institute of Automation,Chinese Academy of Sci-ences.His research interest covers tra?c data analysis, dynamic tra?c modeling,and parallel tra?c management and control systems.)
张杰中国科学院自动化研究所复杂
系统管理与控制国家重点实验室助理研
究员.主要研究方向为拍卖机制,最优控
制与博弈论.
E-mail:jie.zhang@https://www.doczj.com/doc/a46586477.html,
(ZHANG Jie Assistant professor at
The State Key Laboratory of Manage-
ment and Control for Complex Sys-tems,Institute of Automation,Chinese Academy of Sci-ences.His research interest covers online auctions,optimal control and game theory.)
赵学亮中国科学院自动化研究所复杂
系统管理与控制国家重点实验室博士研
究生,中国自动化学会工程师.主要研究
方向为社会计算,智能信息处理.
E-mail:xueliang.zhao@https://www.doczj.com/doc/a46586477.html,
(ZHAO Xue-Liang Ph.D.candi-
date at The State Key Laboratory of
Management and Control for Complex Systems,Institute of Automation,Chinese Academy of Sci-ences,engineer at Chinese Association of Automation.His research interest covers social computing and intelligent in-formation processing.)
王飞跃中国科学院自动化研究所复杂
系统管理与控制国家重点实验室研究员.
主要研究方向为智能系统和复杂系统的
建模,分析与控制.本文通信作者.
E-mail:feiyue.wang@https://www.doczj.com/doc/a46586477.html,
(W ANG Fei-Yue Professor at The
State Key Laboratory of Management
and Control for Complex Systems,In-stitute of Automation,Chinese Academy of Sciences.His research interest covers modeling,analysis,and control of intelligent systems and complex systems.Corresponding author of this paper.)
2012年第10期 吉林省教育学院学报 No.10，2012 第28卷JOURNAL OF EDUCATIONAL INSTITUTE OF JILIN PROVINCE Vol .28（总310期） Total No .310 收稿日期：2012—06—28 作者简介：张杨（1983—），女，吉林长春人。吉林艺术学院文化艺术管理学院，助教，硕士，研究方向：艺术管理。 浅析艺术管理学科的发展现状及前景展望 张 杨 （吉林艺术学院文化艺术管理学院，吉林长春130000） 摘要：艺术管理作为一门新兴学科正在我国高校如火如荼的开办。对于这一学科，目前国内尚未取得一致的看法，各个院校的办学情况也是五花八门。致使这门年轻的学科在发展过程中仍然存在很多问题。本文试图找到这些问题的所在，并展望这门学科今后的发展，以期为艺术管理学科体系的完善做出一份贡献。 关键词：艺术管理；学科发展；发展前景中图分类号：G640 文献标识码：A 文章编号：1671—1580（2012）10—0047—02 艺术管理学是一门相对比较年轻的学科，它产 生于人类广泛从事的艺术活动的基础上，由艺术学、管理学等学科的理论建构而成，以艺术学理论为基 础， 以管理学为依托，又充分吸取文化学、人类学、心理学等相关学科的理论素养，具有严谨的综合性的学理结构。从其诞生至今，经由人们几十年来的共同努力，已经基本形成比较完整的学科体系，有着新颖而丰富的内容。 一、艺术管理学科发展现状 艺术管理是诞生于20世纪60年代的一门新兴学科，目前在欧美等发达国家已经有了比较成熟的发展。我国从20世纪90年代开始建设该学科，并取得了迅速发展，但是与国外几十年的历史相比，我国的艺术管理学科尚处于起步阶段，专业的课程设置还在不断摸索，学科建设、体系还不完善。在我国艺术管理至今还没有被教育部批准为本科专业，而只是在公共事业管理以及美术学、音乐学、影视学等艺术理论类本科专业中以一个方向的形式存在。其专业归属大致有两种情况，一类是将其设置在公共事业管理专业之下，这类院校对其毕业生授予管理学学士学位，如中央戏剧学院、吉林艺术学院、上海戏剧学院、山东艺术学院、云南艺术学院、四川音乐学院、南京艺术学院等院校；另一类是设置在艺术理论专业之下，如美术学、影视学、音乐学等。这类院 校对其毕业生则授予文学学士学位。但是不管艺术 管理设置在哪类专业之下，在实际办学中，其人才培养方向是大致相同的，即具有艺术能力及理论背景的专业人才。 一般来讲，新生事物都有蓬勃的生命力，几年间，艺术管理专业从最初的默默无闻，到如今已发展成为我国高校的一个热门专业，并为我国文化艺术产业培养了一批专业人才。许多艺术院校与甚至综合类院校依靠自身的优势学科资源，纷纷开设此系，并将其作为重点发展对象。艺术管理如此热门，其主要原因在于，经济全球化时代的背景下，文化产业在各国国民经济中的比重越来越大。同时，艺术品市场逐渐形成，各类艺术组织数量激增，与此形成鲜明对比的是，相关领域人才稀缺，因此国家对于艺术管理专业人才的需要正在逐年增加。种种因素将艺术管理专业打造成了我国最热门的学科专业之一。 二、艺术管理学科发展中遇到的问题（一）艺术管理的学科定位不明确，课程设置不科学 艺术管理学科在各高等院校建立起来后，学科的定位并不明确。这一点清楚地体现在专业的名称和课程设计上。开设艺术管理专业的学校，在称谓上五花八门，有艺术管理、文化艺术管理、艺术策划和文化产业管理等多种名称，学科命名上的不统一 7 4
诗梦江南，入画寻踪 ——长清区实验小学江南深度研学实践之旅 【课程简介】 一道水，一架桥，一支橹声，隽秀婉约的聚合了太多的历史文化。此次研学活动旨在让同学们了解祖国江南，同时感受一场从远古传说，到春秋的吴越文化，到南北朝的文人风骨，再到明清以及近代的大儒伟人的历史盛宴。活动中，同学们将一起寻访王羲之、蔡元培、鲁迅、周恩来等名人伟人故里，穿越历史，冶爱国之志，体悟文化魅力；一起走进园，欣赏宋代江南私家园林的秀美景观，探寻园林蕴含的文化涵；一起游历西湖，领略“淡妆浓抹总相宜”的如画美景；一起走进综合性人文科学博物馆博物馆、中国黄酒博物馆，全面了解历史文化。 【课程特色】 ●文化名镇江南风采 ●穿越时空触摸历史 【行程简表】
上午探访安昌古镇漫游小桥流水梦回江南水乡游历江南小镇，画笔描绘 第五天 下午乘坐高铁前往：车次G60东-西 15:22-19:48辅导员送站一次相聚一生情谊备注：因天气交通等原因，组委会保留调整活动顺序及个别项目的权力，保证活动总量不变。 【活动费用】 2900/人；包含火车（往返高铁）及活动期间所有的费用。 ?【人文积淀-理性思维】·第一天下午·钱塘江·六和塔 钱塘江潮被誉为“天下第一潮”，是世界一大自然奇观，它是天体引力和地球自转的离心作用，加上湾喇叭口的特殊地形所造成的特大涌潮。六和塔位于省市西湖之南，钱塘江畔 月轮山上，是中国现存最完好的砖木结构古塔之一。 小任务1：学生面对浩渺的钱塘江，接受审美教育，并结合手册提示，探究钱塘江大潮的在科学原理； 小任务2：学生走进六和塔，收集关于六和塔的传说故事，留下自己与六和塔最美的合照； ?【审美情趣-人文积淀】·第二天上午·西湖·省博物馆 西湖，是一首诗，一幅天然图画，一个美丽动人的故事，不论是多年居住在这里的人还是匆匆而过的旅人，无不为这天下无双的美景所倾倒。平湖秋月、断桥残雪、柳浪闻莺、花 港观鱼、雷峰夕照、双峰插云、南屏晚钟、三潭印月，西湖十景个擅其胜。省博物馆是省规 模最大的综合性人文科学博物馆，文物品类丰富，年代序列完整。 小任务1：集体创绘，全体学生齐动手，集体协作，面对美景，协作创作最美的西湖； 小任务2：走进博物馆，寻访国宝，找一找最能代表江南文化的文物，向小组同学分享并交流；
国内外相关技术的现状发展趋势世界上许多地区正面临着最严重的缺水。据世界银行的统计，全球80%的国家和地区都缺少民用和工业用淡水。随着资源成本不断上升和环保意识逐渐增强，许多企业开始运用绿色技术，降低碳排放，尽量减少废物产生。其中水处理技术就是其中非常重要的一项绿色技术。 根据联合国统计，到2025年，三分之二的世界人口可能会面临水资源短缺，因此水处理技术将会越来越得到重视，这包括了高效率的水资源管理和污水处理。例如：在北美尤其在加拿大，水管理及污水处理设施的面临的问题十分急切。63%的目前运行的设施都在超期运行，他们的平均运行时间已经达到18.3年。其中52%污水处理设施在超期运行。在美国的干旱地区，对海水淡化技术的需求越来越高。海水淡化技术主要局限在于效率，而随着淡水的短缺，这些局限逐渐被淡化和忽视。水处理技术的发展拥有巨大的前景，许多国家都在实施水处理的政策和项目。根据全球知名增长咨询公司的预测，至2010年，全球水资源管理和污水处理技术市场规模预计将达到3，500亿美元。 目前先进的水管理和污水处理技术及其发展趋势包括了循环用水、反渗透海水淡化和臭氧化等。例如，反渗透海水淡化技术正在迅速占领的大型设施市场，而这一领域过去主要以热工过程设备为主。
处理效率的提升和渗透膜价格的回落，促使反渗透海水淡化市场在过去5年中迅速发展，现在应用反渗透海水淡化技术的已不再是小规模的工厂，大型反渗透海水淡化厂已是司空见惯。 在污水处理方面，澳大利亚的研究人员在生物发电领域提出了一种新的旋转生物电化学接触器，这项技术能够将已经运用于污水处理行业30年的旋转生物污水处理技术的效率提高15%；此外，一种能够处理高污染废水的技术也已经问世，这种技术能够处理污染物浓度超过300，000ppm的污水，而处理成本仅有原先通过储存和化学处理方法的十分之一。这种技术目前被认为是最简单、最易于使用及经济的处理技术. 中国目前同样也面临巨大的淡水短缺和水污染的问题。作为一个人均拥有水资源量最小的国家，必须采取措施以避免未来严重危机的发生。中国北方缺水问题极度严重，因此国家启动了浩大的“南水北调”工程，整个工程耗资达到几十亿美元，预计2050年建成。污水问题同样困扰着中国，估计有3亿人口的饮用水是被污染的。2004年至2008年，污水排放量年增长率达到18%，从482亿吨增长至572亿吨。预计在2010年，中国的污水排放将达到640亿吨。中国持续的工业化、城市化进程和经济的快速增长，是导致污水排放量连年上升的主要原因；而与此相对的是，中国的污水处理厂却基本上未能实现满负荷的运行。以2008年为例，中国污水处理厂的处理污
无土栽培的现状及发展趋 势
无土栽培以人工制造的作物根系环境取代了土壤环境，可有效解决传统土壤栽培中难以解决的水分、空气、养分的供应矛盾，使作物根系处于最适宜的环境条件，从而充分发挥作物的增产潜力。目前，世界上应用无土栽培技术的国家和地区已达100多个[1]，由于其栽培技术的逐渐成熟和发展，应用范围和栽培面积也不断扩大，经营与技术管理水平空前提高，实现了集约化、工厂化生产，达到了优质、高产、高效和低耗的目的。 1、国外无土栽培的发展概况 在设施农业中，无土栽培正在改变着传统种植方式，成为飞速发展的新兴学科。实践证明，无土栽培具有节水、节能、省工、省肥、减少环境污染、防止连作障碍、产品无污染及高产高效等一系列特点。早在第二次世界大战期间，西方国家就应用无土栽培技术生产蔬菜供应部队。到20 世纪60 年代无土栽培技术在发达国家得到广泛应用。 70 年代后，出现了营养液膜技术(NFT)，生产成本有所下降，后来又出现多种人工基质，其中岩棉的应用较广，发展迅速。美国是世界上最早进行无土栽培商业化生产的国家，主要集中在干旱、沙漠地区，主要栽培作物有黄瓜、番茄等蔬菜，无土栽培面积超过2000hm2 [2]。荷兰是无土栽培最发达的国家，其无土栽培面积达4000hm2，有64%的温室都采用无土栽培技术。日本也是无土栽培较发达的国家，其无土栽培以岩棉培和NFT 为主，无土栽培面积约300hm2。现在世界上商业性无土栽培是以基质栽培为主。 荷兰的基质栽培占无土栽培总面积的90%以上，法国占81%，加
拿大占80%，日本各种循环水栽培占80%以上，比利时基质栽培面积 占50%左右[3]。世界各国采用无土栽培主要生产蔬菜、花卉和水果。在欧盟国家温室蔬菜、水果和花卉生产中，已有80%采用无土栽培方式。欧盟规定，2010 年之前该组织所有成员国的温室必须采用无土 栽培。 产量高是无土栽培的最大特点，世界上先进的无土栽培技术其番茄产量可以达到45~55kg/m2，黄瓜产量达到50~70kg/m2 [4]。为此，发达国家已经实现了采用计算机实施自动测量和自动控制，先进的无土栽培技术可以较好的保护环境，生产出绿色食品。近年，发达国家又采用了专家系统的最新技术，应用知识工程总结专家的知识和经验，使其规范化、系统化，形成专家系统软件，它可以完成与专家水平相当的咨询工作，并可为用户提供建议和决策。 目前，世界上的无土栽培技术发展有两种趋势：一种是高投资、高技术、高效益类型，如荷兰、日本、美国、英国、法国、以色列及丹麦等发达国家，无土栽培生产实现了高度机械化，其温室环境、营养液调配、生产程序控制完全由计算机调控，实现一条龙的工厂化生产，实现了产品周年供应，产值高经济效益显著。另一种趋势是以发展中国家为主，尤其是以中国为代表，根据本国的国情和经济技术条件，就地取材搞土法上马，手工操作，采用简易的设备。这些国家发展无土栽培的目的是改造环境、节约用水和土地资源，解决人民的基本生活需要。 2、我国无土栽培的发展现状
我国管理学的研究现状与展望 1911年，泰罗的科学管理理论横空出世，这种管理理论的出现适应了当时的社会发展潮流，从此，人们的理性代替了传统经验，管理学作为一门独立的学科开始登上历史的舞台，在这个具有里程碑意义的科学管理理论出现之后，管理学的新观点、新研究就不断出现，这些理论与时俱进，适应着社会的发展，在社会的发展和实践过程中，这些新的管理理论和管理思想不断进行完善。 发展一百多年的管理学是一笔宝贵的财富，它过去的这些研究理论是财富，它不断发展的新理论更是财富，这些经验和理论对于我国管理学的研究现状和未来发展，都具有重要的指导意义。 一、管理学的概念 管理学的含义有很多，比较权威的是泰罗、法约尔、德鲁克、孔茨等管理学家对管理学的定义，总体来说，管理学被分为广义和狭义，泰罗和孔茨提出的是广义的管理学，包括很多管理学科，涵盖对象很广泛，适用的领域也是十分广泛的；法约尔和德鲁克提出的则是狭义的管理学，只适用于特定的领域，他们从不同的角度对人类社会的管理活动进行了阐述。总之，管理学是一种专门研究管理活动的基本原
理的管理科学，即一般管理学，它是一种基础学科。 管理学在我国是一个学科门类，下面设有五个一级学科：管理科学与工程、工商管理、农林经济管理、公共管理和图书馆、情报与档案管理，它经过多年发展在我国成为一门独立的学科，这是管理学在我国发展的重要成就。 二、管理学的发展现状 管理学经过一百多年的发展，出现了很多不同的理论和体系，它们都各有特点，都为它们所处的时期和社会做出了重大贡献，这些理论也不是完全独立的，它们之间都互有借鉴，存在一定的联系，管理学的现状同过去相比，有一定的特色： （一）从目标上来说，管理学都是为了促进组织的发展和完善，使组织能够适应不断变化的环境。社会的竞争是很激烈的，组织要想在竞争中生存谋发展，就必须改善管理方式，提高自身的效率，这样才能更好的发展和壮大，为了达到这个目标，目前，各个国家的管理学派都在寻找最佳的途径，通过不同的研究手段和和论证方法，从不同的角度出发，对管理学适用的领域展开科学的论证和研究； （二）从管理方法上说，现在的管理学有显着的量化特征，决策
2020-2024年中国数字经济深度预测分析 全球数字经济发展规模分析 数字经济成为全球经济增长的关键动力。2018年，全球47个国家数字经济规模达到30.2万亿美元，占GDP比重的40.3%，平均名义增速为9.2%。在全球经济下行压力加大的形势下，数字经济的持续稳定快速发展，成为稳定经济增长的重要动能。未来，伴随着数字技术持续创新，加速向传统产业融合渗透，数字经济对经济增长的拉动作用将愈发凸显。 各国数字经济蓬勃发展。当前，全球经济增长动能减弱、不确定不稳定因素明显增多，但各国数字经济发展依然取得了明显成效。2018年，美国数字经济规模蝉联全球第一，达到12.34万亿美元，中国依然保持全球第二大数字经济体地位，规模达到4.73万亿美元，德国、日本、英国、法国数字经济规模超过1万亿元，分别达到2.40万亿美元、2.29万亿美元、1.73万亿美元和1.15万亿美元，位列第三至第六位。韩国、印度数字经济规模较大，超过5000亿美元。加拿大、巴西、意大利、俄罗斯、新加坡等国家规模也都超过1000亿美元。芬兰、丹麦、挪威等北欧国家，马来西亚、泰国、越南等东南亚国家，奥地利、匈牙利、斯洛伐克等中欧国家，数字经济规模介于100亿美元至1000亿美元之间。欧洲小国立陶宛、斯洛文尼亚、爱沙尼亚、拉脱维亚、塞浦路斯等，数字经济体量较小，不足100亿美元。 图表2018年全球主要国家数字经济规模 数据来源：中国信息通信研究院 2019中国城市数字经济发展排名 在2019年4月发布的《2019中国城市数字经济指数白皮书》中，中国城市数字经济百城排名榜单中，上海以89.8分卫冕第一，北京89.4分，由2018年的第三位上升至第二位，
采矿工程学科前沿与进展 ——深部技术开采及发展趋势 姓名： 班级：采矿1101班 学号：1111104007
深部技术开采及发展趋势 随着浅部资源的逐渐消耗殆尽，矿产资源开发向深部发展将成为一种趋势。根据矿床开采工作所面临的地压问题，可按开采深度将矿山分为以下几类。 开采深度小于300m，称浅井开采。在此深度内采矿时，一般地压显现不严重，即使发生地压活动，也属静压问题，易于处理。 开采深度300～800m，称为中深井开采。根据矿体赋存条件、矿岩的物理力学性质，在掘进或开采过程中，可能发生轻度岩爆，如岩石弹射等现象。 开采深度超过800m，为深井开采。在此深度内具有二类变形特征的岩石会发生频繁的岩爆，影响作业安全。 与浅井或中深井开采相比，深井(含超深井)开采这一特殊环境将带来一系列安全问题，主要包括岩爆(即在压力作用下，岩石发生爆裂的现象)、高温、采场闭合和地震活动等，其中尤以岩爆为丰要危害。 预计随着浅部资源町供开发量的减少，深部资源勘探技术发展获得更多深部可开采资源，这一比例将会呈逐步减小的趋势。当代露天采矿工艺的技术发展趋势是开采工艺的综合化。采剥工艺的选择，贵在因地制宜。对于范围广阔、能力巨大的大型矿山，针对不同开采深度、不同地段、不同开采对象的特点，采用不同开采工艺，并组成综合工艺，以实现优化开采效果，已成为现代露天矿山的发展趋势。将机械化、自动化、通信、计算机及优化理论等多学科交叉应用，通过研究、开发，实现露天开采生产的自动调度，生产计划和过程的优化，开拓运输系统和采装系统的优化将是露天开采常用的计划、生产管理手段；在未来几年，数字矿山技术将会得到普及。2.2 地下开采工艺地下开采虽然产量比例小，但数量多，西方国家有地下矿 365 座(2002 年数据)，其中多为小型但却高效的矿山。尽管如此，许多地下矿山十分巨大并装备有非常精致的设备和较高的自动化水平。对传统主要采矿方法的不断改进是地下开采工艺的发展趋势。如大间距集中化无底柱参数的进一步扩展，充填采矿技术中新的充填材料和充填工艺的研究，自然崩落法技术的完善与应用范围的扩展等等；针对特定矿体改进的采矿技术将会不断出现。由于易采资源耗竭，勘探深度的加深，将越来越多地开采深部矿体和难采矿体，深井开采技术、复杂难采矿体开采技术将是今后几年研究的重点，在理论研究和系统开采技术方面都将取得突破。深井开采的岩爆、矿震、冲击地压等动力灾害是深部开采中面临的突出问题，除此之外，安全技术、地质构造、采场布置与采矿方法、降温与通风、采场支护、超深竖井掘进、钢绳提升和无绳提升等都是深部开采面临的关键问题。 对此，深部开采岩爆、矿震、冲击地压等动力灾害控制、预报与防治技术，深部开采的采、掘技术，深部开采通风与降温技术将在对正在或逐步进行的深井矿山开采技术研究及理论研究的基础上获得快速发展。难采矿开采面临一系列特殊的技术难题。如松散破碎矿体顶板与围岩稳定性控制技术，流砂含水层覆盖的
非线性系统学习控制理论的发展与展望 谢振东谢胜利刘永清 摘要：论述了学习控制的基本理论问题，给出了学习与学习控制系统的基本定义，着重讨论了学习控制方法产生的历史背景、目前非线性系统学习控制的研究状况，提出了一些有待继续研究的问题. 关键词：非线性系统；学习控制；发展与展望 文献标识码：A Development and Expectation for Learning Control Theory of Nonlinear Systems XIE Zhendong，XIE Shengli and LIU Yongqing （Depatrment of Automatic Control Engineering, South China University of Technology． Guangzhou, 510640, P.R.China） Abstract：In this paper, the problem for the basic theory of learning control is discussed. After giving the basic definition of learning and learning control, we mainly discuss the background of learning control and the research status for learning control of nonlinear systems, and put forward some problems need to be researched. Key words：nonlinear systems; learning control; development and expectation▲ 1 非线性系统学习控制的研究背景(Research background for learning control theory of nonlinear systems) 1.1 引言(Introduction) 对于高速运动机械手的控制，Uchiyama提出一个思想［1］：不断重复一个轨线的控制尝试，并以此修正控制律，能达到较好的控制效果.日本学者Arimoto［2］等人根据这种思想于1984年针对机器人系统的控制研究，提出了迭代学习控制这一新颖方法.这种控制方法只是利用控制系统先前的控制经验，根据测量系统的实际输出信号和期望信号来寻求一个理想的输入，使被控对象产生期望的运动.而“寻找”的过程就是学习的过程，在学习的过程中，只需要测量系统的输出信号和期望信号，不象适应控制那样，对系统要进行复杂的参数估计［3，4］，也不象一般控制方法那样，不能简化被控对象的动力学描述.特别是在一类具有较强的非线性耦合和较高的位置重复精度的动力学系统(如工业机器人、数控机床等)中，学习控制有着很好的应用，如T.Sugie［5］,M.Katic［6］,H.Park［7］的工作.迭代学习控制方法提出后，受到了控制界的广泛关注，人们不仅针对各种机器人系
“研学旅行”实施方案 一、项目实施背景 从2013年发布《国民休闲旅游纲要》到2016年的《关于推进中小学生研学旅行的意见》，国家教育部等多部门发文要求大力推进研学旅行。研学旅行有利于促进学生培育和践行社会主义核心价值观，激发学生对党、对国家、对人民的热爱之情；有利于推动全面实施素质教育，创新人才培养模式，引导学生主动适应社会，促进书本知识和生活经验的深度融合；有利于加快提高人民生活质量，满足学生日益增长的旅游需求，从小培养学生文明旅游意识，养成文明旅游行为习惯。近年来，各地积极探索开展研学旅行，部分试点地区取得显著成效，在促进学生健康成长和全面发展等方面发挥了重要作用。二、定位与宗旨 目前大多数研学旅行还处在研究开发状态，良莠不齐，市场认可度不够，家长热度不高（尤其省内）。这是我们的机遇，也是挑战，我们的定位是要打造出一个学校认可、家长认可、学生认可的研学品牌，让学生在研学中学到东西。 三、具体实施 （一）方案A：纯旅游研学 本方案以若干旅游景点为研学地点，前期采取跟旅行社合作的方式（合作方式有待探讨），研学的核心（课件+“内容”）内容采取跟大学历史系或者旅游系的老师合作。 该方案的优点：该方案采用跟旅行社合作，研学路线可以借用
旅行社的优势，资源充分整合，老师和家长的路线选择多，可以极大丰富学生的课外知识，并且可以开展夏令营和冬令营活动。缺点是要综合考虑各个年龄段的学生，路线过多，会导致前期工作准备不够充足。 方案细节初步安排如下： 1、前期工作（3月20日-3月30日）： （1）与某个旅行社达成合作关系（目前有合作意向的有康辉旅行社）； （2）与某个大学的历史或者旅游系老师达成合作关系，负责研学核心内容的开发，包括路线的选择和内容的开发 （3）完成计划的策划和确定具体实施细节。 2、中期工作（4月1日-5月30日） （1）4月1日-4月15日与旅行社和老师确定最终的研学路线； （2）4月15日-5月30日一个半月的时间根据最终具体的研学路线，来做具体的研学课件和研学内容，研究出研学到底应该让学生学到什么，怎么保证学生能学到这些； （3）同时根据最终确定的研学方案做好定价方案，在这个过程中要充分进行调研，进学校、访家长，做到收费合理； （4）根据做好的方案做好线上推广，把做好的资料全部上传到线上，可以参考北京世纪明德。
深度学习的基本模型框架包括深度置信网络(DBN)、卷积神经网络(CNN)、堆叠自动编码机(SAE)、递归神经网络(RNN)。 1、深度置信网络(DBN)的故障诊断研究现状 DBN是一种典型的深度学习方法, 可以通过组合底层特征形成更加抽象的高层表示,发现数据的分布式特征,其动机在于建立模型模拟人类大脑的神经网络连接结构,通过多个非线性运算隐含层的多层感知器对输入数据进行分布式表征,并且能够在样本集有限的情况下实现学习数据集的本质特征,达到实现量测数据从低级到高级的特征表示与提取。 优势： 1.在于能够摆脱对大量信号处理技术与诊断经验的依赖,完成故障特征的自适应提取与健康状态的智能诊断; 2.该方法对时域信号没有周期性要求,具有较强的通用性和适应性; 3.其具有处理高维、非线性数据的能力,且可有效地避免发生维数灾难和诊断能力不足等问题.从此角度看,深度置信网络非常适合处理新时期工业“大数据”的故障诊断难题. 此文是将DBN用于实现传感器健康状态特征的分类, 而没有实现基于DBN的特征表达与提取, 需要进一步深入研究, 但确实为实现基于DBN故障诊断方法迈出了一大步. 用法: 一种用DBN 作分类器, 另一种用DBN作特征表达、提取与识别. 2、卷积神经网络(CNN)的故障诊断研究现状 CNN是一个典型的前馈神经网络, 其实质是构建多个能够提取输入数据特征的滤波器, 通过这些滤波器对输入数据进行逐层卷积及池化, 逐级提取隐藏在数据之中的拓扑结构特征,随着网络结构层层深入, 提取的特征也逐渐变得抽象, 最终获得输入数据的平移、旋转及缩放不变的特征表示.其主要特征是结合稀疏连接、权重共享、空间或时间上的降采样. 优势：CNN无需将这些输入数据进行矢量化. 用法:1.是将CNN作为特征提取与识别的方法,2.将CNN作为分类器使用。现有的研究, CNN仅仅用于实现视觉理解、图像特征提取等, 很少用于实现基于信号的特征提取与识别. 一种可能的解释是CNN输入需要2D特征图谱,即输入数据必须满足2D结构特征 CNN 非常适合处理海量数据, 学习海量数据中的特征,识别出海量数据中蕴含的信息. 因此,基于CNN 的故障诊断是未来基于深度学习故障诊断算法发展的一个方向. 3、堆叠自动编码机(SAE)的故障诊断研究现状 堆叠自动编码机(SAE) 能有效地提取数据低维特征,其基本单元是自动编码器(AE),由多个AE堆叠而成. 每个AE可以视为一个单隐层的人工神经网络,通过寻求最优参数使得输出尽可能地重构输入,此时隐层输出可看作是输入降维后的低维特征。自动编码机(AE)依然采用梯度下降算法训练网络参数, 使损失函数最小化. 作用：是降噪滤波和特征提取两大功能, 优势：用SAE实现故障诊断从其开始就用于实现特征提取与故障分类. 一个可能的解释是无论是编码器还是解码器均可用于整合特征提取算法与分类识别算法. 换句话说, SAE的训练需要少量的样本数据,再加上适当的分类识别技术即可实现较高性能的故障诊断效果,充分展现了其强大的特征提取能力以及该方法的鲁棒性. 4、递归神经网络(RNN)的故障诊断研究现状 RNN的本质特征是其处理单元之间既有内部的反馈连接又有前馈连接,其内部反馈连接可以为网络保留隐层节点的状态和提供记忆方式,网络的输出不仅取决于当前的输入,而且与以前的网络内部状态有关,体现出了较好的动态特性。 优势：充分考虑了样本之间的关联关系 优势：RNN提高了故障诊断效率, 改善了现有神经网络故障诊断方法,适用于复杂设备或系统的实时故障诊断, 且具有良好的扩展性. 递归神经网络具有收敛速度快、精度高、稳定性好、扩展性好等优势,此外RNN在预测方面具有其他算法不可比拟的优势。 深度学习故障诊断的挑战性问题 深度学习的目的就是试图通过寻求可量测的特征向量来判断系统处于何种状态,进而实现工业系统的故障检测、诊断与识别匹配等 1、一个可能的研究思路是构建实验仿真分析平台, 注入不同类型的故障, 得到不同故障对应的仿真
无土栽培技术的现状及发展前景 摘要：综述了我国无土栽培的突出特点及发展现状，对我国无土栽培存在的问题进行了分析，并提出了解决的途径，就无土栽培研究的利用前景进行了展望。 关键词：无土栽培；突出特点；现状；存在问题；发展前景 abstract: in our country are reviewed the outstanding characteristic of soilless cultivation and current situation of the development of our country, the problems soilless cultivation are discussed, and some of the solution, the use of soilless cultivation research prospect. keywords: soilless cultivation; prominent characteristics; the present situation; existing problems; development prospect 中图分类号：s317文献标识码：a 文章编号： 无土栽培俗称水培或水耕，是一种不用土壤而用营养液与其他设备来栽培作物的农业技术。它是当今世界农业生产中发展较快的一项高新技术，也是农业生产向“工业化”发展的一项基础技术。 无土栽培技术目前按根系固定方式可分为液体基质和固体基质两种栽培方式。液体基质（即水培）又可分坐浴式、浅水式及喷雾式。固体基质分有机和无机基质两种。其中有机基质有锯木屑、草炭、甘蔗渣、酒糟、炭化壳谷等，无机基质有砂、陶砾、火山灰岩、
网络控制系统的发展现状及展望
有关网络控制系统的发展现状及展望的读书报告 1.概述 计算机技术和通信技术的飞速发展, 使网络应用在全球范围内日益普及, 并渗透到社会生活的各个领域。在控制领域，网络已逐渐进入人们的视野，并引领控制系统的结构发生着变化。通过公用或专用的通信网络来代替传统控制系统中的点对点结构已越来越普遍。这种通过网络形成闭环的反馈控制系统称为网络控制系统（NCSS）与传统点对点结构的控制系统相比。NCSS具有成本低、功耗小、安装与维护简便、可实现资源共享、能进行远程操作等优点。若采用无线网络，NCSS还可以实现某些特殊用途的控制系统，这是传统的点对点结构的控制系统所无法实现的。NCSS的诸多优点使其在远程医疗、智能交通、 航空航天、制造过程以及国防等领域得到了日益广泛的应用。 然而，网络并不是一种可靠的通信介质。由于网络带宽和服务能力的物理限制，数据包在网络传输中不可避免地存在时延、丢包以及时序错乱等问题。这些问题是恶化系统性能以及导致NCSS不稳定的重要原因，并且这些问题的存在使传统控制理论很难直接应用于NCSS的分析和设计。为保证NCSS稳定并具有满意的控制性能，必须深入研究NCSS并发展与其相适应的分析和设计理论。近年来，NCSS的研究得到了来自控制领域、信号处理领域、以及通讯领域研究人员的共同关注，相关文献层出不穷。本文力图回顾近年来这一领域的重要成果，总结并指出这一领域下一步的发展方向和有待解决的新课题。 2.网络控制中的基本问题 2.1 时延 由于网络带宽和服务能力的物理限制，数据包在网络传输中不可避免地存在时延。网络时延受网络协议、负载状况、网络传输速率以及数据包大小等因素的综合影响，其数值变化可呈现随机、时变等特性。在NCSS的研究中，时延的数学描述主要采用以下3类模型: 固定时延模型、具有上下界的随机时延模型以及符合某种概率分布的概率时延模型。 2.2 丢包 由于网络节点的缓冲区溢出、路由器拥塞、连接中断等原因，数据包在网络传输中会出现丢失现象；丢包受网络协议、负载状况等因素的综合影响，通常具有随机性、突发性等特点。在NCSS的研究中，丢包的数学描述主要有以下两种方法: 1）确定性方法: 该方法通常采用平均丢包率或最大连续丢包量来描述丢
江南营-江南深度研学之旅（1)
————————————————————————————————作者：————————————————————————————————日期:
诗梦江南，入画寻踪 ——长清区实验小学江南深度研学实践 之旅 【课程简介】 一道水,一架桥，一支橹声,隽秀婉约的杭州绍兴聚合了太多的历史文化。此次研学活动旨在让同学们了解祖国江南，同时感受一场从远古传说，到春秋的吴越文化，到南北朝的文人风骨,再到明清以及近代的大儒伟人的历史盛宴。活动中，同学们将一起寻访王羲之、蔡元培、鲁迅、周恩来等名人伟人故里,穿越历史,陶冶爱国之志,体悟文化魅力；一起走进沈园,欣赏宋代江南私家园林的秀美景观，探寻园林蕴含的文化内涵；一起游历西湖,领略“淡妆浓抹总相宜”的如画美景；一起走进综合性人文科学博物馆浙江博物馆、中国黄酒博物馆，全面了解浙江历史文化。 【课程特色】 ●文化名镇江南风采 ●穿越时空触摸历史 【行程简表】 时间课程安排课程主题课程链接 第一天上午乘坐高铁前往杭州:车次G63 济南-杭州东 0７:23-1１：５３辅导员接站读万卷书行万里路下午参观钱塘江、六和塔看天下第一潮登镇潮六和塔追寻江畔的历史故事 晚上研学课程指导分组讨论课程，研学收获分享 实践－辅导员指导学生完成课程手 册 第二天上午 游历杭州西湖置身如画美景感受西湖柔情参观苏堤、孤山、曲院风荷 浙江博物馆参观历史展品考察浙江文化感受历史文化的沉淀 下午灵隐寺、飞来峰登山览胜景寺宇悟佛心登山参观庙宇,了解佛教文化 晚上研学课程指导分组讨论课程，研学收获分享实践-辅导员指导学生完成课程手册 第三天上午探访鲁迅故里探寻书中世界亲访三味书屋追寻鲁迅先生的足迹 下午 游览沈园漫步江南园林,探寻文化内涵 人文－体味江南风情/建筑-江南园林建 筑风格 参观黄酒博物馆参观历史文物体悟江南魅力历史-绍兴历史文化 晚上 大善塔 仓桥直街 漫步古城小道欣赏绍兴夜色实践-实地感受，见景抒情 第四天上午书圣故里历史街区历游文人旧地感受文化魅力人文-文人旧所、大家荟萃
深度学习发展现状 王宇航 (北京交通大学计算机与信息技术学院，北京，100044) 摘要：深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进 行分析学习的神经网络，它模仿人脑的机制来解释数据。近年来，随着深度学习逐 渐收到各界的广泛关注，其在各个尖端领域的作用也越来越大，深度学习已经在诸 多领域取得客观的成就。本文简要介绍深度学习的基本理论及思想，着重介绍了近 年来深度学习在各个领域的应用及其发展． 关键字：深度学习；机器学习；人工智能；无监督学习 1引言 2011年，斯坦福人工智能实验室主任吴恩达领导Google的科学家们，用16000台电脑模拟了一个模拟人脑神经网络出来，并向这个网络展示了1000万段随机从YouTube上选取的视频，看看它能学会什么．结果在完全没有外界干涉的条件下，它自己识别出了猫脸．我们要注意的是，这种机器学习与我们通常意义上说的“机器识别”有所不同．现有的很多此类识别，需要人工输入一些用于对比的数据，或者一些已经进行初步分类、打好标签的数据，机器通过学习这些数据的共同点，得出规律，然后再去将规律应用于更大规模的数据中．粗略地说，这是一种“有监督的学习”，需要人工输入初始数据，有时候还要对识别结果进行判断，由此促进机器的学习速度． 而深度学习是一种“无监督的学习”．它基于一种学术假设：即人类对外界环境的了解过程最终可以归结为一种单一算法，而人脑的神经元可以通过这种算法，分化出识别不同物体的能力．这个识别过程甚至完全不需要外界干预． 还是以识别猫脸为例：吴恩达给神经网络输入了一个单词“cat”，这个神经网络中并没有辞典，不了解这个单词的含义．但在观看了一千万段视频，它最终确定，cat就是那种毛茸茸的小动物．这个学习过程，与一个不懂英语的人，在没任何人教他的时候，通过独立观察学会“cat”的过程几乎一致． 上述事例是深度学习发展中具有里程碑性质的事件，通过以上事件意在形象的向读者说明深度学习的基本思想．本文意在向读者介绍近年来深度学习在各个领域的应用及其发展．
人工智能技术及其发展趋势100分 1.关于专用人工智能与通用人工智能，下列表述不当的是（）。（3.0分） A.人工智能的近期进展主要集中在专用智能领域 B.专用人工智能形成了人工智能领域的单点突破，在局部智能水平的单项测试中可以超越人类智能 C.通用人工智能可处理视觉、听觉、判断、推理、学习、思考、规划、设计等各类问题 D.真正意义上完备的人工智能系统应该是一个专用的智能系统 我的答案：D√答对 2.（）是人工智能的核心，是使计算机具有智能的主要方法，其应用遍及人工智能的各个领域。（ 3.0分） A.深度学习 B.机器学习 C.人机交互 D.智能芯片 我的答案：B√答对 3.（）是自然语言处理的重要应用，也可以说是最基础的应用。（3.0分） A.文本识别 B.机器翻译 C.文本分类 D.问答系统 我的答案：C√答对 4.（）是指直接通过肢体动作与周边数字设备和环境进行交互。（3.0分）
A.体感交互 B.指纹识别 C.人脸识别 D.虹膜识别 我的答案：A√答对 5.（），中共中央政治局就人工智能发展现状和趋势举行第九次集体学习。（3.0分） A.2018年3月15日 B.2018年10月31日 C.2018年12月31日 D.2019年1月31日 我的答案：B√答对 6.立体视觉是（）领域的一个重要课题，它的目的在于重构场景的三维几何信息。（3.0分） A.人机交互 B.虚拟现实 C.自然语言处理 D.计算机视觉 我的答案：D√答对 7.下列选项中，不属于生物特征识别技术的是（）。（3.0分） A.步态识别 B.声纹识别 C.文本识别 D.虹膜识别
我的答案：C√答对 8.（）是通过建立人工神经网络，用层次化机制来表示客观世界，并解释所获取的知识，例如图像、声音和文本。（3.0分） A.深度学习 B.机器学习 C.人机交互 D.智能芯片 我的答案：A√答对 9.生物特征识别技术不包括（）。（3.0分） A.体感交互 B.指纹识别 C.人脸识别 D.虹膜识别 我的答案：A√答对 10.下列对人工智能芯片的表述，不正确的是（）。（3.0分） A.一种专门用于处理人工智能应用中大量计算任务的芯片 B.能够更好地适应人工智能中大量矩阵运算 C.目前处于成熟高速发展阶段 D.相对于传统的CPU处理器，智能芯片具有很好的并行计算性能 我的答案：C√答对 1.一般说来，人工智能技术包括（）。（4.0分）） A.深度学习、机器学习
2020下半年教师资格证考试深度预测试卷及参考 答案 2016下半年教师资格证考试深度预测试卷及参考答案 一、单项选择题(本大题共20小题。每小题2分，共40分) 1.赫尔巴特指出：“我想不到有任何无教学的教育，正如在相反的方面，我不承认有任何无教育的教学。”这说明了教学过程具有()特点。 A.间接经验与直接经验相结合 B.掌握知识与发展智力相统一 C.教学过程中知、情、意的统一 D.教师主导作用与学生能动作用相结合 2.王老师在进行思想品德教育时，让学生谈谈如何合理正确地使用网络。学生们探讨得很激烈，收到了很好的效果。王老师使用的 教学方法是()。 A.讲授法 B.演示法 C.参观法 D.讨论法 3.人们根据已知的信息，利用熟悉的规则解决问题，从给予的信息中产生逻辑的结论是()。 A.聚合思维 B.发散思维 C.常规思维
D.创造性思维 4.下列选项属于负强化的例子是()。 A.当小刚犯错时妈妈拿走他最喜欢的玩具 B.小红乖乖吃药后爸爸就不让去医院看病了 C.老师通过惩罚小明警示其他捣乱的学生 D.小王不做作业爸爸就不让他玩游戏 5.关于陈述性知识，下列说法正确的是()。 A.主要反映活动的具体过程和操作步骤 B.说明做什么和怎么做 C.可用来区别和辨别事物 D.是一种实践性知识 6.把学习过程概括为“学—思—行”的统一过程的教育家()。 A.孔子 B.孟子 C.荀子 D.墨子 7.当有学生中暑时，下列选项中做法错误的是()。 A.将病人搬到阴凉通风处 B.用浸湿的冷毛巾敷在头部 C.让病人躺下，垫高头部 D.服用仁丹或十滴水等药物 8.宋朝王安石写过一篇《伤仲永》的短文，说江西金溪有个名叫方仲永的少年，小时候比较聪明，5岁时就能作诗，但由于缺乏良
第一单元 课题人与自我?我自信，会成功 学习目标正确认识自我，能够说出自己的优点和不足；增强自我调控、承受挫折、适应环境的能力；了解树立自信心的方法，培养健全的人格和良好的心理素质；提高心理健康水平，增强自我教育能力，形成健康、自信的人生观。参考主题（1）我自信，会成功；（2）克服考试焦虑；（3）消除孤独感。 实践方式心理测试；收集资料；手工制作。 方法引导发表意见的技巧；如何对调查结果进行统计与分析。 学科整合与心理健康教育、品德与社会、语文等学科整合。关注心理健康，形成健康的生活态度；善于发现其他同学身上的优点并虚心学习；学习名人名言，领悟其深刻含义，并激励自己；进行小制作设计。 课时安排5课时 教学流程 第一课时 研究准备 我们一天天地长大，从妈妈怀里的婴儿，长成了少年。想想自己在成长过程中有哪些烦恼？你是怎么解决的？ 同学们根据自己的兴趣自主确定设计研究方案，其方法一般是: 1、我的烦恼及解决的办法 2、我自信，会成功 3、消除孤独感 以上方案进行研究、讨论、尝试初步建立印象。 第二课时 我自信，会成功 一、研究实施 自信对我们走向成功非常重要。今天，就我们一起通过探究活动来寻找自信，增强自信！ 二、方法与引导： 发表意见的技巧 1、态度诚恳、谦逊。多采用“我个人认为”、“我目前的想法是”等表达方式； 2、不能只发表否定性意见，对好的方面要充分肯定； 3、对事不对人，只针对事情发表意见； 4、通过举例等方式，引导他人发现存在的问题； 5、避免个人垄断话题，邀请不善于发表意见的组员参与讨论。 三、“我自信，会成功”研究方案 主题名称研究时间 研究目的1、正确认识自己，发现自己的优点与不足 2、
论未来污水物化深度处理技术发展 作者：米卫星 （长安大学环境科学与工程学院2015129093） 摘要 随着人类的发展，水污染问题日益严峻。与此同时物理化学法也在不断的发展，而且在水处理中的应用日显重要。本文主要论述了现如今已经应用到深度水处理过程中的各种物理化学方法，通过分析其优缺点和各种方法的适应条件，提出在未来的污水深处理过程中物理化学处理法的发展趋势。 关键字：水污染、物理化学法、深度处理 1、绪论 水资源是人类社会发展最重要的资源，而当今社会，人类正面临着水污染严重的环境问题。物理化学法是一种运用物理和化学的综合作用使废水得到净化的方法，处理的对象主要为：水中的无机的和有机的（难于生物降解）溶解质和胶体物质。尤其适合处理杂质浓度很高的废水以回收原料，适合于对杂质浓度很低的废水进行深度处理【1】。 通常有混凝、沉淀、浮选、过滤、化学沉淀、离子交换、消毒等。本文将着重介绍物理化学处理方法中的当前比较流行的、应用比较多的物理化学处理技术，并论述哪种处理方法在今后会得到更好的发展和更广泛的应用。 2、物理化学废水深度处理技术 2.1活性炭吸附 活性炭是一种多孔性物质，而且易于自动控制，对水量、水质、水温变化适应性强，因此活性炭吸附法是一种具有广阔应用前景的污水深度处理技术。活性炭对分子量在500～3000的有机物有十分明显的去除效果，去除率一般为70%～86.7%，可经济有效地去除嗅、色度、重金属、消毒副产物、氯化有机物、农药、放射性有机物等。常用的活性炭主要有粉末活性炭（PAC）、颗粒活性炭（GAC）和生物活性碳（BAC）三大类。 近年来，国外对PAC的研究较多，已经深入到对各种具体污染物的吸附能力的研究。淄博市引黄供水有限公司根据水污染的程度，在水处理系统中，投加粉末活性炭去除水中的COD，过滤后水的色度能降底1～2度；臭味降低到0度。GAC在国外水处理中应用较多，处理效果也较稳定，美国环保署（USEPA）饮用