下载文档原格式
第１３卷㊀第６期Ｖｏｌ．１３Ｎｏ．６㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年６月㊀Ｊｕｎ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）０６－０００１－０７中图分类号：ＴＰ３９３．０９文献标志码：Ａ基于强化学习的车辆服务迁移方法周㊀率，韩㊀韧（上海理工大学光电信息与计算机工程学院，上海２０００９３）摘㊀要：近年来，随着中国对于车联网发展战略的落实，基础设施与车联应用服务规模不断增加，车联应用服务对于资源的需求越来越高，现有车辆配备的有限计算资源已无法满足需求，需要将服务迁移到路侧单元，以提供充足的计算资源并降低服务时延㊂本文在车辆边缘计算场景下，提出了一种基于强化学习的车辆服务迁移方法，以降低服务的延迟与能耗㊂首先为迁移过程中可能产生的成本建模，并把服务迁移问题规约为马尔可夫决策问题，通过应用深度强化学习算法以降低迁移产生的成本㊂实验结果表明，提出的算法优于基线算法，在高速环境下具有相对较强的鲁棒性㊂关键词：车联网；车辆边缘计算；服务迁移；强化学习ＶｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｂａｓｅｄｏｎｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇＺＨＯＵＬｖ，ＨＡＮＲｅｎ（ＳｃｈｏｏｌｏｆＯｐｔｉｃａｌ－ＥｌｅｃｔｒｉｃａｌａｎｄＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ）ʌＡｂｓｔｒａｃｔɔＩｎｒｅｃｅｎｔｙｅａｒｓ，ｗｉｔｈｔｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＣｈｉｎａᶄｓｖｅｈｉｃｌｅｔｏｅｖｅｒｙｔｈｉｎｇ（Ｖ２Ｘ）ｄｅｖｅｌｏｐｍｅｎｔｓｔｒａｔｅｇｙ，ｔｈｅｓｃａｌｅｏｆｉｎｆｒａｓｔｒｕｃｔｕｒｅａｎｄＶ２Ｘｓｅｒｖｉｃｅｓｈａｓｂｅｅｎｉｎｃｒｅａｓｉｎｇ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅｄｅｍａｎｄｆｏｒｒｅｓｏｕｒｃｅｓｆｏｒＶ２Ｘｓｅｒｖｉｃｅｓｉｓｇｅｔｔｉｎｇｈｉｇｈｅｒ，ｗｈｉｌｅｔｈｅｌｉｍｉｔｅｄｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓｅｑｕｉｐｐｅｄｗｉｔｈｅｘｉｓｔｉｎｇｖｅｈｉｃｌｅｓｃａｎｎｏｌｏｎｇｅｒｍｅｅｔｔｈｅｄｅｍａｎｄ．Ｔｈｅｒｅｆｏｒｅ，ｓｅｒｖｉｃｅｓｎｅｅｄｔｏｂｅｍｉｇｒａｔｅｄｔｏｒｏａｄｓｉｄｅｕｎｉｔｓｔｏｐｒｏｖｉｄｅｓｕｆｆｉｃｉｅｎｔｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓａｎｄｌｏｗｅｒｓｅｒｖｉｃｅｌａｔｅｎｃｙ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｎｏｖｅｌｖｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｐｒｏｐｏｓｅｄｔｏｄｅｃｒｅａｓｅｔｈｅｓｅｒｖｉｃｅｌａｔｅｎｃｙａｎｄｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｉｎｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎ．Ｆｉｒｓｔｌｙ，ｔｈｅｃｏｓｔｄｕｒｉｎｇｍｉｇｒａｔｉｏｎｉｓｍｏｄｅｌｅｄａｎｄｔｈｅｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｐｒｏｂｌｅｍｉｓｆｏｒｍｕｌａｔｅｄａｓａＭａｒｋｏｖｄｅｃｉｓｉｏｎｐｒｏｂｌｅｍ．Ｔｈｅｎａｎｏｖｅｌａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｉｓｐｒｏｐｏｓｅｄｔｏｓｏｌｖｅｔｈｉｓｉｓｓｕｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｏｕｔｐｅｒｆｏｒｍｓｔｈｅｂａｓｅｌｉｎｅｓａｎｄｈａｓｓｔｒｏｎｇｒｏｂｕｓｔｎｅｓｓｉｎｄｉｆｆｅｒｅｎｔｄｒｉｖｉｎｇｓｃｅｎａｒｉｏｓ．ʌＫｅｙｗｏｒｄｓɔｖｅｈｉｃｌｅｔｏｅｖｅｒｙｔｈｉｎｇ；ｖｅｈｉｃｕｌａｒｅｄｇｅｃｏｍｐｕｔｉｎｇ；ｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎ；ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ基金项目：软硬件协同设计技术与应用教育部工程研究中心（ＯＰ２０２２０２）㊂作者简介：周㊀率（１９９８－），男，硕士研究生，主要研究方向：边缘计算；韩㊀韧（１９８０－），男，博士，副教授，硕士生导师，主要研究方向：智能计算㊁物联网㊂通讯作者：韩㊀韧㊀㊀Ｅｍａｉｌ：ｒｅｎ．ｈａｎ＠ｕｓｓｔ．ｅｄｕ．ｃｎ收稿日期：２０２３－０３－１１０㊀引㊀言随着‘车联网（智能网联汽车）产业发展行动计划“通知的下发，中国车联网发展的战略目标已基本确定， 长三角三省一市统筹智能网联汽车产业发展规划 的签署进一步加快了中国车联网的发展㊂５Ｇ网络基础设施的不断完善以及国内外车联应用的涌现，使得车辆对计算资源和服务延迟的要求日益增加，现有车辆配备的计算资源已无法满足车联应用的需求，这种日益迫切的要求需要将车联应用服务迁移到具有更高计算能力的云端服务器上，但是传统的云计算不能满足车联网下的低延迟要求，因此需要考虑一种称为车载边缘计算（ＶｅｈｉｃｕｌａｒＥｄｇｅＣｏｍｐｕｔｉｎｇ，ＶＥＣ）的计算范式㊂在ＶＥＣ中，车辆将服务迁移到靠近车辆的路侧单元（ＲｏａｄＳｉｄｅＵｎｉｔ，ＲＳＵ）上，可以享受ＲＳＵ带来的低延迟㊁高带宽和充足的计算资源［１］㊂然而，盲目的迁移有时会影响服务性能，如：对于一个固定的车辆，将服务迁移到最近的ＲＳＵ在短期内可以带来良好的服务性能，但是考虑到车辆的移动性，该种策略可能会导致频繁迁移，进一步导致服务频繁中断，因此一个最佳的服务迁移策略应该考虑车辆的移动性㊂服务迁移也伴随着各种成本，包括计算成本㊁迁移成本和能源消耗，以全面评估迁移的效果㊂考虑到车辆的移动性，专注于短期的性能提升可能会导致频繁迁移因而带来巨大的成本，需要考虑迁移带来的长期累积回报，以权衡整体性能的提高㊂即当车辆远离ＲＳＵ时，如果服务性能仍然处于可接受的水平，一个最佳的迁移策略应该权衡服务迁移带来的收益与开销㊂为了提高服务迁移的性能表现，减少服务的延迟与开销，文献［２］研究了最小化移动设备和边缘服务器的总能量消耗，通过启发式算法产生了一个接近最优的解决方案；文献［３］提出在卸载比例和子载波分配时，必须考虑各种系统限制，包括延迟和子载波资源限制，以减少移动设备的能耗，并从混合整数规划（ＭｉｘｅｄＩｎｔｅｇｅｒＰｒｏｇｒａｍｍｉｎｇ，ＭＩＰ）问题中生成多对一匹配和线性编程的子问题，以解决子载波分配问题；文献［４］研究了下行链路资源分配㊁卸载决策和计算资源分配的联合优化，考虑了包括数据传输和任务计算的总成本，并建模为混合整数线性规划（ＭＩＬＰ）问题；文献［５］提出了李雅普诺夫优化的卸载决策，可以减少平均响应时间，同时降低移动设备的能耗；文献［６］评估了计算卸载的财务成本，并建模为决策和资源联合优化的ＭＩＬＰ问题；文献［７］以合作博弈理论为基础，通过终端设备和边缘云的协同合作来优化系统的性能，并提出了一种基于交易的计算卸载技术；文献［８］提出了Ｆｏｌｌｏｗ－ＭｅＣｈａｉｎ算法来解决服务功能链的问题；文献［９］研究了任务卸载，考虑了能耗和服务延迟的约束，并使用了二元卸载决策；文献［１０］提出了一个基于强化学习的离线无线接入网络分片解决方案和一个低复杂度的启发式算法，以满足不同分片的通信资源需求，使得资源利用率最大化；文献［１０］将迁移问题建模为一维马尔科夫决策过程（ＭａｒｋｏｖＤｅｃｉｓｉｏｎＰｒｏｃｅｓｓ，ＭＤＰ），并考虑了服务器和设备之间的欧氏距离；文献［１２］考虑了二维ＭＤＰ模型并提出了基于深度强化学习的迁移方案，使得时延与能耗最小㊂尽管现有的工作在服务迁移策略方面取得了很大的进展，但仍需要进一步探索，包括迁移过程中成本的建模以及车辆的移动性㊂本文将车辆的服务迁移过程建模为ＭＤＰ，同时考虑了包括计算成本㊁迁移成本和能耗的成本，此外，本文还使用行驶速度代表示车辆的运动状态，并提出了一种基于强化学习的迁移算法，该算法可以有效地解决传统ＭＤＰ中维度过高的问题，并利用Ａｃｔｏｒ－Ｃｒｉｔｉｃ网络和熵来确保收敛性和可探索性㊂最后，本文基于真实数据集进行实验并对算法进行评估㊂１㊀系统模型建立车辆行驶随机分布在城市区域的道路中，道路配备了若干通信范围相等的ＲＳＵ，并且每个ＲＳＵ都具有相同的计算能力㊂用Ｅ＝｛ｅ１，ｅ２， ，ｅｉ｝表示所有ＲＳＵ的集合，用Ｕ＝｛ｕ１，ｕ２， ，ｕｊ｝表示所有车辆的合集，每个车辆ｕɪＵ都有一个计算任务且可以选择在本地计算或者通过无线网络迁移到ＲＳＵ上㊂车辆移动时可以连接到任意一个路侧单元ｅɪＥ㊂为了保证车辆采取迁移决策时的满意程度，本文用迁移成本，计算成本，能源消耗等相关指标来衡量服务迁移过程中产生的开支㊂１．１㊀通信模型本文假定车辆通过Ｖ２Ｘ的蜂窝网络和毫米波与ＲＳＵ进行通讯㊂１．１．１㊀５Ｇ蜂窝网络根据香农公式，在假定被高斯白噪声干扰的信道中，理论的最大信息传输速率为公式（１）：Ｃ＝Ｂｌｏｇ２１＋ＳＮæèçöø÷（１）㊀㊀其中，Ｂ是信道带宽；Ｓ是信道内所传输信号的平均功率；Ｎ是信道内部的高斯噪声功率㊂因此，车辆ｕ和路侧单元ｅ之间的数据传输率可以表示为式（２）：Ｃｃｕ，ｅ＝Ｂｃｌｏｇ２１＋Ｈｕ，ｅｄｕ，ｅ｜ｈ｜２Ｎｃ２æèçöø÷（２）㊀㊀其中，Ｂｃ是信道带宽；Ｈｕ，ｅ是车辆ｕ的车载通信设备与其对应的路侧单元ｅ的传输功率；ｄｕ，ｅ表示车辆ｕ与路侧单元ｅ的距离；ｈ表示瑞利衰落因子；Ｎｃ是高斯噪声功率㊂１．１．２㊀毫米波模式ＮＲ－Ｖ２Ｘ采用毫米波模式，本文假定每辆车辆都配备有定向天线阵列，并且采用了定向波束形成来增强毫米波信号的传播㊂为了最大化提高毫米波天线的指向性增益，本文假定对发射器和接收器进行光束准直，因此可以将定向天线模式近似为理想的水平面上的扇形模型［１３］，天线增益可以建模为式（３）：ｇｕ，ｅη()＝ｇｍ，ηɤηᶄ２ｇｓ，η＞ηᶄ２ìîíïïïï（３）㊀㊀其中，η为当前天线的角度与当天线增益达到峰值时的角度之差，即天线转向方向的可容忍对准２智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀误差；ηᶄ是射束宽度；ｇｍ和ｇｓ分别是主瓣和旁瓣天线的定向增益㊂在上述条件下，本文将毫米波信道带宽表示为式（４）：Ｃｍｕ，ｅ＝Ｂｍｌｏｇ２１＋ＳＩＮＲｕ，ｅ()（４）㊀㊀其中，Ｂｍ是毫米波信号带宽㊂车辆天线与基站天线的信噪比为式（５）［１４］：ＳＩＮＲｕ，ｅ＝ｐｕ－Ｎｍ－１０ｌｏｇ１０Ｂｍ()＋２ｇｍ－１０αｌｏｇ１０ｄｕ，ｅ()－６９．６－ρ（５）其中，ｐｕ是车辆ｕ配备的毫米波收发器的传输功率；Ｎｍ是噪声功率谱密度；ｄｕ，ｅ表示车辆ｕ和路侧单元ｅ间的曼哈顿距离；ρ Ｎ０，σ２()是以分贝为单位的阴影衰落模型；而σ为标准偏差㊂１．１．３㊀通信模型车辆与ＲＳＵ的数据传输速率可以表示为式（６）：Ｃｕ，ｅ＝λｃＣｃｕ，ｅ＋λｍＣｍｕ，ｅｓ．ｔ．λｃ＝０，１{}，λｍ＝０，１{}，λｃ＋λｍ＝１（６）其中，λｃ，λｍ分别为代表是否使用５Ｇ蜂窝网络或ＮＲ模式进行通讯的二元变量㊂当λｃ＝１时，假设车辆ｕ使用５Ｇ蜂窝网络作为通讯方式，λｍ＝０；反之当λｃ＝０时，λｍ＝１认为车辆ｕ使用ＮＲ模式作为通讯方式㊂１．２㊀迁移成本模型本文使用了平台服务（ＰａａＳ）范式，并采用Ｄｏｃｋｅｒ技术，该技术具有增强应用程序可移植性的机制，可以让应用程序无环境差异地部署在各个地方，因此本文将服务迁移成本建模为Ｄｏｃｋｅｒ服务镜像迁移成本㊂假定每个车辆都包含计算任务，且任务定义为一个二元组：Ｔｕ＝ｐｕ，Ｓｕ{}，其中ｐｕ是完成任务Ｔｕ所需的计算资源，Ｓｕ代表车辆ｕ执行的服务镜像大小㊂本文采用了部分迁移而非二元迁移，并假定车辆ｕ卸载到远程路侧单元ｅ的服务比例为ωｖｅｃｕ，ｅ，表示为式（７）：ωｌｏｃｕ＝１－ωｖｅｃｕ，ｅ（７）㊀㊀其中，ωｖｅｃｕ，ｅ表示车辆ｕ卸在本地执行的服务比例㊂据服务镜像大小，可以得出在路侧单元ｅ执行的服务的镜像大小，式（８）：Ｓｖｅｃｕ，ｅ＝ωｌｏｃｕˑＳｕ（８）㊀㊀因此迁移成本如式（９）：Ｇｍｉｇｕ，ｅ＝Ｓｖｅｃｕ，ｅＣｕ，ｅ＝ωｌｏｃｕˑＳｕλｃＣｃｕ，ｅ＋λｍＣｍｕ，ｅ（９）㊀㊀其中，λｃ＝０，１{}，λｍ＝０，１{}，λｃ＋λｍ＝１１．３㊀计算成本模型１．３．１㊀本地车载计算当车辆ｕ在本地计算时，计算开销的时间取决于其可用资源㊂本文假设ｆｌｏｃｕ是车辆ｕ的车载计算资源，则本地计算时间ｔｌｏｃｕ的计算公式（１０）：ｔｌｏｃｕ＝ｐｕｆｌｏｃｕ（１０）１．３．２㊀远程ＶＥＣ计算当本地计算资源紧张或者计算负载过高时，可以将服务卸载到远程路侧单元上进行计算㊂在许多包括道路检测和智能制动在内的应用中，因为其镜像的大小远大于从路侧单元传输回来的数据大小，所以本文假定路侧单元返回的计算结果的接收时间忽略不计，则车辆ｕ的远程计算时间ｔｖｅｃｕ表示为公式（１１）：ｔｖｅｃｕ＝ｐｕｆｖｅｃｕ（１１）㊀㊀其中，ｆｖｅｃｕ表示路侧单元分配给车辆ｕ的计算资源，ｐｕ是完成任务Ｔｕ所需的计算资源㊂本文假定车辆ｕ卸载到远程路侧单元ｅ的服务比例为ωｖｅｃｕ，ｅ，车辆ｕ卸载本地执行的服务比例为ωｌｏｃｕ，因此计算成本可以表示为式（１２）：Ｇｃｏｍｐｕ，ｅ＝ωｌｏｃｕｐｕｆｌｏｃｕ＋ωｖｅｃｕ，ｅｐｕｆｖｅｃｕ（１２）１．４㊀能耗模型当本地计算资源紧张或者计算负载过高时，可以将服务卸载到路侧单元上㊂在这种情况下，传输能耗可以由公式（１３）计算：Ｐｖｅｃｕ，ｅ＝ϑｅˑＳｖｅｃｕ，ｅＣｕ，ｅ（１３）㊀㊀其中，ϑｅ表示车辆ｕ在卸载时的平均传输功率；Ｓｖｅｃｕ，ｅ是服务镜像的大小；Ｃｕ，ｅ是车辆ｕ可访问的数据传输速率㊂２㊀基于强化学习的车辆服务迁移２．１㊀马尔可夫决策问题服务迁移策略应该考虑若干成本，在服务迁移过程中对于成本的优化可以采用ＭＤＰ进行解决［１１］㊂ＭＤＰ由四元组构成＜Ａ，Ｓ，Ｒ，Ｐ＞，其中Ａ代表智能体的所有行动，Ｓ是智能体可以感知的环境状态，Ｐ是在时隙ｔ状态下的行动将导致下一个时隙ｔ＋１的状态的概率，Ｒ是一个实数，代表奖励３第６期周率，等：基于强化学习的车辆服务迁移方法或惩罚［１５］㊂２．１．１㊀动作空间本文将时隙ｔ的行动αｔɪＡ定义为αｔ＝｛ωｖｅｃｕ，ｅｔ()，Ｗｔ()｝，ωｖｅｃｕ，ｅｔ()表示时隙ｔ中车辆ｕ的服务迁移给路侧单元的比例，Ｗｔ()＝｛－１，０，１，２， ，Ｉ｝表示时隙ｔ中车辆ｕ迁移的目标路侧单元，若Ｗｔ()＝－１则表示时隙ｔ中车辆ｕ不进行迁移，若Ｗｔ()ȡ０表示时隙ｔ中车辆ｕ将服务迁移到序号为Ｗｔ()的路侧单元㊂２．１．２㊀奖励函数由于强化学习的根本目标在于提升智能体的长期累积回报，因此合理的奖励函数能够提升训练速度与性能表现㊂长期累积回报的定义如式（１４）：Ｇｔ()＝ð¥ｔ＝０γｔｒｔ()，０ɤγ＜１（１４）㊀㊀其中，ｒｓｔ()是时隙ｔ中获得的奖励值，γ表示折扣率，用于计算未来奖励值的现值㊂本文的奖励函数设计如式（１５）：ｒｔ()＝ΔＧｍｉｇｔ()＋ΔＧｃｏｍｐｔ()＋ΔＰｔ()（１５）㊀㊀其中，ΔＧｍｉｇｔ()㊁ΔＧｃｏｍｐｔ()和ΔＰｔ()分别表示时隙ｔ迁移成本㊁计算成本和能耗的下降百分比㊂以ΔＰｔ()为例，如式（１６）定义：ΔＰｔ()＝Ｐｔ－１()－Ｐｔ()Ｐｔ－１()（１６）２．２㊀算法描述本文采用基于ＳｏｆｔＡｃｔｏｒ－Ｃｒｉｔｉｃ的强化学习算法，该算法考虑了预期收益和熵之间的最大化效益，因此最优迁移策略定义为式（１７）：π∗＝ａｒｇｍａｘπðｔE ｓｔ，ａｔ()ρπγｔｒｓｔ，ａｔ()＋[αＨπ㊃∣ｓｔ()()]（１７）其中，ａｔ代表智能体在时隙ｔ采取的行动；ｓｔ代表智能体在时隙ｔ的状态；γ表示奖励值折扣率；温度参数α决定了熵值的相对重要性；Ｈ（π（㊃∣ｓｔ））代表熵㊂Ｖ值表示当前环境状态下开始，未来能获得奖励的期望值，用于表现当前环境状态的好坏程度；Ｑ值表示在选取某个行动后，未来能获得奖励的期望值，该值衡量的是当前选取的行动的好坏程度㊂Ｖ值和Ｑ值之间的关系如图１所示㊂㊀㊀根据贝尔曼方程，Ｖ值和Ｑ值可以表示为式（１８）和式（１９）：Ｖｓｔ()＝Eτ πð¥ｔ＝０γｔｒｓｔ，ａｔ()＋αＨπ㊃∣ｓｔ()()()[]（１８）Ｑｓｔ，ａｔ()＝Eτ πð¥ｔ＝０γｔｒｓｔ，ａｔ()＋αð¥ｔ＝０γｔＨπ㊃∣ｓｔ()()[]（１９）V 值QQ QS SSQ 值V SAA A图１㊀Ｑ值与Ｖ值关系图Ｆｉｇ．１㊀ＴｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎＱｖａｌｕｅａｎｄＶｖａｌｕｅ２．２．１㊀Ｃｒｉｔｉｃ网络更新传统强化学习中，由于维度过高会引发训练困难的问题［１６］，因此引入神经网络进行近似，本文提出的算法网络由一个Ａｃｔｏｒ网络和两个Ｃｒｉｔｉｃ㊁目标Ｃｒｉｔｉｃ网络构成㊂Ｃｒｉｔｉｃ网络的损失函数可以表示为式（２０）：ＪＱθｋ()＝E （ｓｔ，ａｔ） ＤＱθｋｓｔ，ａｔ()－ｙ()２[]（２０）其中，θｋ为Ｃｒｉｔｉｃ网络参数；Ｄ表示重放缓冲区，可以通过ＤѳＤɣｓｔ，ａｔ，ｒｔ，ｓｔ＋１()更新；Ｑθｋｓｔ，ａｔ()是时隙ｔ的状态行动价值；ｙ表示目标网络的Ｑ值，可以表示为式（２１）：㊀ｙ＝ｒｓｔ，ａｔ()＋γＶｓｔ＋１()＝ｒｓｔ，ａｔ()＋γｍｉｎｋ＝１，２Ｑθ－ｋｓｔ＋１，ａｔ＋１()－(αｌｏｇπａｔ＋１∣ｓｔ＋１())（２１）其中，ｍｉｎｋ＝１，２Ｑθ－ｋｓｔ＋１，ａｔ＋１()表示取两个目标网络输出的最小值，能够有效防止过高估计㊂根据式（２０）和式（２１），Ｃｒｉｔｉｃ网络的更新公式为式（２２）：Ñθｋ１Ｄð（ｓｔ，ａｔ，ｒ（ｓｔ，ａｔ），ｓｔ＋１） Ｄ（Ｑθｋ（ｓｔ，ａｔ）－ｙ）２（２２）㊀㊀并根据式（２３）更新目标Ｃｒｉｔｉｃ网络：θｋ－＝λθｋ－－１－λ()θｋ（２３）㊀㊀其中，θｋ为目标Ｃｒｉｔｉｃ网络的参数，λ为网络的更新比例㊂２．２．２㊀Ａｃｔｏｒ网络更新Ａｃｔｏｒ网络的损失函数通过式（２４）计算：Ｊπϕ()＝E ｓｔ Ｄ，ɪｔ Ｎαｌｏｇπϕｆϕεｔ；ｓｔ()｜ｓｔ()－[Ｑθｓｔ，ｆϕεｔ；ｓｔ()()]（２４）其中，ｆϕεｔ；ｓｔ()采用了重参数化技巧，式（２５）：ａｔ＝ｆϕεｔ；ｓｔ()＝ｆμϕｓｔ()＋εｔ☉ｆσϕｓｔ()（２５）４智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀其中，ｆμϕ和ｆσϕ分别为均值和方差，ε Ｎ（ε）是正态分布下的噪声参数㊂策略参数可以通过式（２６）更新：ｍａｘϕEｓｔ Ｄ，εｔ Ｎｍｉｎｋ＝１，２Ｑθｋｓｔ，ａｔ()－αｌｏｇπａｔ∣ｓｔ()()[]（２６）其中，ａｔ是从策略π㊃∣ｓｔ()中采样得到的，因此可以将其微分㊂车辆服务迁移算法见表１㊂表１㊀车辆服务迁移算法Ｔａｂ．１㊀Ｖｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎａｌｇｏｒｉｔｈｍ算法１㊀车辆服务迁移算法输入㊀初始策略参数ϕ，Ｑ函数网络参数θｋ，目标网络参数θｋ－，ｋ＝１，２输出㊀模型权重１㊀初始化重放缓冲区Ｄ２㊀ｆｏｒ每次迭代ｄｏ３㊀㊀ｆｏｒｔ＝１，最大时间步ｄｏ４㊀㊀㊀观察环境状态ｓｔ，根据策略选定动作ａｔ，观察执行后的环境状态ｓｔ＋１５㊀㊀㊀根据公式（１５）计算奖励值ｒｓｔ，ａｔ()６㊀㊀㊀更新重放缓冲区Ｄ＝ｓｔ，ａｔ，ｒｓｔ，ａｔ()，ｓｔ＋１()７㊀㊀结束ｆｏｒ循环８㊀㊀ｆｏｒ每次更新ｄｏ９㊀㊀㊀从重放缓冲区Ｄ中采样ｓｔ，ａｔ，ｒｓｔ，ａｔ()，ｓｔ＋１() Ｄ１０㊀㊀㊀根据公式（２０）计算ｙ，并根据公式（２２）更新θｋ１１㊀㊀㊀根据公式（２３）更新θｋ－１２㊀㊀㊀根据公式（２６）和梯度Ñθ１ＤðｓɪＤｍｉｎｋ＝１，２Ｑθｋｓｔ，ａｔ()－αｌｏｇπａｔ∣ｓｔ()()()更新ϕ１３㊀㊀结束ｆｏｒ循环１４㊀结束ｆｏｒ循环３㊀实验３．１㊀数据集介绍为了评估所提出的算法在真实场景中的性能，本文采用微软亚洲研究院在２００７年４月至２０１２年８月期间在Ｇｅｏｌｉｆｅ项目中收集的ＧＰＳ轨迹数据集，该数据集由一连串带有经度㊁纬度和高度的时间戳的点，包含的轨迹总距离为１２９２９５１ｋｍ，总时间为５０１７６ｈ㊂同时本文使用阿里巴巴集群数据来模拟真实场景中ＲＳＵ的负载，该数据集中包含每台机器的资源使用情况㊁容器的元信息和事件信息以及每个容器的资源使用情况㊂３．２㊀实验环境本文的仿真实验硬件平台配置：Ｉｎｔｅｌｉ５－１２５００，３２ＧＢＤＤＲ４内存和ＮＶＩＤＩＡＧＴＸ３０６０；软件平台基于Ｐｙｔｈｏｎ３．７．９，ＯｐｅｎＡＩ－ｇｙｍ和Ｍａｎｊａｒｏ㊂本文将通信范围设定为２００ｍ，实验参数设定见表２㊂表２㊀实验参数设置Ｔａｂ．２㊀Ｅｘｐｅｒｉｍｅｎｔｐａｒａｍｅｔｅｒｓｓｅｔｔｉｎｇ参数值重放缓冲区大小１００００优化器Ａｄａｍ学习率｛０．１，０．０１，０．００５，０．００１｝Ｍｉｎｉｂａｔｃｈｓｉｚｅ１２８折扣率０．９８５最大迭代次数６００００车辆数量２０车辆平均速度［１０－６０］ｋｍ／ｈＲＳＵ计算能力１６ＧＨｚ３．２．１㊀算法收敛性本文首先研究学习率对提出算法的影响，将学习率设置为：０．１㊁０．０１㊁０．０３㊁０．００１，采用在不同迭代次数的平均服务时延作为评价指标，平均服务时延越小，算法的表现也就越好㊂学习率对算法收敛性５第６期周率，等：基于强化学习的车辆服务迁移方法影响的实验结果如图２所示，当学习率为０．００５时，在经过９５００次迭代后收敛到最优值并能保持稳定状态；当学习率为０．００１时，在经过１５０００次迭代后收敛；当学习率为０．１㊁０．０１时，曲线变得极不稳定，而且很难收敛到稳定状态㊂因此，研究得出学习率对于算法的稳定程度具有较高影响，这是由于学习率决定了模型权重更新的速度和幅度，对模型的收敛性具有重要影响㊂过高的学习率会导致模型在训练过程中无法收敛并出现不稳定的训练行为，使得模型的性能反而变得更差；相反，如果学习率过低，模型的权重更新会变得缓慢㊂959085807570656055504506000120001800024000300003600042000480005400060000迭代次数平均服务时延学习率=0.001学习率=0.005学习率=0.1学习率=0.01图２㊀不同学习率对算法收敛性的影响Ｆｉｇ．２㊀Ｅｆｆｅｃｔｏｆｄｉｆｆｅｒｅｎｔｌｅａｒｎｉｎｇｒａｔｅｓｏｎｃｏｎｖｅｒｇｅｎｃｅ３．２．２㊀不同算法的服务时延对比为了进一步验证算法的可靠性，将本文采用的算法与就近迁移（ＡｌｗａｙｓＭｉｇｒａｔｅＣｌｏｓｅｌｙ，ＡＭＣ）㊁随机迁移（Ｒａｎｄｏｍ）和深度Ｑ学习（ＤｅｅｐＱ－Ｌｅａｒｎｉｎｇ，ＤＱＮ）算法进行对比，以验证不同移动性下算法的稳定性及其表现㊂算法的学习率设定为０．００５，实验结果如图３所示㊂随着平均车辆移动速度的增加，各算法的平均服务延迟都在上升，这是由于车辆行驶速度越快，离开ＲＳＵ通信范围的间隔也就越小，服务迁移的触发频率随之上升㊂本文和ＤＱＮ算法的平均服务延迟都处于较低的水准，同时其增长速率也较为缓慢㊂ＡＭＣ算法虽然每次都选择就近的ＲＳＵ，但是迁移服务时带来的额外开支并不能弥补其服务延迟㊂与ＤＱＮ算法相比，本文提出的算法在移动速度为２０ｋｍ／ｈ时有８．６％的优势，当移动速度达到６０ｋｍ／ｈ时有１５．３％的优势，这是由于本文提出的算法具有较高的探索率，相比ＤＱＮ算法可以探索更多的迁移决策，从而使得平均服务时延上升速度较为缓慢㊂３．２．３㊀不同算法的能耗对比对比各算法在不同车辆移动速度下的平均能耗，实验结果如图４所示，随着平均车辆移动速度的增加，各算法的能耗同步上升，其中ＡＭＣ算法的上升速率最快，这是由于车辆移动速度的上升导致车辆更快的离开ＲＳＵ通信范围，进而频繁触发迁移行动，ＡＭＣ算法的能耗因此远远高于其他算法㊂而Ｒａｎｄｏｍ算法在远离ＲＳＵ后并没有完全决定迁移，因此相比ＡＭＣ算法其能耗仍有一定优势㊂基于强化学习的ＤＱＮ和本文算法具有较大的优势，这是因为奖励函数中能耗带来的奖励值使得算法对于迁移决策较为慎重，频繁地触发服务迁移并不总是最优策略㊂与ＤＱＮ相比，本文提出的算法在６０ｋｍ／ｈ移动状态下有１４．４％的优势，这是由于该算法在训练过程中充分探索了可能的策略，因而与ＤＱＮ相比能使用更优的策略以降低能耗水平㊂本文D Q N R a n d o m A M C807570656055504540202530354045505560平均车辆移动速度/(k m ?h -1)平均服务延迟/m s图３㊀不同车辆移动速度下的平均服务延迟Ｆｉｇ．３㊀Ａｖｅｒａｇｅｓｅｒｖｉｃｅｄｅｌａｙｆｏｒｄｉｆｆｅｒｅｎｔｖｅｈｉｃｌｅｍｏｖｅｍｅｎｔｓｐｅｅｄｓ本文D Q N R a n d o m A M C55504540353025202530354045505560平均车辆移动速度/(k m ?h -1)平均能耗/J图４㊀不同车辆移动速度下的平均能耗Ｆｉｇ．４㊀Ａｖｅｒａｇｅｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｆｏｒｄｉｆｆｅｒｅｎｔｖｅｈｉｃｌｅｍｏｖｅｍｅｎｔｓｐｅｅｄｓ４㊀结束语针对中国目前重点发展方向之一的车联网，本（下转第１２页）４ 结束语本文设计了一种基于ＦＰＧＡ的ＵＤＰ＿ＩＰ协议栈，ＩＣＭＰ报文和ＵＤＰ报文数据部分在该协议栈内完成了正确的缓存和转发，当发送ＡＲＰ报文时，在该协议栈内能够及时进行ＡＲＰ列表的更新㊂本设计具有良好的稳定性和可靠性，为高速以太网通信提供了一个很好的解决方案，有着广泛的应用前景㊂参考文献［１］武朋，黄虎，王兴．基于ＦＰＧＡ的ＴＣＰ／ＩＰ协议设计与实现［Ｊ］．软件导刊，２０１３，１２（５）：２２－２３．［２］朱明辉，司斌，张从霞，等．ＦＰＧＡ与８８Ｅ１１１１的千兆以太网接口设计［Ｊ］．单片机与嵌入式系统应用，２０１７，１７（３）：６０－６３，６６．［３］李勋，刘文怡．基于ＦＰＧＡ的以太网接口设计与实现［Ｊ］．自动化与仪表，２０１４，２９（５）：５７－６０．［４］董永吉，王钰，袁征．基于ＦＰＧＡ的万兆以太网ＵＤＰ＿ＩＰ硬件协议栈设计与实现［Ｊ／ＯＬ］．计算机应用研究：１－４［２０２２－０４－２５］．［５］韩剑南，胡辽林．基于ＦＰＧＡ和ＵＤＰ／ＩＰ协议的千兆网络图传系统［Ｊ］．计算机系统应用，２０１８，２７（３）：９９－１０４．［６］刘源，张刚．可靠ＵＤＰ协议栈的ＦＰＧＡ实现［Ｊ］．火力与指挥控制，２０１７，４２（７）：１３９－１４３．（上接第６页）文研究了基于该环境下的服务迁移问题，并对服务迁移过程中产生的计算成本㊁迁移成本和能耗建模，将迁移决策规划为部分迁移而非二元迁移，同时考虑了车辆移动性带来的问题㊂本文将服务迁移建模为ＭＤＰ问题，并提出了基于深度强化学习的服务迁移算法来降低服务的平均时延和能耗㊂实验结果表明，本文提出的算法在学习率为０．００５时能够较快达到收敛，并且与其他算法相比在２０ｋｍ／ｈ和６０ｋｍ／ｈ时分别有８．６％和１５．３％的性能提升，同时当移动速度处于６０ｋｍ／ｈ时，在能耗方面有１４．４％的优势㊂在未来工作中，将车辆加速度引入以预测用户驾驶车辆的移动意图，从而进行更精确的迁移决策㊂参考文献［１］ＡＢＢＡＳＮ，ＺＨＡＮＧＹ，ＴＡＨＥＲＫＯＲＤＩＡ，ｅｔａｌ．Ｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ：Ａｓｕｒｖｅｙ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓＪｏｕｒｎａｌ，２０１８，５（１）：４５０－４６５．［２］ＢＩＪ，ＹＵＡＮＨ，ＤＵＡＮＭＵＳ，ｅｔａｌ．Ｅｎｅｒｇｙ－ｏｐｔｉｍｉｚｅｄｐａｒｔｉａｌｃｏｍｐｕｔａｔｉｏｎｏｆｆｌｏａｄｉｎｇｉｎｍｏｂｉｌｅ－ｅｄｇｅｃｏｍｐｕｔｉｎｇｗｉｔｈｇｅｎｅｔｉｃｓｉｍｕｌａｔｅｄ－ａｎｎｅａｌｉｎｇ－ｂａｓｅｄｐａｒｔｉｃｌｅｓｗａｒｍｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓＪｏｕｒｎａｌ，２０２０，８（５）：３７７４－３７８５．［３］ＺＨＡＮＧＱ，ＺＨＥＮＧＨ，ＺＨＯＮＧＺ，ｅｔａｌ．Ｅｎｅｒｇｙｍｉｎｉｍｉｚａｔｉｏｎｆｏｒｆｏｇｃｏｍｐｕｔｉｎｇ－ｅｎａｂｌｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅｔｗｏｒｋｓｗｉｔｈｄｙｎａｍｉｃＴＤＤ［Ｃ］／／２０１９ＩＥＥＥ／ＣＩＣＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓｉｎＣｈｉｎａ（ＩＣＣＣ）．ＩＥＥＥ，２０１９：５９０－５９５．［４］ＷＡＮＧＫ，ＨＵＺ，ＡＩＱ，ｅｔａｌ．Ｊｏｉｎｔｏｆｆｌｏａｄｉｎｇａｎｄｃｈａｒｇｅｃｏｓｔｍｉｎｉｍｉｚａｔｉｏｎｉｎｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＯｐｅｎＪｏｕｒｎａｌｏｆｔｈｅＣｏｍｍｕｎｉｃａｔｉｏｎｓＳｏｃｉｅｔｙ，２０２０，１：２０５－２１６．［５］ＷＵＦ，ＬＩＸ，ＬＩＨ，ｅｔａｌ．Ｅｎｅｒｇｙ－ｔｉｍｅｅｆｆｉｃｉｅｎｔｔａｓｋｏｆｆｌｏａｄｉｎｇｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇｉｎｈｏｔ－ｓｐｏｔｓｃｅｎａｒｉｏｓ［Ｃ］／／ＩＣＣ２０２１－ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ．ＩＥＥＥ，２０２１：１－６．［６］ＳＩＮＧＨＳ，ＫＩＭＤＨ．Ｐｒｏｆｉｔｏｐｔｉｍｉｚａｔｉｏｎｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇｕｓｉｎｇｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ［Ｃ］／／２０２１ＩＥＥＥＲｅｇｉｏｎ１０Ｓｙｍｐｏｓｉｕｍ（ＴＥＮＳＹＭＰ）．ＩＥＥＥ，２０２１：１－６．［７］ＫＩＭＳ．Ｂａｒｇａｉｎｉｎｇｇａｍｅｂａｓｅｄｏｆｆｌｏａｄｉｎｇｓｅｒｖｉｃｅａｌｇｏｒｉｔｈｍｆｏｒｅｄｇｅ－ａｓｓｉｓｔｅｄｄｉｓｔｒｉｂｕｔｅｄｃｏｍｐｕｔｉｎｇｍｏｄｅｌ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０２２，１０：６３６４８－６３６５７．［８］ＯＵＹＡＮＧＴ，ＺＨＯＵＺ，ＣＨＥＮＸ．Ｆｏｌｌｏｗｍｅａｔｔｈｅｅｄｇｅ：Ｍｏｂｉｌｉｔｙ－ａｗａｒｅｄｙｎａｍｉｃｓｅｒｖｉｃｅｐｌａｃｅｍｅｎｔｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＪｏｕｒｎａｌｏｎＳｅｌｅｃｔｅｄＡｒｅａｓｉｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１８，３６（１０）：２３３３－２３４５．［９］ＶＵＴＴ，ＮＧＵＹＥＮＤＮ，ＨＯＡＮＧＤＴ，ｅｔａｌ．Ｏｐｔｉｍａｌｅｎｅｒｇｙｅｆｆｉｃｉｅｎｃｙｗｉｔｈｄｅｌａｙｃｏｎｓｔｒａｉｎｔｓｆｏｒｍｕｌｔｉ－ｌａｙｅｒｃｏｏｐｅｒａｔｉｖｅｆｏｇｃｏｍｐｕｔｉｎｇｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２１，６９（６）：３９１１－３９２９．［１０］ＡＬＢＯＮＤＡＨＤＲ，ＰéＲＥＺ－ＲＯＭＥＲＯＪ．ＡｎｅｆｆｉｃｉｅｎｔＲＡＮｓｌｉｃｉｎｇｓｔｒａｔｅｇｙｆｏｒａｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋｗｉｔｈｅＭＢＢａｎｄＶ２Ｘｓｅｒｖｉｃｅｓ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０１９，７：４４７７１－４４７８２．［１１］ＫＳＥＮＴＩＮＩＡ，ＴＡＬＥＢＴ，ＣＨＥＮＭ．ＡＭａｒｋｏｖｄｅｃｉｓｉｏｎｐｒｏｃｅｓｓ－ｂａｓｅｄｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｐｒｏｃｅｄｕｒｅｆｏｒｆｏｌｌｏｗｍｅｃｌｏｕｄ［Ｃ］／／２０１４ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ（ＩＣＣ）．ＩＥＥＥ，２０１４：１３５０－１３５４．［１２］ＴＡＮＧＺ，ＺＨＯＵＸ，ＺＨＡＮＧＦ，ｅｔａｌ．Ｍｉｇｒａｔｉｏｎｍｏｄｅｌｉｎｇａｎｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓｆｏｒｃｏｎｔａｉｎｅｒｓｉｎｆｏｇｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｅｒｖｉｃｅｓＣｏｍｐｕｔｉｎｇ，２０１９，１２（５）：７１２－７２５．［１３］ＷＩＬＤＭＡＮＪ，ＮＡＲＤＥＬＬＩＰＨＪ，ＬＡＴＶＡ－ＡＨＯＭ，ｅｔａｌ．Ｏｎｔｈｅｊｏｉｎｔｉｍｐａｃｔｏｆｂｅａｍｗｉｄｔｈａｎｄｏｒｉｅｎｔａｔｉｏｎｅｒｒｏｒｏｎｔｈｒｏｕｇｈｐｕｔｉｎｄｉｒｅｃｔｉｏｎａｌｗｉｒｅｌｅｓｓｐｏｉｓｓｏｎｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＷｉｒｅｌｅｓｓＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１４，１３（１２）：７０７２－７０８５．［１４］ＬＩＺ，ＸＩＡＮＧＬ，ＧＥＸ，ｅｔａｌ．ＬａｔｅｎｃｙａｎｄＲｅｌｉａｂｉｌｉｔｙｏｆｍｍＷａｖｅＭｕｌｔｉ－ＨｏｐＶ２ＶＣｏｍｍｕｎｉｃａｔｉｏｎｓＵｎｄｅｒＲｅｌａｙＳｅｌｅｃｔｉｏｎｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＶｅｈｉｃｕｌａｒＴｅｃｈｎｏｌｏｇｙ，２０２０，６９（９）：９８０７－９８２１．［１５］ＢＥＬＬＭＡＮＲ．Ａｍａｒｋｏｖｉａｎｄｅｃｉｓｉｏｎｐｒｏｃｅｓｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＭｅｃｈａｎｉｃｓ，１９５７，６（５）：６７９－６８４．［１６］ＳＵＴＴＯＮＲＳ，ＢＡＲＴＯＡＧ．Ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ：Ａｎｉｎｔｒｏｄｕｃｔｉｏｎ［Ｍ］．ＭＩＴｐｒｅｓｓ，２０１８：４７２－４７５．。
附件2上海理工大学教授简介童正明●上海理工大学能源与动力工程学院教授、原过程装备与控制工程研究所所长●《化学进展》理事●中国化工学会化工机械专业委员会第八届委员●上海化工机械专业委员会副主任●中国内燃机标委会委员（TC177）●中国内燃机学会基础件分会委员会委员●中国工程热物理学会会员●中国化工学会会员主要从事动力工程及节能减排方面的教学和科研。
为汽车及内燃机行业的零部件企业服务30余年，并基于此类实验研究之上拟订了多项行业基础标准，保持在该行业内的广泛合作；2000年~2012年间，和原二炮、九院基地、海装有多项项目合作；在我国脱硫脱硝行业耕耘十余年，目前产品在国内市场属于替代进口产品。
有著作二本：工程燃烧学、工程热力学题解。
完成国家自然科学基金项目二项（89、91）完成上海自然科学基金项目一项（92）完成上海14项难题攻关项目一项（95）杨茉●上海理工大学能源与动力工程学院教授工学博士●热工程研究所所长，原能源与动力工程学院院长●工程热物理博士点学科带头人●曾获全国优秀教师、国务院政府特殊津贴和省有突出贡献专家等荣誉称号●中国工程热物理学会会员●中国民主同盟盟员●教育部高等学校能源动力类专业教学指导委员会委员●中国工程热物理学会传热传质委员会委员●热能与动力工程国家特色专业建设点负责人●传热学国家精品课负责人长期在动力工程与工程热物理领域的教学与科研第一线工作，主要研究领域为流动和传热数值计算技术、流动与传热的非线性特性与混沌、换热器与强化传热、热力系统的优化与运行、及多相流动与传热。
主持完成了5项国家自然科学基金课题及参加完成了国家973科研课题和多项国家自然科学基金课题；主持完成了各种省部级纵向科研课题和来自企业的各种横向应用性科研课题。
在国内外学术刊物和会议发表了400余篇学术论文，6项科研成果分别获省部级科技进步二等奖，获得20余项专利。
获得了上海市领军人才、全国优秀教师、国务院政府特殊津贴、上海市教学名师奖、省级有突出贡献的中青年专业技术人才、市级劳动模范和宝钢教育奖等荣誉。
商学院硕士研究生导师简介西方经济学专业孙新雷，男，中共党员，教授，经济学博士，博导。
研究方向主要为西方经济学，发展经济学，国际经济学。
主讲《西方经济学》，《国外经济学名著选读》等课程，先后在学术刊物上发表论文60余篇，出版和参与编写学术性著作15部，承担省部级科研课题8项，获得省部级以上科研奖10多项。
孙学敏，男，教授，博士，硕导。
西方经济学学科带头人，郑州大学企业研究中心主任。
主要讲授的课程有：西方经济学、管理经济学、西方企业理论、西方经济学流派、经济预测与决策方法和中小企业管理研究。
曾在《经济日报》、《中国物价》等报刊发表学术论文120余篇，出版《开放架构下的中小企业管理论丛》（1－6卷）、《豫商发展史与豫商案例研究》等学术著作20余部，主持“国有中小企业改制后的管理问题研究”、“河南省骨干企业国际竞争力研究”、“河南省科技型企业国际竞争力研究”、“企业竞争方式研究”、“豫商发展史与豫商案例研究”、“农村企业家的生成与中国传统农业的改变”等国家和省级科研课题和横向课题20余项，获省级科研奖励8次，获郑州大学及郑州大学商学院科研及教学奖励15次。
其主讲的《微观经济学》课程荣获郑州大学“2004年精品课程”。
孙学敏教授是郑州大学三育人先进工作者，教学优秀奖二等奖获得者，“郑州大学最满意授课教师”称号获得者，郑州大学科研奖获得者，郑州大学优秀中青年学术带头人。
国民经济学专业杜书云，女，教授，经济学博士，硕导。
河南省中青年骨干教师。
河南省经济学会副会长，郑州市房地产业协会常务理事，郑州市住房公积金管理委员会委员。
主要从事《政治经济学》、《社会主义经济理论与实践》、《房地产经济学》等课程的教学工作。
先后获得郑州大学“三育人”、郑州市“三育人”、河南省“优秀教师”荣誉称号。
多年致力于土地制度、地产市场尤其是房地产开发问题的研究，主编有＜中国三农问题报告＞学术著作；在《经济地理》、《中国农村经济》、《农业经济问题》、《中国房地产报》等刊物公开发表学术论文40多篇；主持完成国家社科基金项目有＂土地农转非规律及其应用研究＂（１９９７）和＂农村劳动力转移的问题和对策研究－－农村劳动力转移的成本－收益视角分析＂（２００５），主持省级和厅级项目７项；成果获省级奖励多项，2000年获郑州大学“科研优秀奖”，因辅导学生参加“挑战杯”论文竞赛本人获得国家“园丁奖”。
上海理工大学文件上理工〔2016〕125号关于印发《上海理工大学硕士研究生指导教师选聘规定》的通知校内各部门：经校长办公会审议通过，现将《上海理工大学硕士研究生指导教师选聘规定》印发给你们，请认真按照执行。
上海理工大学2016年6月20日上海理工大学硕士研究生指导教师选聘规定研究生的培养采用导师制。
为切实保证研究生的培养质量，必须保证研究生指导教师的质量。
为此，经校学位评定委员会讨论通过，特制订关于选聘硕士研究生指导教师的规定如下：一、硕士研究生指导教师的基本条件（一）硕士研究生指导教师必须拥护四项基本原则，努力贯彻党的基本路线、方针、政策。
硕士研究生指导教师在思想、作风、品德修养、治学态度等方面应以身作则，为人师表。
（二）硕士研究生指导教师原则上应为我校专任教师，具有副教授（或副研究员、高级工程师、高级实验师）及以上专业技术职称或具有讲师职称并获得博士学位，年龄原则上不超过57周岁（至选聘当年的8月31日）。
具有其它系列的专业技术职称者，原则上不能被遴选为硕士研究生指导教师。
（三）硕士研究生指导教师应有相对稳定的与社会发展和经济建设紧密结合的科研方向、具有较高的学术水平，活跃在学科前沿，为同行所熟悉和承认。
近3年内，应以第一作者身份或通讯作者身份在A类期刊上发表过3篇与本学科相关的学术论文或有1篇与本学科相关的学术论文被SCI/SCIE/SSCI收录，并以第一负责人身份主持过比较重要的科研项目，科研经费充足。
A、B类期刊依据科技处有关规定进行界定。
（四）硕士研究生指导教师应有较丰富的教学经验，无博士学位的申请人应承担过研究生课程教学任务，或有协助指导硕士研究生的经历。
（五）原已取得导师资格的教师，按下列条件申请跨学科硕士研究生指导教师资格：1.须在原所在一级学科点指导毕业3个硕士研究生，方可申请跨另一个一级学科申报导师资格；2.原则上一人最多在2个一级学科任导师。
（六）新增硕士点申报成功的带头人直接认可其硕士研究生指导教师资格。
