北大考研-计算机科学技术研究所研究生导师简介-万小军_ 副研究员

符合GJB5000A的软件工程化管理体系建立与实施整体解决方案二Ο一二年五月目录第1章了解北大软件 (1)1.1软件工程中心简介 (1)1.2提供的优质产品与服务 (1)1.3专业化咨询/研发/服务团队 (1)1.4典型用户 (52)第2章结识“软件工程管理集成平台”产品 (6)2.1功能构成体系 (6)2.1.1总体功能结构 (6)2.1.2项目管理系统 (7)2.1.3需求管理系统 (11)2.1.4配置管理系统 (13)2.1.5测试管理系统 (15)2.2技术架构体系 (16)2.2.1总体技术架构 (16)2.2.2核心运行环境 (17)2.2.3数据访问服务 (18)2.2.4业务基础服务 (18)2.2.5企业级工作流服务 (19)2.2.6统一门户服务 (20)2.2.7系统安全管理 (21)2.3与外系统集成体系 (22)2.3.1集成机制.......................................................... 错误！未定义书签。

2.3.2已接口工具类型 (22)2.4产品特点与优势 (23)第3章工具支持下的GJB5000A体系运行场景 (25)3.1符合GJB5000A的军用软件研制过程 (25)3.2项目管理过程 (25)3.2.1项目策划（PP&IPM） (25)3.2.2项目执行与监控（PMC） (28)3.2.3风险管理（RskM） (29)3.2.4供方协议管理（SAM） (31)3.3工程过程 (33)3.3.1软件分析设计与实现（RM&RD&TS&PI） (33)3.3.2验证与确认-评审（V&V-Approve） (35)3.3.3验证与确认-测试（V&V-Test） (36)3.4支持过程 (38)3.4.1过程与产品质量保证（PPQA） (38)3.4.2配置管理（CM） (39)3.4.3测量分析（MA） (40)3.5组织过程（OPD&OPF&OT） (41)3.5.1OP-001过程定义 (42)3.5.2OP-002组织过程资产管理 (42)3.5.3OP-003过程评估 (42)3.5.4OP-004组织培训 (43)3.6组织/部门项目综合分析与管理 (43)第4章GJB5000A实施过程&方法 (43)4.1总流程 (43)4.2启动阶段 (44)4.2.1建立过程改进组织 (44)4.2.2GJB5000A基础培训 (44)4.2.3现状与差距分析 (45)4.2.4制定改进计划 (45)4.2.5阶段工作产品和要求 (45)4.3过程定义阶段 (45)4.3.1体系架构设计 (45)4.3.2顶层文件编写 (45)4.3.3过程文件编写 (45)4.3.4集中统稿和问题修改 (45)4.3.5体系模拟运行验证与评审 (46)4.3.6提交文审 (46)4.3.7阶段工作产品和要求 (46)4.4协助体系实施阶段 (47)4.4.1制定实施计划 (47)4.4.2软件工具定制开发 (47)4.4.3实用化培训 (47)4.4.4执行体系 (48)4.4.5检查与改进 (48)4.4.6阶段工作产品和要求 (49)4.5协助内部评估阶段 (49)4.5.1内部评估流程 (49)4.5.2阶段工作产品和要求 (49)4.6协助企业接受评价阶段 (49)4.7咨询服务特点与优势 (50)第1章了解北大软件1.1软件工程中心简介软件工程国家工程研究中心（以下简称中心）成立于1996年，是国家创新体系的重要组成部分，依托单位为北京大学。

第１３卷㊀第６期Ｖｏｌ．１３Ｎｏ．６㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年６月㊀Ｊｕｎ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）０６－０００１－０７中图分类号：ＴＰ３９３．０９文献标志码：Ａ基于强化学习的车辆服务迁移方法周㊀率，韩㊀韧（上海理工大学光电信息与计算机工程学院，上海２０００９３）摘㊀要：近年来，随着中国对于车联网发展战略的落实，基础设施与车联应用服务规模不断增加，车联应用服务对于资源的需求越来越高，现有车辆配备的有限计算资源已无法满足需求，需要将服务迁移到路侧单元，以提供充足的计算资源并降低服务时延㊂本文在车辆边缘计算场景下，提出了一种基于强化学习的车辆服务迁移方法，以降低服务的延迟与能耗㊂首先为迁移过程中可能产生的成本建模，并把服务迁移问题规约为马尔可夫决策问题，通过应用深度强化学习算法以降低迁移产生的成本㊂实验结果表明，提出的算法优于基线算法，在高速环境下具有相对较强的鲁棒性㊂关键词：车联网；车辆边缘计算；服务迁移；强化学习ＶｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｂａｓｅｄｏｎｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇＺＨＯＵＬｖ，ＨＡＮＲｅｎ（ＳｃｈｏｏｌｏｆＯｐｔｉｃａｌ－ＥｌｅｃｔｒｉｃａｌａｎｄＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ）ʌＡｂｓｔｒａｃｔɔＩｎｒｅｃｅｎｔｙｅａｒｓ，ｗｉｔｈｔｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＣｈｉｎａᶄｓｖｅｈｉｃｌｅｔｏｅｖｅｒｙｔｈｉｎｇ（Ｖ２Ｘ）ｄｅｖｅｌｏｐｍｅｎｔｓｔｒａｔｅｇｙ，ｔｈｅｓｃａｌｅｏｆｉｎｆｒａｓｔｒｕｃｔｕｒｅａｎｄＶ２Ｘｓｅｒｖｉｃｅｓｈａｓｂｅｅｎｉｎｃｒｅａｓｉｎｇ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅｄｅｍａｎｄｆｏｒｒｅｓｏｕｒｃｅｓｆｏｒＶ２Ｘｓｅｒｖｉｃｅｓｉｓｇｅｔｔｉｎｇｈｉｇｈｅｒ，ｗｈｉｌｅｔｈｅｌｉｍｉｔｅｄｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓｅｑｕｉｐｐｅｄｗｉｔｈｅｘｉｓｔｉｎｇｖｅｈｉｃｌｅｓｃａｎｎｏｌｏｎｇｅｒｍｅｅｔｔｈｅｄｅｍａｎｄ．Ｔｈｅｒｅｆｏｒｅ，ｓｅｒｖｉｃｅｓｎｅｅｄｔｏｂｅｍｉｇｒａｔｅｄｔｏｒｏａｄｓｉｄｅｕｎｉｔｓｔｏｐｒｏｖｉｄｅｓｕｆｆｉｃｉｅｎｔｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓａｎｄｌｏｗｅｒｓｅｒｖｉｃｅｌａｔｅｎｃｙ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｎｏｖｅｌｖｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｐｒｏｐｏｓｅｄｔｏｄｅｃｒｅａｓｅｔｈｅｓｅｒｖｉｃｅｌａｔｅｎｃｙａｎｄｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｉｎｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎ．Ｆｉｒｓｔｌｙ，ｔｈｅｃｏｓｔｄｕｒｉｎｇｍｉｇｒａｔｉｏｎｉｓｍｏｄｅｌｅｄａｎｄｔｈｅｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｐｒｏｂｌｅｍｉｓｆｏｒｍｕｌａｔｅｄａｓａＭａｒｋｏｖｄｅｃｉｓｉｏｎｐｒｏｂｌｅｍ．Ｔｈｅｎａｎｏｖｅｌａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｉｓｐｒｏｐｏｓｅｄｔｏｓｏｌｖｅｔｈｉｓｉｓｓｕｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｏｕｔｐｅｒｆｏｒｍｓｔｈｅｂａｓｅｌｉｎｅｓａｎｄｈａｓｓｔｒｏｎｇｒｏｂｕｓｔｎｅｓｓｉｎｄｉｆｆｅｒｅｎｔｄｒｉｖｉｎｇｓｃｅｎａｒｉｏｓ．ʌＫｅｙｗｏｒｄｓɔｖｅｈｉｃｌｅｔｏｅｖｅｒｙｔｈｉｎｇ；ｖｅｈｉｃｕｌａｒｅｄｇｅｃｏｍｐｕｔｉｎｇ；ｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎ；ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ基金项目：软硬件协同设计技术与应用教育部工程研究中心（ＯＰ２０２２０２）㊂作者简介：周㊀率（１９９８－），男，硕士研究生，主要研究方向：边缘计算；韩㊀韧（１９８０－），男，博士，副教授，硕士生导师，主要研究方向：智能计算㊁物联网㊂通讯作者：韩㊀韧㊀㊀Ｅｍａｉｌ：ｒｅｎ．ｈａｎ＠ｕｓｓｔ．ｅｄｕ．ｃｎ收稿日期：２０２３－０３－１１０㊀引㊀言随着‘车联网（智能网联汽车）产业发展行动计划“通知的下发，中国车联网发展的战略目标已基本确定， 长三角三省一市统筹智能网联汽车产业发展规划 的签署进一步加快了中国车联网的发展㊂５Ｇ网络基础设施的不断完善以及国内外车联应用的涌现，使得车辆对计算资源和服务延迟的要求日益增加，现有车辆配备的计算资源已无法满足车联应用的需求，这种日益迫切的要求需要将车联应用服务迁移到具有更高计算能力的云端服务器上，但是传统的云计算不能满足车联网下的低延迟要求，因此需要考虑一种称为车载边缘计算（ＶｅｈｉｃｕｌａｒＥｄｇｅＣｏｍｐｕｔｉｎｇ，ＶＥＣ）的计算范式㊂在ＶＥＣ中，车辆将服务迁移到靠近车辆的路侧单元（ＲｏａｄＳｉｄｅＵｎｉｔ，ＲＳＵ）上，可以享受ＲＳＵ带来的低延迟㊁高带宽和充足的计算资源［１］㊂然而，盲目的迁移有时会影响服务性能，如：对于一个固定的车辆，将服务迁移到最近的ＲＳＵ在短期内可以带来良好的服务性能，但是考虑到车辆的移动性，该种策略可能会导致频繁迁移，进一步导致服务频繁中断，因此一个最佳的服务迁移策略应该考虑车辆的移动性㊂服务迁移也伴随着各种成本，包括计算成本㊁迁移成本和能源消耗，以全面评估迁移的效果㊂考虑到车辆的移动性，专注于短期的性能提升可能会导致频繁迁移因而带来巨大的成本，需要考虑迁移带来的长期累积回报，以权衡整体性能的提高㊂即当车辆远离ＲＳＵ时，如果服务性能仍然处于可接受的水平，一个最佳的迁移策略应该权衡服务迁移带来的收益与开销㊂为了提高服务迁移的性能表现，减少服务的延迟与开销，文献［２］研究了最小化移动设备和边缘服务器的总能量消耗，通过启发式算法产生了一个接近最优的解决方案；文献［３］提出在卸载比例和子载波分配时，必须考虑各种系统限制，包括延迟和子载波资源限制，以减少移动设备的能耗，并从混合整数规划（ＭｉｘｅｄＩｎｔｅｇｅｒＰｒｏｇｒａｍｍｉｎｇ，ＭＩＰ）问题中生成多对一匹配和线性编程的子问题，以解决子载波分配问题；文献［４］研究了下行链路资源分配㊁卸载决策和计算资源分配的联合优化，考虑了包括数据传输和任务计算的总成本，并建模为混合整数线性规划（ＭＩＬＰ）问题；文献［５］提出了李雅普诺夫优化的卸载决策，可以减少平均响应时间，同时降低移动设备的能耗；文献［６］评估了计算卸载的财务成本，并建模为决策和资源联合优化的ＭＩＬＰ问题；文献［７］以合作博弈理论为基础，通过终端设备和边缘云的协同合作来优化系统的性能，并提出了一种基于交易的计算卸载技术；文献［８］提出了Ｆｏｌｌｏｗ－ＭｅＣｈａｉｎ算法来解决服务功能链的问题；文献［９］研究了任务卸载，考虑了能耗和服务延迟的约束，并使用了二元卸载决策；文献［１０］提出了一个基于强化学习的离线无线接入网络分片解决方案和一个低复杂度的启发式算法，以满足不同分片的通信资源需求，使得资源利用率最大化；文献［１０］将迁移问题建模为一维马尔科夫决策过程（ＭａｒｋｏｖＤｅｃｉｓｉｏｎＰｒｏｃｅｓｓ，ＭＤＰ），并考虑了服务器和设备之间的欧氏距离；文献［１２］考虑了二维ＭＤＰ模型并提出了基于深度强化学习的迁移方案，使得时延与能耗最小㊂尽管现有的工作在服务迁移策略方面取得了很大的进展，但仍需要进一步探索，包括迁移过程中成本的建模以及车辆的移动性㊂本文将车辆的服务迁移过程建模为ＭＤＰ，同时考虑了包括计算成本㊁迁移成本和能耗的成本，此外，本文还使用行驶速度代表示车辆的运动状态，并提出了一种基于强化学习的迁移算法，该算法可以有效地解决传统ＭＤＰ中维度过高的问题，并利用Ａｃｔｏｒ－Ｃｒｉｔｉｃ网络和熵来确保收敛性和可探索性㊂最后，本文基于真实数据集进行实验并对算法进行评估㊂１㊀系统模型建立车辆行驶随机分布在城市区域的道路中，道路配备了若干通信范围相等的ＲＳＵ，并且每个ＲＳＵ都具有相同的计算能力㊂用Ｅ＝｛ｅ１，ｅ２， ，ｅｉ｝表示所有ＲＳＵ的集合，用Ｕ＝｛ｕ１，ｕ２， ，ｕｊ｝表示所有车辆的合集，每个车辆ｕɪＵ都有一个计算任务且可以选择在本地计算或者通过无线网络迁移到ＲＳＵ上㊂车辆移动时可以连接到任意一个路侧单元ｅɪＥ㊂为了保证车辆采取迁移决策时的满意程度，本文用迁移成本，计算成本，能源消耗等相关指标来衡量服务迁移过程中产生的开支㊂１．１㊀通信模型本文假定车辆通过Ｖ２Ｘ的蜂窝网络和毫米波与ＲＳＵ进行通讯㊂１．１．１㊀５Ｇ蜂窝网络根据香农公式，在假定被高斯白噪声干扰的信道中，理论的最大信息传输速率为公式（１）：Ｃ＝Ｂｌｏｇ２１＋ＳＮæèçöø÷（１）㊀㊀其中，Ｂ是信道带宽；Ｓ是信道内所传输信号的平均功率；Ｎ是信道内部的高斯噪声功率㊂因此，车辆ｕ和路侧单元ｅ之间的数据传输率可以表示为式（２）：Ｃｃｕ，ｅ＝Ｂｃｌｏｇ２１＋Ｈｕ，ｅｄｕ，ｅ｜ｈ｜２Ｎｃ２æèçöø÷（２）㊀㊀其中，Ｂｃ是信道带宽；Ｈｕ，ｅ是车辆ｕ的车载通信设备与其对应的路侧单元ｅ的传输功率；ｄｕ，ｅ表示车辆ｕ与路侧单元ｅ的距离；ｈ表示瑞利衰落因子；Ｎｃ是高斯噪声功率㊂１．１．２㊀毫米波模式ＮＲ－Ｖ２Ｘ采用毫米波模式，本文假定每辆车辆都配备有定向天线阵列，并且采用了定向波束形成来增强毫米波信号的传播㊂为了最大化提高毫米波天线的指向性增益，本文假定对发射器和接收器进行光束准直，因此可以将定向天线模式近似为理想的水平面上的扇形模型［１３］，天线增益可以建模为式（３）：ｇｕ，ｅη()＝ｇｍ，ηɤηᶄ２ｇｓ，η＞ηᶄ２ìîíïïïï（３）㊀㊀其中，η为当前天线的角度与当天线增益达到峰值时的角度之差，即天线转向方向的可容忍对准２智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀误差；ηᶄ是射束宽度；ｇｍ和ｇｓ分别是主瓣和旁瓣天线的定向增益㊂在上述条件下，本文将毫米波信道带宽表示为式（４）：Ｃｍｕ，ｅ＝Ｂｍｌｏｇ２１＋ＳＩＮＲｕ，ｅ()（４）㊀㊀其中，Ｂｍ是毫米波信号带宽㊂车辆天线与基站天线的信噪比为式（５）［１４］：ＳＩＮＲｕ，ｅ＝ｐｕ－Ｎｍ－１０ｌｏｇ１０Ｂｍ()＋２ｇｍ－１０αｌｏｇ１０ｄｕ，ｅ()－６９．６－ρ（５）其中，ｐｕ是车辆ｕ配备的毫米波收发器的传输功率；Ｎｍ是噪声功率谱密度；ｄｕ，ｅ表示车辆ｕ和路侧单元ｅ间的曼哈顿距离；ρ Ｎ０，σ２()是以分贝为单位的阴影衰落模型；而σ为标准偏差㊂１．１．３㊀通信模型车辆与ＲＳＵ的数据传输速率可以表示为式（６）：Ｃｕ，ｅ＝λｃＣｃｕ，ｅ＋λｍＣｍｕ，ｅｓ．ｔ．λｃ＝０，１{}，λｍ＝０，１{}，λｃ＋λｍ＝１（６）其中，λｃ，λｍ分别为代表是否使用５Ｇ蜂窝网络或ＮＲ模式进行通讯的二元变量㊂当λｃ＝１时，假设车辆ｕ使用５Ｇ蜂窝网络作为通讯方式，λｍ＝０；反之当λｃ＝０时，λｍ＝１认为车辆ｕ使用ＮＲ模式作为通讯方式㊂１．２㊀迁移成本模型本文使用了平台服务（ＰａａＳ）范式，并采用Ｄｏｃｋｅｒ技术，该技术具有增强应用程序可移植性的机制，可以让应用程序无环境差异地部署在各个地方，因此本文将服务迁移成本建模为Ｄｏｃｋｅｒ服务镜像迁移成本㊂假定每个车辆都包含计算任务，且任务定义为一个二元组：Ｔｕ＝ｐｕ，Ｓｕ{}，其中ｐｕ是完成任务Ｔｕ所需的计算资源，Ｓｕ代表车辆ｕ执行的服务镜像大小㊂本文采用了部分迁移而非二元迁移，并假定车辆ｕ卸载到远程路侧单元ｅ的服务比例为ωｖｅｃｕ，ｅ，表示为式（７）：ωｌｏｃｕ＝１－ωｖｅｃｕ，ｅ（７）㊀㊀其中，ωｖｅｃｕ，ｅ表示车辆ｕ卸在本地执行的服务比例㊂据服务镜像大小，可以得出在路侧单元ｅ执行的服务的镜像大小，式（８）：Ｓｖｅｃｕ，ｅ＝ωｌｏｃｕˑＳｕ（８）㊀㊀因此迁移成本如式（９）：Ｇｍｉｇｕ，ｅ＝Ｓｖｅｃｕ，ｅＣｕ，ｅ＝ωｌｏｃｕˑＳｕλｃＣｃｕ，ｅ＋λｍＣｍｕ，ｅ（９）㊀㊀其中，λｃ＝０，１{}，λｍ＝０，１{}，λｃ＋λｍ＝１１．３㊀计算成本模型１．３．１㊀本地车载计算当车辆ｕ在本地计算时，计算开销的时间取决于其可用资源㊂本文假设ｆｌｏｃｕ是车辆ｕ的车载计算资源，则本地计算时间ｔｌｏｃｕ的计算公式（１０）：ｔｌｏｃｕ＝ｐｕｆｌｏｃｕ（１０）１．３．２㊀远程ＶＥＣ计算当本地计算资源紧张或者计算负载过高时，可以将服务卸载到远程路侧单元上进行计算㊂在许多包括道路检测和智能制动在内的应用中，因为其镜像的大小远大于从路侧单元传输回来的数据大小，所以本文假定路侧单元返回的计算结果的接收时间忽略不计，则车辆ｕ的远程计算时间ｔｖｅｃｕ表示为公式（１１）：ｔｖｅｃｕ＝ｐｕｆｖｅｃｕ（１１）㊀㊀其中，ｆｖｅｃｕ表示路侧单元分配给车辆ｕ的计算资源，ｐｕ是完成任务Ｔｕ所需的计算资源㊂本文假定车辆ｕ卸载到远程路侧单元ｅ的服务比例为ωｖｅｃｕ，ｅ，车辆ｕ卸载本地执行的服务比例为ωｌｏｃｕ，因此计算成本可以表示为式（１２）：Ｇｃｏｍｐｕ，ｅ＝ωｌｏｃｕｐｕｆｌｏｃｕ＋ωｖｅｃｕ，ｅｐｕｆｖｅｃｕ（１２）１．４㊀能耗模型当本地计算资源紧张或者计算负载过高时，可以将服务卸载到路侧单元上㊂在这种情况下，传输能耗可以由公式（１３）计算：Ｐｖｅｃｕ，ｅ＝ϑｅˑＳｖｅｃｕ，ｅＣｕ，ｅ（１３）㊀㊀其中，ϑｅ表示车辆ｕ在卸载时的平均传输功率；Ｓｖｅｃｕ，ｅ是服务镜像的大小；Ｃｕ，ｅ是车辆ｕ可访问的数据传输速率㊂２㊀基于强化学习的车辆服务迁移２．１㊀马尔可夫决策问题服务迁移策略应该考虑若干成本，在服务迁移过程中对于成本的优化可以采用ＭＤＰ进行解决［１１］㊂ＭＤＰ由四元组构成＜Ａ，Ｓ，Ｒ，Ｐ＞，其中Ａ代表智能体的所有行动，Ｓ是智能体可以感知的环境状态，Ｐ是在时隙ｔ状态下的行动将导致下一个时隙ｔ＋１的状态的概率，Ｒ是一个实数，代表奖励３第６期周率，等：基于强化学习的车辆服务迁移方法或惩罚［１５］㊂２．１．１㊀动作空间本文将时隙ｔ的行动αｔɪＡ定义为αｔ＝｛ωｖｅｃｕ，ｅｔ()，Ｗｔ()｝，ωｖｅｃｕ，ｅｔ()表示时隙ｔ中车辆ｕ的服务迁移给路侧单元的比例，Ｗｔ()＝｛－１，０，１，２， ，Ｉ｝表示时隙ｔ中车辆ｕ迁移的目标路侧单元，若Ｗｔ()＝－１则表示时隙ｔ中车辆ｕ不进行迁移，若Ｗｔ()ȡ０表示时隙ｔ中车辆ｕ将服务迁移到序号为Ｗｔ()的路侧单元㊂２．１．２㊀奖励函数由于强化学习的根本目标在于提升智能体的长期累积回报，因此合理的奖励函数能够提升训练速度与性能表现㊂长期累积回报的定义如式（１４）：Ｇｔ()＝ð¥ｔ＝０γｔｒｔ()，０ɤγ＜１（１４）㊀㊀其中，ｒｓｔ()是时隙ｔ中获得的奖励值，γ表示折扣率，用于计算未来奖励值的现值㊂本文的奖励函数设计如式（１５）：ｒｔ()＝ΔＧｍｉｇｔ()＋ΔＧｃｏｍｐｔ()＋ΔＰｔ()（１５）㊀㊀其中，ΔＧｍｉｇｔ()㊁ΔＧｃｏｍｐｔ()和ΔＰｔ()分别表示时隙ｔ迁移成本㊁计算成本和能耗的下降百分比㊂以ΔＰｔ()为例，如式（１６）定义：ΔＰｔ()＝Ｐｔ－１()－Ｐｔ()Ｐｔ－１()（１６）２．２㊀算法描述本文采用基于ＳｏｆｔＡｃｔｏｒ－Ｃｒｉｔｉｃ的强化学习算法，该算法考虑了预期收益和熵之间的最大化效益，因此最优迁移策略定义为式（１７）：π∗＝ａｒｇｍａｘπðｔE ｓｔ，ａｔ()ρπγｔｒｓｔ，ａｔ()＋[αＨπ㊃∣ｓｔ()()]（１７）其中，ａｔ代表智能体在时隙ｔ采取的行动；ｓｔ代表智能体在时隙ｔ的状态；γ表示奖励值折扣率；温度参数α决定了熵值的相对重要性；Ｈ（π（㊃∣ｓｔ））代表熵㊂Ｖ值表示当前环境状态下开始，未来能获得奖励的期望值，用于表现当前环境状态的好坏程度；Ｑ值表示在选取某个行动后，未来能获得奖励的期望值，该值衡量的是当前选取的行动的好坏程度㊂Ｖ值和Ｑ值之间的关系如图１所示㊂㊀㊀根据贝尔曼方程，Ｖ值和Ｑ值可以表示为式（１８）和式（１９）：Ｖｓｔ()＝Eτ πð¥ｔ＝０γｔｒｓｔ，ａｔ()＋αＨπ㊃∣ｓｔ()()()[]（１８）Ｑｓｔ，ａｔ()＝Eτ πð¥ｔ＝０γｔｒｓｔ，ａｔ()＋αð¥ｔ＝０γｔＨπ㊃∣ｓｔ()()[]（１９）V 值QQ QS SSQ 值V SAA A图１㊀Ｑ值与Ｖ值关系图Ｆｉｇ．１㊀ＴｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎＱｖａｌｕｅａｎｄＶｖａｌｕｅ２．２．１㊀Ｃｒｉｔｉｃ网络更新传统强化学习中，由于维度过高会引发训练困难的问题［１６］，因此引入神经网络进行近似，本文提出的算法网络由一个Ａｃｔｏｒ网络和两个Ｃｒｉｔｉｃ㊁目标Ｃｒｉｔｉｃ网络构成㊂Ｃｒｉｔｉｃ网络的损失函数可以表示为式（２０）：ＪＱθｋ()＝E （ｓｔ，ａｔ） ＤＱθｋｓｔ，ａｔ()－ｙ()２[]（２０）其中，θｋ为Ｃｒｉｔｉｃ网络参数；Ｄ表示重放缓冲区，可以通过ＤѳＤɣｓｔ，ａｔ，ｒｔ，ｓｔ＋１()更新；Ｑθｋｓｔ，ａｔ()是时隙ｔ的状态行动价值；ｙ表示目标网络的Ｑ值，可以表示为式（２１）：㊀ｙ＝ｒｓｔ，ａｔ()＋γＶｓｔ＋１()＝ｒｓｔ，ａｔ()＋γｍｉｎｋ＝１，２Ｑθ－ｋｓｔ＋１，ａｔ＋１()－(αｌｏｇπａｔ＋１∣ｓｔ＋１())（２１）其中，ｍｉｎｋ＝１，２Ｑθ－ｋｓｔ＋１，ａｔ＋１()表示取两个目标网络输出的最小值，能够有效防止过高估计㊂根据式（２０）和式（２１），Ｃｒｉｔｉｃ网络的更新公式为式（２２）：Ñθｋ１Ｄð（ｓｔ，ａｔ，ｒ（ｓｔ，ａｔ），ｓｔ＋１） Ｄ（Ｑθｋ（ｓｔ，ａｔ）－ｙ）２（２２）㊀㊀并根据式（２３）更新目标Ｃｒｉｔｉｃ网络：θｋ－＝λθｋ－－１－λ()θｋ（２３）㊀㊀其中，θｋ为目标Ｃｒｉｔｉｃ网络的参数，λ为网络的更新比例㊂２．２．２㊀Ａｃｔｏｒ网络更新Ａｃｔｏｒ网络的损失函数通过式（２４）计算：Ｊπϕ()＝E ｓｔ Ｄ，ɪｔ Ｎαｌｏｇπϕｆϕεｔ；ｓｔ()｜ｓｔ()－[Ｑθｓｔ，ｆϕεｔ；ｓｔ()()]（２４）其中，ｆϕεｔ；ｓｔ()采用了重参数化技巧，式（２５）：ａｔ＝ｆϕεｔ；ｓｔ()＝ｆμϕｓｔ()＋εｔ☉ｆσϕｓｔ()（２５）４智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀其中，ｆμϕ和ｆσϕ分别为均值和方差，ε Ｎ（ε）是正态分布下的噪声参数㊂策略参数可以通过式（２６）更新：ｍａｘϕEｓｔ Ｄ，εｔ Ｎｍｉｎｋ＝１，２Ｑθｋｓｔ，ａｔ()－αｌｏｇπａｔ∣ｓｔ()()[]（２６）其中，ａｔ是从策略π㊃∣ｓｔ()中采样得到的，因此可以将其微分㊂车辆服务迁移算法见表１㊂表１㊀车辆服务迁移算法Ｔａｂ．１㊀Ｖｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎａｌｇｏｒｉｔｈｍ算法１㊀车辆服务迁移算法输入㊀初始策略参数ϕ，Ｑ函数网络参数θｋ，目标网络参数θｋ－，ｋ＝１，２输出㊀模型权重１㊀初始化重放缓冲区Ｄ２㊀ｆｏｒ每次迭代ｄｏ３㊀㊀ｆｏｒｔ＝１，最大时间步ｄｏ４㊀㊀㊀观察环境状态ｓｔ，根据策略选定动作ａｔ，观察执行后的环境状态ｓｔ＋１５㊀㊀㊀根据公式（１５）计算奖励值ｒｓｔ，ａｔ()６㊀㊀㊀更新重放缓冲区Ｄ＝ｓｔ，ａｔ，ｒｓｔ，ａｔ()，ｓｔ＋１()７㊀㊀结束ｆｏｒ循环８㊀㊀ｆｏｒ每次更新ｄｏ９㊀㊀㊀从重放缓冲区Ｄ中采样ｓｔ，ａｔ，ｒｓｔ，ａｔ()，ｓｔ＋１() Ｄ１０㊀㊀㊀根据公式（２０）计算ｙ，并根据公式（２２）更新θｋ１１㊀㊀㊀根据公式（２３）更新θｋ－１２㊀㊀㊀根据公式（２６）和梯度Ñθ１ＤðｓɪＤｍｉｎｋ＝１，２Ｑθｋｓｔ，ａｔ()－αｌｏｇπａｔ∣ｓｔ()()()更新ϕ１３㊀㊀结束ｆｏｒ循环１４㊀结束ｆｏｒ循环３㊀实验３．１㊀数据集介绍为了评估所提出的算法在真实场景中的性能，本文采用微软亚洲研究院在２００７年４月至２０１２年８月期间在Ｇｅｏｌｉｆｅ项目中收集的ＧＰＳ轨迹数据集，该数据集由一连串带有经度㊁纬度和高度的时间戳的点，包含的轨迹总距离为１２９２９５１ｋｍ，总时间为５０１７６ｈ㊂同时本文使用阿里巴巴集群数据来模拟真实场景中ＲＳＵ的负载，该数据集中包含每台机器的资源使用情况㊁容器的元信息和事件信息以及每个容器的资源使用情况㊂３．２㊀实验环境本文的仿真实验硬件平台配置：Ｉｎｔｅｌｉ５－１２５００，３２ＧＢＤＤＲ４内存和ＮＶＩＤＩＡＧＴＸ３０６０；软件平台基于Ｐｙｔｈｏｎ３．７．９，ＯｐｅｎＡＩ－ｇｙｍ和Ｍａｎｊａｒｏ㊂本文将通信范围设定为２００ｍ，实验参数设定见表２㊂表２㊀实验参数设置Ｔａｂ．２㊀Ｅｘｐｅｒｉｍｅｎｔｐａｒａｍｅｔｅｒｓｓｅｔｔｉｎｇ参数值重放缓冲区大小１００００优化器Ａｄａｍ学习率｛０．１，０．０１，０．００５，０．００１｝Ｍｉｎｉｂａｔｃｈｓｉｚｅ１２８折扣率０．９８５最大迭代次数６００００车辆数量２０车辆平均速度［１０－６０］ｋｍ／ｈＲＳＵ计算能力１６ＧＨｚ３．２．１㊀算法收敛性本文首先研究学习率对提出算法的影响，将学习率设置为：０．１㊁０．０１㊁０．０３㊁０．００１，采用在不同迭代次数的平均服务时延作为评价指标，平均服务时延越小，算法的表现也就越好㊂学习率对算法收敛性５第６期周率，等：基于强化学习的车辆服务迁移方法影响的实验结果如图２所示，当学习率为０．００５时，在经过９５００次迭代后收敛到最优值并能保持稳定状态；当学习率为０．００１时，在经过１５０００次迭代后收敛；当学习率为０．１㊁０．０１时，曲线变得极不稳定，而且很难收敛到稳定状态㊂因此，研究得出学习率对于算法的稳定程度具有较高影响，这是由于学习率决定了模型权重更新的速度和幅度，对模型的收敛性具有重要影响㊂过高的学习率会导致模型在训练过程中无法收敛并出现不稳定的训练行为，使得模型的性能反而变得更差；相反，如果学习率过低，模型的权重更新会变得缓慢㊂959085807570656055504506000120001800024000300003600042000480005400060000迭代次数平均服务时延学习率=0.001学习率=0.005学习率=0.1学习率=0.01图２㊀不同学习率对算法收敛性的影响Ｆｉｇ．２㊀Ｅｆｆｅｃｔｏｆｄｉｆｆｅｒｅｎｔｌｅａｒｎｉｎｇｒａｔｅｓｏｎｃｏｎｖｅｒｇｅｎｃｅ３．２．２㊀不同算法的服务时延对比为了进一步验证算法的可靠性，将本文采用的算法与就近迁移（ＡｌｗａｙｓＭｉｇｒａｔｅＣｌｏｓｅｌｙ，ＡＭＣ）㊁随机迁移（Ｒａｎｄｏｍ）和深度Ｑ学习（ＤｅｅｐＱ－Ｌｅａｒｎｉｎｇ，ＤＱＮ）算法进行对比，以验证不同移动性下算法的稳定性及其表现㊂算法的学习率设定为０．００５，实验结果如图３所示㊂随着平均车辆移动速度的增加，各算法的平均服务延迟都在上升，这是由于车辆行驶速度越快，离开ＲＳＵ通信范围的间隔也就越小，服务迁移的触发频率随之上升㊂本文和ＤＱＮ算法的平均服务延迟都处于较低的水准，同时其增长速率也较为缓慢㊂ＡＭＣ算法虽然每次都选择就近的ＲＳＵ，但是迁移服务时带来的额外开支并不能弥补其服务延迟㊂与ＤＱＮ算法相比，本文提出的算法在移动速度为２０ｋｍ／ｈ时有８．６％的优势，当移动速度达到６０ｋｍ／ｈ时有１５．３％的优势，这是由于本文提出的算法具有较高的探索率，相比ＤＱＮ算法可以探索更多的迁移决策，从而使得平均服务时延上升速度较为缓慢㊂３．２．３㊀不同算法的能耗对比对比各算法在不同车辆移动速度下的平均能耗，实验结果如图４所示，随着平均车辆移动速度的增加，各算法的能耗同步上升，其中ＡＭＣ算法的上升速率最快，这是由于车辆移动速度的上升导致车辆更快的离开ＲＳＵ通信范围，进而频繁触发迁移行动，ＡＭＣ算法的能耗因此远远高于其他算法㊂而Ｒａｎｄｏｍ算法在远离ＲＳＵ后并没有完全决定迁移，因此相比ＡＭＣ算法其能耗仍有一定优势㊂基于强化学习的ＤＱＮ和本文算法具有较大的优势，这是因为奖励函数中能耗带来的奖励值使得算法对于迁移决策较为慎重，频繁地触发服务迁移并不总是最优策略㊂与ＤＱＮ相比，本文提出的算法在６０ｋｍ／ｈ移动状态下有１４．４％的优势，这是由于该算法在训练过程中充分探索了可能的策略，因而与ＤＱＮ相比能使用更优的策略以降低能耗水平㊂本文D Q N R a n d o m A M C807570656055504540202530354045505560平均车辆移动速度/(k m ?h -1)平均服务延迟/m s图３㊀不同车辆移动速度下的平均服务延迟Ｆｉｇ．３㊀Ａｖｅｒａｇｅｓｅｒｖｉｃｅｄｅｌａｙｆｏｒｄｉｆｆｅｒｅｎｔｖｅｈｉｃｌｅｍｏｖｅｍｅｎｔｓｐｅｅｄｓ本文D Q N R a n d o m A M C55504540353025202530354045505560平均车辆移动速度/(k m ?h -1)平均能耗/J图４㊀不同车辆移动速度下的平均能耗Ｆｉｇ．４㊀Ａｖｅｒａｇｅｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｆｏｒｄｉｆｆｅｒｅｎｔｖｅｈｉｃｌｅｍｏｖｅｍｅｎｔｓｐｅｅｄｓ４㊀结束语针对中国目前重点发展方向之一的车联网，本（下转第１２页）４　结束语本文设计了一种基于ＦＰＧＡ的ＵＤＰ＿ＩＰ协议栈，ＩＣＭＰ报文和ＵＤＰ报文数据部分在该协议栈内完成了正确的缓存和转发，当发送ＡＲＰ报文时，在该协议栈内能够及时进行ＡＲＰ列表的更新㊂本设计具有良好的稳定性和可靠性，为高速以太网通信提供了一个很好的解决方案，有着广泛的应用前景㊂参考文献［１］武朋，黄虎，王兴．基于ＦＰＧＡ的ＴＣＰ／ＩＰ协议设计与实现［Ｊ］．软件导刊，２０１３，１２（５）：２２－２３．［２］朱明辉，司斌，张从霞，等．ＦＰＧＡ与８８Ｅ１１１１的千兆以太网接口设计［Ｊ］．单片机与嵌入式系统应用，２０１７，１７（３）：６０－６３，６６．［３］李勋，刘文怡．基于ＦＰＧＡ的以太网接口设计与实现［Ｊ］．自动化与仪表，２０１４，２９（５）：５７－６０．［４］董永吉，王钰，袁征．基于ＦＰＧＡ的万兆以太网ＵＤＰ＿ＩＰ硬件协议栈设计与实现［Ｊ／ＯＬ］．计算机应用研究：１－４［２０２２－０４－２５］．［５］韩剑南，胡辽林．基于ＦＰＧＡ和ＵＤＰ／ＩＰ协议的千兆网络图传系统［Ｊ］．计算机系统应用，２０１８，２７（３）：９９－１０４．［６］刘源，张刚．可靠ＵＤＰ协议栈的ＦＰＧＡ实现［Ｊ］．火力与指挥控制，２０１７，４２（７）：１３９－１４３．（上接第６页）文研究了基于该环境下的服务迁移问题，并对服务迁移过程中产生的计算成本㊁迁移成本和能耗建模，将迁移决策规划为部分迁移而非二元迁移，同时考虑了车辆移动性带来的问题㊂本文将服务迁移建模为ＭＤＰ问题，并提出了基于深度强化学习的服务迁移算法来降低服务的平均时延和能耗㊂实验结果表明，本文提出的算法在学习率为０．００５时能够较快达到收敛，并且与其他算法相比在２０ｋｍ／ｈ和６０ｋｍ／ｈ时分别有８．６％和１５．３％的性能提升，同时当移动速度处于６０ｋｍ／ｈ时，在能耗方面有１４．４％的优势㊂在未来工作中，将车辆加速度引入以预测用户驾驶车辆的移动意图，从而进行更精确的迁移决策㊂参考文献［１］ＡＢＢＡＳＮ，ＺＨＡＮＧＹ，ＴＡＨＥＲＫＯＲＤＩＡ，ｅｔａｌ．Ｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ：Ａｓｕｒｖｅｙ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓＪｏｕｒｎａｌ，２０１８，５（１）：４５０－４６５．［２］ＢＩＪ，ＹＵＡＮＨ，ＤＵＡＮＭＵＳ，ｅｔａｌ．Ｅｎｅｒｇｙ－ｏｐｔｉｍｉｚｅｄｐａｒｔｉａｌｃｏｍｐｕｔａｔｉｏｎｏｆｆｌｏａｄｉｎｇｉｎｍｏｂｉｌｅ－ｅｄｇｅｃｏｍｐｕｔｉｎｇｗｉｔｈｇｅｎｅｔｉｃｓｉｍｕｌａｔｅｄ－ａｎｎｅａｌｉｎｇ－ｂａｓｅｄｐａｒｔｉｃｌｅｓｗａｒｍｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓＪｏｕｒｎａｌ，２０２０，８（５）：３７７４－３７８５．［３］ＺＨＡＮＧＱ，ＺＨＥＮＧＨ，ＺＨＯＮＧＺ，ｅｔａｌ．Ｅｎｅｒｇｙｍｉｎｉｍｉｚａｔｉｏｎｆｏｒｆｏｇｃｏｍｐｕｔｉｎｇ－ｅｎａｂｌｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅｔｗｏｒｋｓｗｉｔｈｄｙｎａｍｉｃＴＤＤ［Ｃ］／／２０１９ＩＥＥＥ／ＣＩＣＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓｉｎＣｈｉｎａ（ＩＣＣＣ）．ＩＥＥＥ，２０１９：５９０－５９５．［４］ＷＡＮＧＫ，ＨＵＺ，ＡＩＱ，ｅｔａｌ．Ｊｏｉｎｔｏｆｆｌｏａｄｉｎｇａｎｄｃｈａｒｇｅｃｏｓｔｍｉｎｉｍｉｚａｔｉｏｎｉｎｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＯｐｅｎＪｏｕｒｎａｌｏｆｔｈｅＣｏｍｍｕｎｉｃａｔｉｏｎｓＳｏｃｉｅｔｙ，２０２０，１：２０５－２１６．［５］ＷＵＦ，ＬＩＸ，ＬＩＨ，ｅｔａｌ．Ｅｎｅｒｇｙ－ｔｉｍｅｅｆｆｉｃｉｅｎｔｔａｓｋｏｆｆｌｏａｄｉｎｇｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇｉｎｈｏｔ－ｓｐｏｔｓｃｅｎａｒｉｏｓ［Ｃ］／／ＩＣＣ２０２１－ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ．ＩＥＥＥ，２０２１：１－６．［６］ＳＩＮＧＨＳ，ＫＩＭＤＨ．Ｐｒｏｆｉｔｏｐｔｉｍｉｚａｔｉｏｎｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇｕｓｉｎｇｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ［Ｃ］／／２０２１ＩＥＥＥＲｅｇｉｏｎ１０Ｓｙｍｐｏｓｉｕｍ（ＴＥＮＳＹＭＰ）．ＩＥＥＥ，２０２１：１－６．［７］ＫＩＭＳ．Ｂａｒｇａｉｎｉｎｇｇａｍｅｂａｓｅｄｏｆｆｌｏａｄｉｎｇｓｅｒｖｉｃｅａｌｇｏｒｉｔｈｍｆｏｒｅｄｇｅ－ａｓｓｉｓｔｅｄｄｉｓｔｒｉｂｕｔｅｄｃｏｍｐｕｔｉｎｇｍｏｄｅｌ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０２２，１０：６３６４８－６３６５７．［８］ＯＵＹＡＮＧＴ，ＺＨＯＵＺ，ＣＨＥＮＸ．Ｆｏｌｌｏｗｍｅａｔｔｈｅｅｄｇｅ：Ｍｏｂｉｌｉｔｙ－ａｗａｒｅｄｙｎａｍｉｃｓｅｒｖｉｃｅｐｌａｃｅｍｅｎｔｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＪｏｕｒｎａｌｏｎＳｅｌｅｃｔｅｄＡｒｅａｓｉｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１８，３６（１０）：２３３３－２３４５．［９］ＶＵＴＴ，ＮＧＵＹＥＮＤＮ，ＨＯＡＮＧＤＴ，ｅｔａｌ．Ｏｐｔｉｍａｌｅｎｅｒｇｙｅｆｆｉｃｉｅｎｃｙｗｉｔｈｄｅｌａｙｃｏｎｓｔｒａｉｎｔｓｆｏｒｍｕｌｔｉ－ｌａｙｅｒｃｏｏｐｅｒａｔｉｖｅｆｏｇｃｏｍｐｕｔｉｎｇｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２１，６９（６）：３９１１－３９２９．［１０］ＡＬＢＯＮＤＡＨＤＲ，ＰéＲＥＺ－ＲＯＭＥＲＯＪ．ＡｎｅｆｆｉｃｉｅｎｔＲＡＮｓｌｉｃｉｎｇｓｔｒａｔｅｇｙｆｏｒａｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋｗｉｔｈｅＭＢＢａｎｄＶ２Ｘｓｅｒｖｉｃｅｓ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０１９，７：４４７７１－４４７８２．［１１］ＫＳＥＮＴＩＮＩＡ，ＴＡＬＥＢＴ，ＣＨＥＮＭ．ＡＭａｒｋｏｖｄｅｃｉｓｉｏｎｐｒｏｃｅｓｓ－ｂａｓｅｄｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｐｒｏｃｅｄｕｒｅｆｏｒｆｏｌｌｏｗｍｅｃｌｏｕｄ［Ｃ］／／２０１４ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ（ＩＣＣ）．ＩＥＥＥ，２０１４：１３５０－１３５４．［１２］ＴＡＮＧＺ，ＺＨＯＵＸ，ＺＨＡＮＧＦ，ｅｔａｌ．Ｍｉｇｒａｔｉｏｎｍｏｄｅｌｉｎｇａｎｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓｆｏｒｃｏｎｔａｉｎｅｒｓｉｎｆｏｇｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｅｒｖｉｃｅｓＣｏｍｐｕｔｉｎｇ，２０１９，１２（５）：７１２－７２５．［１３］ＷＩＬＤＭＡＮＪ，ＮＡＲＤＥＬＬＩＰＨＪ，ＬＡＴＶＡ－ＡＨＯＭ，ｅｔａｌ．Ｏｎｔｈｅｊｏｉｎｔｉｍｐａｃｔｏｆｂｅａｍｗｉｄｔｈａｎｄｏｒｉｅｎｔａｔｉｏｎｅｒｒｏｒｏｎｔｈｒｏｕｇｈｐｕｔｉｎｄｉｒｅｃｔｉｏｎａｌｗｉｒｅｌｅｓｓｐｏｉｓｓｏｎｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＷｉｒｅｌｅｓｓＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１４，１３（１２）：７０７２－７０８５．［１４］ＬＩＺ，ＸＩＡＮＧＬ，ＧＥＸ，ｅｔａｌ．ＬａｔｅｎｃｙａｎｄＲｅｌｉａｂｉｌｉｔｙｏｆｍｍＷａｖｅＭｕｌｔｉ－ＨｏｐＶ２ＶＣｏｍｍｕｎｉｃａｔｉｏｎｓＵｎｄｅｒＲｅｌａｙＳｅｌｅｃｔｉｏｎｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＶｅｈｉｃｕｌａｒＴｅｃｈｎｏｌｏｇｙ，２０２０，６９（９）：９８０７－９８２１．［１５］ＢＥＬＬＭＡＮＲ．Ａｍａｒｋｏｖｉａｎｄｅｃｉｓｉｏｎｐｒｏｃｅｓｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＭｅｃｈａｎｉｃｓ，１９５７，６（５）：６７９－６８４．［１６］ＳＵＴＴＯＮＲＳ，ＢＡＲＴＯＡＧ．Ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ：Ａｎｉｎｔｒｏｄｕｃｔｉｏｎ［Ｍ］．ＭＩＴｐｒｅｓｓ，２０１８：４７２－４７５．。

爱考机构-北大考研-计算机科学技术研究所研究生导师简介-杨建武_副研究员杨建武副研究员杨建武，男，1973年7月出生，博士，副研究员。

2002年7月毕业于北京大学计算机研究所，获博士学位。

主讲课程:·课程名称：文本挖掘技术·教学对象：北京大学信息科学技术学院研究生研究方向·信息检索、文本挖掘、SGML/XML主要研究工作面向互联网内容安全的Web挖掘技术研究。

获得信息产业部电子信息产业发展基金（“以智能信息分析处理为核心的数据挖掘软件平台”）、国家自然科学基金（“基于核矩阵学习的半结构化文本挖掘研究”）以及方正集团的课题资助。

主持研发的“方正智思”信息检索与智能分析产品已被广泛应用于国务院新闻办、中宣部等国家重要部门的互联网舆情分析预警系统等大型项目之中。

主要科研成果、专利、奖励:·《ASemi-StructuredDocumentModelForTextMining》计算机科学技术学报（JCST英文刊）2002.9·《半结构化数据相似搜索的索引技术研究》计算机学报2002.11·《基于规范划分集的并行循环计算划分》软件学报2003.3·《基于核矩阵学习的XML文档相似度量方法》软件学报2006.5·IntegratingElementKernelandTermSemanticsforSimilarity-BasedXMLDocumentClusteringWI'05·UsingProportionalTransportationSimilaritywithlearnedelementsemanticsforXMLdocumentclusteri ng.WWW2006·Manifold-rankingbasedtopic-focusedmulti-documentsummarization.IJCAI’07·SingleDocumentSummarizationwithDocumentExpansion.AAAI2007·Towardsaniterativereinforcementapproachforsimultaneousdocumentsummarizationandkeywordext raction.ACL2007·CollabSum:ExploitingMultipleDocumentClusteringforCollaborativeSingleDocumentSummarizati ons.SIGIR2007·LearninginformationdiffusionprocessontheWeb.WWW’07申请专利10多项，其中2项已获授权：·一种对半结构化文档集进行文本挖掘的方法专利，2004.8·一种基于快速排序算法的快速分页排序方法专利，2006.10奖励：·2004年度北京大学优秀博士论文。

爱考机构中国高端考研第一品牌（保过保录限额）
爱考机构-北大考研-计算机科学技术研究所研究生导师简介-吴於茜_高级工程师
吴於茜，女，1966年出生，高级工程师。

1984年至1988年就读于北方交通大学计算机科学技术系，获学士学位，1991年获计算机应用硕士学位。

1991年至1999年从事印前排版及彩色桌面出版系统的研究与开发。

1999年底开始从事XML方面研究，是XML中国论坛（）主要策划者之一，参与编著《XML实用进阶教程》一书。

2000年起从事内容管理及跨媒体出版方面的技术研究和产品开发。

2001年获北京大学柯达奖。

研究方向
·图形图象处理
·内容管理
主要科研工作
·自1991年底至1999年底，从事桌面排版软件NPM开发和大型彩色拼版软件方正画苑的开发。

在色彩理论和彩色管理方面有较深入的研究。

·1999年底至今，主要从事XML技术的研究。

策划并建设XML中国论坛网，目前该网站访问量已超过12万人次。

·2000年起开始跨媒体出版及内容管理方面的研究，2001年推出方正博思内容管理平台，2002年推出该平台的2.0版本。

该平台将作为内容管理核心平台支持数字图书馆、教育、宽带内容增值服务、电子政务等多种领域的应用。

****大学软件与微电子学院工程硕士专业方向及导师清单（北京校区）
1、根据专业方向，先由学生选择导师，再由各领域学科组负责人召集进行双选协调确定责任导师，并根据情况配备协助导师。

最终由学院确定导师双选名单后公布。

2、导师（专职）每个方向限报20名，导师（兼职）每个方向限报10名。

3、2013年2月入学的学生也参加本次导师双选；单转双的同学导师不变，不参加双选。

4、导师后加*，表示该方向学生需要在导师所在实验室完成毕业实习。

5、9月17、18日网上导师双选；9月19-22日各学科组协调；9月23日各学科组报学院；9月25日公布导师双选结果。

电子科技大学计算机学院导师及其科研能力介绍为方便大家报考我们学校,了解各位导师的学术和科研能力,科大考研网www.**将提供给大家详细的信息。

陈雷霆,1966年7月出生,男,现任电子科技大学计算机学院副教授、副院长,主管学院的科研、产业和外事工作,在职博士研究生;现为中国软件行业协会理事,四川省计算机学会理事。

主要研究方向:(1)信息安全;(2)网络多媒体与虚拟现实。

主要科研项目:国家“863-317-403”项目—综合业务多媒体通讯终端与系统;“八五”军事预研项目激光成像雷达系统;多媒体安全监控系统;“九五”军事预研项目激光防撞雷达系统;总装备部项目军用移动图象采集压缩传输系统;航空科技信息集成处理系统;模拟实战射击训练系统;国家“十五”863信息安全项目等。

开设研究生课程:多媒体技术及应用、计算机图形学、软件认证;本科生课程:多媒体技术、数字逻辑。

--------------------------------------------------------------------------------李毅超,男,1969年6月,硕士,副教授。

1997年4月毕业于电子科技大学,获计算机应用硕士学位。

现任网络安全基础实验室主任,计算机网络与通信研究室主任,计算机网络与安全技术研究所副所长,兼成都市软件行业协会副秘书长。

研究方向为计算机网络与通信、网络信息安全、嵌入式应用。

参加或主持"恩威网络MIS系统“、“420驻厂军代室光纤网络MIS系统”、“路由器开发”、信产部基金项目“IP电话网关”,成都华易“美视数字录像监控系统”、西部网信“软交换关守和IP电话多功能终端研发”等近10个科研项目,获得四川省科技三等奖1项,省部级科技成果鉴定5项,国家版权局软件著作权2项。

出版《计算机网络》教材1本在国内外重要刊物和国际会议上发表论文十余篇。

为本科和硕士生开设了若干课程。

获得Microsoft、Novell、SCO、Cisco、Compaq等各大公司认证证书和授权讲师资格。

爱考机构中国高端考研第一品牌（保过保录限额）爱考机构-北大考研-计算机科学技术研究所研究生导师简介-万小军_副研究员
万小军：1979年生，2000年7月在北京大学信息管理系获理学学士，2003年7月在北京大学计算机科学技术系获理学硕士学位，2006年7月在北京大学信息科学技术学院获博士学位，博士论文获北京大学优秀博士论文奖，同年加入北京大学计算机科学技术研究所任助理研究员，2007年8月晋升为副研究员。

2008年获北京大学宝洁奖教金，同年入选教育部新世纪优秀人才支持计划与北京市科技新星计划(B类),2010年获北京大学王选青年学者奖。

研究方向为自然语言处理与文本挖掘。

现为ACM、ACL与CCF会员，多个国际一流会议（ACL、WWW、SIGIR、CIKM、COLING、EMNLP等）程序委员会委员，担任ACL2011领域共同主席，并担任多个国际权威期刊（T-ALIP、T-KDE、T-ALSP、KAIS、IPM等）审稿人。

以第一作者身份发表(含接收)论文30多篇，其中包括领域顶级国际会议与期刊（SIGIR、ACL、AAAI、IJCAI、COLING、ACMTOIS、ComputationalLinguistics）正式论文10多篇。

目前主持和承担多项国家科研项目。

以第一发明人申请发明专利10项，其中获授权7项。

详细情况参见英文主页：https:///site/wanxiaojun1979
研究小组主页：http://59.108.48.12/。

北京大学计算机科学技术系北京大学计算机科学技术研究所计算机应用技术学科（专业代码：081203）研究生培养方案2010年8月目录计算机科学技术研究所简介一、硕士研究生培养方案二、博士研究生培养方案三、硕博连读研究生培养方案四、直读博士研究生培养方案五、硕士研究生课程本培养方案经过北京大学计算机科学技术研究所学术委员会讨论通过，并将根据实际执行和具体发展情况随时北大计算机科学技术研究所简介北京大学计算机科学技术研究所成立于1983年，源于王选教授开创的汉字激光照排技术研究，是北京大学的二级科研教学机构、计算机应用技术国家重点学科之一，研究方向包括:图形图像处理技术与电子出版应用、网络与数据库技术及应用、视音频技术及应用、网络与信息安全技术及应用，拥有硕士、博士培养点及博士后流动站，以及“电子出版新技术国家工程研究中心”、“中国文字字体设计与研究中心”、“网络与信息安全中关村开放实验室”等科研基地。

计算机所坚持自主创新、产学研相结合的发展道路，以一流的科研成果创造一流的产业应用为目标，围绕计算机技术在印刷、新闻出版、广电、信息安全等相关领域的应用，开拓进取，取得了多项重大科研成果，获国家最高科学技术奖1次、国家科技进步一等奖2次、国家科技进步二等奖3次，2次入选中国十大科技成就、2次入选信息产业重大技术发明、2次入选中国高等学校十大科技进展，多次推动相关行业实现了技术变革，产生了重大的社会与经济效益。

一、硕士研究生培养方案培养目标与学制及应修学分（表一）科研能力与水平及学位论文的基本要求（表二）硕士研究生的课程学习要求（表三）二、博士研究生（普博）培养方案培养目标与学制（表四）学习安排和综合考试的基本要求（表五）注：若第一外国语非英语，则必须另外选修英语作为第二外国语；学习及进度安排：1）马克思主义理论课（必修课）时间：第一学年内；学分：3学分2）第一外国语（必修课）时间：第一学期；学分：4学分3）专业必修课科学研究方法与实践2学分；学科前沿研究3学分；学科专著研读3学分5）学位论文选题报告时间：第四学期结束前要求：1）导师、博士生指导小组成员及有关专家参加评审，一般不少于5人；2）应有报告会记录，有评审意见和研究所主管领导的审核意见；3）上述材料在审批博士学位论文答辩时，一并送研究生院。

北京大学信息科学技术学院【字体：大中小】考研书店一．基本情况北京大学信息科学技术学院成立于2002 年9 月。

学院由12 个研究所和中心组成：基础实验教学研究所、电子工程研究所、量子电子学研究所、光子和通信技术研究所、物理电子学研究所、软件研究所、网络和信息系统研究所、计算语言学研究所、计算机系统结构研究所、数字媒体研究所、微电子学研究院、信息科学中心。

学院覆盖了4 个一级学科：（计算机科学和技术、电子科学和技术、信息和通信工程、物理学），11 个二级学科（计算机软件和理论、计算机系统结构、计算机使用技术；微电子学和固体电子学、物理电子学、电磁场和微波技术、电路和系统；通信和信息系统、信号和信息处理；无线电物理、声学）。

其中5 个二级学科在2002 年被评为国家重点学科（计算机软件和理论、计算机使用技术、微电子学和固体电子学、物理电子学、通信和信息系统）。

学院教学研究实力雄厚，拥有一支高水平的师资队伍，其中中国科学院院士3 人( 含双聘 1 人) 、中国工程院院士1 人，教授70 余人，博士生导师50 余名。

学院拥有3 个国家级重点实验室——视觉和听觉信息处理国家重点实验室、微米/ 纳米加工技术国家级重点实验室和区域光纤通信和新型光通信系统国家重点实验室（北京大学）， 5 个部委和市级重点实验室，以及和国际著名公司、科研机构组建的若干联合实验室。

近年来，学院承担了大量的国家级科研项目（年平均科研经费约一亿元），每年在国内外核心刊物和高水平会议上发表学术论文500 多篇。

北京大学的信息科学技术学科具有悠久的历史，最早可以追溯到上个世纪50 年代数学系的计算数学专业、物理系的无线电物理、电子物理和半导体物理专业。

几十年来，北京大学在信息科学技术学科取得了一系列具有全国领先水平的重大研究成果：20 世纪70 年代我国第一台百万次数字计算机150 的研制，80 年代卫星通信和光纤通信系统的研制和使用，90 年代纳米电子学、量子电子学研究的重要成果和微电子技术以及拥有自主知识产权的核心技术领先的指纹识别系统等等，都对国家的经济发展、国防建设以及人民生活水平提高乃至生活和工作方式的改变产生了重大影响。

爱考机构-北大考研-计算机科学技术研究所研究生导师简介-刘志红_副教授刘志红,1967年11月出生，副教授，毕业于北京大学。

研究方向·嵌入式系统研究·电子设计自动化(EDA)及VHDL/Verilog语言·大规模ASIC/FPGA/CPLD芯片设计研究工作·嵌入式系统：包括嵌入式硬件平台设计，FPGA/CPLD设计，嵌入式操作系统研究，嵌入式软件设计。

·电子出版新技术：包括数码印刷系统研究开发，高端彩色打印服务器研究开发。

主要工作业绩·1990年进入北京大学计算机研究所,1990年参加方正91电子出版系统中照排控制器的调试工作,解决了其中关键技术难点,确保了方正91电子出版系统的成功上市,1991年至1992年,作为主要设计者之一,参加方正PostScriptLevel2RIP的核心硬件超大规模专用芯片OP的设计,1993年至1994年,作为主要设计者之一，参加超大规模专用芯片PSP的设计，OP和PSP芯片作为北大方正电子出版系统的核心硬件，在出版市场上产生了很大的影响,创造了很高的经济效益,也多次获得各种奖励.在当时国内实验条件相对滞后的条件下,OP和PSP芯片都做到了一次投片成功。

·1992年至1993年，参加方正电子出版系统发排软件的开发，完成照排控制器中微程序的软件移植工作。

·1994年,主持设计了超大规模专用挂网芯片SA,使当时调频网的挂网速度比PC机高出50倍以上,使当时RIP的挂网速度处于世界领先地位。

·1995年,进行PCI总线技术研究,并且设计完成了方正第一个基于PCI总线的照排控制器的控制卡,这一产品也是国内最早的自主开发的基于PCI总线的产品。

·1996年至2002年,负责方正文杰激光打印机的开发,是方正文杰激光打印机控制器的主要设计者和开发者,主持完成了文杰打印机多款机型的设计和开发,同时负责了方正网星网络打印服务器的开发,方正文杰打印机和网星网络打印服务器均已经成功上市,获得用户好评,文杰打印机已经累计销售数万台,创造了良好的经济效益。

专利名称：一种面向学术文献的知识推荐方法专利类型：发明专利
发明人：黄珊珊,万小军,唐学伟
申请号：CN201610235634.4
申请日：20160415
公开号：CN105955975A
公开日：
20160921
专利内容由知识产权出版社提供
摘要：本发明涉及一种面向学术文献的知识推荐的方法，属于语言文字处理技术。

为寻求有效的研究方法来解决研究工作中的问题,研究人员需要阅读大量的文献，深入了解领域内的学术知识与相关技术，通过思考、分析和大量的实验与尝试，提出并验证自己的想法。

对于缺乏经验的研究人员，这项工作的难度更大。

本发明提出构建基于学术概念间关系规约化的矩阵分解模型，为学术任务或者问题推荐学术方法，作为研究工作的参考。

在传统矩阵分解模型的基础上，结合同类学术概念间的关系作为规约化条件，构建基于学术任务或者方法概念间关系规约化的矩阵分解模型MF‑TRR与
MF‑MRR。

面向学术文献的知识推荐致力于为研究人员的工作带来灵感，减轻研究工作负担，提高科研成果产量。

申请人：北京大学
地址：100871 北京市海淀区颐和园路5号
国籍：CN
代理机构：北京万象新悦知识产权代理事务所(普通合伙)
代理人：张肖琪
更多信息请下载全文后查看。

７第二代“写稿机器人”现身今日头条·专题“Xiaomingbot”是自动创作、辅助创作的一部分《中国传媒科技》：里约奥运会之际，今日头条推出了“Xiaomingbot”写稿机器人，凭借其优异的表现引起了市场和用户的高度关注，推出这款产品的初衷是什么？李磊：今日头条是一个基于大数据与人工智能的内容创作与分发平台，一边是内容创作者，另一边是读者，连接两边的是人工智能推荐算法。

内容创作是其中的重要部分，我们希望能够通过技术来帮助更多的内容创作者和新闻工作者更好、更快地创作高质量内容。

“Xiaomingbot”是内容自动创作或者说是辅助创作的一部分，我们希望“他”能够作为记者采编工作的补充。

与此同时，我们也希望“Xiaomingbot”创作的内容是读者们希望看到的。

《中国传媒科技》：“Xiaomingbot”在奥运期间的表现如何？李磊：整个里约奥运会赛季，“Xiaomingbot”撰写的稿件赢得了一百多万的阅读量，平均阅读率接近整个奥运会期间体育频道的阅读率，甚至还略高一点。

从用户浏览量来看，机器创作出来的新闻与人写出来的新闻持平，令人惊喜。

这也说明Xiaomingbot 创作出来的简讯和资讯与记者写出来的可读性差距并不大。

技术先行，前沿研究驱动产品《中国传媒科技》：在创造“Xiaomingbot”的过程中，都有哪些人员参与其中？李磊：传统意义上的产品开发流程是先由产品经理做调研，确立了产品开发方向之后，再与技术人员合作，最后将需要的配套资源加上去。

然而“Xiaomingbot”的研发成型是纯技术驱动的，最开始由头条实验室发起，我们的研发人员与北大万小军教授团队都在做文本生成技术，我们具备共同的兴趣和目的，因此我们在技术上有了合作。

此外，参与“Xiaomingbot”产品研发工作的，除了头条实验室的研发人员外，公司内部还有体育频道运营人员负责与奥组委对接拿到实时数据；内容运营部门的同事帮助改进机器人稿件的“写法”；头条学院也提供了很多帮助，早期由他们试读“Xiaomingbot”的文章，并提出修改意见。