基于深度强化学习的智能车联网应用研究

基于GRU和LSTM组合模型的车联网信道分配方法王磊;王永华;何一汕;伍文韬【期刊名称】《电讯技术》【年(卷),期】2024(64)2【摘要】针对车联网中高通信需求和高移动性造成的车对车链路(Vehicle to Vehicle,V2V)间的信道冲突及网络效用低下的问题,提出了一种基于并联门控循环单元(Gated Recurrent Unit,GRU)和长短期记忆网络(Long Short-Term Memory,LSTM)的组合模型的车联网信道分配算法。

算法以降低V2V链路信道碰撞率和空闲率为目标,将信道分配问题建模为分布式深度强化学习问题,使每条V2V 链路作为单个智能体,并通过最大化每回合平均奖励的方式进行集中训练、分布式执行。

在训练过程中借助GRU训练周期短和LSTM拟合精度高的组合优势去拟合深度双重Q学习中Q函数,使V2V链路能快速地学习优化信道分配策略,合理地复用车对基础设施(Vehicle to Infrastructure,V2I)链路的信道资源,实现网络效用最大化。

仿真结果表明,与单纯使用GRU或者LSTM网络模型的分配算法相比,该算法在收敛速度方面加快了5个训练回合,V2V链路间的信道碰撞率和空闲率降低了约27%,平均成功率提升了约10%。

【总页数】8页(P273-280)【作者】王磊;王永华;何一汕;伍文韬【作者单位】广东工业大学自动化学院【正文语种】中文【中图分类】TN929.5【相关文献】1.基于GRU-LSTM组合模型的云计算资源负载预测研究2.基于LSTM模型的APT 攻击信道检测方法3.基扩展模型下基于LSTM神经网络的时变信道预测方法4.基于K-means分层聚类的TCN-GRU和LSTM动态组合光伏短期功率预测5.基于LSTM-GRU-FCN模型的风电功率短期多步预测研究因版权原因，仅展示原文概要，查看原文内容请购买。

智能网联交通之梦——记东南大学—威斯康星大学智能网联交通联合研究院院长冉斌作者：暂无来源：《科学中国人》 2018年第5期2017年12月20日，东南大学与美国威斯康星大学共同组建的智能网联交通联合研究院正式挂牌成立。

国家“千人计划”特聘专家、东南大学教授冉斌出任研究院院长。

“智能网联交通，是智能交通、智能驾驶之后的升级版本，将更注重通过物联网交通应用技术，开发自动公路系统、推广车路一体化技术等，在‘更聪明的人’‘更聪明的车’之后，打造‘更聪明的道路’。

”冉斌说。

这也是联合研究院的立足点。

研究院的建设依托东南大学，联合美国威斯康星大学等国际知名智能网联交通科研机构的科研与人才优势，坚持基础研究与应用研究并重。

冉斌和他的团队将在联合研究院这一平台上广泛开展智能网联交通科学研究、产业转化以及人才培养，努力将研究院建设成为世界一流水平的智能网联交通科研机构，为全球智能交通创造更多技术上的可能。

“我的梦想就是将我多年在美国学习、研究、实践取得的成果传授给更多的中国和其他国家的学生，与世界同行们交流、合作、共同努力，使中国和其他亚太国家的智能网联交通系统达到国际领先水平。

”当联合研究院建设的帷幕拉开，冉斌距离他的梦想又近了一步。

一双慧眼看明白智能交通说起来，随着“人工智能”近年来的持续升温，大众对于21世纪的“智能”并不陌生。

但到底什么是智能交通系统？冉斌认为，智能交通系统就是将多种高新技术有效地综合运用于交通领域，以加强人、车、路三者之间的联系。

交通运输业是中国经济社会发展的基础产业，在优化中国产业布局、促进经济结构调整、降低发展成本、实现低碳发展等方面都具有极其重要的战略作用。

传统的交通工程方法在一定程度上能够缓解交通问题，但是，由于这些方法实施的规则是根据事先建立的日常重复的交通模式而制定的，不能对交通阻塞做出实时的动态反应，也不能根据具体交通情况迅速改变交通处理方案。

“当传统的交通工程方法无法进一步提高路网通行能力时，智能交通系统的好处就体现出来了。

人工智能在交通出行领域的应用及优化方案设计第1章人工智能在交通出行领域的发展概述 (3)1.1 人工智能技术发展背景 (3)1.2 交通出行领域的发展需求 (3)1.3 人工智能在交通出行领域的应用现状 (4)第2章智能交通系统框架设计 (4)2.1 智能交通系统概述 (4)2.2 系统架构设计 (5)2.3 关键技术分析 (5)第3章交通数据采集与处理 (6)3.1 交通数据采集技术 (6)3.1.1 传感器采集技术 (6)3.1.2 通信技术 (6)3.1.3 遥感技术 (6)3.2 数据预处理方法 (6)3.2.1 数据清洗 (6)3.2.2 数据集成 (6)3.2.3 数据变换 (6)3.3 数据存储与管理 (7)3.3.1 数据存储 (7)3.3.2 数据管理 (7)3.3.3 数据安全与隐私保护 (7)第4章车辆识别与追踪技术 (7)4.1 车牌识别技术 (7)4.1.1 车牌识别原理 (7)4.1.2 关键技术 (7)4.1.3 优化方案 (8)4.2 车辆品牌及型号识别 (8)4.2.1 车辆品牌及型号识别原理 (8)4.2.2 关键技术 (8)4.2.3 优化方案 (8)4.3 车辆追踪与监控 (8)4.3.1 车辆追踪与监控原理 (9)4.3.2 关键技术 (9)4.3.3 优化方案 (9)第5章智能交通信号控制 (9)5.1 交通信号控制原理 (9)5.2 人工智能在信号控制中的应用 (9)5.3 优化方案设计 (10)第6章交通预警与处理 (10)6.1.1 智能监控系统 (10)6.1.2 数据分析与处理 (11)6.1.3 交通预警模型 (11)6.2 人工智能在处理中的应用 (11)6.2.1 自动报警与救援 (11)6.2.2 现场勘查 (11)6.2.3 原因分析 (11)6.3 优化方案设计 (11)6.3.1 提高预警准确性 (11)6.3.2 完善处理流程 (11)6.3.3 建立健全法律法规 (11)6.3.4 推广应用与培训 (12)第7章智能导航与路径规划 (12)7.1 智能导航系统 (12)7.1.1 概述 (12)7.1.2 系统架构 (12)7.1.3 功能特点 (12)7.2 路径规划算法 (12)7.2.1 经典路径规划算法 (12)7.2.2 优化算法 (12)7.2.3 融合算法 (12)7.3 实时路况分析与预测 (13)7.3.1 数据来源 (13)7.3.2 数据处理与分析 (13)7.3.3 路况预测 (13)7.3.4 应用案例 (13)第8章公共交通优化与服务 (13)8.1 公共交通调度策略 (13)8.1.1 车辆调度优化 (13)8.1.2 线路调度优化 (13)8.1.3 人员调度优化 (13)8.2 人工智能在公交优化中的应用 (14)8.2.1 客流预测 (14)8.2.2 路径优化 (14)8.2.3 能耗优化 (14)8.3 乘客信息服务 (14)8.3.1 实时公交信息服务 (14)8.3.2 个性化出行推荐 (14)8.3.3 公交服务评价 (14)第9章自动驾驶技术与发展 (14)9.1 自动驾驶技术概述 (15)9.2 人工智能在自动驾驶中的应用 (15)9.2.1 感知技术 (15)9.2.3 控制技术 (15)9.3 自动驾驶汽车的挑战与前景 (15)9.3.1 技术挑战 (15)9.3.2 安全挑战 (16)9.3.3 法律法规与伦理挑战 (16)9.3.4 前景展望 (16)第十章智能交通出行方案综合优化 (16)10.1 优化目标与策略 (16)10.1.1 优化目标 (16)10.1.2 优化策略 (16)10.2 多技术融合与应用 (16)10.2.1 人工智能技术 (16)10.2.2 大数据技术 (17)10.2.3 物联网技术 (17)10.2.4 云计算技术 (17)10.3 案例分析与效果评估 (17)10.3.1 案例一：智能公共交通系统优化 (17)10.3.2 案例二：城市交通信号灯控制系统优化 (17)10.3.3 案例三：共享单车智能调度系统 (17)10.3.4 案例四：无人驾驶出租车系统 (17)第1章人工智能在交通出行领域的发展概述1.1 人工智能技术发展背景计算机技术、大数据、云计算、物联网等新兴技术的迅猛发展，人工智能（Artificial Intelligence, ）逐渐成为科技界的热点领域。

《智能网联汽车技术》课程标准一、前言（一）课程性质与地位1.课程性质《智能网联汽车技术》是汽车电子技术专业的一门专业方向课，也是新能源汽车技术专业的专业拓展课程。

本课程主要包括智能网联汽车产业架构、环境感知技术、高精度地图与定位技术、智能决策技术、控制执行技术、人机交互技术、信息交互技术等。

2.课程地位通过本课程的学习使学生了解智能网联汽车产业发展及产业链的需求、掌握智能网联汽车的三大关键技术感知识别、决策规划与控制执行技术，能够依据智能网联汽车产业、行业、企业的标准及规范完成智能汽车的基础维保及相关售后服务工作。

3.与相关课程的联系与分工该课程以汽车电工技术基础、汽车电子技术基础、汽车电气设备构造与检修、汽车电控技术、汽车单片机技术、车载网络系统检修等多个学习领域为基础。

智能网联汽车技术是电子信息技术在汽车上的最新应用，故本学习领域内容较难，但却是全面掌握未来汽车新技术的必由之路。

后续课程为毕业设计。

（二）课程设计思路该课程着眼于学生的终身学习与可持续性发展，关注学生素质，关注学生职业岗位能力的培养。

该学习领域是依据“汽车电子技术专业工作任务与职业能力分析表”中的汽车维修工作项目设置的。

其总体设计思路是，打破以知识传授为主要特征的传统学科课程模式，转变为以工作任务为中心组织课程内容，并让学生在完成具体项目的过程中学会完成相应工作任务，并构建相关理论知识，发展职业能力。

课程内容突出对学生职业能力的训练，理论知识的选取紧紧围绕工作任务完成的需要来进行，以“必需”、“够用”为度，并融合了相关职业资格证书对知识、技能和态度的要求。

项目设计遵循从简单到复杂，从单一到综合的循序渐进的学习过程。

教学过程中要充分开发学习资源，给学生提供丰富的实践机会。

教学效果评价采取过程评价与结果评价相结合的方式，通过理论与实践相结合，重点评价学生的职业能力。

该课程建议总课时48课时。

各章节课时安排见后续表格。

二、课程目标和任务1.素质目标（1）具备坚定的政治信念，要德智体美劳全面发展；（2）具备良好的职业道德，能够遵纪守法；（3）具备诚实守信、爱岗敬业的品质，具有社会责任心；（4）具备质量意识、安全意识、环保意识、信息素养；（5）具备开拓进取、敢于创业的精神；（6）具备良好的社会适应性，自主学习能力；（7）具备团队协作意识，具备严谨务实的工作作风。

黑芝麻智能科技（上海）有限公司，上海200120摘要：近年来，信息技术的新突破和科学技术的不断转型与升级，深刻的影响着各行各业的发展，汽车行业作为技术密集型行业首当其冲面临着改变。

智能汽车可以通过感知驾驶环境 (人-车-路) 并提供信息和车辆控制, 帮助或替代驾驶员进行最安全、最高效、最舒适的车辆操控。

本文从智能驾驶技术对社会和个人的影响出发，分析了智能汽车技术的关键技术研究和发展现状，并对未来智能汽车技术的发展趋势作出了展望。

关键词：信息技术；智能汽车；关键技术；发展趋势引言近年来, 随着经济的发展和城镇化的推进, 全球汽车保有量和道路里程逐步增加, 诸如交通拥堵、事故、污染、土地资源紧缺等一系列传统汽车无法妥善解决的问题日益凸显。

而被视为有效解决方案的智能汽车技术, 其发展备受瞩目。

美国电气和电子工程师协会 (IEEE) 预测, 至2040年, 自动驾驶车辆所占的比例将达到75%。

汽车交通系统概念将迎来变革, 智能汽车可能颠覆当前的汽车交通运输产业运作模式。

1.智能驾驶技术介绍1.智能驾驶技术定义智能汽车技术是指:通过感知驾驶环境 (人-车-路) 并提供信息或车辆控制, 帮助或替代驾驶员最优 (安全-高效-舒适-便利等) 操控车辆的技术。

它主要包括驾驶辅助和自动驾驶两个方面。

1.2 智能驾驶技术作用智能汽车技术的潜在作用是明显的, 主要包含交通安全、节能环保、道路容量、城市/交通规划、新商业模式等几个方面。

本文从行车安全、环保、道路容量等几个方面, 介绍了不同车辆自动化等级带来的不同程度影响。

下面将主要从自动化等级较高的无人驾驶方面分析一下智能车技术的潜在作用。

1.2.1交通安全在道路基础设施日趋完善、安全度提升空间受限的情况下, 汽车的行驶安全性得到越来越多的重视。

针对自然驾驶的研究表明:78%的行车碰撞事故和65%的临近碰撞事故, 是由于驾驶员分心导致的, 而传统的自主安全系统 (autonomous safety systems) 无法摆脱驾驶员操纵受限制的影响, 在交叉路口安全、行人安全、夜间行车安全等方面存在一定的局限。

汽车行业智能网联汽车技术推广方案第一章智能网联汽车技术概述 (3)1.1 技术背景与定义 (3)1.2 技术发展趋势 (3)第二章智能网联汽车关键技术 (4)2.1 感知技术 (4)2.1.1 车辆周围环境感知 (4)2.1.2 车辆状态感知 (4)2.1.3 驾驶行为感知 (5)2.2 通信技术 (5)2.2.1 车载通信系统 (5)2.2.2 车联网通信系统 (5)2.2.3 卫星通信系统 (5)2.3 控制技术 (5)2.3.1 车辆动力学控制 (5)2.3.2 路径跟踪控制 (5)2.3.3 决策与规划控制 (5)2.4 数据处理与分析技术 (6)2.4.1 数据采集 (6)2.4.2 数据预处理 (6)2.4.3 数据挖掘 (6)2.4.4 数据分析 (6)第三章智能网联汽车系统架构 (6)3.1 系统组成 (6)3.1.1 车载终端 (6)3.1.2 通信系统 (6)3.1.3 数据处理与分析系统 (6)3.1.4 人机交互系统 (7)3.2 功能模块 (7)3.2.1 环境感知模块 (7)3.2.2 驾驶辅助模块 (7)3.2.3 车联网服务模块 (7)3.2.4 自动驾驶模块 (7)3.2.5 能源管理模块 (7)3.3 系统集成 (7)3.3.1 硬件集成 (7)3.3.2 软件集成 (7)3.3.3 通信协议集成 (8)3.3.4 系统测试与优化 (8)第四章智能网联汽车安全与隐私保护 (8)4.1 安全防护措施 (8)4.1.1 车载网络安全 (8)4.1.2 车辆控制系统安全 (8)4.1.3 数据安全 (8)4.2 隐私保护策略 (9)4.2.1 数据最小化原则 (9)4.2.2 数据匿名化处理 (9)4.2.3 用户授权机制 (9)4.2.4 数据安全审计 (9)4.3 安全与隐私保护技术 (9)4.3.1 安全认证技术 (9)4.3.2 加密技术 (9)4.3.3 安全监控技术 (9)4.3.4 隐私保护技术 (9)第五章智能网联汽车标准与法规 (9)5.1 国际标准 (9)5.2 国内法规 (10)5.3 政策支持与推广 (10)第六章智能网联汽车产业链分析 (11)6.1 上游产业 (11)6.1.1 核心技术研发 (11)6.1.2 关键零部件制造 (11)6.1.3 原材料供应 (11)6.2 中游产业 (11)6.2.1 智能网联汽车制造 (12)6.2.2 系统集成 (12)6.2.3 解决方案提供商 (12)6.3 下游产业 (12)6.3.1 销售环节 (12)6.3.2 运营环节 (12)6.3.3 服务环节 (12)第七章智能网联汽车市场与发展前景 (12)7.1 市场规模 (12)7.2 市场竞争格局 (13)7.3 发展前景预测 (13)第八章智能网联汽车推广应用案例 (13)8.1 城市交通 (13)8.1.1 某城市智能网联汽车示范项目 (14)8.1.2 智能停车解决方案 (14)8.2 物流运输 (14)8.2.1 长途货运自动驾驶试点 (14)8.2.2 城市配送无人车应用 (14)8.3 公共交通 (14)8.3.1 智能网联公交车 (14)8.3.2 城市轨道交通信号系统升级 (14)8.3.3 城市共享单车管理 (15)第九章智能网联汽车技术研发与创新 (15)9.1 研发机构与团队建设 (15)9.1.1 研发机构设置 (15)9.1.2 团队建设 (15)9.2 技术创新策略 (15)9.2.1 紧跟国际前沿技术 (15)9.2.2 强化自主研发能力 (16)9.2.3 推动产业链协同创新 (16)9.3 国际合作与交流 (16)9.3.1 加强与国际知名企业和研究机构的合作 (16)9.3.2 参与国际标准制定 (16)9.3.3 扩大国际市场影响力 (17)第十章智能网联汽车产业发展建议 (17)10.1 政策支持与引导 (17)10.2 产业链协同发展 (17)10.3 市场培育与推广 (17)第一章智能网联汽车技术概述1.1 技术背景与定义智能网联汽车技术是近年来汽车行业发展的重点方向，其背景源于全球信息化、网络化进程的不断推进，以及人工智能、大数据、云计算等技术的快速发展。

第４４卷第１０期２０２３年１０月东北大学学报(自然科学版)ＪｏｕｒｎａｌｏｆＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ(ＮａｔｕｒａｌＳｃｉｅｎｃｅ)Ｖｏｌ.４４ꎬＮｏ.１０Ｏｃｔ.２０２３㊀ｄｏｉ:１０.１２０６８/ｊ.ｉｓｓｎ.１００５－３０２６.２０２３.１０.００１基于双决斗深度Ｑ网络的自动换道决策模型张雪峰ꎬ王照乙(东北大学理学院ꎬ辽宁沈阳㊀１１０８１９)摘㊀㊀㊀要:汽车自动变道需要在保证不发生碰撞的情况下ꎬ以尽可能快的速度行驶ꎬ规则性地控制不仅对意外情况不具有鲁棒性ꎬ而且不能对间隔车道的情况做出反应.针对这些问题ꎬ提出了一种基于双决斗深度Ｑ网络(ｄｕｅｌｉｎｇｄｏｕｂｌｅｄｅｅｐＱ￣ｎｅｔｗｏｒｋꎬＤ３ＱＮ)强化学习模型的自动换道决策模型ꎬ该算法对车联网反馈的环境车信息处理之后ꎬ通过策略得到动作ꎬ执行动作后根据奖励函数对神经网络进行训练ꎬ最后通过训练的网络以及强化学习来实现自动换道策略.利用Ｐｙｔｈｏｎ搭建的三车道环境以及车辆仿真软件ＣａｒＭａｋｅｒ进行仿真实验ꎬ得到了很好的控制效果ꎬ结果验证了本文算法的可行性和有效性.关㊀键㊀词:车道变换ꎻ自动驾驶ꎻ强化学习ꎻ深度学习ꎻ深度强化学习中图分类号:ＴＰ３９１㊀㊀㊀文献标志码:Ａ㊀㊀㊀文章编号:１００５－３０２６(２０２３)１０－１３６９－０８ＡｕｔｏｍａｔｉｃＬａｎｅＣｈａｎｇｅＤｅｃｉｓｉｏｎＭｏｄｅｌＢａｓｅｄｏｎＤｕｅｌｉｎｇＤｏｕｂｌｅＤｅｅｐＱ￣ｎｅｔｗｏｒｋＺＨＡＮＧＸｕｅ￣ｆｅｎｇꎬＷＡＮＧＺｈａｏ￣ｙｉ(ＳｃｈｏｏｌｏｆＳｃｉｅｎｃｅｓꎬＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙꎬＳｈｅｎｙａｎｇ１１０８１９ꎬＣｈｉｎａ.Ｃｏｒｒｅｓｐｏｎｄｉｎｇａｕｔｈｏｒ:ＺＨＡＮＧＸｕｅ￣ｆｅｎｇꎬＥ￣ｍａｉｌ:ｚｈａｎｇｘｕｅｆｅｎｇ＠ｍａｉｌ.ｎｅｕ.ｅｄｕ.ｃｎ)Ａｂｓｔｒａｃｔ:Ａｕｔｏｍａｔｉｃｌａｎｅｃｈａｎｇｅｏｆｖｅｈｉｃｌｅｓｒｅｑｕｉｒｅｓｄｒｉｖｉｎｇａｔｔｈｅｆａｓｔｅｓｔｐｏｓｓｉｂｌｅｓｐｅｅｄｗｈｉｌｅｅｎｓｕｒｉｎｇｎｏｃｏｌｌｉｓｉｏｎｓｉｔｕａｔｉｏｎｓ.Ｈｏｗｅｖｅｒꎬｒｅｇｕｌａｒｃｏｎｔｒｏｌｉｓｎｏｔｒｏｂｕｓｔｅｎｏｕｇｈｔｏｈａｎｄｌｅｕｎｅｘｐｅｃｔｅｄｓｉｔｕａｔｉｏｎｓｏｒｒｅｓｐｏｎｄｔｏｌａｎｅｓｅｐａｒａｔｉｏｎ.ＴｏｓｏｌｖｅｔｈｅｓｅｐｒｏｂｌｅｍｓꎬａｎａｕｔｏｍａｔｉｃｌａｎｅｃｈａｎｇｅｄｅｃｉｓｉｏｎｍｏｄｅｌｂａｓｅｄｏｎｄｕｅｌｉｎｇｄｏｕｂｌｅｄｅｅｐＱ￣ｎｅｔｗｏｒｋ(Ｄ３ＱＮ)ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｍｏｄｅｌｉｓｐｒｏｐｏｓｅｄ.Ｔｈｅａｌｇｏｒｉｔｈｍｐｒｏｃｅｓｓｅｓｔｈｅｅｎｖｉｒｏｎｍｅｎｔａｌｖｅｈｉｃｌｅｉｎｆｏｒｍａｔｉｏｎｆｅｄｂａｃｋｂｙｔｈｅｉｎｔｅｒｎｅｔｏｆｖｅｈｉｃｌｅｓꎬａｎｄｔｈｅｎｏｂｔａｉｎｓａｃｔｉｏｎｓｔｈｒｏｕｇｈｓｔｒａｔｅｇｉｅｓ.Ａｆｔｅｒｔｈｅａｃｔｉｏｎｓａｒｅｅｘｅｃｕｔｅｄꎬｔｈｅｎｅｕｒａｌｎｅｔｗｏｒｋｉｓｔｒａｉｎｅｄａｃｃｏｒｄｉｎｇｔｏｇｉｖｅｎｒｅｗａｒｄｆｕｎｃｔｉｏｎꎬａｎｄｆｉｎａｌｌｙｔｈｅａｕｔｏｍａｔｉｃｌａｎｅｃｈａｎｇｅｓｔｒａｔｅｇｙｉｓｒｅａｌｉｚｅｄｔｈｒｏｕｇｈｔｈｅｔｒａｉｎｅｄｎｅｔｗｏｒｋａｎｄｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ.Ｔｈｅｔｈｒｅｅ￣ｌａｎｅｅｎｖｉｒｏｎｍｅｎｔｂｕｉｌｔｂｙＰｙｔｈｏｎａｎｄｔｈｅｖｅｈｉｃｌｅｓｉｍｕｌａｔｉｏｎｓｏｆｔｗａｒｅＣａｒＭａｋｅｒａｒｅｕｓｅｄｔｏｃａｒｒｙｏｕｔｓｉｍｕｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｓ.Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅａｌｇｏｒｉｔｈｍｐｒｏｐｏｓｅｄｈａｓａｇｏｏｄｃｏｎｔｒｏｌｅｆｆｅｃｔꎬｍａｋｉｎｇｉｔｆｅａｓｉｂｌｅａｎｄｅｆｆｅｃｔｉｖｅ.Ｋｅｙｗｏｒｄｓ:ｌａｎｅｃｈａｎｇｅꎻｄｒｉｖｅｒｌｅｓｓｖｅｈｉｃｌｅｓꎻｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇꎻｄｅｅｐｌｅａｒｎｉｎｇꎻｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｎｉｎｇ㊀㊀自动换道技术在智能驾驶中是重要的环节.近年来ꎬ随着环保观念的深入人心ꎬ新能源的使用逐渐增多.其中ꎬ新能源汽车作为新能源领域的关键技术ꎬ科技感㊁智能驾驶一直以来都是汽车生产商们努力实现的目标.５Ｇ的兴起以及应用促进了车联网的发展ꎬ使得实现目标变得更为可能.已有的自动换道决策相关研究主要是基于规则和基于机器学习的模型.基于规则的模型中ꎬ自车(算法控制的智能车)通过环境车(环境中其他车)的位置㊁速度等特征来计算可变车道的优先性㊁必要性以及可行性来做出变道决策.这种模型的代表为Ｇｉｐｐｓ[１]换道模型及许多改进和拓展ꎬ如杨达等[２]在车联网情况下ꎬ以Ｇｉｐｐｓ安全驾驶模型为基础ꎬ充分考虑下层安全条件判断模型对收稿日期:２０２２－０５－２２最优车道序列的影响ꎬ获得了安全可行的最优目标车道.基于机器学习的模型则是通过大量的驾驶员换道作业数据ꎬ来进行是否换道㊁换哪条道的监督学习.其中ꎬＨｏｕ等[３]的随机森林算法和自适应增强算法(Ａｄａｂｏｏｓｔ)和Ｌｉｕ等[４]的支持向量机(ＳＶＭ)决策模型都取得了较好的换道效果.此类模型相较于规则模型来说ꎬ精度虽然高ꎬ但所需数据量很大ꎬ特征与标签都很多ꎬ难以处理.从２０１５年开始Ｄｅｅｐｍｉｎｄ公司使用深度强化学习使得智能体在Ａｔａｒｉ游戏领域达到了人类水平[５]ꎬ强化学习开始飞速发展以及广泛应用.强化学习已经应用在许多领域ꎬ如王建平等[６]使用强化学习对机器人机械臂的精准控制.赖建辉[７]和舒凌洲等[８]将强化学习应用到交通信号控制领域且取得了很好的效果.孟琭等[９]使用深度Ｑ网络(ｄｅｅｐＱ￣ｎｅｔｗｏｒｋꎬＤＱＮ)算法与目标检测算法结合在射击游戏领域也取得了很好的效果.在汽车自动跟随驾驶领域ꎬＹｏｕ等[１０]在高速公路驾驶场景中采用Ｑ－ｌｅａｒｎｉｎｇ方法进行车辆加速㊁制动㊁超车和转弯等决策.Ｚｈａｎｇ等[１１]使用双深度Ｑ网络(ｄｏｕｂｌｅｄｅｅｐＱ￣ｎｅｔｗｏｒｋꎬＤＤＱＮ)来控制车速ꎬ其中控制动作包括加速㊁减速和保持.在自动换道领域ꎬＨｏｅｌ等[１２]在汽车的速度控制与换道领域使用了ＤＱＮꎬ要注意网络的输入或使用所有环境车的信息ꎬ或使用卷积神经网络提取的特征ꎬ维度很高.Ｗａｎｇ等[１３]使用深度确定性策略梯度(ｄｅｅｐｄｅｔｅｒｍｉｎｉｓｔｉｃｐｏｌｉｃｙｇｒａｄｉｅｎｔꎬＤＤＰＧ)连续控制车辆ꎬ相对离散控制来说ꎬ难以训练并且鲁棒性较差.本文基于以上研究ꎬ介绍双决斗深度Ｑ网络(ｄｕｅｌｉｎｇｄｏｕｂｌｅｄｅｅｐＱ￣ｎｅｔｗｏｒｋꎬＤ３ＱＮ)相较于其他深度强化学习算法的优势ꎬ讨论了特征复杂度以及奖励函数的设定ꎬ用Ｄ３ＱＮ对车联网环境观测范围内得到的车流信息和是否换道进行建模.将自车看作智能体ꎬ对智能体获得的车联网信息进行处理ꎬ得到了一个既有效又不冗余的特征ꎻ其次根据实际情况来设定奖励函数ꎬ充分考虑速度与换道的奖励平衡ꎻ最后通过仿真实验来验证算法的有效性以及优势.１㊀准备知识强化学习可以根据不同的标准分为不同的类别ꎬ如根据智能体的学习方法可以分为在线学习(ｏｎ￣ｐｏｌｉｃｙ)和离线学习(ｏｆｆ￣ｐｏｌｉｃｙ)ꎬ根据策略的策略梯度的(ｐｏｌｉｃｙｇｒａｄｉｅｎｔ￣ｂａｓｅｄ).本文使用的是基于值的离线学习算法Ｑ－ｌｅａｒｎｉｎｇ以及它的变体.１ １㊀Ｑ－ｌｅａｒｎｉｎｇ和ＤＱＮ强化学习解决的是序列决策问题ꎬ通常由五元组(ＳꎬＡꎬＲꎬＰꎬγ)表示.智能体在时间ｔ接收一个来自环境的状态ｓｔ＝(ｘ１ꎬｘ２ꎬ ꎬｘｎ)ɪＳꎬ返回一个动作ａｔɪＡꎬ其中ｎ为状态的特征数量.环境执行动作ａｔ后ꎬ以Ｐ(ｓｔꎬａｔ)的转移概率返回一个时间ｔ＋１的状态ｓｔ＋１和奖励ｒｔ＋１(ｒｔ＋１ɪＲ)ꎬ传送给智能体ꎬ流程如图１所示.图１㊀强化学习流程Ｆｉｇ １㊀Ｆｌｏｗｃｈａｒｔｏｆｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ基于值的强化学习算法ꎬ会计算出每个状态和动作的Ｑ值ꎬ对于随机策略πꎬ定义为[１４]Ｑπ(ｓｔꎬａｔ)＝Ｅ(ｒ１＋γｒ２＋γ２ｒ３＋ ｜Ｓ＝ｓｔꎬＡ＝ａｔꎬπ).(１)其中:Ｅ( )为对括号中的变量求期望ꎻγ为折扣因子.如果使用Ｑ－ｌｅａｒｎｉｎｇ来估计最优动作值ꎬ那么Ｑ值就会被式(２)更新为ＹＤＱＮｔ＝ｒｔ＋１＋γｍａｘａＱ(ｓｔ＋１ꎬａꎻθｔ).(２)其中:ＹＤＱＮｔ为当前时刻的Ｑ值ꎻθｔ是用来拟合Ｑπ(ｓꎬａ)函数的参数.ＤＱＮ实际上就是用多层神经网络来拟合Ｑπ(ｓꎬａ)ꎬ其中神经网络的参数就是式(２)中的θｔ.为了便于神经网络的训练ꎬＤＱＮ使用了两个小技巧ꎬ即目标网络(ｔａｒｇｅｔｎｅｔｗｏｒｋ)和经验重放(ｅｘｐｅｒｉｅｎｃｅｒｅｐｌａｙ)[５].目标网络的参数为θ－ｔꎬ它不被训练更新ꎬ而是每过τ步从在线网络复制而来ꎬ每过τ步ꎬθ－ｔ＝θｔ.Ｑ值的更新也转变为ＹＤＱＮｔ＝ｒｔ＋１＋γｍａｘａＱ(ｓｔ＋１ꎬａꎻθ－ｔ).(３)网络的损失函数如式(４)所示:ｆｌｏｓｓ＝Ｅ(ＹＤＱＮｔ－Ｑ(ｓｔ＋１ꎬａꎻθｔ)２).(４)经验重放会把智能体的观察序列存储在一个记忆容器里ꎬ并且每次从中均匀地取出一部分来更新网络.ＤＱＮ的流程图如图２所示.１ ２㊀ＤＤＱＮ标准的Ｑ－ｌｅａｒｎｉｎｇ和ＤＱＮ算法中存在着一０７３１东北大学学报(自然科学版)㊀㊀㊀第４４卷的值ꎬ这会使得智能体更倾向于选择被高估的动作ꎬ结果高估了估计值.为了缓解这一现象ꎬＤＤＱＮ解耦了选择和估计这两个行为[１５]ꎬ即ＹＤＤＱＮｔ＝ｒｔ＋１＋γＱ(ｓｔ＋１ꎬａｒｇｍａｘａＱ(ｓｔ＋１ꎬａ:θｔ)ꎬθ－ｔ).(５)图２㊀ＤＱＮ流程Ｆｉｇ ２㊀ＦｌｏｗｃｈａｒｔｏｆＤＱＮ选择动作使用的是在线网络的参数θｔꎬ而估计值使用的是目标网络的参数θ－ｔꎬ这会更准确地估计Ｑ值ꎬ同时获得更优的策略.１ ３㊀Ｄ３ＱＮ算法１ ３ １㊀Ｄ３ＱＮ算法的原理引入状态值函数Ｖπ和动作优势函数Ａπ[１６]:Ｖπ(ｓ)＝Ｅａ~π(ｓ)[Ｑπ(ｓꎬａ)]ꎬ(６)Ａπ(ｓꎬａ)＝Ｑπ(ｓꎬａ)－Ｖπ(ｓ).(７)状态值函数是对该状态所有的动作值求期望ꎬ仅将状态ｓ作为函数的输入ꎬ用来评价某个状态的好坏.优势函数是每个动作值与状态值之差ꎬ为每个动作的相对重要性.容易看出Ｅａ~π(ｓ)[Ａπ(ｓꎬａ)]＝０.１ ３ ２㊀Ｄ３ＱＮ的网络架构Ｄ３ＱＮ创造性地采用了一个包含函数ＱꎬＶꎬＡ的网络架构:Ｑπ(ｓꎬａꎻθꎬαꎬβ)＝Ｖπ(ｓꎻθꎬβ)＋Ａπ(ｓꎬａꎻθꎬα).(８)其中:θ是３个函数所共有的权重ꎻα为优势函数所特有的参数ꎬ输出维度为动作维度ꎻβ为状态值函数所特有的参数ꎬ输出维度为１.θꎬα和β见图３.为了确保Ｑπ(ｓꎬａꎻθꎬαꎬβ)是真实Ｑ值的估计ꎬ需要同时确保状态值函数网络和优势函数网络的输出分别对应状态值和动作优势ꎬ因此对式(８)作以下改变:Ｑ(ｓꎬａꎻθꎬαꎬβ)＝Ｖ(ｓꎻθꎬβ)＋(Ａπ(ｓꎬａꎻθꎬα)－１｜Ａ｜ðａᶄＡ(ｓꎬａᶄꎻθꎬα)).(９)其中ꎬ｜Ａ｜为动作的个数.图３㊀Ｄ３ＱＮ网络架构Ｆｉｇ ３㊀ＮｅｔｗｏｒｋａｒｃｈｉｔｅｃｔｕｒｅｏｆＤ３ＱＮ通过Ｄ３ＱＮ网络架构可以明显看到ꎬ每返回一个Ｙｔꎬ不仅该动作对应的优势函数的参数α会被更新ꎬ整体状态值函数的β都会被更新ꎬ如图４ａ所示ꎬ而ＤＱＮ只会更新该动作的Ｑ值ꎬ如图４ｂ所示.图４㊀ＤＱＮ和Ｄ３ＱＮ比较Ｆｉｇ ４㊀ＣｏｍｐａｒｉｓｏｎｏｆＤＱＮａｎｄＤ３ＱＮ(ａ) Ｄ３ＱＮ的一步更新ꎻ(ｂ) ＤＱＮ的一步更新.２㊀基于Ｄ３ＱＮ的换道决策模型对强化学习算法所需要的状态空间㊁动作空间和奖励函数等作了详细介绍ꎬ并给出最终的换道决策算法.其中ꎬ状态空间只考虑各个车道自车前面的第一辆环境车的相对车道㊁相对位置和相对速度ꎬ保证环境信息不丢失且足够精炼.奖励函１７３１第１０期㊀㊀㊀张雪峰等:基于双决斗深度Ｑ网络的自动换道决策模型数不仅对严重错误给予惩罚ꎬ也设立了一个奖励函数ꎬ能够保持速度的同时ꎬ尽可能做到避免换道ꎬ保证车辆行驶的舒适性.２ １㊀状态空间本文算法的状态空间并不像其他深度强化学习算法处理端到端自动驾驶那样ꎬ使用自车所获得的图像ꎻ也不像其他车联网自动驾驶那样ꎬ使用所有车辆的相对位置和相对速度[１１].因为这两种特征不仅维度很多而且包含着冗余的特征.智能体的状态空间如图５ａ所示ꎬ考虑三辆车的相对车道㊁相对位置和相对速度ꎬ共９个特征.如果某一车道没有车ꎬ算法会人为地设立一个相对距离很远㊁速度很大的车ꎬ如图５ｂ所示ꎬ图底部的数字指车道.图５㊀状态空间Ｆｉｇ ５㊀Ｓｔａｔｅｓｐａｃｅ(ａ) 所有车道均有车ꎻ(ｂ) 部分车道没有车.相对车道其实就是(－２ꎬ－１ꎬ０ꎬ１ꎬ２)中的一个数ꎬ但这对保持汽车不出界是必要的.２ ２㊀动作空间动作空间如表１所示ꎬ本文同时考虑了变道以及变速的可能性ꎬ这对于设置奖励函数提供了参考.表１㊀动作空间Ｔａｂｌｅ１㊀Ａｃｔｉｏｎｓｐａｃｅ动作环境中执行动作ａ１~３向左/不/向右变道ꎬ加速度０ｍ/ｓ２ａ４~６向左/不/向右变道ꎬ加速度０ ３ｍ/ｓ２ａ７~９向左/不/向右变道ꎬ加速度０ ７ｍ/ｓ２ａ１０~１２向左/不/向右变道ꎬ加速度１ｍ/ｓ２ａ１３~１５向左/不/向右变道ꎬ加速度－０ ６ｍ/ｓ２ａ１６~１８向左/不/向右变道ꎬ加速度－１ ４ｍ/ｓ２ａ１９~２１向左/不/向右变道ꎬ加速度－２ｍ/ｓ２２ ３㊀奖励函数执行动作之后ꎬ智能体会从环境中获得一个次控制决策产生影响.毫无疑问ꎬ奖励函数是强化学习中最重要的一环ꎬ如何设置奖励直接影响到算法是否有效㊁速度快慢等.首先设置对于自动驾驶来说严重错误的奖励函数ꎬ如表２所示.表２㊀奖励设置Ｔａｂｌｅ２㊀Ｒｅｗａｒｄｓｅｔｔｉｎｇ行为奖励自车出界－１２０发生碰撞－１２０驾驶在错误方向－１００超速或倒车－１００㊀㊀汽车换道时的舒适度主要体现在换道时间㊁纵向加速度㊁横向加速度以及风险ꎬ这４个因素与舒适度成反比[１７].由于动作空间是离散的ꎬ本文将换道时间和横向加速度封装成一个换道动作ꎬ因此避免鲁莽驾驶㊁减少换道次数会一定程度上提高舒适度.奖励函数的主要作用是自车尽可能快且安全地行驶.在纵向加速度方面ꎬ权衡了舒适度与通行时间的关系后ꎬ选择提高通行时间的优先级.同样给不安全的行为以很大的惩罚ꎬ提高了风险方面的舒适度.奖励函数如式(１０)所示.Ｒ(Δｖ)＝２５ꎬΔｖ>１５ꎬ不变道ꎻ１５ꎬΔｖ>１５ꎬ变道ꎻ５３Δｖꎬ０<Δｖ<１５ꎬ不变道ꎻΔｖꎬ０<Δｖ<１５ꎬ变道ꎻ－５３Δｖꎬ－１５<Δｖ<０ꎻ－２５ꎬΔｖ<－１５.ìîíïïïïïïïïïï(１０)其中ꎬΔｖ是自车速度与巡航速度２０ｍ/ｓ之差.可以看出ꎬ同样的速度下ꎬ汽车在不换道时的奖励更多ꎬ这也与实际中期望的避免鲁莽驾驶保持一致ꎬ如图６所示.图６㊀奖励函数Ｆｉｇ ６㊀Ｒｅｗａｒｄｆｕｎｃｔｉｏｎ２７３１东北大学学报(自然科学版)㊀㊀㊀第４４卷２ ４㊀环境车辆本文将环境车辆的驾驶模式设置为智能驾驶员模型(ｉｎｔｅｌｌｉｇｅｎｔｄｉｖｅｒｍｏｄｅｌꎬＩＤＭ)[１８].ＩＤＭ环境车的加速度是由与前车的速度差和与前车的位置差所决定的.具体形式为ｄｖｄｔ＝ａ＝ａｍａｘ１－ｖｖｄæèçöø÷δ－ｓ∗(ｖꎬΔｖ)ｓａæèçöø÷２æèçöø÷.(１１)式中:ａｍａｘ是自由状态下的最大加速度ꎻｖ为环境车车速ꎻｖｄ为环境车的期望速度ꎻｓ∗(ｖꎬΔｖ)为期望与前车的车头间距ꎻｓａ为当前实际车头间距.其中ꎬｓ∗(ｖꎬΔｖ)由最小安全距离ｓ０和随速度变化的缓冲距离组成ꎬ具体表达式为ｓ∗(ｖꎬΔｖ)＝ｓ０＋ｖＴ＋ｖΔｖ２ｂａｍａｘ.(１２)式中:Ｔ为时间间隔ꎻｂ为舒适减速度.ｓａ＝ｘｎ－１－ｘｎ－ｌｎ－１.(１３)其中ｌｎ－１为前车车长.此时环境车速度经过Δｔ时间后ꎬ为ｖｎ(ｔ＋Δｔ)＝ｖｎ(ｔ)＋ａΔｔ.其中ｖｎ(ｔ)为时间ｔ时环境车车速.环境车的位置如式(１４)所示:ｘｎ(ｔ＋Δｔ)＝ｘｎ(ｔ)ｖｎ(ｔ)Δｔ＋１２ａ(Δｔ)２.(１４)２ ５㊀探索与策略提升为了让智能体能够广泛地探索到各个动作ꎬ同时保证策略的提升ꎬ在训练之初采取随机策略ꎬ随着神经网络逐渐收敛ꎬ随机度也逐渐衰减ꎬ优先选择Ｑ值更大的动作ꎬ这也是双Ｅ(ｅｘｐｌｏｒａｔｉｏｎ￣ｅｘｐｌｏｉｔａｔｉｏｎ)问题.本文在动作选择上采用了ε－ｇｒｅｅｄｙ策略ꎬ智能体以ε的概率随机选择动作ꎬ以(１－ε)的概率选择Ｑ值最大的动作ꎬ随着不断地训练ꎬε逐渐衰减ꎬ直至最小.２ ６㊀优先经验回放池在原始的经验回放池中ꎬ每次训练会均匀地抽取一批样本ꎬ这种经验回放池认为所有的样本重要程度都相等.但是在实际训练中ꎬ显然不同的样本对训练的重要程度都是不同的.Ｓｃｈａｕｌ等[１９]使用ＴＤ误差来衡量样本的重要程度ꎬＴＤ误差的绝对值越大ꎬ证明智能体可以从这个样本中学习到更多知识ꎬ也就会赋予样本更大的权重.ＴＤ误差δ定义为δ＝ｒ(ｓｔꎬａｔ)＋λＱᶄ(ｓｔ＋１ꎬａｔ＋１)－Ｑ(ｓｔꎬａｔ).(１５)其中ꎬＱ和Ｑᶄ分别是评估网络和目标网络.样本ｊ的采样概率为Ｐｊ＝δλｊðδλｊ.(１６)其中:λ是优先级控制系数ꎻδｊ是样本ｊ的权重系数.２ ７㊀算㊀法车联网会获得周边所有汽车的信息ꎬ在此需要先对获得的信息按２ １节处理ꎬ再添加至经验回放池Ｍ.其次ꎬ执行动作之后ꎬ会对动作ａ以及下一个状态ｓᶄꎬ根据式(８)返回一个奖励.㊀㊀基于Ｄ３ＱＮ的自动换道决策算法如下:输入:优先经验回放池Ｍꎬ批度Ｂꎬ预训练步数ｐꎬ学习率αꎬ折扣因子γꎬ总训练步数Ｔꎬ更新频率β.初始化在线网络参数θꎬ目标网络θ－ꎬ环境ｓꎬ训练步数ｉ＝０.Ｗｈｉｌｅｉ<Ｔｄｏ根据ε－ｇｒｅｅｄｙ策略选取动作ａ执行动作ａꎬ得到奖励ｒ和下一个状态ｓᶄ将(ｓꎬａꎬｒꎬｓᶄ)添加到优先经验回放池Ｍｓ＝ｓᶄꎬｉ＝ｉ＋１Ｉｆ｜Ｍ｜>Ｂａｎｄｉ>Ｐ㊀㊀从经验回放池Ｍ中随机抽取Ｂ的经验㊀㊀使用经验更新在线网络的参数θ㊀㊀Ｉｆｉ％β＝０㊀㊀㊀㊀更新目标网络θ－＝θ㊀㊀ＥｎｄｉｆＥｎｄｉｆ算法流程图如图７所示.３㊀仿真实验本文用Ｐｙｔｈｏｎ搭建了一个３个车道㊁６个环境车的仿真环境ꎬ如图８和图９所示ꎬ其中代表自车ꎬ代表环境车.神经网络是在这个仿真环境中训练的.㊀㊀自车首先获取所有的环境车信息ꎬ之后对信息采用２ １节所示的方式进行处理ꎬ得到一个９维的特征.在训练以及测试时都使用这９维特征ꎬ即五元组中的Ｓ.将这些特征按照２ ５节所示的策略得到一个动作Ａꎬ之后智能体执行动作Ａꎬ得到奖励Ｒ和下一时刻状态Ｓᶄ.算法使用(ｓꎬａꎬｒꎬｓᶄ)更新神经网络的参数ꎬ如２ ７节算法所示.㊀㊀在图８中ꎬ自车起始于第三车道ꎬ由于距离前车太近ꎬ所以换到中间车道行驶.在距离前车太近时ꎬ自车评估左右车道的前车车速和相对距离ꎬ换到第三车道ꎬ完成行驶.在图９中ꎬ自车起始于第一车道ꎬ距离本车道前车过近ꎬ换到中间车道行驶ꎬ自车评估左右车道３７３１第１０期㊀㊀㊀张雪峰等:基于双决斗深度Ｑ网络的自动换道决策模型图７㊀算法流程图Ｆｉｇ ７㊀Ｆｌｏｗｃｈａｒｔｏｆａｌｇｏｒｉｔｈｍ图８㊀Ｐｙｔｈｏｎ仿真示例一Ｆｉｇ ８㊀Ｐｙｔｈｏｎｓｉｍｕｌａｔｉｏｎｅｘａｍｐｌｅｏｎｅ(ａ) 速度１０ｍ/ｓꎬ奖励－１６ꎻ(ｂ) 速度１３ｍ/ｓꎬ奖励－２７ꎻ(ｃ) 速度３１ｍ/ｓꎬ奖励－１１ꎻ(ｄ) 速度３４ｍ/ｓꎬ奖励８２.图９㊀Ｐｙｔｈｏｎ仿真示例二Ｆｉｇ ９㊀Ｐｙｔｈｏｎｓｉｍｕｌａｔｉｏｎｅｘａｍｐｌｅｔｗｏ(ａ) 速度１０ｍ/ｓꎬ奖励－１６ꎻ(ｂ) 速度１６ｍ/ｓꎬ奖励－２２ꎻ(ｃ) 速度２２ｍ/ｓꎬ奖励－２０ꎻ(ｄ) 速度３４ｍ/ｓꎬ奖励１０６.㊀㊀在图８和图９中都可以明显看到ꎬ自车在快接触到前车时会及时变道ꎬ同时会选择一条能够使自己更快运行的道路.在本车道可以安全驾驶时ꎬ汽车也会保持直行ꎬ不会鲁莽变道.从输出也可以看到ꎬ汽车持续加速直到保持在最快速度.为了验证仿真环境构建的合理性和参数训练的准确性ꎬ本文使用了车联网仿真环境ＣａｒＭａｋｅｒꎬ它能够提供环境车的车道㊁距离和速度.将这些特征处理之后ꎬ用Ｐｙｔｈｏｎ环境训练得来的参数作出决策.需要注意的是ꎬ在实际仿真中ꎬ用到的计算仅仅是矩阵相乘ꎬ所以不用担心太过复杂的运算导致算力不够而处理不了即时路况.在ＣａｒＭａｋｅｒ中ꎬ自车会获得所有环境车的相对车道㊁位置和速度.同样地处理为９个特征之后ꎬ只需用特征与神经网络的参数简单地进行矩阵相乘ꎬ得到各个动作的Ｑ值ꎬ在仿真环境中ꎬ智能体只选择Ｑ值最大的动作ꎬ即贪婪系数ε＝０.图１０和图１１为ＣａｒＭａｋｅｒ仿真环境的两个示例ꎬ其中方格中的车为自车ꎬ其余车为环境车.４７３１东北大学学报(自然科学版)㊀㊀㊀第４４卷本文截取出了汽车换道时的帧ꎬ可以看到ꎬ自车在检测或接近本车道的环境车时ꎬ会主动变道.Ｐｙｔｈｏｎ训练出来的参数也可以很好地应用到该环境ꎬ鲁棒性很强.图１０㊀ＣａｒＭａｋｅｒ仿真示例一Ｆｉｇ １０㊀ＣａｒＭａｋｅｒｓｉｍｕｌａｔｉｏｎｅｘａｍｐｌｅｏｎｅ图１１㊀ＣａｒＭａｋｅｒ仿真示例二Ｆｉｇ １１㊀ＣａｒＭａｋｅｒｓｉｍｕｌａｔｉｏｎｅｘａｍｐｌｅｔｗｏ㊀㊀同时本文给出了算法的超参数ꎬ如表３所示.表３㊀超参数Ｔａｂｌｅ３㊀Ｈｙｐｅｒ￣ｐａｒａｍｅｔｅｒｓ参数值经验回放池大小１００００学习率０ ００１批度大小３２软更新因子０ ０１折扣因子０ ９９目标网络更新频率/步１００总训练步数６５０００㊀㊀本文还对ＤＤＱＮꎬＤ３ＱＮ和ＳＶＭ换道模型做了对比实验ꎬ如表４所示.其中９ｉｎｆｏ代表特征ꎬ如第２节所介绍的处理之后的９个特征ꎻｄｅｆａｕｌｔ表示智能体接受所有环境车的信息ꎬ即７个车ꎬ２１个特征ꎻＳＶＭ的核函数为高斯核ꎬ训练数据为ＮｅｘｔＧｅｎｅｒａｔｉｏｎＳｉｍｕｌａｔｉｏｎ(ＮＧＳＩＭ)中的８８０个换道样本和１０３０个车道保持样本.图１２可视化了智能体的每训练６５次的平均奖励ꎬ可以看出Ｄ３ＱＮ相较于对比方法而言ꎬ不仅能够获得更高的奖励且更稳定ꎬ还能够在仿真环境中拥有更高的平均完成次数(见表４).由于ＳＶＭ没有明显的学习过程以及并没有在仿真环境中训练ꎬ在此不做可视化处理.表４㊀四种算法的消融实验Ｔａｂｌｅ４㊀Ａｂｌａｔｉｏｎｅｘｐｅｒｉｍｅｎｔｏｆｆｏｕｒｋｉｎｄｓｏｆａｌｇｏｒｉｔｈｍｓ算法平均奖励最高奖励奖励方差平均完成次数ＤＤＱＮ＿９ｉｎｆｏ１２０ ４２１６４ ４２１１５２４ ４１８４６/１０００Ｄ３ＱＮ＿９ｉｎｆｏ１３２ ６９１７８ ５８１１１９８ ２１８９７/１０００ＳＶＭ１０３ ７７１４４ ９０１２２８７ ３１６０６/１０００Ｄ３ＱＮ＿ｄｅｆａｕｌｔ７３ ６５１２０ ３４１４２３７ １６５２３/１０００㊀㊀注:黑体数字为表现最好的结果.５７３１第１０期㊀㊀㊀张雪峰等:基于双决斗深度Ｑ网络的自动换道决策模型图１２㊀ＤＤＱＮ与Ｄ３ＱＮ对比Ｆｉｇ １２㊀ＣｏｍｐａｒｉｓｏｎｏｆＤＤＱＮａｎｄＤ３ＱＮ４㊀结㊀㊀语本文提出了一种基于Ｄ３ＱＮ的自动换道算法ꎬ解决了输入特征冗余问题ꎬ并且设置了一个能够平衡换道与变速的奖励函数.在Ｐｙｔｈｏｎ以及ＣａｒＭａｋｅｒ两种环境进行仿真实验ꎬ结果表明ꎬＤ３ＱＮ能够有效地处理自动驾驶的变道和变速问题.同时本文进行了消融实验ꎬ展示了处理后的特征相较于默认特征㊁Ｄ３ＱＮ相较于ＤＤＱＮ以及强化学习相较于传统机器学习的优势.通过优化奖励以及设置更复杂的路况ꎬ可以使得算法更具有鲁棒性ꎬ同时也可以将其他环境车处理成智能体ꎬ以便于更进一步的博弈ꎬ最终可以解决实际问题.参考文献:[１]㊀ＧｉｐｐｓＰＧ.Ａｍｏｄｅｌｆｏｒｔｈｅｓｔｒｕｃｔｕｒｅｏｆｌａｎｅ￣ｃｈａｎｇｉｎｇｄｅｃｉｓｉｏｎｓ[Ｊ].ＴｒａｎｓｐｏｒｔａｔｉｏｎＲｅｓｅａｒｃｈＰａｒｔＢ:Ｍｅｔｈｏｄｏｌｏｇｉｃａｌꎬ１９８６ꎬ２０(５):４０３－４１４.[２]㊀杨达ꎬ吕蒙ꎬ戴力源ꎬ等.车联网环境下自动驾驶车辆车道选择决策模型[Ｊ].中国公路学报ꎬ２０２２ꎬ３５(４):２４３－２５５.(ＹａｎｇＤａꎬＬｙｕＭｅｎｇꎬＤａｉＬｉ￣ｙｕａｎꎬｅｔａｌ.Ｄｅｃｉｓｉｏｎ￣ｍａｋｉｎｇｍｏｄｅｌｆｏｒｌａｎｅｓｅｌｅｃｔｉｏｎｏｆａｕｔｏｍａｔｅｄｖｅｈｉｃｌｅｓｉｎｃｏｎｎｅｃｔｅｄｖｅｈｉｃｌｅｅｎｖｉｒｏｎｍｅｎｔ[Ｊ].ＣｈｉｎａＪｏｕｒｎａｌｏｆＨｉｇｈｗａｙａｎｄＴｒａｎｓｐｏｒｔꎬ２０２２ꎬ３５(４):２４３－２５５.)[３]㊀ＨｏｕＹꎬＥｄａｒａＰꎬＳｕｎＣ.Ｓｉｔｕａｔｉｏｎａｓｓｅｓｓｍｅｎｔａｎｄｄｅｃｉｓｉｏｎｍａｋｉｎｇｆｏｒｌａｎｅｃｈａｎｇｅａｓｓｉｓｔａｎｃｅｕｓｉｎｇｅｎｓｅｍｂｌｅｌｅａｒｎｉｎｇｍｅｔｈｏｄｓ[Ｊ].ＥｘｐｅｒｔＳｙｓｔｅｍｓｗｉｔｈＡｐｐｌｉｃａｔｉｏｎꎬ２０１５ꎬ４２(８):３８７５－３８８２.[４]㊀ＬｉｕＹＧꎬＷａｎｇＸꎬＬｉＬꎬｅｔａｌ.Ａｎｏｖｅｌｌａｎｅｃｈａｎｇｅｄｅｃｉｓｉｏｎ￣ｍａｋｉｎｇｍｏｄｅｌｏｆａｕｔｏｎｏｍｏｕｓｖｅｈｉｃｌｅｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ[Ｊ].ＩＥＥＥＡｃｃｅｓｓꎬ２０１９ꎬ７:２６５４３－２６５５０.[５]㊀ＭｎｉｈＶꎬＫａｖｕｋｃｕｏｇｌｕＫꎬＳｉｌｖｅｒＤꎬｅｔａｌ.Ｈｕｍａｎ￣ｌｅｖｅｌｃｏｎｔｒｏｌｔｈｒｏｕｇｈｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ[Ｊ].Ｎａｔｕｒｅꎬ２０１５ꎬ５１８(７５４０):５２９－５３３.[６]㊀王建平ꎬ王刚ꎬ毛晓彬ꎬ等.基于深度强化学习的二连杆机械臂运动控制方法[Ｊ].计算机应用ꎬ２０２１ꎬ４１(６):１７９９－１８０４.(ＷａｎｇＪｉａｎ￣ｐｉｎｇꎬＷａｎｇＧａｎｇꎬＭａｏＸｉａｏ￣ｂｉｎꎬｅｔａｌ.Ｍｏｔｉｏｎｃｏｎｔｒｏｌｍｅｔｈｏｄｏｆｔｗｏ￣ｌｉｎｋｍａｎｉｐｕｌａｔｏｒｂａｓｅｄｏｎｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ[Ｊ].ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓꎬ２０２１ꎬ４１(６):１７９９－１８０４.)[７]㊀赖建辉.基于Ｄ３ＱＮ的交通信号控制策略[Ｊ].计算机科学ꎬ２０１９ꎬ４６(ｓｕｐ２):１１７－１２１.(ＬａｉＪｉａｎ￣ｈｕｉ.ＴｒａｆｆｉｃｓｉｇｎａｌｃｏｎｔｒｏｌｂａｓｅｄｏｎｄｏｕｂｌｅｄｅｅｐＱ￣ｌｅａｒｎｉｎｇｎｅｔｗｏｒｋｗｉｔｈｄｕｅｌｉｎｇａｒｃｈｉｔｅｃｔｕｒｅ[Ｊ].ＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅꎬ２０１９ꎬ４６(ｓｕｐ２):１１７－１２１.)[８]㊀舒凌洲ꎬ吴佳ꎬ王晨.基于深度强化学习的城市交通信号控制算法[Ｊ].计算机应用ꎬ２０１９ꎬ３９(５):１４９５－１４９９.(ＳｈｕＬｉｎｇ￣ｚｈｏｕꎬＷｕＪｉａꎬＷａｎｇＣｈｅｎ.Ｕｒｂａｎｔｒａｆｆｉｃｓｉｇｎａｌｃｏｎｔｒｏｌｂａｓｅｄｏｎｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ[Ｊ].ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓꎬ２０１９ꎬ３９(５):１４９５－１４９９.)[９]㊀孟琭ꎬ沈凝ꎬ祁殷俏ꎬ等.基于强化学习的三维游戏控制算法[Ｊ].东北大学学报(自然科学版)ꎬ２０２１ꎬ４２(４):４７８－４８３.(ＭｅｎｇＬｕꎬＳｈｅｎＮｉｎｇꎬＱｉＹｉｎ￣ｑｉａｏꎬｅｔａｌ.Ｃｏｎｔｒｏｌａｌｇｏｒｉｔｈｍｏｆｔｈｒｅｅ￣ｄｉｍｅｎｓｉｏｎａｌｇａｍｅｂａｓｅｄｏｎｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ[Ｊ].ＪｏｕｒｎａｌｏｆＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ(ＮａｔｕｒａｌＳｃｉｅｎｃｅ)ꎬ２０２１ꎬ４２(４):４７８－４８３.)[１０]ＹｏｕＣꎬＬｕＪꎬＦｉｌｅｖＤꎬｅｔａｌ.Ｈｉｇｈｗａｙｔｒａｆｆｉｃｍｏｄｅｌｉｎｇａｎｄｄｅｃｉｓｉｏｎｍａｋｉｎｇｆｏｒａｕｔｏｎｏｍｏｕｓｖｅｈｉｃｌｅｕｓｉｎｇｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ[Ｃ]//２０１８ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ(ＩＶ).Ｐａｒｉｓ:ＩＥＥＥꎬ２０１８:１２２７－１２３２.[１１]ＺｈａｎｇＹꎬＳｕｎＰꎬＹｉｎＹＨꎬｅｔａｌ.Ｈｕｍａｎ￣ｌｉｋｅａｕｔｏｎｏｍｏｕｓｖｅｈｉｃｌｅｓｐｅｅｄｃｏｎｔｒｏｌｂｙｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｗｉｔｈｄｏｕｂｌｅＱ￣ｌｅａｒｎｉｎｇ[Ｃ]//２０１８ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ(ＩＶ).Ｐａｒｉｓ:ＩＥＥＥꎬ２０１８:１２５１－１２５６.[１２]ＨｏｅｌＣＪꎬＷｏｌｆｆＫꎬＬａｉｎｅＬ.Ａｕｔｏｍａｔｅｄｓｐｅｅｄａｎｄｌａｎｅｃｈａｎｇｅｄｅｃｉｓｉｏｎｍａｋｉｎｇｕｓｉｎｇｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ[Ｃ]//２０１８２１ｓｔＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔａｔｉｏｎＳｙｓｔｅｍｓ(ＩＴＳＣ).Ｍａｕｉ:ＩＥＥＥꎬ２０１８:２１４８－２１５５.[１３]ＷａｎｇＰꎬＬｉＨꎬＣｈａｎＣＹ.Ｃｏｎｔｉｎｕｏｕｓｃｏｎｔｒｏｌｆｏｒａｕｔｏｍａｔｅｄｌａｎｅｃｈａｎｇｅｂｅｈａｖｉｏｒｂａｓｅｄｏｎｄｅｅｐｄｅｔｅｒｍｉｎｉｓｔｉｃｐｏｌｉｃｙｇｒａｄｉｅｎｔａｌｇｏｒｉｔｈｍ[Ｃ]//２０１９ＩＥＥＥＩｎｔｅｌｌｉｇｅｎｔＶｅｈｉｃｌｅｓＳｙｍｐｏｓｉｕｍ(ＩＶ).Ｐａｒｉｓ:ＩＥＥＥꎬ２０１９:１４５４－１４６０.[１４]ＳｕｔｔｏｎＲꎬＢａｒｔｏＡ.Ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ:ａｎｉｎｔｒｏｄｕｃｔｉｏｎ[Ｍ].Ｃａｍｂｒｉｄｇｅ:ＭＩＴＰｒｅｓｓꎬ１９９８.[１５]ＶａｎＨａｓｓｅｌｔＨꎬＧｕｅｚＡꎬＳｉｌｖｅｒＤ.ＤｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｗｉｔｈｄｏｕｂｌｅＱ￣ｌｅａｒｎｉｎｇ[Ｃ]//ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＡＡＡＩＣｏｎｆｅｒｅｎｃｅｏｎＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ.ＰａｌｏＡｌｔｏ:ＡＡＡＩꎬ２０１６:２０９４－２１１０.[１６]ＷａｎｇＺＹꎬＳｃｈａｕｌＴꎬＨｅｓｓｅｌＭꎬｅｔａｌ.Ｄｕｅｌｉｎｇｎｅｔｗｏｒｋａｒｃｈｉｔｅｃｔｕｒｅｓｆｏｒｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ[Ｃ]//ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ.ＮｅｗＹｏｒｋ:ＰＭＬＲꎬ２０１６:１９９５－２００３.[１７]李诗成.考虑乘员个性化舒适性的自动驾驶汽车轨迹规划算法研究[Ｄ].广州:华南理工大学ꎬ２０２１.(ＬｉＳｈｉ￣ｃｈｅｎｇ.Ｒｅｓｅａｒｃｈｏｎａｕｔｏｎｏｍｏｕｓｖｅｈｉｃｌｅｔｒａｊｅｃｔｏｒｙｐｌａｎｎｉｎｇａｌｇｏｒｉｔｈｍｃｏｎｓｉｄｅｒｉｎｇｔｈｅｐｅｒｓｏｎａｌｉｚｅｄｃｏｍｆｏｒｔｏｆｏｃｃｕｐａｎｔｓ[Ｄ].Ｇｕａｎｇｚｈｏｕ:ＳｏｕｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙꎬ２０２１.)[１８]ＴｒｅｉｂｅｒＭꎬＨｅｎｎｅｃｋｅＡꎬＨｅｌｂｉｎｇＤ.Ｃｏｎｇｅｓｔｅｄｔｒａｆｆｉｃｓｔａｔｅｓｉｎｅｍｐｉｒｉｃａｌｏｂｓｅｒｖａｔｉｏｎｓａｎｄｍｉｃｒｏｓｃｏｐｉｃｓｉｍｕｌａｔｉｏｎｓ[Ｊ].ＰｈｙｓｉｃａｌＲｅｖｉｅｗＥꎬ２０００ꎬ６２:１８０５－１８２４.[１９]ＳｃｈａｕｌＴꎬＱｕａｎＪꎬＡｎｔｏｎｏｇｌｏｕＩꎬｅｔａｌ.Ｐｒｉｏｒｉｔｉｚｅｄｅｘｐｅｒｉｅｎｃｅｒｅｐｌａｙ[Ｊ].ａｒＸｉｖＰｒｅｐｒｉｎｔａｒＸｉｖꎬ１５１１.０５９５２ꎬ２０１５.６７３１东北大学学报(自然科学版)㊀㊀㊀第４４卷。

智能网联汽车技术专业的课程体系构建与实践摘要：当前智能网联汽车成为我国汽车产业改革发展新的增长点，职业院校汽车类专业纷纷开设智能网联汽车相关课程，希望为智能网联汽车产业培养高素质复合型技术技能人才发挥作用。

基于此，本文阐述了构建智能网联汽车技术专业课程体系的策略，以供参考。

关键词：智能网联汽车；专业课程体系；构建策略引言当前我国高度重视智能网联汽车产业的发展,智能网联汽车已经成为联合众多行业、开展协同创新、构建新型交通和运输的重要载体，在这样的背景下，职业学院应该跟紧行业发展的脚步，及时的调整教育方向，对传统汽车专业进行转型，促进职业学院智能网联汽车技术专业教育的建设与发展。

一、智能网联汽车的关键技术（一）环境感知技术车辆本身状态感知包括行驶速度、行驶方向、行驶状态和车辆位置等，道路感知包括道路类型检测、道路标线识别、道路状况判断、是否偏离行驶轨迹等。

（二）车联网技术长距离无线通信技术用于提供即时的互联网接入，主要用4G、LTE、GPRS等技术。

短距离通信技术有专用短程通信技术（DSRC）、蓝牙、2.4G通信技术等，其中DSRC重要性较高且亟须发展，它可以实现在特定区域内对高速运动下移动目标的识别和双向通信，例如V2V、V2I双向通信，实时传输图像、语音和数据信息等。

（三）智能终端系统操作系统是智能网联汽车智能设备的基础和灵魂。

车载智能终端在操作系统方面的选型，正在发生重大变化，变得越来越重要。

车载终端与手机都是属于智能移动终端，除娱乐、咨询功能之外，其本身信息类功能也越来越收到重视，集成更多的传感器以此来实现更多先进的功能也就成了普遍的现象。

（四）云端计算及服务整合技术通过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再由多部服务器所组成的庞大系统搜索、计算分析之后将处理结果回传给用户。

通过这项技术，远程的服务供应商可以在数秒之内，完成处理数以千万计甚至数以亿计的信息，达到和“超级电脑”同样强大性能的网络服务。

第1篇一、前言随着科技的飞速发展，无人驾驶技术已成为全球汽车产业的重要发展方向。

回顾过去一年，我国无人驾驶行业取得了显著成果，不仅提升了交通安全水平，也为智能交通体系建设奠定了坚实基础。

在此，我们对无人驾驶行业进行年度总结，以期为未来技术发展提供参考。

二、技术进步与突破1. 感知技术提升：过去一年，我国无人驾驶车辆在感知技术上取得了突破，激光雷达、摄像头、毫米波雷达等传感器融合能力大幅提升，使得车辆在复杂路况下能够更准确地感知周围环境。

2. 决策与控制算法优化：针对无人驾驶车辆在决策与控制方面的难题，研究人员不断优化算法，提高了车辆在复杂场景下的应对能力，降低了事故风险。

3. 人工智能技术应用：人工智能技术在无人驾驶领域的应用不断深入，通过深度学习、强化学习等方法，提高了车辆的适应性和自主学习能力。

三、政策支持与产业布局1. 政策支持：我国政府高度重视无人驾驶产业发展，出台了一系列政策，如《智能汽车创新发展战略》等，为无人驾驶产业发展提供了有力保障。

2. 产业布局：各大企业纷纷布局无人驾驶产业链，从芯片、传感器、控制系统到整车制造，产业链日趋完善。

同时，无人驾驶测试场、示范区等基础设施建设也取得了显著进展。

四、市场应用与示范1. 公共交通领域：无人驾驶公交车、出租车等在多个城市投入运营，为市民提供了便捷、安全的出行服务。

2. 物流领域：无人驾驶卡车、物流车等在特定场景下得到应用，提高了物流效率，降低了运营成本。

3. 个人出行领域：无人驾驶汽车在个人出行领域的应用逐渐普及，为消费者提供了全新的出行体验。

五、挑战与展望1. 技术挑战：尽管无人驾驶技术取得了显著进展，但在复杂路况、极端天气等场景下，仍存在技术瓶颈。

2. 法规标准：无人驾驶相关法规标准尚不完善，制约了无人驾驶产业的快速发展。

3. 安全与伦理：无人驾驶车辆的安全性和伦理问题成为社会关注的焦点。

展望未来，我国无人驾驶产业将继续保持高速发展态势。