Review of electrical energy storage system for vehicular applications

NUP2105LDual Line CANBus ProtectorThe NUP2105L has been designed to protect the CAN transceiver in high−speed and fault tolerant networks from ESD and other harmful transient voltage events. This device provides bidirectional protection for each data line with a single compact SOT−23 package, giving the system designer a low cost option for improving system reliability and meeting stringent EMI requirements.Features•350 W Peak Power Dissipation per Line (8 x 20 m sec Waveform)•Low Reverse Leakage Current (< 100 nA)•Low Capacitance High−Speed CAN Data Rates•IEC Compatibility: − IEC 61000−4−2 (ESD): Level 4− IEC 61000−4−4 (EFT): 40 A – 5/50 ns− IEC 61000−4−5 (Lighting) 8.0 A (8/20 m s)•ISO 7637−1, Nonrepetitive EMI Surge Pulse 2, 9.5 A(1 x 50 m s)•ISO 7637−3, Repetitive Electrical Fast Transient (EFT)EMI Surge Pulses, 50 A (5 x 50 ns)•Flammability Rating UL 94 V−0•Pb−Free Packages are AvailableApplications•Industrial Control Networks♦Smart Distribution Systems (SDS™)♦DeviceNet™•Automotive Networks♦Low and High−Speed CAN♦Fault Tolerant CANDevice Package Shipping†ORDERING INFORMATIONNUP2105LT1SOT−233000/T ape & Reel PIN 1PIN 3PIN 2SOT−23DUAL BIDIRECTIONALVOLTAGE SUPPRESSOR350 W PEAK POWER†For information on tape and reel specifications, including part orientation and tape sizes, please refer to our Tape and Reel Packaging Specification Brochure, BRD8011/D.NUP2105LT1G SOT−23(Pb−Free)3000/T ape & Reel NUP2105LT3SOT−2310000/T ape & ReelNUP2105LT3G SOT−23(Pb−Free)10000/T ape & ReelMAXIMUM RATINGS (T J = 25°C, unless otherwise specified)Maximum ratings are those values beyond which device damage can occur. Maximum ratings applied to the device are individual stress limit values (not normal operating conditions) and are not valid simultaneously. If these limits are exceeded, device functional operation is not im-plied, damage may occur and reliability may be affected.1.Non−repetitive current pulse per Figure 1.ELECTRICAL CHARACTERISTICS(T J = 25°C, unless otherwise specified)RWMor continuous peak operating voltage level.3.V BR is measured at pulse test current I T.4.Pulse waveform per Figure 1.TYPICAL PERFORMANCE CURVES(T J = 25°C unless otherwise noted)Figure 1. Pulse Waveform, 8 × 20 m s1109080706050403020100t, TIME (m s)% O F P E A K P U L S E C U R R E N TFigure 2. Clamping Voltage vs Peak Pulse Current12.010.08.06.04.02.00.02540V C , CLAMPING VOLTAGE (V)I P P , P E A K P U L S E C U R R E N T (A )30354550100Figure 3. Typical Junction Capacitance vsReverse Voltage2502V R , REVERSE VOLTAGE (V)C , C A P A C I T AN C E (p F )468102015351030051015202530354045502022242628303234Figure 4. V BR versus I T Characteristics of theNUP2105LV BR, VOLTAGE (V)I T , (m A )Figure 5. I R versus Temperature Characteristics ofthe NUP2105L 024681012I L , LEAKAGE CURRENT (nA)V R , R E V E R S E B I A S V O L T A G E (V )020*********120−60−300306090120150180Figure 6. Temperature Power Dissipation Derating ofthe NUP2501LTEMPERATURE (°C)P E R C E N T D E R A T I N G (%)APPLICATIONSBackgroundThe Controller Area Network (CAN) is a serial communication protocol designed for providing reliable high speed data transmission in harsh environments. TVS diodes provide a low cost solution to conducted and radiated Electromagnetic Interference (EMI) and Electrostatic Discharge (ESD) noise problems. The noise immunity level and reliability of CAN transceivers can be easily increased by adding external TVS diodes to prevent transient voltage failures.The NUP2105L provides a transient voltage suppression solution for CAN data communication lines. The NUP2105L is a dual bidirectional TVS device in a compact SOT−23 package. This device is based on Zener technology that optimizes the active area of a PN junction to provide robust protection against transient EMI surge voltage and ESD. The NUP2105L has been tested to EMI and ESD levels that exceed the specifications of popular high speed CAN networks.CAN Physical Layer RequirementsTable 1 provides a summary of the system requirements for a CAN transceiver. The ISO 11898−2 physical layer specification forms the baseline for most CAN systems. The transceiver requirements for the Honeywell® Smart Distribution Systems (SDS®) and Rockwell (Allen−Bradley) DeviceNet™ high speed CAN networks are similar to ISO 11898−2. The SDS and DeviceNet transceiver requirements are similar to ISO 11898−2; however, they include minor modifications required in an industrial environment.Table 1. Transceiver Requirements for High−Speed CAN NetworksEMI SpecificationsThe EMI protection level provided by the TVS device can be measured using the International Organization for Standardization (ISO) 7637−1 and −3 specifications that are representative of various noise sources. The ISO 7637−1specification is used to define the susceptibility to coupled transient noise on a 12 V power supply, while ISO 7637−3defines the noise immunity tests for data lines. The ISO 7637tests also verify the robustness and reliability of a design by applying the surge voltage for extended durations.The IEC 61000−4−X specifications can also be used to quantify the EMI immunity level of a CAN system. The IEC61000−4 and ISO 7637 tests are similar; however, the IEC standard was created as a generic test for any electronic system, while the ISO 7637 standard was designed for vehicular applications. The IEC61000−4−4 Electrical Fast Transient (EFT) specification is similar to the ISO 7637−1pulse 1 and 2 tests and is a requirement of SDS CAN systems. The IEC 61000−4−5 test is used to define the power absorption capacity of a TVS device and long duration voltage transients such as lightning. Table 2 provides a summary of the ISO 7637 and IEC 61000−4−X test specifications. Table 3 provides the NUP2105L’s ESD test results.Table 2. ISO 7637 and IEC 61000−4−X Test Specifications1.DUT = device under test.2.The EFT immunity level was measured with test limits beyond the IEC 61000−4−4 test, but with the more severe test conditions of ISO 7637−3.Table 3. NUP2505L ESD Test Results3.Test equipment maximum test voltage is 30 kV.TVS Diode Protection CircuitTVS diodes provide protection to a transceiver by clamping a surge voltage to a safe level. TVS diodes have high impedance below and low impedance above their breakdown voltage. A TVS Zener diode has its junction optimized to absorb the high peak energy of a transient event, while a standard Zener diode is designed and specified to clamp a steady state voltage.Figure 7 provides an example of a dual bidirectional TVS diode array that can be used for protection with the high−speed CAN network. The bidirectional array is created from four identical Zener TVS diodes. The clamping voltage of the composite device is equal to the breakdown voltage of the diode that is reversed biased, plus the diode drop of the second diode that is forwarded biased.Figure 7. High−Speed and Fault Tolerant CAN TVSProtection CircuitNUP2105LPACKAGE DIMENSIONSǒmm inchesǓSCALE 10:1*For additional information on our Pb−Free strategy and solderingdetails, please download the ON Semiconductor Soldering and Mounting Techniques Reference Manual, SOLDERRM/D.SOLDERING FOOTPRINT*SOT−23 (TO−236)CASE 318−08ISSUE AKNOTES:1.DIMENSIONING AND TOLERANCING PER ANSI STYLE 27:PIN 1.CATHODE2.CATHODE3.CATHODEHoneywell and SDS are registered trademarks of Honeywell International Inc.DeviceNet is a trademark of Rockwell Automation.ON Semiconductor and are registered trademarks of Semiconductor Components Industries, LLC (SCILLC). SCILLC reserves the right to make changes without further notice to any products herein. SCILLC makes no warranty, representation or guarantee regarding the suitability of its products for any particular purpose, nor does SCILLC assume any liability arising out of the application or use of any product or circuit, and specifically disclaims any and all liability, including without limitation special, consequential or incidental damages.“Typical” parameters which may be provided in SCILLC data sheets and/or specifications can and do vary in different applications and actual performance may vary over time. All operating parameters, including “Typicals” must be validated for each customer application by customer’s technical experts. SCILLC does not convey any license under its patent rights nor the rights of others. SCILLC products are not designed, intended, or authorized for use as components in systems intended for surgical implant into the body, or other applications intended to support or sustain life, or for any other application in which the failure of the SCILLC product could create a situation where personal injury or death may occur. Should Buyer purchase or use SCILLC products for any such unintended or unauthorized application, Buyer shall indemnify and hold SCILLC and its officers, employees, subsidiaries, affiliates, and distributors harmless against all claims, costs, damages, and expenses, and reasonable attorney fees arising out of, directly or indirectly, any claim of personal injury or death associated with such unintended or unauthorized use, even if such claim alleges that SCILLC was negligent regarding the design or manufacture of the part. SCILLC is an Equal Opportunity/Affirmative Action Employer. This literature is subject to all applicable copyright laws and is not for resale in any manner.PUBLICATION ORDERING INFORMATION。

第１３卷㊀第６期Ｖｏｌ．１３Ｎｏ．６㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年６月㊀Ｊｕｎ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）０６－０００１－０７中图分类号：ＴＰ３９３．０９文献标志码：Ａ基于强化学习的车辆服务迁移方法周㊀率，韩㊀韧（上海理工大学光电信息与计算机工程学院，上海２０００９３）摘㊀要：近年来，随着中国对于车联网发展战略的落实，基础设施与车联应用服务规模不断增加，车联应用服务对于资源的需求越来越高，现有车辆配备的有限计算资源已无法满足需求，需要将服务迁移到路侧单元，以提供充足的计算资源并降低服务时延㊂本文在车辆边缘计算场景下，提出了一种基于强化学习的车辆服务迁移方法，以降低服务的延迟与能耗㊂首先为迁移过程中可能产生的成本建模，并把服务迁移问题规约为马尔可夫决策问题，通过应用深度强化学习算法以降低迁移产生的成本㊂实验结果表明，提出的算法优于基线算法，在高速环境下具有相对较强的鲁棒性㊂关键词：车联网；车辆边缘计算；服务迁移；强化学习ＶｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｂａｓｅｄｏｎｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇＺＨＯＵＬｖ，ＨＡＮＲｅｎ（ＳｃｈｏｏｌｏｆＯｐｔｉｃａｌ－ＥｌｅｃｔｒｉｃａｌａｎｄＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ）ʌＡｂｓｔｒａｃｔɔＩｎｒｅｃｅｎｔｙｅａｒｓ，ｗｉｔｈｔｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＣｈｉｎａᶄｓｖｅｈｉｃｌｅｔｏｅｖｅｒｙｔｈｉｎｇ（Ｖ２Ｘ）ｄｅｖｅｌｏｐｍｅｎｔｓｔｒａｔｅｇｙ，ｔｈｅｓｃａｌｅｏｆｉｎｆｒａｓｔｒｕｃｔｕｒｅａｎｄＶ２Ｘｓｅｒｖｉｃｅｓｈａｓｂｅｅｎｉｎｃｒｅａｓｉｎｇ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅｄｅｍａｎｄｆｏｒｒｅｓｏｕｒｃｅｓｆｏｒＶ２Ｘｓｅｒｖｉｃｅｓｉｓｇｅｔｔｉｎｇｈｉｇｈｅｒ，ｗｈｉｌｅｔｈｅｌｉｍｉｔｅｄｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓｅｑｕｉｐｐｅｄｗｉｔｈｅｘｉｓｔｉｎｇｖｅｈｉｃｌｅｓｃａｎｎｏｌｏｎｇｅｒｍｅｅｔｔｈｅｄｅｍａｎｄ．Ｔｈｅｒｅｆｏｒｅ，ｓｅｒｖｉｃｅｓｎｅｅｄｔｏｂｅｍｉｇｒａｔｅｄｔｏｒｏａｄｓｉｄｅｕｎｉｔｓｔｏｐｒｏｖｉｄｅｓｕｆｆｉｃｉｅｎｔｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓａｎｄｌｏｗｅｒｓｅｒｖｉｃｅｌａｔｅｎｃｙ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｎｏｖｅｌｖｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｐｒｏｐｏｓｅｄｔｏｄｅｃｒｅａｓｅｔｈｅｓｅｒｖｉｃｅｌａｔｅｎｃｙａｎｄｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｉｎｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎ．Ｆｉｒｓｔｌｙ，ｔｈｅｃｏｓｔｄｕｒｉｎｇｍｉｇｒａｔｉｏｎｉｓｍｏｄｅｌｅｄａｎｄｔｈｅｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｐｒｏｂｌｅｍｉｓｆｏｒｍｕｌａｔｅｄａｓａＭａｒｋｏｖｄｅｃｉｓｉｏｎｐｒｏｂｌｅｍ．Ｔｈｅｎａｎｏｖｅｌａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｉｓｐｒｏｐｏｓｅｄｔｏｓｏｌｖｅｔｈｉｓｉｓｓｕｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｏｕｔｐｅｒｆｏｒｍｓｔｈｅｂａｓｅｌｉｎｅｓａｎｄｈａｓｓｔｒｏｎｇｒｏｂｕｓｔｎｅｓｓｉｎｄｉｆｆｅｒｅｎｔｄｒｉｖｉｎｇｓｃｅｎａｒｉｏｓ．ʌＫｅｙｗｏｒｄｓɔｖｅｈｉｃｌｅｔｏｅｖｅｒｙｔｈｉｎｇ；ｖｅｈｉｃｕｌａｒｅｄｇｅｃｏｍｐｕｔｉｎｇ；ｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎ；ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ基金项目：软硬件协同设计技术与应用教育部工程研究中心（ＯＰ２０２２０２）㊂作者简介：周㊀率（１９９８－），男，硕士研究生，主要研究方向：边缘计算；韩㊀韧（１９８０－），男，博士，副教授，硕士生导师，主要研究方向：智能计算㊁物联网㊂通讯作者：韩㊀韧㊀㊀Ｅｍａｉｌ：ｒｅｎ．ｈａｎ＠ｕｓｓｔ．ｅｄｕ．ｃｎ收稿日期：２０２３－０３－１１０㊀引㊀言随着‘车联网（智能网联汽车）产业发展行动计划“通知的下发，中国车联网发展的战略目标已基本确定， 长三角三省一市统筹智能网联汽车产业发展规划 的签署进一步加快了中国车联网的发展㊂５Ｇ网络基础设施的不断完善以及国内外车联应用的涌现，使得车辆对计算资源和服务延迟的要求日益增加，现有车辆配备的计算资源已无法满足车联应用的需求，这种日益迫切的要求需要将车联应用服务迁移到具有更高计算能力的云端服务器上，但是传统的云计算不能满足车联网下的低延迟要求，因此需要考虑一种称为车载边缘计算（ＶｅｈｉｃｕｌａｒＥｄｇｅＣｏｍｐｕｔｉｎｇ，ＶＥＣ）的计算范式㊂在ＶＥＣ中，车辆将服务迁移到靠近车辆的路侧单元（ＲｏａｄＳｉｄｅＵｎｉｔ，ＲＳＵ）上，可以享受ＲＳＵ带来的低延迟㊁高带宽和充足的计算资源［１］㊂然而，盲目的迁移有时会影响服务性能，如：对于一个固定的车辆，将服务迁移到最近的ＲＳＵ在短期内可以带来良好的服务性能，但是考虑到车辆的移动性，该种策略可能会导致频繁迁移，进一步导致服务频繁中断，因此一个最佳的服务迁移策略应该考虑车辆的移动性㊂服务迁移也伴随着各种成本，包括计算成本㊁迁移成本和能源消耗，以全面评估迁移的效果㊂考虑到车辆的移动性，专注于短期的性能提升可能会导致频繁迁移因而带来巨大的成本，需要考虑迁移带来的长期累积回报，以权衡整体性能的提高㊂即当车辆远离ＲＳＵ时，如果服务性能仍然处于可接受的水平，一个最佳的迁移策略应该权衡服务迁移带来的收益与开销㊂为了提高服务迁移的性能表现，减少服务的延迟与开销，文献［２］研究了最小化移动设备和边缘服务器的总能量消耗，通过启发式算法产生了一个接近最优的解决方案；文献［３］提出在卸载比例和子载波分配时，必须考虑各种系统限制，包括延迟和子载波资源限制，以减少移动设备的能耗，并从混合整数规划（ＭｉｘｅｄＩｎｔｅｇｅｒＰｒｏｇｒａｍｍｉｎｇ，ＭＩＰ）问题中生成多对一匹配和线性编程的子问题，以解决子载波分配问题；文献［４］研究了下行链路资源分配㊁卸载决策和计算资源分配的联合优化，考虑了包括数据传输和任务计算的总成本，并建模为混合整数线性规划（ＭＩＬＰ）问题；文献［５］提出了李雅普诺夫优化的卸载决策，可以减少平均响应时间，同时降低移动设备的能耗；文献［６］评估了计算卸载的财务成本，并建模为决策和资源联合优化的ＭＩＬＰ问题；文献［７］以合作博弈理论为基础，通过终端设备和边缘云的协同合作来优化系统的性能，并提出了一种基于交易的计算卸载技术；文献［８］提出了Ｆｏｌｌｏｗ－ＭｅＣｈａｉｎ算法来解决服务功能链的问题；文献［９］研究了任务卸载，考虑了能耗和服务延迟的约束，并使用了二元卸载决策；文献［１０］提出了一个基于强化学习的离线无线接入网络分片解决方案和一个低复杂度的启发式算法，以满足不同分片的通信资源需求，使得资源利用率最大化；文献［１０］将迁移问题建模为一维马尔科夫决策过程（ＭａｒｋｏｖＤｅｃｉｓｉｏｎＰｒｏｃｅｓｓ，ＭＤＰ），并考虑了服务器和设备之间的欧氏距离；文献［１２］考虑了二维ＭＤＰ模型并提出了基于深度强化学习的迁移方案，使得时延与能耗最小㊂尽管现有的工作在服务迁移策略方面取得了很大的进展，但仍需要进一步探索，包括迁移过程中成本的建模以及车辆的移动性㊂本文将车辆的服务迁移过程建模为ＭＤＰ，同时考虑了包括计算成本㊁迁移成本和能耗的成本，此外，本文还使用行驶速度代表示车辆的运动状态，并提出了一种基于强化学习的迁移算法，该算法可以有效地解决传统ＭＤＰ中维度过高的问题，并利用Ａｃｔｏｒ－Ｃｒｉｔｉｃ网络和熵来确保收敛性和可探索性㊂最后，本文基于真实数据集进行实验并对算法进行评估㊂１㊀系统模型建立车辆行驶随机分布在城市区域的道路中，道路配备了若干通信范围相等的ＲＳＵ，并且每个ＲＳＵ都具有相同的计算能力㊂用Ｅ＝｛ｅ１，ｅ２， ，ｅｉ｝表示所有ＲＳＵ的集合，用Ｕ＝｛ｕ１，ｕ２， ，ｕｊ｝表示所有车辆的合集，每个车辆ｕɪＵ都有一个计算任务且可以选择在本地计算或者通过无线网络迁移到ＲＳＵ上㊂车辆移动时可以连接到任意一个路侧单元ｅɪＥ㊂为了保证车辆采取迁移决策时的满意程度，本文用迁移成本，计算成本，能源消耗等相关指标来衡量服务迁移过程中产生的开支㊂１．１㊀通信模型本文假定车辆通过Ｖ２Ｘ的蜂窝网络和毫米波与ＲＳＵ进行通讯㊂１．１．１㊀５Ｇ蜂窝网络根据香农公式，在假定被高斯白噪声干扰的信道中，理论的最大信息传输速率为公式（１）：Ｃ＝Ｂｌｏｇ２１＋ＳＮæèçöø÷（１）㊀㊀其中，Ｂ是信道带宽；Ｓ是信道内所传输信号的平均功率；Ｎ是信道内部的高斯噪声功率㊂因此，车辆ｕ和路侧单元ｅ之间的数据传输率可以表示为式（２）：Ｃｃｕ，ｅ＝Ｂｃｌｏｇ２１＋Ｈｕ，ｅｄｕ，ｅ｜ｈ｜２Ｎｃ２æèçöø÷（２）㊀㊀其中，Ｂｃ是信道带宽；Ｈｕ，ｅ是车辆ｕ的车载通信设备与其对应的路侧单元ｅ的传输功率；ｄｕ，ｅ表示车辆ｕ与路侧单元ｅ的距离；ｈ表示瑞利衰落因子；Ｎｃ是高斯噪声功率㊂１．１．２㊀毫米波模式ＮＲ－Ｖ２Ｘ采用毫米波模式，本文假定每辆车辆都配备有定向天线阵列，并且采用了定向波束形成来增强毫米波信号的传播㊂为了最大化提高毫米波天线的指向性增益，本文假定对发射器和接收器进行光束准直，因此可以将定向天线模式近似为理想的水平面上的扇形模型［１３］，天线增益可以建模为式（３）：ｇｕ，ｅη()＝ｇｍ，ηɤηᶄ２ｇｓ，η＞ηᶄ２ìîíïïïï（３）㊀㊀其中，η为当前天线的角度与当天线增益达到峰值时的角度之差，即天线转向方向的可容忍对准２智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀误差；ηᶄ是射束宽度；ｇｍ和ｇｓ分别是主瓣和旁瓣天线的定向增益㊂在上述条件下，本文将毫米波信道带宽表示为式（４）：Ｃｍｕ，ｅ＝Ｂｍｌｏｇ２１＋ＳＩＮＲｕ，ｅ()（４）㊀㊀其中，Ｂｍ是毫米波信号带宽㊂车辆天线与基站天线的信噪比为式（５）［１４］：ＳＩＮＲｕ，ｅ＝ｐｕ－Ｎｍ－１０ｌｏｇ１０Ｂｍ()＋２ｇｍ－１０αｌｏｇ１０ｄｕ，ｅ()－６９．６－ρ（５）其中，ｐｕ是车辆ｕ配备的毫米波收发器的传输功率；Ｎｍ是噪声功率谱密度；ｄｕ，ｅ表示车辆ｕ和路侧单元ｅ间的曼哈顿距离；ρ Ｎ０，σ２()是以分贝为单位的阴影衰落模型；而σ为标准偏差㊂１．１．３㊀通信模型车辆与ＲＳＵ的数据传输速率可以表示为式（６）：Ｃｕ，ｅ＝λｃＣｃｕ，ｅ＋λｍＣｍｕ，ｅｓ．ｔ．λｃ＝０，１{}，λｍ＝０，１{}，λｃ＋λｍ＝１（６）其中，λｃ，λｍ分别为代表是否使用５Ｇ蜂窝网络或ＮＲ模式进行通讯的二元变量㊂当λｃ＝１时，假设车辆ｕ使用５Ｇ蜂窝网络作为通讯方式，λｍ＝０；反之当λｃ＝０时，λｍ＝１认为车辆ｕ使用ＮＲ模式作为通讯方式㊂１．２㊀迁移成本模型本文使用了平台服务（ＰａａＳ）范式，并采用Ｄｏｃｋｅｒ技术，该技术具有增强应用程序可移植性的机制，可以让应用程序无环境差异地部署在各个地方，因此本文将服务迁移成本建模为Ｄｏｃｋｅｒ服务镜像迁移成本㊂假定每个车辆都包含计算任务，且任务定义为一个二元组：Ｔｕ＝ｐｕ，Ｓｕ{}，其中ｐｕ是完成任务Ｔｕ所需的计算资源，Ｓｕ代表车辆ｕ执行的服务镜像大小㊂本文采用了部分迁移而非二元迁移，并假定车辆ｕ卸载到远程路侧单元ｅ的服务比例为ωｖｅｃｕ，ｅ，表示为式（７）：ωｌｏｃｕ＝１－ωｖｅｃｕ，ｅ（７）㊀㊀其中，ωｖｅｃｕ，ｅ表示车辆ｕ卸在本地执行的服务比例㊂据服务镜像大小，可以得出在路侧单元ｅ执行的服务的镜像大小，式（８）：Ｓｖｅｃｕ，ｅ＝ωｌｏｃｕˑＳｕ（８）㊀㊀因此迁移成本如式（９）：Ｇｍｉｇｕ，ｅ＝Ｓｖｅｃｕ，ｅＣｕ，ｅ＝ωｌｏｃｕˑＳｕλｃＣｃｕ，ｅ＋λｍＣｍｕ，ｅ（９）㊀㊀其中，λｃ＝０，１{}，λｍ＝０，１{}，λｃ＋λｍ＝１１．３㊀计算成本模型１．３．１㊀本地车载计算当车辆ｕ在本地计算时，计算开销的时间取决于其可用资源㊂本文假设ｆｌｏｃｕ是车辆ｕ的车载计算资源，则本地计算时间ｔｌｏｃｕ的计算公式（１０）：ｔｌｏｃｕ＝ｐｕｆｌｏｃｕ（１０）１．３．２㊀远程ＶＥＣ计算当本地计算资源紧张或者计算负载过高时，可以将服务卸载到远程路侧单元上进行计算㊂在许多包括道路检测和智能制动在内的应用中，因为其镜像的大小远大于从路侧单元传输回来的数据大小，所以本文假定路侧单元返回的计算结果的接收时间忽略不计，则车辆ｕ的远程计算时间ｔｖｅｃｕ表示为公式（１１）：ｔｖｅｃｕ＝ｐｕｆｖｅｃｕ（１１）㊀㊀其中，ｆｖｅｃｕ表示路侧单元分配给车辆ｕ的计算资源，ｐｕ是完成任务Ｔｕ所需的计算资源㊂本文假定车辆ｕ卸载到远程路侧单元ｅ的服务比例为ωｖｅｃｕ，ｅ，车辆ｕ卸载本地执行的服务比例为ωｌｏｃｕ，因此计算成本可以表示为式（１２）：Ｇｃｏｍｐｕ，ｅ＝ωｌｏｃｕｐｕｆｌｏｃｕ＋ωｖｅｃｕ，ｅｐｕｆｖｅｃｕ（１２）１．４㊀能耗模型当本地计算资源紧张或者计算负载过高时，可以将服务卸载到路侧单元上㊂在这种情况下，传输能耗可以由公式（１３）计算：Ｐｖｅｃｕ，ｅ＝ϑｅˑＳｖｅｃｕ，ｅＣｕ，ｅ（１３）㊀㊀其中，ϑｅ表示车辆ｕ在卸载时的平均传输功率；Ｓｖｅｃｕ，ｅ是服务镜像的大小；Ｃｕ，ｅ是车辆ｕ可访问的数据传输速率㊂２㊀基于强化学习的车辆服务迁移２．１㊀马尔可夫决策问题服务迁移策略应该考虑若干成本，在服务迁移过程中对于成本的优化可以采用ＭＤＰ进行解决［１１］㊂ＭＤＰ由四元组构成＜Ａ，Ｓ，Ｒ，Ｐ＞，其中Ａ代表智能体的所有行动，Ｓ是智能体可以感知的环境状态，Ｐ是在时隙ｔ状态下的行动将导致下一个时隙ｔ＋１的状态的概率，Ｒ是一个实数，代表奖励３第６期周率，等：基于强化学习的车辆服务迁移方法或惩罚［１５］㊂２．１．１㊀动作空间本文将时隙ｔ的行动αｔɪＡ定义为αｔ＝｛ωｖｅｃｕ，ｅｔ()，Ｗｔ()｝，ωｖｅｃｕ，ｅｔ()表示时隙ｔ中车辆ｕ的服务迁移给路侧单元的比例，Ｗｔ()＝｛－１，０，１，２， ，Ｉ｝表示时隙ｔ中车辆ｕ迁移的目标路侧单元，若Ｗｔ()＝－１则表示时隙ｔ中车辆ｕ不进行迁移，若Ｗｔ()ȡ０表示时隙ｔ中车辆ｕ将服务迁移到序号为Ｗｔ()的路侧单元㊂２．１．２㊀奖励函数由于强化学习的根本目标在于提升智能体的长期累积回报，因此合理的奖励函数能够提升训练速度与性能表现㊂长期累积回报的定义如式（１４）：Ｇｔ()＝ð¥ｔ＝０γｔｒｔ()，０ɤγ＜１（１４）㊀㊀其中，ｒｓｔ()是时隙ｔ中获得的奖励值，γ表示折扣率，用于计算未来奖励值的现值㊂本文的奖励函数设计如式（１５）：ｒｔ()＝ΔＧｍｉｇｔ()＋ΔＧｃｏｍｐｔ()＋ΔＰｔ()（１５）㊀㊀其中，ΔＧｍｉｇｔ()㊁ΔＧｃｏｍｐｔ()和ΔＰｔ()分别表示时隙ｔ迁移成本㊁计算成本和能耗的下降百分比㊂以ΔＰｔ()为例，如式（１６）定义：ΔＰｔ()＝Ｐｔ－１()－Ｐｔ()Ｐｔ－１()（１６）２．２㊀算法描述本文采用基于ＳｏｆｔＡｃｔｏｒ－Ｃｒｉｔｉｃ的强化学习算法，该算法考虑了预期收益和熵之间的最大化效益，因此最优迁移策略定义为式（１７）：π∗＝ａｒｇｍａｘπðｔE ｓｔ，ａｔ()ρπγｔｒｓｔ，ａｔ()＋[αＨπ㊃∣ｓｔ()()]（１７）其中，ａｔ代表智能体在时隙ｔ采取的行动；ｓｔ代表智能体在时隙ｔ的状态；γ表示奖励值折扣率；温度参数α决定了熵值的相对重要性；Ｈ（π（㊃∣ｓｔ））代表熵㊂Ｖ值表示当前环境状态下开始，未来能获得奖励的期望值，用于表现当前环境状态的好坏程度；Ｑ值表示在选取某个行动后，未来能获得奖励的期望值，该值衡量的是当前选取的行动的好坏程度㊂Ｖ值和Ｑ值之间的关系如图１所示㊂㊀㊀根据贝尔曼方程，Ｖ值和Ｑ值可以表示为式（１８）和式（１９）：Ｖｓｔ()＝Eτ πð¥ｔ＝０γｔｒｓｔ，ａｔ()＋αＨπ㊃∣ｓｔ()()()[]（１８）Ｑｓｔ，ａｔ()＝Eτ πð¥ｔ＝０γｔｒｓｔ，ａｔ()＋αð¥ｔ＝０γｔＨπ㊃∣ｓｔ()()[]（１９）V 值QQ QS SSQ 值V SAA A图１㊀Ｑ值与Ｖ值关系图Ｆｉｇ．１㊀ＴｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎＱｖａｌｕｅａｎｄＶｖａｌｕｅ２．２．１㊀Ｃｒｉｔｉｃ网络更新传统强化学习中，由于维度过高会引发训练困难的问题［１６］，因此引入神经网络进行近似，本文提出的算法网络由一个Ａｃｔｏｒ网络和两个Ｃｒｉｔｉｃ㊁目标Ｃｒｉｔｉｃ网络构成㊂Ｃｒｉｔｉｃ网络的损失函数可以表示为式（２０）：ＪＱθｋ()＝E （ｓｔ，ａｔ） ＤＱθｋｓｔ，ａｔ()－ｙ()２[]（２０）其中，θｋ为Ｃｒｉｔｉｃ网络参数；Ｄ表示重放缓冲区，可以通过ＤѳＤɣｓｔ，ａｔ，ｒｔ，ｓｔ＋１()更新；Ｑθｋｓｔ，ａｔ()是时隙ｔ的状态行动价值；ｙ表示目标网络的Ｑ值，可以表示为式（２１）：㊀ｙ＝ｒｓｔ，ａｔ()＋γＶｓｔ＋１()＝ｒｓｔ，ａｔ()＋γｍｉｎｋ＝１，２Ｑθ－ｋｓｔ＋１，ａｔ＋１()－(αｌｏｇπａｔ＋１∣ｓｔ＋１())（２１）其中，ｍｉｎｋ＝１，２Ｑθ－ｋｓｔ＋１，ａｔ＋１()表示取两个目标网络输出的最小值，能够有效防止过高估计㊂根据式（２０）和式（２１），Ｃｒｉｔｉｃ网络的更新公式为式（２２）：Ñθｋ１Ｄð（ｓｔ，ａｔ，ｒ（ｓｔ，ａｔ），ｓｔ＋１） Ｄ（Ｑθｋ（ｓｔ，ａｔ）－ｙ）２（２２）㊀㊀并根据式（２３）更新目标Ｃｒｉｔｉｃ网络：θｋ－＝λθｋ－－１－λ()θｋ（２３）㊀㊀其中，θｋ为目标Ｃｒｉｔｉｃ网络的参数，λ为网络的更新比例㊂２．２．２㊀Ａｃｔｏｒ网络更新Ａｃｔｏｒ网络的损失函数通过式（２４）计算：Ｊπϕ()＝E ｓｔ Ｄ，ɪｔ Ｎαｌｏｇπϕｆϕεｔ；ｓｔ()｜ｓｔ()－[Ｑθｓｔ，ｆϕεｔ；ｓｔ()()]（２４）其中，ｆϕεｔ；ｓｔ()采用了重参数化技巧，式（２５）：ａｔ＝ｆϕεｔ；ｓｔ()＝ｆμϕｓｔ()＋εｔ☉ｆσϕｓｔ()（２５）４智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀其中，ｆμϕ和ｆσϕ分别为均值和方差，ε Ｎ（ε）是正态分布下的噪声参数㊂策略参数可以通过式（２６）更新：ｍａｘϕEｓｔ Ｄ，εｔ Ｎｍｉｎｋ＝１，２Ｑθｋｓｔ，ａｔ()－αｌｏｇπａｔ∣ｓｔ()()[]（２６）其中，ａｔ是从策略π㊃∣ｓｔ()中采样得到的，因此可以将其微分㊂车辆服务迁移算法见表１㊂表１㊀车辆服务迁移算法Ｔａｂ．１㊀Ｖｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎａｌｇｏｒｉｔｈｍ算法１㊀车辆服务迁移算法输入㊀初始策略参数ϕ，Ｑ函数网络参数θｋ，目标网络参数θｋ－，ｋ＝１，２输出㊀模型权重１㊀初始化重放缓冲区Ｄ２㊀ｆｏｒ每次迭代ｄｏ３㊀㊀ｆｏｒｔ＝１，最大时间步ｄｏ４㊀㊀㊀观察环境状态ｓｔ，根据策略选定动作ａｔ，观察执行后的环境状态ｓｔ＋１５㊀㊀㊀根据公式（１５）计算奖励值ｒｓｔ，ａｔ()６㊀㊀㊀更新重放缓冲区Ｄ＝ｓｔ，ａｔ，ｒｓｔ，ａｔ()，ｓｔ＋１()７㊀㊀结束ｆｏｒ循环８㊀㊀ｆｏｒ每次更新ｄｏ９㊀㊀㊀从重放缓冲区Ｄ中采样ｓｔ，ａｔ，ｒｓｔ，ａｔ()，ｓｔ＋１() Ｄ１０㊀㊀㊀根据公式（２０）计算ｙ，并根据公式（２２）更新θｋ１１㊀㊀㊀根据公式（２３）更新θｋ－１２㊀㊀㊀根据公式（２６）和梯度Ñθ１ＤðｓɪＤｍｉｎｋ＝１，２Ｑθｋｓｔ，ａｔ()－αｌｏｇπａｔ∣ｓｔ()()()更新ϕ１３㊀㊀结束ｆｏｒ循环１４㊀结束ｆｏｒ循环３㊀实验３．１㊀数据集介绍为了评估所提出的算法在真实场景中的性能，本文采用微软亚洲研究院在２００７年４月至２０１２年８月期间在Ｇｅｏｌｉｆｅ项目中收集的ＧＰＳ轨迹数据集，该数据集由一连串带有经度㊁纬度和高度的时间戳的点，包含的轨迹总距离为１２９２９５１ｋｍ，总时间为５０１７６ｈ㊂同时本文使用阿里巴巴集群数据来模拟真实场景中ＲＳＵ的负载，该数据集中包含每台机器的资源使用情况㊁容器的元信息和事件信息以及每个容器的资源使用情况㊂３．２㊀实验环境本文的仿真实验硬件平台配置：Ｉｎｔｅｌｉ５－１２５００，３２ＧＢＤＤＲ４内存和ＮＶＩＤＩＡＧＴＸ３０６０；软件平台基于Ｐｙｔｈｏｎ３．７．９，ＯｐｅｎＡＩ－ｇｙｍ和Ｍａｎｊａｒｏ㊂本文将通信范围设定为２００ｍ，实验参数设定见表２㊂表２㊀实验参数设置Ｔａｂ．２㊀Ｅｘｐｅｒｉｍｅｎｔｐａｒａｍｅｔｅｒｓｓｅｔｔｉｎｇ参数值重放缓冲区大小１００００优化器Ａｄａｍ学习率｛０．１，０．０１，０．００５，０．００１｝Ｍｉｎｉｂａｔｃｈｓｉｚｅ１２８折扣率０．９８５最大迭代次数６００００车辆数量２０车辆平均速度［１０－６０］ｋｍ／ｈＲＳＵ计算能力１６ＧＨｚ３．２．１㊀算法收敛性本文首先研究学习率对提出算法的影响，将学习率设置为：０．１㊁０．０１㊁０．０３㊁０．００１，采用在不同迭代次数的平均服务时延作为评价指标，平均服务时延越小，算法的表现也就越好㊂学习率对算法收敛性５第６期周率，等：基于强化学习的车辆服务迁移方法影响的实验结果如图２所示，当学习率为０．００５时，在经过９５００次迭代后收敛到最优值并能保持稳定状态；当学习率为０．００１时，在经过１５０００次迭代后收敛；当学习率为０．１㊁０．０１时，曲线变得极不稳定，而且很难收敛到稳定状态㊂因此，研究得出学习率对于算法的稳定程度具有较高影响，这是由于学习率决定了模型权重更新的速度和幅度，对模型的收敛性具有重要影响㊂过高的学习率会导致模型在训练过程中无法收敛并出现不稳定的训练行为，使得模型的性能反而变得更差；相反，如果学习率过低，模型的权重更新会变得缓慢㊂959085807570656055504506000120001800024000300003600042000480005400060000迭代次数平均服务时延学习率=0.001学习率=0.005学习率=0.1学习率=0.01图２㊀不同学习率对算法收敛性的影响Ｆｉｇ．２㊀Ｅｆｆｅｃｔｏｆｄｉｆｆｅｒｅｎｔｌｅａｒｎｉｎｇｒａｔｅｓｏｎｃｏｎｖｅｒｇｅｎｃｅ３．２．２㊀不同算法的服务时延对比为了进一步验证算法的可靠性，将本文采用的算法与就近迁移（ＡｌｗａｙｓＭｉｇｒａｔｅＣｌｏｓｅｌｙ，ＡＭＣ）㊁随机迁移（Ｒａｎｄｏｍ）和深度Ｑ学习（ＤｅｅｐＱ－Ｌｅａｒｎｉｎｇ，ＤＱＮ）算法进行对比，以验证不同移动性下算法的稳定性及其表现㊂算法的学习率设定为０．００５，实验结果如图３所示㊂随着平均车辆移动速度的增加，各算法的平均服务延迟都在上升，这是由于车辆行驶速度越快，离开ＲＳＵ通信范围的间隔也就越小，服务迁移的触发频率随之上升㊂本文和ＤＱＮ算法的平均服务延迟都处于较低的水准，同时其增长速率也较为缓慢㊂ＡＭＣ算法虽然每次都选择就近的ＲＳＵ，但是迁移服务时带来的额外开支并不能弥补其服务延迟㊂与ＤＱＮ算法相比，本文提出的算法在移动速度为２０ｋｍ／ｈ时有８．６％的优势，当移动速度达到６０ｋｍ／ｈ时有１５．３％的优势，这是由于本文提出的算法具有较高的探索率，相比ＤＱＮ算法可以探索更多的迁移决策，从而使得平均服务时延上升速度较为缓慢㊂３．２．３㊀不同算法的能耗对比对比各算法在不同车辆移动速度下的平均能耗，实验结果如图４所示，随着平均车辆移动速度的增加，各算法的能耗同步上升，其中ＡＭＣ算法的上升速率最快，这是由于车辆移动速度的上升导致车辆更快的离开ＲＳＵ通信范围，进而频繁触发迁移行动，ＡＭＣ算法的能耗因此远远高于其他算法㊂而Ｒａｎｄｏｍ算法在远离ＲＳＵ后并没有完全决定迁移，因此相比ＡＭＣ算法其能耗仍有一定优势㊂基于强化学习的ＤＱＮ和本文算法具有较大的优势，这是因为奖励函数中能耗带来的奖励值使得算法对于迁移决策较为慎重，频繁地触发服务迁移并不总是最优策略㊂与ＤＱＮ相比，本文提出的算法在６０ｋｍ／ｈ移动状态下有１４．４％的优势，这是由于该算法在训练过程中充分探索了可能的策略，因而与ＤＱＮ相比能使用更优的策略以降低能耗水平㊂本文D Q N R a n d o m A M C807570656055504540202530354045505560平均车辆移动速度/(k m ?h -1)平均服务延迟/m s图３㊀不同车辆移动速度下的平均服务延迟Ｆｉｇ．３㊀Ａｖｅｒａｇｅｓｅｒｖｉｃｅｄｅｌａｙｆｏｒｄｉｆｆｅｒｅｎｔｖｅｈｉｃｌｅｍｏｖｅｍｅｎｔｓｐｅｅｄｓ本文D Q N R a n d o m A M C55504540353025202530354045505560平均车辆移动速度/(k m ?h -1)平均能耗/J图４㊀不同车辆移动速度下的平均能耗Ｆｉｇ．４㊀Ａｖｅｒａｇｅｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｆｏｒｄｉｆｆｅｒｅｎｔｖｅｈｉｃｌｅｍｏｖｅｍｅｎｔｓｐｅｅｄｓ４㊀结束语针对中国目前重点发展方向之一的车联网，本（下转第１２页）４　结束语本文设计了一种基于ＦＰＧＡ的ＵＤＰ＿ＩＰ协议栈，ＩＣＭＰ报文和ＵＤＰ报文数据部分在该协议栈内完成了正确的缓存和转发，当发送ＡＲＰ报文时，在该协议栈内能够及时进行ＡＲＰ列表的更新㊂本设计具有良好的稳定性和可靠性，为高速以太网通信提供了一个很好的解决方案，有着广泛的应用前景㊂参考文献［１］武朋，黄虎，王兴．基于ＦＰＧＡ的ＴＣＰ／ＩＰ协议设计与实现［Ｊ］．软件导刊，２０１３，１２（５）：２２－２３．［２］朱明辉，司斌，张从霞，等．ＦＰＧＡ与８８Ｅ１１１１的千兆以太网接口设计［Ｊ］．单片机与嵌入式系统应用，２０１７，１７（３）：６０－６３，６６．［３］李勋，刘文怡．基于ＦＰＧＡ的以太网接口设计与实现［Ｊ］．自动化与仪表，２０１４，２９（５）：５７－６０．［４］董永吉，王钰，袁征．基于ＦＰＧＡ的万兆以太网ＵＤＰ＿ＩＰ硬件协议栈设计与实现［Ｊ／ＯＬ］．计算机应用研究：１－４［２０２２－０４－２５］．［５］韩剑南，胡辽林．基于ＦＰＧＡ和ＵＤＰ／ＩＰ协议的千兆网络图传系统［Ｊ］．计算机系统应用，２０１８，２７（３）：９９－１０４．［６］刘源，张刚．可靠ＵＤＰ协议栈的ＦＰＧＡ实现［Ｊ］．火力与指挥控制，２０１７，４２（７）：１３９－１４３．（上接第６页）文研究了基于该环境下的服务迁移问题，并对服务迁移过程中产生的计算成本㊁迁移成本和能耗建模，将迁移决策规划为部分迁移而非二元迁移，同时考虑了车辆移动性带来的问题㊂本文将服务迁移建模为ＭＤＰ问题，并提出了基于深度强化学习的服务迁移算法来降低服务的平均时延和能耗㊂实验结果表明，本文提出的算法在学习率为０．００５时能够较快达到收敛，并且与其他算法相比在２０ｋｍ／ｈ和６０ｋｍ／ｈ时分别有８．６％和１５．３％的性能提升，同时当移动速度处于６０ｋｍ／ｈ时，在能耗方面有１４．４％的优势㊂在未来工作中，将车辆加速度引入以预测用户驾驶车辆的移动意图，从而进行更精确的迁移决策㊂参考文献［１］ＡＢＢＡＳＮ，ＺＨＡＮＧＹ，ＴＡＨＥＲＫＯＲＤＩＡ，ｅｔａｌ．Ｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ：Ａｓｕｒｖｅｙ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓＪｏｕｒｎａｌ，２０１８，５（１）：４５０－４６５．［２］ＢＩＪ，ＹＵＡＮＨ，ＤＵＡＮＭＵＳ，ｅｔａｌ．Ｅｎｅｒｇｙ－ｏｐｔｉｍｉｚｅｄｐａｒｔｉａｌｃｏｍｐｕｔａｔｉｏｎｏｆｆｌｏａｄｉｎｇｉｎｍｏｂｉｌｅ－ｅｄｇｅｃｏｍｐｕｔｉｎｇｗｉｔｈｇｅｎｅｔｉｃｓｉｍｕｌａｔｅｄ－ａｎｎｅａｌｉｎｇ－ｂａｓｅｄｐａｒｔｉｃｌｅｓｗａｒｍｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓＪｏｕｒｎａｌ，２０２０，８（５）：３７７４－３７８５．［３］ＺＨＡＮＧＱ，ＺＨＥＮＧＨ，ＺＨＯＮＧＺ，ｅｔａｌ．Ｅｎｅｒｇｙｍｉｎｉｍｉｚａｔｉｏｎｆｏｒｆｏｇｃｏｍｐｕｔｉｎｇ－ｅｎａｂｌｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅｔｗｏｒｋｓｗｉｔｈｄｙｎａｍｉｃＴＤＤ［Ｃ］／／２０１９ＩＥＥＥ／ＣＩＣＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓｉｎＣｈｉｎａ（ＩＣＣＣ）．ＩＥＥＥ，２０１９：５９０－５９５．［４］ＷＡＮＧＫ，ＨＵＺ，ＡＩＱ，ｅｔａｌ．Ｊｏｉｎｔｏｆｆｌｏａｄｉｎｇａｎｄｃｈａｒｇｅｃｏｓｔｍｉｎｉｍｉｚａｔｉｏｎｉｎｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＯｐｅｎＪｏｕｒｎａｌｏｆｔｈｅＣｏｍｍｕｎｉｃａｔｉｏｎｓＳｏｃｉｅｔｙ，２０２０，１：２０５－２１６．［５］ＷＵＦ，ＬＩＸ，ＬＩＨ，ｅｔａｌ．Ｅｎｅｒｇｙ－ｔｉｍｅｅｆｆｉｃｉｅｎｔｔａｓｋｏｆｆｌｏａｄｉｎｇｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇｉｎｈｏｔ－ｓｐｏｔｓｃｅｎａｒｉｏｓ［Ｃ］／／ＩＣＣ２０２１－ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ．ＩＥＥＥ，２０２１：１－６．［６］ＳＩＮＧＨＳ，ＫＩＭＤＨ．Ｐｒｏｆｉｔｏｐｔｉｍｉｚａｔｉｏｎｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇｕｓｉｎｇｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ［Ｃ］／／２０２１ＩＥＥＥＲｅｇｉｏｎ１０Ｓｙｍｐｏｓｉｕｍ（ＴＥＮＳＹＭＰ）．ＩＥＥＥ，２０２１：１－６．［７］ＫＩＭＳ．Ｂａｒｇａｉｎｉｎｇｇａｍｅｂａｓｅｄｏｆｆｌｏａｄｉｎｇｓｅｒｖｉｃｅａｌｇｏｒｉｔｈｍｆｏｒｅｄｇｅ－ａｓｓｉｓｔｅｄｄｉｓｔｒｉｂｕｔｅｄｃｏｍｐｕｔｉｎｇｍｏｄｅｌ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０２２，１０：６３６４８－６３６５７．［８］ＯＵＹＡＮＧＴ，ＺＨＯＵＺ，ＣＨＥＮＸ．Ｆｏｌｌｏｗｍｅａｔｔｈｅｅｄｇｅ：Ｍｏｂｉｌｉｔｙ－ａｗａｒｅｄｙｎａｍｉｃｓｅｒｖｉｃｅｐｌａｃｅｍｅｎｔｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＪｏｕｒｎａｌｏｎＳｅｌｅｃｔｅｄＡｒｅａｓｉｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１８，３６（１０）：２３３３－２３４５．［９］ＶＵＴＴ，ＮＧＵＹＥＮＤＮ，ＨＯＡＮＧＤＴ，ｅｔａｌ．Ｏｐｔｉｍａｌｅｎｅｒｇｙｅｆｆｉｃｉｅｎｃｙｗｉｔｈｄｅｌａｙｃｏｎｓｔｒａｉｎｔｓｆｏｒｍｕｌｔｉ－ｌａｙｅｒｃｏｏｐｅｒａｔｉｖｅｆｏｇｃｏｍｐｕｔｉｎｇｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２１，６９（６）：３９１１－３９２９．［１０］ＡＬＢＯＮＤＡＨＤＲ，ＰéＲＥＺ－ＲＯＭＥＲＯＪ．ＡｎｅｆｆｉｃｉｅｎｔＲＡＮｓｌｉｃｉｎｇｓｔｒａｔｅｇｙｆｏｒａｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋｗｉｔｈｅＭＢＢａｎｄＶ２Ｘｓｅｒｖｉｃｅｓ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０１９，７：４４７７１－４４７８２．［１１］ＫＳＥＮＴＩＮＩＡ，ＴＡＬＥＢＴ，ＣＨＥＮＭ．ＡＭａｒｋｏｖｄｅｃｉｓｉｏｎｐｒｏｃｅｓｓ－ｂａｓｅｄｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｐｒｏｃｅｄｕｒｅｆｏｒｆｏｌｌｏｗｍｅｃｌｏｕｄ［Ｃ］／／２０１４ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ（ＩＣＣ）．ＩＥＥＥ，２０１４：１３５０－１３５４．［１２］ＴＡＮＧＺ，ＺＨＯＵＸ，ＺＨＡＮＧＦ，ｅｔａｌ．Ｍｉｇｒａｔｉｏｎｍｏｄｅｌｉｎｇａｎｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓｆｏｒｃｏｎｔａｉｎｅｒｓｉｎｆｏｇｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｅｒｖｉｃｅｓＣｏｍｐｕｔｉｎｇ，２０１９，１２（５）：７１２－７２５．［１３］ＷＩＬＤＭＡＮＪ，ＮＡＲＤＥＬＬＩＰＨＪ，ＬＡＴＶＡ－ＡＨＯＭ，ｅｔａｌ．Ｏｎｔｈｅｊｏｉｎｔｉｍｐａｃｔｏｆｂｅａｍｗｉｄｔｈａｎｄｏｒｉｅｎｔａｔｉｏｎｅｒｒｏｒｏｎｔｈｒｏｕｇｈｐｕｔｉｎｄｉｒｅｃｔｉｏｎａｌｗｉｒｅｌｅｓｓｐｏｉｓｓｏｎｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＷｉｒｅｌｅｓｓＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１４，１３（１２）：７０７２－７０８５．［１４］ＬＩＺ，ＸＩＡＮＧＬ，ＧＥＸ，ｅｔａｌ．ＬａｔｅｎｃｙａｎｄＲｅｌｉａｂｉｌｉｔｙｏｆｍｍＷａｖｅＭｕｌｔｉ－ＨｏｐＶ２ＶＣｏｍｍｕｎｉｃａｔｉｏｎｓＵｎｄｅｒＲｅｌａｙＳｅｌｅｃｔｉｏｎｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＶｅｈｉｃｕｌａｒＴｅｃｈｎｏｌｏｇｙ，２０２０，６９（９）：９８０７－９８２１．［１５］ＢＥＬＬＭＡＮＲ．Ａｍａｒｋｏｖｉａｎｄｅｃｉｓｉｏｎｐｒｏｃｅｓｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＭｅｃｈａｎｉｃｓ，１９５７，６（５）：６７９－６８４．［１６］ＳＵＴＴＯＮＲＳ，ＢＡＲＴＯＡＧ．Ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ：Ａｎｉｎｔｒｏｄｕｃｔｉｏｎ［Ｍ］．ＭＩＴｐｒｅｓｓ，２０１８：４７２－４７５．。

1.1△△△△(顶格) 1.1．1△△△△(顶格)
（1）△△△△ ①△△△△
（2）文章的层次要求先见文，后见图。 6、表格、插图应有自明性，图中中文字、变量、单位、数字要注清。表格、插图均应有中文 名称（对于图中的外文均应译为中文）或内容简述，并注明物理量及其单位。 7、参考文献 参考文献的内容须由如下部分组成：（1）作者；（2）引用文章的题名；（3）书（刊）名 ；（4）书的出版地、出版社和出版时间，期刊的出版时间（年）、卷、期号、页码。 联系方式： E-mail:eec@ 电话：(021)62543397
版”，请在来稿时声明，本刊将进行适当处理。
77
期刊投稿简介与指南
电力系统与电工技术专业
5、作者来稿若属基金资助、国家攻关项目或获科技成果奖，请注明，并请写明编号。 二、总体结构和要求 1、投稿的文章一般由下列部分组成：题名：作者姓名；作者单位；作者简介；摘要；关键词 ；正文和参考文献等。其中题名、作者姓名、作者单位、摘要、关键词必须同时具有中、英文。 2、文稿篇幅一般不超过5000字，包括插图、表格。 3、本刊现已全面实行网上投稿，请登录中国智能电工网（）进行在线注册投 稿。来稿须注明第一作者或联系人姓名、详细通信地址、邮政编码、联系电话、传真以及E-mail地 址。 4、摘要和关键词 摘要的基本内容由目的、方法、结果和结论四部分构成，必须以第三人称撰写。摘要字数为 200-300字。关键词由3-8个组成。 5、正文 （1）本刊标题的层次结构一般为： 1 △△△△(顶格)
77
期刊投稿简介与指南
中文期刊
电力系统与电工技术专业
大电机技术 大电机技术[双月刊]= Large Electric Machine And Hydraulic Turbine/哈尔滨大电机研究所．—

专利名称：SYSTEMS AND METHODS FOR MANAGINGENERGY STORAGE SYSTEMS发明人：Saurabh Bhasme,Thomas JamesCouture,Britany Straley,Fabrizio Martini申请号：US17275430申请日：20190912公开号：US20220067850A1公开日：20220303专利内容由知识产权出版社提供专利附图：摘要：Systems, methods, and at least one computer-readable medium are described.The system comprises at least one processor and at least one computer-readablestorage medium having encoded thereon instructions that, when executed, program the at least one processor to for each candidate model of a plurality of candidate models, determine a reward for using the candidate model in a context, wherein the context comprises a value of a feature selected from a group consisting of, a feature relating to an environment in which an energy application is operating, a feature relating to the energy application, and a feature relating to one or more energy storage devices associated with the energy application. The at least one processor being further programmed to select a model from the plurality of candidate models, based at least in part on the respective rewards for using the candidate models in the context.申请人：Electra Vehicles, Inc.地址：Boston MA US国籍：US更多信息请下载全文后查看。