美国布鲁克海文国家实验室杨晓青博士

第３２卷㊀第１期太㊀㊀平㊀㊀洋㊀㊀学㊀㊀报Ｖｏｌ ３２，Ｎｏ １２０２４年１月ＰＡＣＩＦＩＣＪＯＵＲＮＡＬＪａｎｕａｒｙ２０２４ＤＯＩ：１０．１４０１５／ｊ．ｃｎｋｉ．１００４－８０４９．２０２４．０１．００６曹兴国： 我国海运碳排放市场机制构建的进路统筹 ，‘太平洋学报“，２０２４年第１期，第７２－８５页㊂ＣＡＯＸｉｎｇｇｕｏ， ＣｏｏｒｄｉｎａｔｉｏｎｏｆＡｐｐｒｏａｃｈｅｓｔｏｔｈｅＣｏｎｓｔｒｕｃｔｉｏｎｏｆＭａｒｋｅｔ－ＢａｓｅｄＭｅｃｈａｎｉｓｍｏｆＭａｒｉｔｉｍｅＣａｒｂｏｎＥｍｉｓｓｉｏｎｓｉｎＣｈｉｎａ ，ＰａｃｉｆｉｃＪｏｕｒ⁃ｎａｌ，Ｖｏｌ．３２，Ｎｏ．１，２０２４，ｐｐ．７２－８５．我国海运碳排放市场机制构建的进路统筹曹兴国１（１．大连海事大学，辽宁大连１１６０２６）摘要：海运碳减排需要统筹运用包括市场机制在内的多种措施㊂欧盟推进单边海运碳排放交易机制虽然对市场机制在海运领域的运用具有正向推进价值，但基于其制度对共同但有区别责任原则的忽视等原因，与我国的航运利益并不相符㊂我国应当联合其他非欧盟国家反对欧盟的单边措施，并积极推进国际海事组织（ＩＭＯ）层面多边海运碳排放市场机制的构建，推动海运碳排放真正实现公正公平的过渡㊂同时，在国内层面，基于国际国内统筹推进的整体要求，我国需要厘定基于国内立法的海运碳排放市场措施及其实施路径，构建相应的制度保障㊂关键词： 双碳 目标；海运碳排放；市场机制；共同但有区别责任原则；非更优惠待遇原则中图分类号：Ｄ９２０㊀㊀㊀㊀㊀文献标识码：Ａ㊀㊀㊀㊀㊀文章编号：１００４－８０４９（２０２４）０１－００７２－１４收稿日期：２０２３⁃０７⁃２７；修订日期：２０２３⁃０９⁃２０㊂基金项目：本文系辽宁省社科基金项目 海运碳减排市场机制构建的制度协同研究 （Ｌ２２ＣＦＸ００４）的阶段性研究成果㊂作者简介：曹兴国（１９８９ ），男，浙江绍兴人，大连海事大学法学院副教授㊁硕士生导师，法学博士，主要研究方向：海商法㊁国际法㊂∗作者感谢‘太平洋学报“编辑部匿名审稿专家提出的建设性修改意见，感谢孙爱迪在本文写作过程中的协助，文中错漏由笔者负责㊂①㊀２０１８年４月通过的船舶温室气体减排初步战略中提出的减排目标为：以２００８年碳排放为基准，到２０３０年将海运业碳排放强度降低４０％，到２０５０年碳排放强度降低７０％（碳排放总量降低５０％）㊂㊀㊀随着我国 双碳 目标的确立，碳排放治理已经不折不扣地成为我国生态文明建设以及参与国际气候治理的重要议题㊂海运业同样需要承担减排任务，并已在国际海事组织（以下简称ＩＭＯ）的推进下取得积极进展㊂２０２２年，ＩＭＯ海上环境保护委员会第７６次会议（ＭＥＰＣ７６）通过了‘国际防止船舶造成污染公约“（ＭＡＲＰＯＬ公约）附则ＶＩ 关于降低国际航运碳强度 的修正案，通过现有船舶能效指数（ＥＥＸＩ）和碳强度指标（ＣＩＩ）评级机制对船舶的最低能效标准和营运的碳强度作出限制和评价，旨在从技术和运营两个方面提高船舶能效，降低碳强度水平㊂同时，２０２３年７月，ＩＭＯ海上环境保护委员会第８０次会议通过重新修订 船舶温室气体减排战略 ，进一步明确了以２００８年为参照，国际海运温室气体年度排放总量到２０３０年至少降低２０％，并力争降低３０％；到２０４０年降低７０％，并力争降低８０％的减排新目标㊂①上述减排目标的实现，需要依赖一系列的减排措施，包括碳排放市场机制㊂所谓碳排放第１期㊀曹兴国：我国海运碳排放市场机制构建的进路统筹市场机制，亦可称为碳定价机制，其理念在于将碳排放权作为一种资源并对其定价，通过构建市场化机制解决碳排放的外部不经济性，从而实现减排目标㊂在过去，海运业因其显著的国际性和机制适用的复杂性，大多被排除在各国的碳排放市场机制之外㊂但２０２３年５月，欧盟通过２０２３／９５９号指令对欧盟碳排放交易体系指令进行修订，正式将海运业纳入欧盟碳排放交易体系㊂同时，在重新修订的ＩＭＯ 船舶温室气体减排战略 中，也明确要求包括市场机制在内的一揽子中期减排措施应当在２０２５年确定并通过㊂①显然，在欧盟和ＩＭＯ的推动下，海运碳排放市场机制的构建将大大提速，并引发单边及多边层面的连锁反应㊂海运碳排放市场机制的构建不仅关乎所有海运参与主体的利益，而且机制构建中的规则话语权争夺更关乎各国在海运相关产业的切实利益，影响未来的海运竞争格局㊂尤其在欧盟通过内部立法单边推动海运碳排放市场机制实施的背景下，海运碳排放市场机制的构建在某种程度上已经被 裹挟 ，其推进势在必行㊂因此，无论是主动引领还是被动参与，海运碳排放市场机制的构建是各国㊁各利益方都需要谋划和应对的重要议题㊂对我国而言，海运碳排放市场机制的构建是一个重要又复杂的议题，面临诸多挑战㊂首先，欧盟的单边海运碳排放交易机制将对我国航运业产生直接影响，我国如何开展有效应对亟需回应㊂其次，ＩＭＯ主导下的多边市场机制构建仍面临不少分歧 选择何种市场机制方案，如何体现共同但有区别责任原则，通过何种方式实施等都有待细化讨论㊂此外，海运碳排放市场机制的构建不仅是国际层面的应对，我国也应当在国内层面以国际国内统筹推进为指引，统筹国内机制的构建㊂因此，海运碳排放市场机制的构建需要多个层面的进路统筹㊂本文旨在通过分析我国在双边㊁多边以及国内三个层面应对㊁参与㊁构建海运碳排放机制的需求和立场，探讨我国的应对策略和制度路径㊂一㊁海运碳排放市场机制的单边进路应对㊀㊀海运是一个高度国际化的行业㊂理想状态下，应当通过多边协调来推进海运碳排放市场机制的构建，但因多边层面协商进度不及预期，以欧盟为代表的单边行动已经着手推进海运碳排放机制的构建㊂１．１　以欧盟为代表的单边市场机制推进欧盟是碳排放市场机制的忠实推动者，其构建的碳排放交易体系被视为欧盟最主要的气候政策工具㊂欧盟的碳排放交易体系以２００３年的‘欧盟排放权交易体系指令“为基础法律架构，后经多次修正㊂当前，欧盟碳排放交易体系的运行已经进入第四阶段，即以欧盟委员会在２０２１年７月发布的一系列气候计划与提案（Ｆｉｔｆｏｒ５５）为依托，大幅提升碳市场的减排目标，并扩大覆盖的行业领域㊂海运业就属于此阶段扩大覆盖的行业领域范围之列㊂根据欧盟２０２３／９５９号指令，主管机关②将对５０００总吨以上船舶在欧盟内部的港口之间整个航程１００％的排放量，以及欧盟与非欧盟港口之间航程５０％的排放量③收取排放配额㊂负责配额缴纳的责任主体为船公司，包括船东或从船东处承担船舶运营责任㊁并同意承担‘国际船舶安全运营和防止污染管理规则“规定的所有职责和责任的任何其他组织和个人（例如船舶管理人㊁光船承租人）㊂为了给机制的适用提３７①②③ＩＭＯ， ２０２３ＩＭＯＳｔｒａｔｅｇｙｏｎＲｅｄｕｃｔｉｏｎｏｆＧＨＧＥｍｉｓｓｉｏｎｓｆｒｏｍＳｈｉｐｓ ，ＲｅｓｏｌｕｔｉｏｎＭＥＰＣ．３７７（８０），Ｊｕｌｙ７，２０２３，ｈｔｔｐｓ：／／ｗｗ⁃ｗｃｄｎ．ｉｍｏ．ｏｒｇ／ｌｏｃａｌｒｅｓｏｕｒｃｅｓ／ｅｎ／ＯｕｒＷｏｒｋ／Ｅｎｖｉｒｏｎｍｅｎｔ／Ｄｏｃｕｍｅｎｔｓ／ａｎｎｅｘ／２０２３％２０ＩＭＯ％２０Ｓｔｒａｔｅｇｙ％２０ｏｎ％２０Ｒｅｄｕｃｔｉｏｎ％２０ｏｆ％２０ＧＨＧ％２０Ｅｍｉｓｓｉｏｎｓ％２０ｆｒｏｍ％２０Ｓｈｉｐｓ．ｐｄｆ，ｐａｒａ．６．对于欧盟注册的船公司，其主管机关为船公司注册地所在的成员国；非欧盟注册的船公司，其主管机关为最近４个监测年度内停靠港口次数最多的成员国；而对于非欧盟注册且最近４个监测年度内也没有停靠过欧盟港口的公司，则其主管机关为该公司旗下船舶在欧盟境内抵达或开始其首个航程的成员国㊂纳入排放量计算的气体包括二氧化碳㊁甲烷和一氧化二氮㊂其中，甲烷和一氧化二氮将于２０２４年后纳入欧盟２０１５／７５７号条例，从２０２６年起纳入欧盟排放交易体系㊂太平洋学报㊀第３２卷供一定的缓冲空间，指令规定了两年的过渡期：２０２４年和２０２５年分别纳入４０％和７０％的航运排放量，到２０２６年将纳入１００％的航运排放量㊂同时，为防止班轮集装箱船舶利用挂靠港口的安排来规避机制的适用，该指令将建立一份位于欧盟以外，但距离某一成员国管辖港口不到３００海里的相邻集装箱转运港口名单㊂船舶在名单中的港口进行的转运将不被计为与上一个非名单中转运港之间航程的中断㊂对于未能在每年９月３０日前缴纳前一年排放配额的船公司，将面临每个未缴纳的排放配额（每吨二氧化碳当量的排放）１００欧元的罚款㊂１．２　单边进路的辩证评估欧盟是当前世界三大海运市场之一，其海运碳排放政策措施将产生重大影响㊂这种影响，最直接地体现为航运公司的费用增加 据测算，如果按照每个碳排放配限额（ＥＵＡ）９０欧元的市价计算，预计海运业在２０２４年㊁２０２５年㊁２０２６年可能要分别承担高达３１亿欧元㊁５７亿欧元和８４亿欧元的费用㊂①而在这些费用之外，欧盟单边进路的其他影响同样显著㊂（１）对海运碳排放市场机制构建的正向推动欧盟之所以决定率先将海运业纳入欧盟碳排放交易机制，一个重要的背景就是欧盟认为ＩＭＯ层面的市场机制谈判虽有进展，但仍不足以实现巴黎协定确定的目标㊂因此，欧盟的单边立法固然有其实现自身减排战略的考虑，但也在很大程度上希望籍此反推和倒逼多边进程㊂ＩＭＯ在随后通过经修订的减排战略，并明确将市场机制作为一揽子中期措施的一部分，也不无欧盟立法进程的影响㊂正如学者所言，相比于多边层面的谈判，打补丁式的单边路径（ｐａｔｃｈｗｏｒｋａｐｐｒｏａｃｈ）有时更有效，因为它可以破解多边协同的困境㊂而且，通过部分国家或者地区先行的政策探索和行业反馈，可以为多边层面更大规模的政策应用提供数据和证据支撑㊂②同时，依托在碳排放交易领域的实践经验，欧盟所构建的海运碳排放交易制度也确有其可取之处㊂首先，欧盟在制度方案上考虑了未来与ＩＭＯ多边机制的协调问题㊂根据指令，如果未来ＩＭＯ通过了多边市场机制，欧盟将根据ＩＭＯ市场机制的内容㊁效果以及与欧盟机制的一致性等对本指令的内容重新进行评估，尽量避免对船公司的双重负担；如果ＩＭＯ在２０２８年仍未采取全球市场措施，欧盟委员会应向欧洲议会和理事会提交一份报告，审查对欧盟港口与非欧盟港口之间航程超过５０％部分的排放量是否需要实施配额分配和交易㊂其次，欧盟在将海运纳入碳排放交易体系时，吸收了当初将航空纳入碳排放交易体系的失败教训，③在此次针对海运的方案设计中做了不少调整㊂其中最显著的一点就是仅将进出欧盟港口的国际航程的５０％排放量纳入，而非此前航空领域的全部排放量，试图以此缓和其他国家的抵制㊂最后，从制度的完整性上，欧盟的海运碳排放交易制度在既有碳排放交易制度的基础上做了很多细化的补充，形成了一套相对完整㊁具有可操作性的海运碳排放市场制度㊂例如为保障制度的执行，指令明确规定欧盟成员国可以拒绝不履行义务的船公司的船舶进入其港口，同时作为船旗国的欧盟成员国可以对当事船舶进行扣押㊂④因此，无论是否采取与欧盟一样的碳排放交易机制，欧盟海运碳排放交易制度的制度内容都或多或少地能对ＩＭＯ和其他国家构建多边或者单边的海运碳排放市场机制带来参考价值㊂４７①②③④ 欧盟碳排放交易体系生效后２０２４年航运业将承担３０多亿欧元费用 ，新浪财经网，２０２３年７月７日，ｈｔｔｐｓ：／／ｆｉｎａｎｃｅ．ｓｉｎａ．ｃｏｍ．ｃｎ／ｅｓｇ／２０２３－０７－０７／ｄｏｃ－ｉｍｙｚｗｃｅｒ８２２２８０４．ｓｈｔｍｌ㊂ＺｈｅｎｇＷａｎ，ｅｔａｌ．， ＤｅｃａｒｂｏｎｉｚｉｎｇｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＳｈｉｐｐｉｎｇＩｎｄｕｓｔｒｙ：ＳｏｌｕｔｉｏｎｓａｎｄＰｏｌｉｃｙＲｅｃｏｍｍｅｎｄａｔｉｏｎｓ ，ＭａｒｉｎｅＰｏｌｌｕｔｉｏｎＢｕｌｌｅｔｉｎ，Ｖｏｌ．１２６，２０１８，ｐ．４３３．欧盟曾在２００８年通过２００８／１０１／ＥＵ号指令，计划自２０１２年起将抵达或离开欧盟成员国境内机场的所有航班的碳排放纳入欧盟碳排放交易体系，但该计划因受到国际社会普遍的抵制而最终搁浅㊂Ｄｉｒｅｃｔｉｖｅ（ＥＵ）２０２３／９５９ｏｆｔｈｅＥｕｒｏｐｅａｎＰａｒｌｉａｍｅｎｔａｎｄｔｈｅＣｏｕｎｃｉｌｏｆＴｈｅＥｕｒｏｐｅａｎＵｎｉｏｎｏｆ１０Ｍａｙ２０２３ ，ＯｆｆｉｃｉａｌＪｏｕｒｎａｌｏｆｔｈｅＥｕｒｏｐｅａｎＵｎｉｏｎ，Ｍａｙ１６，２０２３，ｈｔｔｐｓ：／／ｅｕｒ－ｌｅｘ．ｅｕｒｏｐａ．ｅｕ／ｌｅ⁃ｇａｌ－ｃｏｎｔｅｎｔ／ＥＮ／ＴＸＴ／？ｕｒｉ＝ＣＥＬＥＸ：３２０２３Ｌ０９５９，ｐａｒａ．３４．第１期㊀曹兴国：我国海运碳排放市场机制构建的进路统筹（２）对制度话语权的争夺在肯定欧盟单边进路积极价值的同时，我们同样需要认识到欧盟单边举措的政治意图，即对海运碳排放市场机制构建的话语权争夺，以及在此过程中的理念输出㊂事实上，提升欧盟在国际政治中的形象㊁维护欧盟的国际地位㊁占据国际道义的制高点，一直是欧盟推行积极的国际气候政策的根本目的㊂①具体而言，欧盟在海运领域推行碳排放交易制度的话语权导向最显著地体现在其对非更优惠待遇原则（ＮｏＭｏｒｅＦａｖｏｕｒａｂｌｅＴｒｅａｔｍｅｎｔ，ＮＭＦＴ）的贯彻上㊂非更优惠待遇原则强调所有的措施应当无差别地适用于所有国家的船舶，这显然与发展中国家在气候治理领域所主张的共同但有区别责任原则（ＣｏｍｍｏｎＢｕｔＤｉｆｆｅｒｅｎｔｉ⁃ａｔｅｄＲｅｓｐｏｎｓｉｂｉｌｉｔｙ，ＣＢＤＲ）存在根本分歧，这也是发展中国家和发达国家在多边层面海运碳排放治理中一直争论㊁并阻碍减排共识达成的重要问题㊂②作为发达国家集团的代表，欧盟在其海运碳排放交易的制度方案中充分体现了其立场，将非更优惠待遇原则作为制度基础，未对发展中国家做任何特殊安排㊂非更优惠待遇原则是此前ＩＭＯ公约普遍遵循的原则，主张其在碳减排领域适用的主要理由在于 方便旗 船屡见不鲜，船东的国籍可能与船舶的船旗国并不相同，船舶加油㊁运营和航行海域也可能分属不同国家，因而船旗国㊁燃料出售国㊁始发港㊁目的港或中转港所在国㊁货物生产国或消费国等都可以认为参与了温室气体排放，难以区别不同国家设定不同的减排标准㊂同时，鉴于国际海运产生的温室气体排放大部分发生在主权国家领土以外即公海上，按不同类型国家分别对海运碳减排以不同标准进行调整也是不合适的㊂③然而，严格强调该原则无疑也将忽视发达国家在气候治理领域的历史责任，忽视了中国等发展中国家作为新兴海运大国，其海运碳排放更多是 生存和发展性排放 的事实㊂此外，欧盟在海运领域适用碳排放交易制度，也会将欧盟碳排放交易制度本身追求国际话语权的一些内容带到海运领域㊂例如，通过倡导碳排放权交易机制的连接，欧盟不仅可以运用碳排放权交易规则影响其他国内碳排放权交易规则的制定，也可以随着连接规模的不断扩大，提升其碳排放权交易规则的国际化程度，最终从事实上上升为国际碳排放权交易规则㊂④１．３　我国应对单边市场机制的立场与措施欧盟雄心勃勃的海运碳排放交易制度与我国的海运利益并不相符㊂这种不相符性主要表现为欧盟的制度方案对共同但有区别责任原则的忽视与我国的一贯主张不符，也与我国海运业的发展利益不符㊂从运量的角度来看，海运中心东移已是不争的事实，现阶段对海运碳排放的控制主要限制的是包括我国在内的诸多新兴发展中国家海运业的未来发展空间㊂如果不顾历史事实和不同国家所处的发展阶段，苛求发展中国家在海运碳减排上承担与发达国家相同的责任，这对于发展中国家是不公平的㊂碳排放权是一种新的发展权，尤其在碳排放权分配方案的制定中应当考虑发展需求㊁人口数量㊁历史责任㊁公平正义原则等因素㊂⑤因此，我国历来主张碳减排遵循人际公平原则应贯穿历史和未来，既强调代内公平，也强调代际公平，各国所获得的碳排放权应受到其历史排放水平和人口数量的影响㊂⑥同时，我国海运业虽然在规模上已经处于世界前列，但现阶段凭既有技术和规模优势积累的行业优势很容易被新的技术和政策要求所５７①②③④⑤⑥巩潇泫： 多层治理视角下欧盟气候政策决策研究 ，山东大学博士论文，２０１７年，第５２页㊂ＹｕｂｉｎｇＳｈｉａｎｄＷａｒｗｉｃｋＧｕｌｌｅｔｔ， ＩｎｔｅｒｎａｔｉｏｎａｌＲｅｇｕｌａｔｉｏｎｏｎＬｏｗ－ＣａｒｂｏｎＳｈｉｐｐｉｎｇｆｏｒＣｌｉｍａｔｅＣｈａｎｇｅＭｉｔｉｇａｔｉｏｎ：Ｄｅｖｅｌｏｐｍｅｎｔ，Ｃｈａｌｌｅｎｇｅｓ，ａｎｄＰｒｏｓｐｅｃｔｓ ，ＯｃｅａｎＤｅｖｅｌｏｐｍｅｎｔ＆ＩｎｔｅｒｎａｔｉｏｎａｌＬａｗ，Ｖｏｌ．４９，Ｎｏ．２，２０１８，ｐ．１４５．Ｊａｅ－ＧｏｎＬｅｅ， ＩｎｔｅｒｎａｔｉｏｎａｌＲｅｇｕｌａｔｉｏｎｓｏｆＧｒｅｅｎｈｏｕｓｅＧａｓＥｍｉｓｓｉｏｎｓＦｒｏｍＩｎｔｅｒｎａｔｉｏｎａｌＳｈｉｐｐｉｎｇ ，Ａｓｉａ－ＰａｃｉｆｉｃＪｏｕｒｎａｌｏｆＯｃｅａｎＬａｗａｎｄＰｏｌｉｃｙ，Ｖｏｌ．４，Ｎｏ．１，２０１９，ｐｐ．５３－７８．参见赵骏㊁孟令浩： 我国碳排放权交易规则体系的构建与完善 基于国际法治与国内法治互动的视野 ，‘湖北大学学报“（哲学社会科学版），２０２１年第５期，第１２６页㊂参见杨泽伟： 碳排放权：一种新的发展权 ，‘浙江大学学报“（人文社会科学版），２０１１年第３期，第４０－４７页㊂参见王文军㊁庄贵阳： 碳排放权分配与国际气候谈判中的气候公平诉求 ，‘外交评论“，２０１２年第１期，第８０页㊂太平洋学报㊀第３２卷稀释甚至抹杀㊂例如我国传统造船业较为发达，而绿色低碳等新技术领域的造船仍有较大欠缺，结构性不平衡问题较为突出㊂①这意味着过去我们在传统造船领域的优势很可能将因为碳减排的新要求而遭到削弱㊂因此，与发达国家一样无差别地承担碳减排任务对我国海运业来说挑战大于机遇㊂而且我国与欧盟在碳排放市场机制建设上的理念和阶段差异，包括总量控制㊁配额分配方式㊁运行和交易管理等方面的差异，也决定了现阶段我国不可能跟随欧盟海运碳排放交易制度的步伐㊂例如，欧盟的碳价在２０２３年２月曾一度突破１００欧元／吨，而目前中国碳市场的碳价仅约为６０元／吨，两者在现阶段显然不具备对接的基础㊂此外，虽然有学者认为欧盟当前的海运碳排放交易制度符合国际海洋法和国际气候立法，②但其制度的合法性与有效性依然值得质疑㊂就合法性而言，虽然赋予一国国内环境保护法规以域外效力是当前及今后环境保护法规效力范围的发展趋势，也是多边环境保护条约的基本要求及制定目标，③但欧盟单方面将欧盟港口与非欧盟港口间航程的５０％碳排放量纳入碳排放交易系统缺乏足够的依据，因为在欧盟管辖海域所产生的碳排放量未必达到了５０％，欧盟很可能将船舶在其他国家和公海的航程所产生的碳排放纳入了自己的交易系统，涉嫌对自身管辖权的扩张和对其他国家排他性管辖权的侵犯㊂就有效性而言，单边路径不利于国际社会形成统一的减排规划和执行监督体系，甚至可能带来重复治理㊁管辖冲突等负面问题㊂而且欧盟单边行动很可能带来的直接效应是海运公司为减少在欧盟境内的碳排放，在进出欧盟的航线上投入更高技术标准的较新型船舶，而将旧船舶投入到其他航线，最终结果仅是改变了碳排放的地区分布，而非真正的碳减排㊂因此，可以参考当初国际社会抵制欧盟在航空领域推行碳排放交易制度的做法，对欧盟单边海运碳交易机制采取以下应对措施：第一，在通过双边对话表达我国反对立场的基础上，参考国际民航组织（ＩＣＡＯ）非欧盟成员国签署‘莫斯科宣言“共同反对欧盟单方面将国际航空纳入欧盟碳排放交易体系的做法，④联合ＩＭＯ的非欧盟成员国，要求欧盟停止单边行动，形成对欧盟的国际压力㊂事实上，早在欧盟提出将碳排放交易体系扩展到海运业的立法提案时，国际航运公会（ＩＣＳ）就曾对此提出异议，并通过影响分析向欧盟提出谨慎考虑实施区域性海运碳交易制度的提议㊂⑤第二，尝试推动ＩＭＯ通过决议，对欧盟单边措施与国际共识的违背性予以认定并敦促其放弃单边措施㊂值得参考的是，国际民航组织第１９４届理事会曾通过决议，认为欧盟单边行为违反了‘芝加哥公约“第一条列出的国家主权原则，同时也违反了‘联合国气候变化框架公约“及其‘京都议定书“的相关原则和规定，敦促欧盟与国际社会合作应对航空排放问题㊂⑥此外，考虑到欧盟单边进路的重要原因是多边机制的谈判进度缓慢，因此通过积极推动ＩＭＯ层面多边碳排放市场机制进程，使欧盟的单边进路不再具有必要性，可能是促使欧盟放弃单边措施的最有效理由㊂二㊁海运碳排放市场机制的多边进路统筹㊀㊀ＩＭＯ是国际上协调各国海上航行安全和防６７①②③④⑤⑥廖兵兵： 双碳 目标下我国航运实现碳中和路径研究 ，‘太平洋学报“，２０２２年第１２期，第９４页㊂ＭａｎｏｌｉｓＫｏｔｚａｍｐａｓａｋｉｓ， ＩｎｔｅｒｃｏｎｔｉｎｅｎｔａｌＳｈｉｐｐｉｎｇｉｎｔｈｅＥｕｒｏｐｅａｎＵｎｉｏｎＥｍｉｓｓｉｏｎｓＴｒａｄｉｎｇＳｙｓｔｅｍ：Ａ Ｆｉｆｔｙ－Ｆｉｆｔｙ ＡｌｉｇｎｍｅｎｔｗｉｔｈｔｈｅＬａｗｏｆｔｈｅＳｅａａｎｄＩｎｔｅｒｎａｔｉｏｎａｌＣｌｉｍａｔｅＬａｗ？ ＲＥＣＩＥＬ，Ｖｏｌ．３２，Ｎｏ．１，２０２３，ｐｐ．２９－４３．胡晓红： 欧盟航空碳排放交易制度及其启示 ，‘法商研究“，２０１１年第４期，第１４７页㊂我国签署 莫斯科宣言 反对欧盟单边征收航空碳税 ，中央政府门户网站，２０１２年２月２３日，ｈｔｔｐｓ：／／ｗｗｗ．ｇｏｖ．ｃｎ／ｇｏｖｗｅｂ／ｇｚｄｔ／２０１２－０２／２３／ｃｏｎｔｅｎｔ＿２０７５０６４．ｈｔｍ㊂ＩＣＳ， ＩｎｃｅｐｔｉｏｎＩｍｐａｃｔＡｓｓｅｓｓｍｅｎｔｆｏｒｔｈｅＰｒｏｐｏｓｅｄＡｍｅｎｄ⁃ｍｅｎｔｏｆｔｈｅＥＵＥｍｉｓｓｉｏｎｓＴｒａｄｉｎｇＳｙｓｔｅｍ（Ｄｉｒｅｃｔｉｖｅ２００３／８７／ＥＣ） ，Ｎｏｖｅｍｂｅｒ２６，２０２０，ｈｔｔｐｓ：／／ｗｗｗ．ｉｃｓ－ｓｈｉｐｐｉｎｇ．ｏｒｇ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐ⁃ｌｏａｄｓ／２０２０／１１／Ｉｎｃｅｐｔｉｏｎ－Ｉｍｐａｃｔ－Ａｓｓｅｓｓｍｅｎｔ－ｆｏｒ－ｔｈｅ－ｐｒｏｐｏｓｅｄ－Ａ⁃ｍｅｎｄｍｅｎｔ－ｏｆ－ｔｈｅ－ＥＵ－Ｅｍｉｓｓｉｏｎｓ－Ｔｒａｄｉｎｇ－Ｓｙｓｔｅｍ－Ｄｉｒｅｃｔｉｖｅ－２００３－８７－ＥＣ．ｐｄｆ．国际民航组织明确抗议欧盟航空征碳税计划受挫 ，中新网，２０１１年１１月４日，ｈｔｔｐｓ：／／ｗｗｗ．ｃｈｉｎａｎｅｗｓ．ｃｏｍ／ｃｊ／２０１１／１１－０４／３４３７７６６．ｓｈｔｍｌ㊂第１期㊀曹兴国：我国海运碳排放市场机制构建的进路统筹止船舶污染政策和制度的主要平台，有关海运碳排放市场机制的多边讨论也主要在ＩＭＯ层面展开㊂２．１㊀ＩＭＯ主导下的多边市场机制进程ＩＭＯ有关海运碳排放市场机制的谈判进程经历了一个曲折的过程㊂在２００６年召开的ＩＭＯ海上环境保护委员会第５５次会议通过的工作计划中，基于市场的措施被列为应考虑的减排措施之一，海运碳排放市场机制在ＩＭＯ层面开始得到关注㊂但由于发达国家和发展中国家之间缺乏共识等因素，此后成员国和相关组织提出的多种方案都未经深入讨论和评估，直至２０１３年的ＩＭＯ海上环境保护委员会第６５次会议宣布暂停有关市场机制内容的进一步讨论㊂中断的市场机制讨论在２０１８年重新获得重视 ＩＭＯ海上环境保护委员会第７２次会议通过的‘ＩＭＯ船舶温室气体减排初步战略“在中长期措施中明确提出考虑市场机制，并提出拟在２０２３年至２０３０年之间商定候选中期措施㊂此后，市场机制重新进入成员方视野，多国重启市场机制的讨论㊂在ＩＭＯ海上环境保护委员会第７９次会议期间，普遍形成的共识是将技术措施与经济措施相结合，特别是设计一揽子将温室气体燃料标准与经济措施（市场机制）相结合的措施，可以促进实现初始战略的目标，并筹集足够和可预测的收入，以刺激公正和公平的过渡㊂①此种共识的形成在很大程度上源于各国对碳排放市场机制价值的进一步认识和其他领域的经验积累，尤其是低碳㊁零碳燃料在短期内欠缺商业竞争力的情况下，各方意识到通过市场机制实现碳减排正向激励的必要性㊂目前，ＩＭＯ层面有关市场机制的讨论已经进入到关键阶段，相关成员国和组织也在不断提出和完善各自的方案㊂２．２㊀多边市场机制的方案选择当前提交至ＩＭＯ的候选方案都采用技术措施与市场机制相结合的形式，主要包括以下几种㊂（１）欧盟的温室气体燃料标准（ＧＦＳ）＋碳税（ｌｅｖｙ）方案温室气体燃料标准要求船舶在合规期内使燃料的温室气体强度（ＧＦＩ）等于或低于某一限值㊂在过渡阶段，为避免低／零排放燃料供应不均产生的影响，将以自愿参加的灵活合规机制（ＦＣＭ）为船方提供其他遵守温室气体燃料标准的方式：当船舶使用温室气体强度低于要求的燃料时将获得灵活合规单位（ＦＣＵ），灵活合规单位可以交易给使用超过温室气体强度要求燃料的船舶以抵销其超标的排量㊂另外，温室气体燃料标准登记处以一定的价格提供温室气体补救单位（ＧＨＧＲｅｍｅｄｉａｌＵｎｉｔｓ，ＧＲＵ）以抵销超额排放，温室气体补救单位的价格应反映船用燃料价值链中温室气体减排的成本，并增加劝阻因素，以确保灵活合规单位是替代合规的首选手段㊂与温室气体燃料标准相结合，碳税为其市场机制部分，由ＩＭＯ气候转型基金负责费用的征收与使用㊂温室气体燃料标准和征税都适用于全过程的温室气体排放（Ｗｅｌｌ－ｔｏ－Ｗａｋｅ）㊂②（２）中国㊁国际航运公会㊁日本的基金与奖励（ＦｕｎｄａｎｄＲｅｗａｒｄ）机制中国提议建立国际海运可持续基金与奖励（ＩｎｔｅｒｎａｔｉｏｎａｌＭａｒｉｔｉｍｅＳｕｓｔａｉｎａｂｌｅＦｕｎｄａｎｄＲｅ⁃ｗａｒｄ，ＩＭＳＦ＆Ｒ）机制㊂在最初方案中，中国等建７７①②ＭＥＰＣ， ＲｅｐｏｒｔｏｆｔｈｅＭａｒｉｎｅＥｎｖｉｒｏｎｍｅｎｔＰｒｏｔｅｃｔｉｏｎＣｏｍ⁃ｍｉｔｔｅｅｏｎＩｔｓＳｅｖｅｎｔｙ－ＮｉｎｔｈＳｅｓｓｉｏｎ ，ＴｈｅＳｅｖｅｎｔｙ－ＮｉｎｔｈＳｅｓｓｉｏｎｏｆｔｈｅＭａｒｉｎｅＥｎｖｉｒｏｎｍｅｎｔＰｒｏｔｅｃｔｉｏｎＣｏｍｍｉｔｔｅｅ，１６ｔｏ２０Ｍａｙ２０２２，ＭＥＰＣ７９／１５，ｐａｒａｓ．７，１４，５４．Ａｕｓｔｒｉａ，ｅｔａｌ．， ＣｏｍｂｉｎａｔｉｏｎｏｆＴｅｃｈｎｉｃａｌａｎｄＭａｒｋｅｔＢａｓｅｄＭｉｄ－ＴｅｒｍＭｅａｓｕｒｅｓＩｌｌｕｓｔｒａｔｅｄｂｙＣｏｍｂｉｎｉｎｇｔｈｅＧＨＧＦｕｅｌＳｔａｎｄａｒｄａｎｄａＬｅｖｙ ，Ｔｈｅ１３ｔｈＳｅｓｓｉｏｎｏｆｔｈｅＩｎｔｅｒｓｅｓｓｉｏｎａｌＷｏｒｋｉｎｇＧｒｏｕｐｏｎＲｅｄｕｃｔｉｏｎｏｆＧＨＧＥｍｉｓｓｉｏｎｓｆｒｏｍＳｈｉｐｓ，５ｔｏ９Ｄｅｃｅｍｂｅｒ２０２２，ＩＳＷＧ－ＧＨＧ１３／４／８；Ａｕｓｔｒｉａ，ｅｔａｌ．， ＥｌａｂｏｒａｔｉｏｎｏｎｔｈｅＰｒｏｐｏｓａｌｏｆＣｏｍｂｉｎｉｎｇｔｈｅＧＨＧＦｕｅｌＳｔａｎｄａｒｄａｎｄａＬｅｖｙ ，Ｔｈｅ１５ｔｈＳｅｓｓｉｏｎｏｆｔｈｅＩｎｔｅｒｓｅｓｓｉｏｎａｌＷｏｒｋｉｎｇＧｒｏｕｐｏｎＲｅｄｕｃｔｉｏｎｏｆＧＨＧＥｍｉｓｓｉｏｎｓｆｒｏｍＳｈｉｐｓ，２６ｔｏ３０Ｊｕｎｅ２０２３，ＩＳＷＧ－ＧＨＧ１５／３／２．关于温室气体燃料标准制度的解释，ＳｅｅＡｕｓｔｒｉａ，ｅｔａｌ．， ＰｒｏｐｏｓａｌｆｏｒａＧＨＧＦｕｅｌＳｔａｎｄａｒｄ ，Ｔｈｅ１２ｔｈＳｅｓｓｉｏｎｏｆｔｈｅＩｎｔｅｒｓｅｓｓｉｏｎａｌＷｏｒｋｉｎｇＧｒｏｕｐｏｎＲｅｄｕｃｔｉｏｎｏｆＧＨＧＥｍｉｓｓｉｏｎｓｆｒｏｍＳｈｉｐｓ，１６ｔｏ２０Ｍａｙ２０２２，ＩＳＷＧ－ＧＨＧ１２／３／３；Ａｕｓｔｒｉａ，ｅｔａｌ．， ＦｕｒｔｈｅｒＤｅｖｅｌｏｐｍｅｎｔｏｆｔｈｅＰｒｏｐｏｓａｌｆｏｒａＧＨＧＦｕｅｌＳｔａｎｄａｒｄ ，Ｔｈｅ１３ｔｈＳｅｓｓｉｏｎｏｆｔｈｅＩｎｔｅｒｓｅｓｓｉｏｎａｌＷｏｒｋｉｎｇＧｒｏｕｐｏｎＲｅｄｕｃｔｉｏｎｏｆＧＨＧＥｍｉｓｓｉｏｎｓｆｒｏｍＳｈｉｐｓ，５ｔｏ９Ｄｅ⁃ｃｅｍｂｅｒ２０２２，ＩＳＷＧ－ＧＨＧ１３／４／７．。

第１３卷㊀第６期Ｖｏｌ．１３Ｎｏ．６㊀㊀智㊀能㊀计㊀算㊀机㊀与㊀应㊀用ＩｎｔｅｌｌｉｇｅｎｔＣｏｍｐｕｔｅｒａｎｄＡｐｐｌｉｃａｔｉｏｎｓ㊀㊀２０２３年６月㊀Ｊｕｎ．２０２３㊀㊀㊀㊀㊀㊀文章编号：２０９５－２１６３（２０２３）０６－０００１－０７中图分类号：ＴＰ３９３．０９文献标志码：Ａ基于强化学习的车辆服务迁移方法周㊀率，韩㊀韧（上海理工大学光电信息与计算机工程学院，上海２０００９３）摘㊀要：近年来，随着中国对于车联网发展战略的落实，基础设施与车联应用服务规模不断增加，车联应用服务对于资源的需求越来越高，现有车辆配备的有限计算资源已无法满足需求，需要将服务迁移到路侧单元，以提供充足的计算资源并降低服务时延㊂本文在车辆边缘计算场景下，提出了一种基于强化学习的车辆服务迁移方法，以降低服务的延迟与能耗㊂首先为迁移过程中可能产生的成本建模，并把服务迁移问题规约为马尔可夫决策问题，通过应用深度强化学习算法以降低迁移产生的成本㊂实验结果表明，提出的算法优于基线算法，在高速环境下具有相对较强的鲁棒性㊂关键词：车联网；车辆边缘计算；服务迁移；强化学习ＶｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｂａｓｅｄｏｎｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇＺＨＯＵＬｖ，ＨＡＮＲｅｎ（ＳｃｈｏｏｌｏｆＯｐｔｉｃａｌ－ＥｌｅｃｔｒｉｃａｌａｎｄＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｈａｎｇｈａｉｆｏｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，Ｓｈａｎｇｈａｉ２０００９３，Ｃｈｉｎａ）ʌＡｂｓｔｒａｃｔɔＩｎｒｅｃｅｎｔｙｅａｒｓ，ｗｉｔｈｔｈｅｉｍｐｌｅｍｅｎｔａｔｉｏｎｏｆＣｈｉｎａᶄｓｖｅｈｉｃｌｅｔｏｅｖｅｒｙｔｈｉｎｇ（Ｖ２Ｘ）ｄｅｖｅｌｏｐｍｅｎｔｓｔｒａｔｅｇｙ，ｔｈｅｓｃａｌｅｏｆｉｎｆｒａｓｔｒｕｃｔｕｒｅａｎｄＶ２Ｘｓｅｒｖｉｃｅｓｈａｓｂｅｅｎｉｎｃｒｅａｓｉｎｇ．Ａｔｔｈｅｓａｍｅｔｉｍｅ，ｔｈｅｄｅｍａｎｄｆｏｒｒｅｓｏｕｒｃｅｓｆｏｒＶ２Ｘｓｅｒｖｉｃｅｓｉｓｇｅｔｔｉｎｇｈｉｇｈｅｒ，ｗｈｉｌｅｔｈｅｌｉｍｉｔｅｄｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓｅｑｕｉｐｐｅｄｗｉｔｈｅｘｉｓｔｉｎｇｖｅｈｉｃｌｅｓｃａｎｎｏｌｏｎｇｅｒｍｅｅｔｔｈｅｄｅｍａｎｄ．Ｔｈｅｒｅｆｏｒｅ，ｓｅｒｖｉｃｅｓｎｅｅｄｔｏｂｅｍｉｇｒａｔｅｄｔｏｒｏａｄｓｉｄｅｕｎｉｔｓｔｏｐｒｏｖｉｄｅｓｕｆｆｉｃｉｅｎｔｃｏｍｐｕｔｉｎｇｒｅｓｏｕｒｃｅｓａｎｄｌｏｗｅｒｓｅｒｖｉｃｅｌａｔｅｎｃｙ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｎｏｖｅｌｖｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｐｒｏｐｏｓｅｄｔｏｄｅｃｒｅａｓｅｔｈｅｓｅｒｖｉｃｅｌａｔｅｎｃｙａｎｄｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｉｎｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎ．Ｆｉｒｓｔｌｙ，ｔｈｅｃｏｓｔｄｕｒｉｎｇｍｉｇｒａｔｉｏｎｉｓｍｏｄｅｌｅｄａｎｄｔｈｅｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｐｒｏｂｌｅｍｉｓｆｏｒｍｕｌａｔｅｄａｓａＭａｒｋｏｖｄｅｃｉｓｉｏｎｐｒｏｂｌｅｍ．Ｔｈｅｎａｎｏｖｅｌａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｄｅｅｐｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇｉｓｐｒｏｐｏｓｅｄｔｏｓｏｌｖｅｔｈｉｓｉｓｓｕｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｏｕｔｐｅｒｆｏｒｍｓｔｈｅｂａｓｅｌｉｎｅｓａｎｄｈａｓｓｔｒｏｎｇｒｏｂｕｓｔｎｅｓｓｉｎｄｉｆｆｅｒｅｎｔｄｒｉｖｉｎｇｓｃｅｎａｒｉｏｓ．ʌＫｅｙｗｏｒｄｓɔｖｅｈｉｃｌｅｔｏｅｖｅｒｙｔｈｉｎｇ；ｖｅｈｉｃｕｌａｒｅｄｇｅｃｏｍｐｕｔｉｎｇ；ｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎ；ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ基金项目：软硬件协同设计技术与应用教育部工程研究中心（ＯＰ２０２２０２）㊂作者简介：周㊀率（１９９８－），男，硕士研究生，主要研究方向：边缘计算；韩㊀韧（１９８０－），男，博士，副教授，硕士生导师，主要研究方向：智能计算㊁物联网㊂通讯作者：韩㊀韧㊀㊀Ｅｍａｉｌ：ｒｅｎ．ｈａｎ＠ｕｓｓｔ．ｅｄｕ．ｃｎ收稿日期：２０２３－０３－１１０㊀引㊀言随着‘车联网（智能网联汽车）产业发展行动计划“通知的下发，中国车联网发展的战略目标已基本确定， 长三角三省一市统筹智能网联汽车产业发展规划 的签署进一步加快了中国车联网的发展㊂５Ｇ网络基础设施的不断完善以及国内外车联应用的涌现，使得车辆对计算资源和服务延迟的要求日益增加，现有车辆配备的计算资源已无法满足车联应用的需求，这种日益迫切的要求需要将车联应用服务迁移到具有更高计算能力的云端服务器上，但是传统的云计算不能满足车联网下的低延迟要求，因此需要考虑一种称为车载边缘计算（ＶｅｈｉｃｕｌａｒＥｄｇｅＣｏｍｐｕｔｉｎｇ，ＶＥＣ）的计算范式㊂在ＶＥＣ中，车辆将服务迁移到靠近车辆的路侧单元（ＲｏａｄＳｉｄｅＵｎｉｔ，ＲＳＵ）上，可以享受ＲＳＵ带来的低延迟㊁高带宽和充足的计算资源［１］㊂然而，盲目的迁移有时会影响服务性能，如：对于一个固定的车辆，将服务迁移到最近的ＲＳＵ在短期内可以带来良好的服务性能，但是考虑到车辆的移动性，该种策略可能会导致频繁迁移，进一步导致服务频繁中断，因此一个最佳的服务迁移策略应该考虑车辆的移动性㊂服务迁移也伴随着各种成本，包括计算成本㊁迁移成本和能源消耗，以全面评估迁移的效果㊂考虑到车辆的移动性，专注于短期的性能提升可能会导致频繁迁移因而带来巨大的成本，需要考虑迁移带来的长期累积回报，以权衡整体性能的提高㊂即当车辆远离ＲＳＵ时，如果服务性能仍然处于可接受的水平，一个最佳的迁移策略应该权衡服务迁移带来的收益与开销㊂为了提高服务迁移的性能表现，减少服务的延迟与开销，文献［２］研究了最小化移动设备和边缘服务器的总能量消耗，通过启发式算法产生了一个接近最优的解决方案；文献［３］提出在卸载比例和子载波分配时，必须考虑各种系统限制，包括延迟和子载波资源限制，以减少移动设备的能耗，并从混合整数规划（ＭｉｘｅｄＩｎｔｅｇｅｒＰｒｏｇｒａｍｍｉｎｇ，ＭＩＰ）问题中生成多对一匹配和线性编程的子问题，以解决子载波分配问题；文献［４］研究了下行链路资源分配㊁卸载决策和计算资源分配的联合优化，考虑了包括数据传输和任务计算的总成本，并建模为混合整数线性规划（ＭＩＬＰ）问题；文献［５］提出了李雅普诺夫优化的卸载决策，可以减少平均响应时间，同时降低移动设备的能耗；文献［６］评估了计算卸载的财务成本，并建模为决策和资源联合优化的ＭＩＬＰ问题；文献［７］以合作博弈理论为基础，通过终端设备和边缘云的协同合作来优化系统的性能，并提出了一种基于交易的计算卸载技术；文献［８］提出了Ｆｏｌｌｏｗ－ＭｅＣｈａｉｎ算法来解决服务功能链的问题；文献［９］研究了任务卸载，考虑了能耗和服务延迟的约束，并使用了二元卸载决策；文献［１０］提出了一个基于强化学习的离线无线接入网络分片解决方案和一个低复杂度的启发式算法，以满足不同分片的通信资源需求，使得资源利用率最大化；文献［１０］将迁移问题建模为一维马尔科夫决策过程（ＭａｒｋｏｖＤｅｃｉｓｉｏｎＰｒｏｃｅｓｓ，ＭＤＰ），并考虑了服务器和设备之间的欧氏距离；文献［１２］考虑了二维ＭＤＰ模型并提出了基于深度强化学习的迁移方案，使得时延与能耗最小㊂尽管现有的工作在服务迁移策略方面取得了很大的进展，但仍需要进一步探索，包括迁移过程中成本的建模以及车辆的移动性㊂本文将车辆的服务迁移过程建模为ＭＤＰ，同时考虑了包括计算成本㊁迁移成本和能耗的成本，此外，本文还使用行驶速度代表示车辆的运动状态，并提出了一种基于强化学习的迁移算法，该算法可以有效地解决传统ＭＤＰ中维度过高的问题，并利用Ａｃｔｏｒ－Ｃｒｉｔｉｃ网络和熵来确保收敛性和可探索性㊂最后，本文基于真实数据集进行实验并对算法进行评估㊂１㊀系统模型建立车辆行驶随机分布在城市区域的道路中，道路配备了若干通信范围相等的ＲＳＵ，并且每个ＲＳＵ都具有相同的计算能力㊂用Ｅ＝｛ｅ１，ｅ２， ，ｅｉ｝表示所有ＲＳＵ的集合，用Ｕ＝｛ｕ１，ｕ２， ，ｕｊ｝表示所有车辆的合集，每个车辆ｕɪＵ都有一个计算任务且可以选择在本地计算或者通过无线网络迁移到ＲＳＵ上㊂车辆移动时可以连接到任意一个路侧单元ｅɪＥ㊂为了保证车辆采取迁移决策时的满意程度，本文用迁移成本，计算成本，能源消耗等相关指标来衡量服务迁移过程中产生的开支㊂１．１㊀通信模型本文假定车辆通过Ｖ２Ｘ的蜂窝网络和毫米波与ＲＳＵ进行通讯㊂１．１．１㊀５Ｇ蜂窝网络根据香农公式，在假定被高斯白噪声干扰的信道中，理论的最大信息传输速率为公式（１）：Ｃ＝Ｂｌｏｇ２１＋ＳＮæèçöø÷（１）㊀㊀其中，Ｂ是信道带宽；Ｓ是信道内所传输信号的平均功率；Ｎ是信道内部的高斯噪声功率㊂因此，车辆ｕ和路侧单元ｅ之间的数据传输率可以表示为式（２）：Ｃｃｕ，ｅ＝Ｂｃｌｏｇ２１＋Ｈｕ，ｅｄｕ，ｅ｜ｈ｜２Ｎｃ２æèçöø÷（２）㊀㊀其中，Ｂｃ是信道带宽；Ｈｕ，ｅ是车辆ｕ的车载通信设备与其对应的路侧单元ｅ的传输功率；ｄｕ，ｅ表示车辆ｕ与路侧单元ｅ的距离；ｈ表示瑞利衰落因子；Ｎｃ是高斯噪声功率㊂１．１．２㊀毫米波模式ＮＲ－Ｖ２Ｘ采用毫米波模式，本文假定每辆车辆都配备有定向天线阵列，并且采用了定向波束形成来增强毫米波信号的传播㊂为了最大化提高毫米波天线的指向性增益，本文假定对发射器和接收器进行光束准直，因此可以将定向天线模式近似为理想的水平面上的扇形模型［１３］，天线增益可以建模为式（３）：ｇｕ，ｅη()＝ｇｍ，ηɤηᶄ２ｇｓ，η＞ηᶄ２ìîíïïïï（３）㊀㊀其中，η为当前天线的角度与当天线增益达到峰值时的角度之差，即天线转向方向的可容忍对准２智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀误差；ηᶄ是射束宽度；ｇｍ和ｇｓ分别是主瓣和旁瓣天线的定向增益㊂在上述条件下，本文将毫米波信道带宽表示为式（４）：Ｃｍｕ，ｅ＝Ｂｍｌｏｇ２１＋ＳＩＮＲｕ，ｅ()（４）㊀㊀其中，Ｂｍ是毫米波信号带宽㊂车辆天线与基站天线的信噪比为式（５）［１４］：ＳＩＮＲｕ，ｅ＝ｐｕ－Ｎｍ－１０ｌｏｇ１０Ｂｍ()＋２ｇｍ－１０αｌｏｇ１０ｄｕ，ｅ()－６９．６－ρ（５）其中，ｐｕ是车辆ｕ配备的毫米波收发器的传输功率；Ｎｍ是噪声功率谱密度；ｄｕ，ｅ表示车辆ｕ和路侧单元ｅ间的曼哈顿距离；ρ Ｎ０，σ２()是以分贝为单位的阴影衰落模型；而σ为标准偏差㊂１．１．３㊀通信模型车辆与ＲＳＵ的数据传输速率可以表示为式（６）：Ｃｕ，ｅ＝λｃＣｃｕ，ｅ＋λｍＣｍｕ，ｅｓ．ｔ．λｃ＝０，１{}，λｍ＝０，１{}，λｃ＋λｍ＝１（６）其中，λｃ，λｍ分别为代表是否使用５Ｇ蜂窝网络或ＮＲ模式进行通讯的二元变量㊂当λｃ＝１时，假设车辆ｕ使用５Ｇ蜂窝网络作为通讯方式，λｍ＝０；反之当λｃ＝０时，λｍ＝１认为车辆ｕ使用ＮＲ模式作为通讯方式㊂１．２㊀迁移成本模型本文使用了平台服务（ＰａａＳ）范式，并采用Ｄｏｃｋｅｒ技术，该技术具有增强应用程序可移植性的机制，可以让应用程序无环境差异地部署在各个地方，因此本文将服务迁移成本建模为Ｄｏｃｋｅｒ服务镜像迁移成本㊂假定每个车辆都包含计算任务，且任务定义为一个二元组：Ｔｕ＝ｐｕ，Ｓｕ{}，其中ｐｕ是完成任务Ｔｕ所需的计算资源，Ｓｕ代表车辆ｕ执行的服务镜像大小㊂本文采用了部分迁移而非二元迁移，并假定车辆ｕ卸载到远程路侧单元ｅ的服务比例为ωｖｅｃｕ，ｅ，表示为式（７）：ωｌｏｃｕ＝１－ωｖｅｃｕ，ｅ（７）㊀㊀其中，ωｖｅｃｕ，ｅ表示车辆ｕ卸在本地执行的服务比例㊂据服务镜像大小，可以得出在路侧单元ｅ执行的服务的镜像大小，式（８）：Ｓｖｅｃｕ，ｅ＝ωｌｏｃｕˑＳｕ（８）㊀㊀因此迁移成本如式（９）：Ｇｍｉｇｕ，ｅ＝Ｓｖｅｃｕ，ｅＣｕ，ｅ＝ωｌｏｃｕˑＳｕλｃＣｃｕ，ｅ＋λｍＣｍｕ，ｅ（９）㊀㊀其中，λｃ＝０，１{}，λｍ＝０，１{}，λｃ＋λｍ＝１１．３㊀计算成本模型１．３．１㊀本地车载计算当车辆ｕ在本地计算时，计算开销的时间取决于其可用资源㊂本文假设ｆｌｏｃｕ是车辆ｕ的车载计算资源，则本地计算时间ｔｌｏｃｕ的计算公式（１０）：ｔｌｏｃｕ＝ｐｕｆｌｏｃｕ（１０）１．３．２㊀远程ＶＥＣ计算当本地计算资源紧张或者计算负载过高时，可以将服务卸载到远程路侧单元上进行计算㊂在许多包括道路检测和智能制动在内的应用中，因为其镜像的大小远大于从路侧单元传输回来的数据大小，所以本文假定路侧单元返回的计算结果的接收时间忽略不计，则车辆ｕ的远程计算时间ｔｖｅｃｕ表示为公式（１１）：ｔｖｅｃｕ＝ｐｕｆｖｅｃｕ（１１）㊀㊀其中，ｆｖｅｃｕ表示路侧单元分配给车辆ｕ的计算资源，ｐｕ是完成任务Ｔｕ所需的计算资源㊂本文假定车辆ｕ卸载到远程路侧单元ｅ的服务比例为ωｖｅｃｕ，ｅ，车辆ｕ卸载本地执行的服务比例为ωｌｏｃｕ，因此计算成本可以表示为式（１２）：Ｇｃｏｍｐｕ，ｅ＝ωｌｏｃｕｐｕｆｌｏｃｕ＋ωｖｅｃｕ，ｅｐｕｆｖｅｃｕ（１２）１．４㊀能耗模型当本地计算资源紧张或者计算负载过高时，可以将服务卸载到路侧单元上㊂在这种情况下，传输能耗可以由公式（１３）计算：Ｐｖｅｃｕ，ｅ＝ϑｅˑＳｖｅｃｕ，ｅＣｕ，ｅ（１３）㊀㊀其中，ϑｅ表示车辆ｕ在卸载时的平均传输功率；Ｓｖｅｃｕ，ｅ是服务镜像的大小；Ｃｕ，ｅ是车辆ｕ可访问的数据传输速率㊂２㊀基于强化学习的车辆服务迁移２．１㊀马尔可夫决策问题服务迁移策略应该考虑若干成本，在服务迁移过程中对于成本的优化可以采用ＭＤＰ进行解决［１１］㊂ＭＤＰ由四元组构成＜Ａ，Ｓ，Ｒ，Ｐ＞，其中Ａ代表智能体的所有行动，Ｓ是智能体可以感知的环境状态，Ｐ是在时隙ｔ状态下的行动将导致下一个时隙ｔ＋１的状态的概率，Ｒ是一个实数，代表奖励３第６期周率，等：基于强化学习的车辆服务迁移方法或惩罚［１５］㊂２．１．１㊀动作空间本文将时隙ｔ的行动αｔɪＡ定义为αｔ＝｛ωｖｅｃｕ，ｅｔ()，Ｗｔ()｝，ωｖｅｃｕ，ｅｔ()表示时隙ｔ中车辆ｕ的服务迁移给路侧单元的比例，Ｗｔ()＝｛－１，０，１，２， ，Ｉ｝表示时隙ｔ中车辆ｕ迁移的目标路侧单元，若Ｗｔ()＝－１则表示时隙ｔ中车辆ｕ不进行迁移，若Ｗｔ()ȡ０表示时隙ｔ中车辆ｕ将服务迁移到序号为Ｗｔ()的路侧单元㊂２．１．２㊀奖励函数由于强化学习的根本目标在于提升智能体的长期累积回报，因此合理的奖励函数能够提升训练速度与性能表现㊂长期累积回报的定义如式（１４）：Ｇｔ()＝ð¥ｔ＝０γｔｒｔ()，０ɤγ＜１（１４）㊀㊀其中，ｒｓｔ()是时隙ｔ中获得的奖励值，γ表示折扣率，用于计算未来奖励值的现值㊂本文的奖励函数设计如式（１５）：ｒｔ()＝ΔＧｍｉｇｔ()＋ΔＧｃｏｍｐｔ()＋ΔＰｔ()（１５）㊀㊀其中，ΔＧｍｉｇｔ()㊁ΔＧｃｏｍｐｔ()和ΔＰｔ()分别表示时隙ｔ迁移成本㊁计算成本和能耗的下降百分比㊂以ΔＰｔ()为例，如式（１６）定义：ΔＰｔ()＝Ｐｔ－１()－Ｐｔ()Ｐｔ－１()（１６）２．２㊀算法描述本文采用基于ＳｏｆｔＡｃｔｏｒ－Ｃｒｉｔｉｃ的强化学习算法，该算法考虑了预期收益和熵之间的最大化效益，因此最优迁移策略定义为式（１７）：π∗＝ａｒｇｍａｘπðｔE ｓｔ，ａｔ()ρπγｔｒｓｔ，ａｔ()＋[αＨπ㊃∣ｓｔ()()]（１７）其中，ａｔ代表智能体在时隙ｔ采取的行动；ｓｔ代表智能体在时隙ｔ的状态；γ表示奖励值折扣率；温度参数α决定了熵值的相对重要性；Ｈ（π（㊃∣ｓｔ））代表熵㊂Ｖ值表示当前环境状态下开始，未来能获得奖励的期望值，用于表现当前环境状态的好坏程度；Ｑ值表示在选取某个行动后，未来能获得奖励的期望值，该值衡量的是当前选取的行动的好坏程度㊂Ｖ值和Ｑ值之间的关系如图１所示㊂㊀㊀根据贝尔曼方程，Ｖ值和Ｑ值可以表示为式（１８）和式（１９）：Ｖｓｔ()＝Eτ πð¥ｔ＝０γｔｒｓｔ，ａｔ()＋αＨπ㊃∣ｓｔ()()()[]（１８）Ｑｓｔ，ａｔ()＝Eτ πð¥ｔ＝０γｔｒｓｔ，ａｔ()＋αð¥ｔ＝０γｔＨπ㊃∣ｓｔ()()[]（１９）V 值QQ QS SSQ 值V SAA A图１㊀Ｑ值与Ｖ值关系图Ｆｉｇ．１㊀ＴｈｅｒｅｌａｔｉｏｎｓｈｉｐｂｅｔｗｅｅｎＱｖａｌｕｅａｎｄＶｖａｌｕｅ２．２．１㊀Ｃｒｉｔｉｃ网络更新传统强化学习中，由于维度过高会引发训练困难的问题［１６］，因此引入神经网络进行近似，本文提出的算法网络由一个Ａｃｔｏｒ网络和两个Ｃｒｉｔｉｃ㊁目标Ｃｒｉｔｉｃ网络构成㊂Ｃｒｉｔｉｃ网络的损失函数可以表示为式（２０）：ＪＱθｋ()＝E （ｓｔ，ａｔ） ＤＱθｋｓｔ，ａｔ()－ｙ()２[]（２０）其中，θｋ为Ｃｒｉｔｉｃ网络参数；Ｄ表示重放缓冲区，可以通过ＤѳＤɣｓｔ，ａｔ，ｒｔ，ｓｔ＋１()更新；Ｑθｋｓｔ，ａｔ()是时隙ｔ的状态行动价值；ｙ表示目标网络的Ｑ值，可以表示为式（２１）：㊀ｙ＝ｒｓｔ，ａｔ()＋γＶｓｔ＋１()＝ｒｓｔ，ａｔ()＋γｍｉｎｋ＝１，２Ｑθ－ｋｓｔ＋１，ａｔ＋１()－(αｌｏｇπａｔ＋１∣ｓｔ＋１())（２１）其中，ｍｉｎｋ＝１，２Ｑθ－ｋｓｔ＋１，ａｔ＋１()表示取两个目标网络输出的最小值，能够有效防止过高估计㊂根据式（２０）和式（２１），Ｃｒｉｔｉｃ网络的更新公式为式（２２）：Ñθｋ１Ｄð（ｓｔ，ａｔ，ｒ（ｓｔ，ａｔ），ｓｔ＋１） Ｄ（Ｑθｋ（ｓｔ，ａｔ）－ｙ）２（２２）㊀㊀并根据式（２３）更新目标Ｃｒｉｔｉｃ网络：θｋ－＝λθｋ－－１－λ()θｋ（２３）㊀㊀其中，θｋ为目标Ｃｒｉｔｉｃ网络的参数，λ为网络的更新比例㊂２．２．２㊀Ａｃｔｏｒ网络更新Ａｃｔｏｒ网络的损失函数通过式（２４）计算：Ｊπϕ()＝E ｓｔ Ｄ，ɪｔ Ｎαｌｏｇπϕｆϕεｔ；ｓｔ()｜ｓｔ()－[Ｑθｓｔ，ｆϕεｔ；ｓｔ()()]（２４）其中，ｆϕεｔ；ｓｔ()采用了重参数化技巧，式（２５）：ａｔ＝ｆϕεｔ；ｓｔ()＝ｆμϕｓｔ()＋εｔ☉ｆσϕｓｔ()（２５）４智㊀能㊀计㊀算㊀机㊀与㊀应㊀用㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀第１３卷㊀其中，ｆμϕ和ｆσϕ分别为均值和方差，ε Ｎ（ε）是正态分布下的噪声参数㊂策略参数可以通过式（２６）更新：ｍａｘϕEｓｔ Ｄ，εｔ Ｎｍｉｎｋ＝１，２Ｑθｋｓｔ，ａｔ()－αｌｏｇπａｔ∣ｓｔ()()[]（２６）其中，ａｔ是从策略π㊃∣ｓｔ()中采样得到的，因此可以将其微分㊂车辆服务迁移算法见表１㊂表１㊀车辆服务迁移算法Ｔａｂ．１㊀Ｖｅｈｉｃｕｌａｒｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎａｌｇｏｒｉｔｈｍ算法１㊀车辆服务迁移算法输入㊀初始策略参数ϕ，Ｑ函数网络参数θｋ，目标网络参数θｋ－，ｋ＝１，２输出㊀模型权重１㊀初始化重放缓冲区Ｄ２㊀ｆｏｒ每次迭代ｄｏ３㊀㊀ｆｏｒｔ＝１，最大时间步ｄｏ４㊀㊀㊀观察环境状态ｓｔ，根据策略选定动作ａｔ，观察执行后的环境状态ｓｔ＋１５㊀㊀㊀根据公式（１５）计算奖励值ｒｓｔ，ａｔ()６㊀㊀㊀更新重放缓冲区Ｄ＝ｓｔ，ａｔ，ｒｓｔ，ａｔ()，ｓｔ＋１()７㊀㊀结束ｆｏｒ循环８㊀㊀ｆｏｒ每次更新ｄｏ９㊀㊀㊀从重放缓冲区Ｄ中采样ｓｔ，ａｔ，ｒｓｔ，ａｔ()，ｓｔ＋１() Ｄ１０㊀㊀㊀根据公式（２０）计算ｙ，并根据公式（２２）更新θｋ１１㊀㊀㊀根据公式（２３）更新θｋ－１２㊀㊀㊀根据公式（２６）和梯度Ñθ１ＤðｓɪＤｍｉｎｋ＝１，２Ｑθｋｓｔ，ａｔ()－αｌｏｇπａｔ∣ｓｔ()()()更新ϕ１３㊀㊀结束ｆｏｒ循环１４㊀结束ｆｏｒ循环３㊀实验３．１㊀数据集介绍为了评估所提出的算法在真实场景中的性能，本文采用微软亚洲研究院在２００７年４月至２０１２年８月期间在Ｇｅｏｌｉｆｅ项目中收集的ＧＰＳ轨迹数据集，该数据集由一连串带有经度㊁纬度和高度的时间戳的点，包含的轨迹总距离为１２９２９５１ｋｍ，总时间为５０１７６ｈ㊂同时本文使用阿里巴巴集群数据来模拟真实场景中ＲＳＵ的负载，该数据集中包含每台机器的资源使用情况㊁容器的元信息和事件信息以及每个容器的资源使用情况㊂３．２㊀实验环境本文的仿真实验硬件平台配置：Ｉｎｔｅｌｉ５－１２５００，３２ＧＢＤＤＲ４内存和ＮＶＩＤＩＡＧＴＸ３０６０；软件平台基于Ｐｙｔｈｏｎ３．７．９，ＯｐｅｎＡＩ－ｇｙｍ和Ｍａｎｊａｒｏ㊂本文将通信范围设定为２００ｍ，实验参数设定见表２㊂表２㊀实验参数设置Ｔａｂ．２㊀Ｅｘｐｅｒｉｍｅｎｔｐａｒａｍｅｔｅｒｓｓｅｔｔｉｎｇ参数值重放缓冲区大小１００００优化器Ａｄａｍ学习率｛０．１，０．０１，０．００５，０．００１｝Ｍｉｎｉｂａｔｃｈｓｉｚｅ１２８折扣率０．９８５最大迭代次数６００００车辆数量２０车辆平均速度［１０－６０］ｋｍ／ｈＲＳＵ计算能力１６ＧＨｚ３．２．１㊀算法收敛性本文首先研究学习率对提出算法的影响，将学习率设置为：０．１㊁０．０１㊁０．０３㊁０．００１，采用在不同迭代次数的平均服务时延作为评价指标，平均服务时延越小，算法的表现也就越好㊂学习率对算法收敛性５第６期周率，等：基于强化学习的车辆服务迁移方法影响的实验结果如图２所示，当学习率为０．００５时，在经过９５００次迭代后收敛到最优值并能保持稳定状态；当学习率为０．００１时，在经过１５０００次迭代后收敛；当学习率为０．１㊁０．０１时，曲线变得极不稳定，而且很难收敛到稳定状态㊂因此，研究得出学习率对于算法的稳定程度具有较高影响，这是由于学习率决定了模型权重更新的速度和幅度，对模型的收敛性具有重要影响㊂过高的学习率会导致模型在训练过程中无法收敛并出现不稳定的训练行为，使得模型的性能反而变得更差；相反，如果学习率过低，模型的权重更新会变得缓慢㊂959085807570656055504506000120001800024000300003600042000480005400060000迭代次数平均服务时延学习率=0.001学习率=0.005学习率=0.1学习率=0.01图２㊀不同学习率对算法收敛性的影响Ｆｉｇ．２㊀Ｅｆｆｅｃｔｏｆｄｉｆｆｅｒｅｎｔｌｅａｒｎｉｎｇｒａｔｅｓｏｎｃｏｎｖｅｒｇｅｎｃｅ３．２．２㊀不同算法的服务时延对比为了进一步验证算法的可靠性，将本文采用的算法与就近迁移（ＡｌｗａｙｓＭｉｇｒａｔｅＣｌｏｓｅｌｙ，ＡＭＣ）㊁随机迁移（Ｒａｎｄｏｍ）和深度Ｑ学习（ＤｅｅｐＱ－Ｌｅａｒｎｉｎｇ，ＤＱＮ）算法进行对比，以验证不同移动性下算法的稳定性及其表现㊂算法的学习率设定为０．００５，实验结果如图３所示㊂随着平均车辆移动速度的增加，各算法的平均服务延迟都在上升，这是由于车辆行驶速度越快，离开ＲＳＵ通信范围的间隔也就越小，服务迁移的触发频率随之上升㊂本文和ＤＱＮ算法的平均服务延迟都处于较低的水准，同时其增长速率也较为缓慢㊂ＡＭＣ算法虽然每次都选择就近的ＲＳＵ，但是迁移服务时带来的额外开支并不能弥补其服务延迟㊂与ＤＱＮ算法相比，本文提出的算法在移动速度为２０ｋｍ／ｈ时有８．６％的优势，当移动速度达到６０ｋｍ／ｈ时有１５．３％的优势，这是由于本文提出的算法具有较高的探索率，相比ＤＱＮ算法可以探索更多的迁移决策，从而使得平均服务时延上升速度较为缓慢㊂３．２．３㊀不同算法的能耗对比对比各算法在不同车辆移动速度下的平均能耗，实验结果如图４所示，随着平均车辆移动速度的增加，各算法的能耗同步上升，其中ＡＭＣ算法的上升速率最快，这是由于车辆移动速度的上升导致车辆更快的离开ＲＳＵ通信范围，进而频繁触发迁移行动，ＡＭＣ算法的能耗因此远远高于其他算法㊂而Ｒａｎｄｏｍ算法在远离ＲＳＵ后并没有完全决定迁移，因此相比ＡＭＣ算法其能耗仍有一定优势㊂基于强化学习的ＤＱＮ和本文算法具有较大的优势，这是因为奖励函数中能耗带来的奖励值使得算法对于迁移决策较为慎重，频繁地触发服务迁移并不总是最优策略㊂与ＤＱＮ相比，本文提出的算法在６０ｋｍ／ｈ移动状态下有１４．４％的优势，这是由于该算法在训练过程中充分探索了可能的策略，因而与ＤＱＮ相比能使用更优的策略以降低能耗水平㊂本文D Q N R a n d o m A M C807570656055504540202530354045505560平均车辆移动速度/(k m ?h -1)平均服务延迟/m s图３㊀不同车辆移动速度下的平均服务延迟Ｆｉｇ．３㊀Ａｖｅｒａｇｅｓｅｒｖｉｃｅｄｅｌａｙｆｏｒｄｉｆｆｅｒｅｎｔｖｅｈｉｃｌｅｍｏｖｅｍｅｎｔｓｐｅｅｄｓ本文D Q N R a n d o m A M C55504540353025202530354045505560平均车辆移动速度/(k m ?h -1)平均能耗/J图４㊀不同车辆移动速度下的平均能耗Ｆｉｇ．４㊀Ａｖｅｒａｇｅｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｆｏｒｄｉｆｆｅｒｅｎｔｖｅｈｉｃｌｅｍｏｖｅｍｅｎｔｓｐｅｅｄｓ４㊀结束语针对中国目前重点发展方向之一的车联网，本（下转第１２页）４　结束语本文设计了一种基于ＦＰＧＡ的ＵＤＰ＿ＩＰ协议栈，ＩＣＭＰ报文和ＵＤＰ报文数据部分在该协议栈内完成了正确的缓存和转发，当发送ＡＲＰ报文时，在该协议栈内能够及时进行ＡＲＰ列表的更新㊂本设计具有良好的稳定性和可靠性，为高速以太网通信提供了一个很好的解决方案，有着广泛的应用前景㊂参考文献［１］武朋，黄虎，王兴．基于ＦＰＧＡ的ＴＣＰ／ＩＰ协议设计与实现［Ｊ］．软件导刊，２０１３，１２（５）：２２－２３．［２］朱明辉，司斌，张从霞，等．ＦＰＧＡ与８８Ｅ１１１１的千兆以太网接口设计［Ｊ］．单片机与嵌入式系统应用，２０１７，１７（３）：６０－６３，６６．［３］李勋，刘文怡．基于ＦＰＧＡ的以太网接口设计与实现［Ｊ］．自动化与仪表，２０１４，２９（５）：５７－６０．［４］董永吉，王钰，袁征．基于ＦＰＧＡ的万兆以太网ＵＤＰ＿ＩＰ硬件协议栈设计与实现［Ｊ／ＯＬ］．计算机应用研究：１－４［２０２２－０４－２５］．［５］韩剑南，胡辽林．基于ＦＰＧＡ和ＵＤＰ／ＩＰ协议的千兆网络图传系统［Ｊ］．计算机系统应用，２０１８，２７（３）：９９－１０４．［６］刘源，张刚．可靠ＵＤＰ协议栈的ＦＰＧＡ实现［Ｊ］．火力与指挥控制，２０１７，４２（７）：１３９－１４３．（上接第６页）文研究了基于该环境下的服务迁移问题，并对服务迁移过程中产生的计算成本㊁迁移成本和能耗建模，将迁移决策规划为部分迁移而非二元迁移，同时考虑了车辆移动性带来的问题㊂本文将服务迁移建模为ＭＤＰ问题，并提出了基于深度强化学习的服务迁移算法来降低服务的平均时延和能耗㊂实验结果表明，本文提出的算法在学习率为０．００５时能够较快达到收敛，并且与其他算法相比在２０ｋｍ／ｈ和６０ｋｍ／ｈ时分别有８．６％和１５．３％的性能提升，同时当移动速度处于６０ｋｍ／ｈ时，在能耗方面有１４．４％的优势㊂在未来工作中，将车辆加速度引入以预测用户驾驶车辆的移动意图，从而进行更精确的迁移决策㊂参考文献［１］ＡＢＢＡＳＮ，ＺＨＡＮＧＹ，ＴＡＨＥＲＫＯＲＤＩＡ，ｅｔａｌ．Ｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ：Ａｓｕｒｖｅｙ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓＪｏｕｒｎａｌ，２０１８，５（１）：４５０－４６５．［２］ＢＩＪ，ＹＵＡＮＨ，ＤＵＡＮＭＵＳ，ｅｔａｌ．Ｅｎｅｒｇｙ－ｏｐｔｉｍｉｚｅｄｐａｒｔｉａｌｃｏｍｐｕｔａｔｉｏｎｏｆｆｌｏａｄｉｎｇｉｎｍｏｂｉｌｅ－ｅｄｇｅｃｏｍｐｕｔｉｎｇｗｉｔｈｇｅｎｅｔｉｃｓｉｍｕｌａｔｅｄ－ａｎｎｅａｌｉｎｇ－ｂａｓｅｄｐａｒｔｉｃｌｅｓｗａｒｍｏｐｔｉｍｉｚａｔｉｏｎ［Ｊ］．ＩＥＥＥＩｎｔｅｒｎｅｔｏｆＴｈｉｎｇｓＪｏｕｒｎａｌ，２０２０，８（５）：３７７４－３７８５．［３］ＺＨＡＮＧＱ，ＺＨＥＮＧＨ，ＺＨＯＮＧＺ，ｅｔａｌ．Ｅｎｅｒｇｙｍｉｎｉｍｉｚａｔｉｏｎｆｏｒｆｏｇｃｏｍｐｕｔｉｎｇ－ｅｎａｂｌｅｄｈｉｅｒａｒｃｈｉｃａｌｎｅｔｗｏｒｋｓｗｉｔｈｄｙｎａｍｉｃＴＤＤ［Ｃ］／／２０１９ＩＥＥＥ／ＣＩＣＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓｉｎＣｈｉｎａ（ＩＣＣＣ）．ＩＥＥＥ，２０１９：５９０－５９５．［４］ＷＡＮＧＫ，ＨＵＺ，ＡＩＱ，ｅｔａｌ．Ｊｏｉｎｔｏｆｆｌｏａｄｉｎｇａｎｄｃｈａｒｇｅｃｏｓｔｍｉｎｉｍｉｚａｔｉｏｎｉｎｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＯｐｅｎＪｏｕｒｎａｌｏｆｔｈｅＣｏｍｍｕｎｉｃａｔｉｏｎｓＳｏｃｉｅｔｙ，２０２０，１：２０５－２１６．［５］ＷＵＦ，ＬＩＸ，ＬＩＨ，ｅｔａｌ．Ｅｎｅｒｇｙ－ｔｉｍｅｅｆｆｉｃｉｅｎｔｔａｓｋｏｆｆｌｏａｄｉｎｇｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇｉｎｈｏｔ－ｓｐｏｔｓｃｅｎａｒｉｏｓ［Ｃ］／／ＩＣＣ２０２１－ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ．ＩＥＥＥ，２０２１：１－６．［６］ＳＩＮＧＨＳ，ＫＩＭＤＨ．Ｐｒｏｆｉｔｏｐｔｉｍｉｚａｔｉｏｎｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇｕｓｉｎｇｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍ［Ｃ］／／２０２１ＩＥＥＥＲｅｇｉｏｎ１０Ｓｙｍｐｏｓｉｕｍ（ＴＥＮＳＹＭＰ）．ＩＥＥＥ，２０２１：１－６．［７］ＫＩＭＳ．Ｂａｒｇａｉｎｉｎｇｇａｍｅｂａｓｅｄｏｆｆｌｏａｄｉｎｇｓｅｒｖｉｃｅａｌｇｏｒｉｔｈｍｆｏｒｅｄｇｅ－ａｓｓｉｓｔｅｄｄｉｓｔｒｉｂｕｔｅｄｃｏｍｐｕｔｉｎｇｍｏｄｅｌ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０２２，１０：６３６４８－６３６５７．［８］ＯＵＹＡＮＧＴ，ＺＨＯＵＺ，ＣＨＥＮＸ．Ｆｏｌｌｏｗｍｅａｔｔｈｅｅｄｇｅ：Ｍｏｂｉｌｉｔｙ－ａｗａｒｅｄｙｎａｍｉｃｓｅｒｖｉｃｅｐｌａｃｅｍｅｎｔｆｏｒｍｏｂｉｌｅｅｄｇｅｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＪｏｕｒｎａｌｏｎＳｅｌｅｃｔｅｄＡｒｅａｓｉｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１８，３６（１０）：２３３３－２３４５．［９］ＶＵＴＴ，ＮＧＵＹＥＮＤＮ，ＨＯＡＮＧＤＴ，ｅｔａｌ．Ｏｐｔｉｍａｌｅｎｅｒｇｙｅｆｆｉｃｉｅｎｃｙｗｉｔｈｄｅｌａｙｃｏｎｓｔｒａｉｎｔｓｆｏｒｍｕｌｔｉ－ｌａｙｅｒｃｏｏｐｅｒａｔｉｖｅｆｏｇｃｏｍｐｕｔｉｎｇｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０２１，６９（６）：３９１１－３９２９．［１０］ＡＬＢＯＮＤＡＨＤＲ，ＰéＲＥＺ－ＲＯＭＥＲＯＪ．ＡｎｅｆｆｉｃｉｅｎｔＲＡＮｓｌｉｃｉｎｇｓｔｒａｔｅｇｙｆｏｒａｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｔｗｏｒｋｗｉｔｈｅＭＢＢａｎｄＶ２Ｘｓｅｒｖｉｃｅｓ［Ｊ］．ＩＥＥＥＡｃｃｅｓｓ，２０１９，７：４４７７１－４４７８２．［１１］ＫＳＥＮＴＩＮＩＡ，ＴＡＬＥＢＴ，ＣＨＥＮＭ．ＡＭａｒｋｏｖｄｅｃｉｓｉｏｎｐｒｏｃｅｓｓ－ｂａｓｅｄｓｅｒｖｉｃｅｍｉｇｒａｔｉｏｎｐｒｏｃｅｄｕｒｅｆｏｒｆｏｌｌｏｗｍｅｃｌｏｕｄ［Ｃ］／／２０１４ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ（ＩＣＣ）．ＩＥＥＥ，２０１４：１３５０－１３５４．［１２］ＴＡＮＧＺ，ＺＨＯＵＸ，ＺＨＡＮＧＦ，ｅｔａｌ．Ｍｉｇｒａｔｉｏｎｍｏｄｅｌｉｎｇａｎｄｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓｆｏｒｃｏｎｔａｉｎｅｒｓｉｎｆｏｇｃｏｍｐｕｔｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｅｒｖｉｃｅｓＣｏｍｐｕｔｉｎｇ，２０１９，１２（５）：７１２－７２５．［１３］ＷＩＬＤＭＡＮＪ，ＮＡＲＤＥＬＬＩＰＨＪ，ＬＡＴＶＡ－ＡＨＯＭ，ｅｔａｌ．Ｏｎｔｈｅｊｏｉｎｔｉｍｐａｃｔｏｆｂｅａｍｗｉｄｔｈａｎｄｏｒｉｅｎｔａｔｉｏｎｅｒｒｏｒｏｎｔｈｒｏｕｇｈｐｕｔｉｎｄｉｒｅｃｔｉｏｎａｌｗｉｒｅｌｅｓｓｐｏｉｓｓｏｎｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＷｉｒｅｌｅｓｓＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１４，１３（１２）：７０７２－７０８５．［１４］ＬＩＺ，ＸＩＡＮＧＬ，ＧＥＸ，ｅｔａｌ．ＬａｔｅｎｃｙａｎｄＲｅｌｉａｂｉｌｉｔｙｏｆｍｍＷａｖｅＭｕｌｔｉ－ＨｏｐＶ２ＶＣｏｍｍｕｎｉｃａｔｉｏｎｓＵｎｄｅｒＲｅｌａｙＳｅｌｅｃｔｉｏｎｓ［Ｊ］．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＶｅｈｉｃｕｌａｒＴｅｃｈｎｏｌｏｇｙ，２０２０，６９（９）：９８０７－９８２１．［１５］ＢＥＬＬＭＡＮＲ．Ａｍａｒｋｏｖｉａｎｄｅｃｉｓｉｏｎｐｒｏｃｅｓｓ［Ｊ］．ＪｏｕｒｎａｌｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＭｅｃｈａｎｉｃｓ，１９５７，６（５）：６７９－６８４．［１６］ＳＵＴＴＯＮＲＳ，ＢＡＲＴＯＡＧ．Ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ：Ａｎｉｎｔｒｏｄｕｃｔｉｏｎ［Ｍ］．ＭＩＴｐｒｅｓｓ，２０１８：４７２－４７５．。

人文社会科学重点研究基地申请书目录一、项目背景与意义 (1)二、研究目标与方向 (1)1. 研究目标设定 (3)总体目标 (4)具体目标 (5)期望成果 (6)2. 研究方向明确 (7)主攻领域 (7)研究热点与重点突破点 (8)三、科研团队与基础条件 (10)1. 科研团队建设情况介绍 (11)团队成员构成及背景介绍 (12)团队研究成果展示与评价 (13)合作与交流情况介绍 (15)2. 基础条件介绍与分析评价 (16)研究场所与设施情况介绍 (17)学术资料与信息获取渠道说明评价 (18)一、项目背景与意义随着社会的快速发展和文明的进步，人文社会科学的研究日益显示出其重要性。

本项目申请旨在深入探索人文社会科学的核心领域，为推进相关学科的发展做出积极贡献。

从项目背景来看，人文社会科学是研究人类社会发展、文化进步、价值观念、道德伦理、社会关系等领域的学科群体。

在当前全球化、信息化的大背景下，人文社会科学的研究不仅关乎到国家文化的传承与发展，也直接影响到社会政策的制定与实施。

随着国际形势的不断变化，人文社会科学的许多问题也日益凸显出其研究价值和实践意义。

从项目的意义来看，本项目旨在解决当前人文社会科学领域中亟待解决的问题，推进相关学科的交叉融合和协同发展。

通过建立重点研究基地，可以为科研工作者提供一个良好的交流平台，汇聚优秀人才和资源，促进学科建设和科研团队建设。

这对于提高我国人文社会科学研究水平，推动社会文明进步具有重要意义。

本项目还将致力于将研究成果转化为实际应用，为社会提供科学决策依据和智力支持。

二、研究目标与方向深化理论构建：针对当前人文社会科学领域内存在的一些基础理论问题，如价值观念、社会制度、文化传承等，进行系统而深入的理论探讨和研究，以期构建更为完善、更具解释力的理论体系。

拓展研究领域：在保持传统研究领域优势的基础上，积极探索新的研究领域，如数字人文、社会计算、认知科学等，以适应时代发展的需要，并为相关学科的发展提供新的视角和方法论支持。

杨晓波博士毕业于复旦大学化学学士、硕士，德国凯泽斯劳滕大学自然科学博士，美国宾夕法尼亚大学博士后。

毕业后杨晓波在业界最著名的德国哈伯研究所做了三年访问学者；2003年杨博士首次发明合成ITW 结构沸石分子筛，该分子筛被国际分子筛学会承认并代表IUPAC 命名；之后杨晓波作为资深研发科学家就职于丹麦托普索公司。

杨晓波不仅是分子筛SCR、ASC 催化剂项目的科学家，也是欧盟生物质精炼研究项目（EuroBioRef，FP7）催化工作组领导人，建成生物质平台化学品催化转化研发及示范工程。

他拥有25年的分子筛合成及催化研究的经验，是国际分子筛领域内极有建树的学者，在国际分子筛界极具影响力，至今出版专著2册，SCI 论文29余篇，授权及发明专利7项。

2016年，杨晓波全职回国，同年6月完成发明合成“国六CHA 分子筛”及“Cu/CHA 催化剂”的独特配方，其合成工艺取得了领先世界行业的突破性进展。

由于杨晓波在行业领域的引领性，以及回国半年所取得的科研成绩，他被评为广东省获得国家人社部“2016年度高层次留学人才回国资助”的唯一人选。

杨晓波还入选了广东省“珠江人才计划”2016年度创新领军人，广州市羊城人才计划“2016年度创新领军团队”，广州市番禺区2017年度创新领军团队领军人。

作为分别在广东、广州、番禺都获得过创新领军人荣誉的高层次创新人才，杨晓波得到过哪些关于广东引进人才的政策支持？他对广东的人才政策又有怎样的看法？政策支持让科研项目迅速启动“近几十年中国在各个方面的发展成就有目共睹。

我自己感受特别深的是中国在基础科研领域与科技产业上的飞《小康》·中国小康网记者 麦婉华杨晓波2016年回国后，在环保领域研究上获得世界性突破。

他被评为广东省获得国家人社部“2016年度高层次留学人才回国资助”的唯一人选。

他认为，广东的人才政策实施，让他们的科研项目迅速启动。

国际分子筛领域科学家杨晓波——政策支持让科研项目迅速启动44 小康 INSIGHT CHINA本期策划广东人才战略THE CURRENT PLANNING 广东NG速跃进。

海洋保护区间生态连通性研究进展及思考目录一、内容简述 (2)1. 研究背景与意义 (3)2. 国内外研究现状概述 (4)二、海洋保护区间生态连通性的基本概念 (5)1. 生态连通性的定义 (6)2. 海洋保护区间生态连通性的特点 (7)三、海洋保护区间生态连通性研究方法 (8)1. 基于生态系统的方法 (9)2. 基于物种的方法 (11)3. 基于景观的方法 (12)四、海洋保护区间生态连通性的研究进展 (13)1. 国际研究进展 (14)案例研究 (16)政策与法规分析 (17)科学研究进展 (19)2. 国内研究进展 (20)案例研究 (21)政策与法规分析 (22)科学研究进展 (24)五、海洋保护区间生态连通性研究的挑战与展望 (25)1. 研究面临的挑战 (27)数据不足 (28)方法学的局限性 (29)经济与社会因素的制约 (30)2. 未来研究方向与展望 (31)加强跨学科合作 (32)利用新技术与方法 (34)强化政策与管理支持 (35)六、结论 (36)1. 主要研究发现总结 (37)2. 对未来研究的建议 (38)一、内容简述随着全球气候变化和人类活动的加剧，海洋生态系统面临着严重的威胁。

为了保护海洋生态环境，各国政府和科研机构纷纷开展海洋保护区间生态连通性研究。

本文档将对海洋保护区间生态连通性研究的进展进行概述，并对未来研究方向和可能的解决方案进行探讨。

本文将介绍海洋保护区间的概念及其重要性，海洋保护区间是指在特定海域内划定的一段区域，旨在保护具有特殊生态价值或生物多样性的海域。

保护区间内的生态系统往往具有较高的连通性，因此研究其生态连通性对于评估海洋生态系统的健康状况以及制定有效的保护措施具有重要意义。

本文将概述近年来海洋保护区间生态连通性研究的主要成果，这些研究成果主要包括：采用遥感技术、地理信息系统等手段对海洋保护区间的生态连通性进行定量分析；通过实地调查和监测，揭示了保护区间内生物多样性分布、种间关系以及食物链结构等方面的信息；研究了人类活动对保护区间生态连通性的影响，以及如何通过合理规划和管理减少负面影响。

软件开发环境国家重点实验室软件开发环境国家重点实验室简介软件开发环境国家重点实验室于1988年通过国家计委专家认证，并确定为用世界银行贷款建设的国家重点实验室。

1992年后获得世界银行贷款共129万美元，购置了实验室建设初期的要紧设备与基础设施，1992年10月对外开放。

1995年通过了教育部与基金委组织的专家验收。

实验室是国家对外开放的软件新技术、软件开发工具与环境的应用基础研究与关键技术研发基地。

实验室实行主任负责制与学术委员会评审制。

国务院学位委员会委员、中国科学院院士、北京航空航天大学校长李未教授担任实验室主任。

1997年12月经教育部批准，成立了第二届学术委员会，由12名国内外知名专家构成，中国科学院院士董韫美教授担任主任。

本届学术委员会成员中的二位外籍专家，分别来自日本筑波大学与德国马普计算机研究所。

1996年以来，实验室基于对软件产业国际国内形势的分析，确定了“面向软件产业进展的主战场，瞄准软件基础研究的世界前沿，突破研制大型软件的关键技术，深化原创性的软件基础研究”的进展战略。

在这个进展战略的指导下，实验室根据自身多年的学术积存与研究特色，并结合国际学科前沿研究与进展趋势，以原创性理论研究为基础，以关键技术突破为重点，以研制先进的软件开发环境与平台为总目标，设立了计算机科学理论与基础、高速网下的协同工作环境与面向领域服务的软件支撑技术三个有特色、有优势的研究方向。

自1996年以来，实验室共承担科研项目共156项。

其中，国家科学基金项目14项，攀登计划（子课题）1项，973计划项目1项（4个课题），863计划项目23项，部委级重点项目11项，其他课题及横向协作项目94项,科研经费共计8065万元。

实验室取得的要紧成果有：在软件基础研究方面：1）在国内率先倡导将网络环境下海量信息的组织、传输与处理的研究作为软件基础研究的一个重要方向，并制定了全面的研究计划。

1999年科技部重大基础研究规划项目“网络环境下海量信息的组织、处理与传输的理论与方法”正式立项启动，实验室主任李未院士任该项目的首席科学家。

风机盘管加新风系统室内微循环热舒适性研究目录一、内容简述 (2)1.1 风机盘管系统概述 (2)1.2 新风系统在室内环境中的应用 (3)1.3 研究的重要性和必要性 (4)二、风机盘管系统与新风系统介绍 (6)2.1 风机盘管系统的组成及工作原理 (6)2.1.1 风机盘管系统的主要部件 (7)2.1.2 风机盘管系统的工作流程 (8)2.2 新风系统的组成及功能 (9)2.2.1 新风系统的分类 (10)2.2.2 新风系统的工作原理及特点 (11)三、室内微循环热舒适性理论基础 (13)3.1 室内热环境参数 (14)3.2 热舒适性评价指标 (15)四、风机盘管加新风系统室内微循环热舒适性研究 (17)4.1 实验设计 (18)4.1.1 实验环境和条件 (20)4.1.2 实验方法和步骤 (21)4.2 实验结果分析 (22)4.2.1 温度变化分析 (23)4.2.2 湿度变化分析 (24)4.2.3 气流速度及分布分析 (25)4.2.4 辐射热量影响分析 (27)4.3 热舒适性评价及优化建议 (28)4.3.1 热舒适性评价 (29)4.3.2 系统优化建议 (30)五、国内外研究现状及发展趋势 (31)5.1 国内外研究现状 (33)5.1.1 国外研究现状 (34)5.1.2 国内研究现状 (36)5.2 发展趋势和展望 (37)5.2.1 技术发展趋势 (38)5.2.2 研究方向展望 (40)六、结论和建议 (41)6.1 研究结论 (42)6.2 研究建议 (43)一、内容简述本研究旨在深入探讨风机盘管加新风系统在室内微循环空气调节中的热舒适性能。

通过系统性的实验和研究方法，分析不同系统配置、运行参数以及环境因素对室内温度分布、湿度控制及空气质量的影响。

研究重点关注新风系统在提升室内空气流通效率、降低能耗方面的作用，并评估其对居住者舒适度的实际贡献。

此外，本研究还将探讨如何优化风机盘管加新风系统的设计，以提高其整体能效和热舒适性能。