第6卷第4期2020年12月扌旨挥与控制学报JOURNAL OF COMMAND AND CONTROLVol. 6, No. 4December, 2020智能决策问题探讨——从游戏博弈到作战指挥,距离还有多远胡晓峰*1 齐大伟1收稿日期2020-11-20Manuscript received November 20, 20201.国防大学联合作战学院北京100091 .....................1. The Academy of Joint Operation, National Defence University, Beijing 100091, China摘 要 如何实现智能指挥决策,是智能时代指挥控制面临的一项巨大挑战.着眼智能指挥决策的不同层次，阐述了游戏博弈与战争对抗中的决策差异，分析了现在主流的人工智能技术在应用到战争对抗中的局限性,重点阐述了智能指挥决策面临问题 中的6个问题——智能决策能否做到？态势能否理解？不理解可否决策？如何利用已有的知识？决策智能如何获得？智能决策 如何实现？并给岀了解决问题的思路.这对理解智能决策和研发智能系统，具有重要的作用和意义.关键词 人工智能，决策智能，深度学习，知识图谱，态势理解，神经网络引用格式 胡晓峰，齐大伟.智能决策问题探讨—从游戏博弈到作战指挥，距离还有多远［J ］.指挥与控制学报,2020, 6（4）: 356-363DOI 10.3969/j.issn.2096-0204.2020.04.0356On Problems of Intelligent Decision-Making一How Far Is It from Game-Playing to Operational CommandHU Xiao-Feng 1QI Da-Wei 1Abstract How to realize intelligent command and decision-making is a huge challenge for command and control in the intelligent age. Focusing on the di ff erent levels of intelligent command and decision-making, this paper expounds the decision-making di ff erences between game-playing and war confrontation, and analyzes the limitations of the current mainstream artificial intelligence technology when it is applied in war confrontation. Six problems of intelligent command decision-making are focused on: Can it be realized or not ？ Does the situation make sense ？ Don't understand can make decision ？ How to make use of existing knowledge ？ How is decision intelligence obtained ？ How can intelligent decision-making be realized ？ And solutions to the problems are given. This is of great significance to the understanding of intelligent decision-making and the development of intelligent systems.Key words artificial intelligence, decision intelligence, deep learning, knowledge graph, situation understanding, neural network Citation HU Xiao-Feng, QI Da-Wei. On problems of intelligent decision-making —how far is it from game-playing to operational command[J]. Journal of Command and Control, 2020, 6(4): 356-363AlphaGo 及其系列智能技术的突破，为智能博弈 研究带来了新曙光，也为智能指挥决策研究指明了 探索新方向［I 】.但是，游戏博弈毕竟不同于战争对抗, 两者之间存在着巨大的鸿沟.智能指挥决策有哪些 难题，有什么解决思路,正是本文讨论的主要内容.1从美军"决策中心战"说起美军最近提出“决策中心战”，其主要逻辑起点 是：美军过去主要与叙利亚、伊拉克、阿富汗这一类 国家或恐怖组织对抗，但他们都没有对美军重大战 争资产（比如航母、基地等）进行打击的能力，但在 美军设想的未来大国对抗过程中，美军就不再占有 绝对优势,这些资产就有可能被摧毁.所以，必须引入新的作战概念加以应对，比如分布式作战,把大平 台拆成很多小平台参与作战，而这就需要能够作出 更快更好的决策，而不是比消耗，这就是所谓“马赛 克战”的由来.也就是说，“决策复杂度本身也是一种 武器”要做到这一点，有两个问题必须解决.1）利用大 量自主系统实现分布式作战，用小而多的平台建设 作战体系.2）基于人工智能的方法建立决策支持工 具，采用更智能化的指挥决策辅助手段.而无论哪一 种,都需要智能决策技术来辅助，这就对智能决策技 术提出了很多需求.过去不是没有搞过这种工作，美军的“深绿”项 目就是典型代表［2］.美军于2007年启动这个系统的 研发，试图在营连级层面上解决智能决策问题.现在 回过头来看，虽然经过了十几年的努力，但除了个别 技术取得了进展以外，基本上是以失败告终.这中间 既有可能是智能技术不够成熟的原因，也有可能是4期胡晓峰等：智能决策问题探讨——从游戏博弈到作战指挥，距离还有多远357技术路线过于简单和线性化的原因.AlphaGo近几年的进展为解决智能决策问题带来了新的曙光.以它为代表的深度学习方法，不仅在游戏上所向披靡，而且也揭示了实现智能决策的某种可能性⑶.从最早的AlphaGo打败李世石决策,到中间的AlphaZero实现完全自主学习，再发展到AlphaStar在星际争霸中战胜人类，给人们带来了一种感觉：好像通过深度增强学习方法，构建神经元网络，就可以实现决策博弈的智能化，而且可以自然而然地推广到作战指挥上.近年来，举行了很多兵棋大赛和人机对抗比赛,也产生了很多成果，在不同层次、不同重点、不同类型的技术上也取得了许多进步.但总的来看，它们大多是模仿从AlphaGo到AlphaStar的方法，利用深度增强学习方法解决问题.不过也有特例，比如AlphaAI飞行员，使用的是更经典的遗传模糊逻辑算法.但是这些号称战胜人类的系统是不是都实现了智能决策呢？总体来看,它们虽然重点不同，在决策上也存在着很大的差异，都号称自己战胜了人类，但是技术本质其实区别不大，并没有真正解决指挥决策问题.主要表现在：第1类，比的大多是操作决策的速度，比如在对抗游戏中比的“手速”;第2类，比的是简单判断和选择速度，比如AlphaAI的250倍“判速”；第3类，比的是规划算法的计算速度，比如某海空兵棋的“算速”;第4类,虽然有一定的自主决策能力，但是判胜准则却比较简单，比如只关注“损耗”或“占地”.这些决策虽然大多都是“自主”完成的,但与实际作战指挥决策相差甚远,很难体现出真正的”决策智能”.为什么呢？因为它们大多数都具有“即时反馈”“目标不变对称博弈”式决策的特点，决策类型比较初级.所以，美军认为，人工智能远远没有达到替人决策的程度.一般说来，不同的层次，决策的内容和重点是不一样的.如图1所示，指挥层面分为指挥层、控制层和技术层，如果用技术/艺术三角形来看，它们所占有的技术和艺术成分是不一样的.技术层的技术性更多，即时反馈也非常快.而在控制层,则是技术和艺术并重.在指挥层,则艺术性更多，更多是非即时反馈，也就是说，决策需要很长的时间才能反馈，这就属于认知决策范畴[4].我们认为，决策智能研究的重点应该放在指挥层和控制层上，也就是说，非即时反馈类决策才是真正的智能决策.人们研究这种决策的途径大多是利用游戏，但是游戏在我们看来还是过于简单，很容易沦落到前面的比各种速度方面.而专业兵棋系统可以提供一个更像智能的决策背景和试验环境.这是因为：1）决策空间大、选择多，单靠“暴力计算”根本无法完成; 2）不完美、不完全决策更加突出,需要真正的“智能”而非简单判断；3）具有可测试的试验环境，通过仿真平台执行，问题可集中到决策;4）专业可信的推演模型和数据，更贴近于实战，成功后易于迁移,对作战指挥更具参考价值.要解决智能决策问题，需要先搞清楚问题有哪些，在哪里，以及解决的思路.在这里不谈具体的技术问题，只谈问题和思路，它们揭示了问题的本质以及研究的方向.2决策智能研究的若干问题指挥决策的基本过程是“观察、判断、决策、执行”过程（OODA环），对抗双方每一次决策行动（无论层次高低）都是OODA环的一次循环（如图2所示）.其中第1个阶段主要是观察态势和判断理解，这是态势理解;第2个阶段是行动决策和实施行动，是决策行动.态势理解可分为两方面.1）“态”，即通过数据可得到的状态结果,这是客观的.2）“势”，是指挥员对趋358指挥与控制学报6卷-观察态势（O）:了解战场态势的变化-判断理解（O）:对态势作出准确判断-行动决策（D）:进行决策并下达命令-实施行动（A）:根据命令部队实施行动图2OODA环Fig.2OODA ring势的认知判断，这是主观的.这是两种不同类型的智能,不能混为一谈.前面的“态”可以看成计算智能,而后面的“势”才是决策智能.同样，决策行动也包含两个方面.1）理性方面,即指挥决策的规范化内容（科学方法），大多体现在指挥机制、作战流程、条令条例等理性内容上.2）感性方面，主要是指挥决策的创造性内容（即艺术创造）,包括指挥决策中的灵感与创造、指挥员的个性与经验等.智能的产生主要在感性阶段而不是理性阶段,理性阶段实际上是智能的结果.所以，美军认为指挥是一种艺术，它取决于指挥官的直觉、知识、经验甚至性格，每一名指挥官都有自己的特色.也就是说指挥是艺术、控制是科学.因而，决策智能需要理性和感性的结合，但对智能的研究更多的是在艺术性方面.那么，智能决策研究面临哪些难题呢？提出12个难题.限于篇幅关系,只对前面6个难题作简单介绍，其他难题不再详细阐述，只列出题名[5].2.1智能决策能否做到智能技术有两种技术路线：1）基于符号模型的“算力法”.比如说“深蓝”项目，其基本思路是构建精确模型，建立知识表示或状态空间，然后在上述表示或状态空间中推理或搜索,通过暴力计算，找到问题的一个“解”，其核心关键在于待解决问题存在良好定义的精确符号模型.2）基于元模型的“训练法”.比如说AlphaGo,它首先构建问题的元模型，然后收集训练数据并标注,选择合适的神经网络和算法，根据数据拟合原理，用数据和算法对神经网络权重进行训练，从而使误差最小.其核心关键是需要具有充足的样本数据以及合适的算法.这里有两个难题：1）脆弱性难题，即不在覆盖范围内或做少量的修改,就会导致严重错误;2）工程性难题，需要人工编写知识库或需要大量人工标注数据，建模过程变成了人的数据标注过程，没有这个标注过程，就无法生成AlphaGo的神经元网络. AlphaGo Zero可以自我训练并超越人类，是将“算力法”（简化决策论模型+蒙特卡洛树搜索）和“训练法”（残差网络+强化学习方法）结合起来，但仍有局限.那么，这些方法可否直接用于指挥决策，比如战役战术兵棋推演中？先看一下战场时空的复杂性.1）空间复杂性，作战实体多样、空间连续、虚实交错; 2）时间复杂性,动态微分博弈，不是棋类的序贯决策; 3）信息复杂性，不完全、不完美、不确定，效果滞后; 4）博弈复杂性，不对称、不合作、强对抗，充满迷雾.这一系列的问题使得作战决策成为最复杂的战场认知活动，尤其在中高层.从问题空间看，已经远远地超出了AlphaGo的围棋不知道多少个数量级，也已经不是可以用计算能力与数据量多少可以衡量的了.而且,指挥员的决策目标会随着作战进程不断调整,评价准则也会改变.概括起来说，指挥决策还有一些独特的难点，1）解空间巨大，基本上没有进行全部探索的可能;2）非即时反馈：决策很长时间才能反馈,那怎么确定反馈必需的“奖惩函数”呢？3）多目标冲突,也就很难有“超级算法”可以把这些目标全都包含在内；4）专业性分工.每个都很复杂,如何实现“智能体专业分工”，向人类“模仿学习”可能就是关键.这样看，似乎智能决策问题是无法解决的.但人怎么可以做到呢？这就是智能的奥秘之所在,还需要进行深入地研究.就目前的技术条件来看，解决问题需要新的思路.一般来说有3种方法：1）应用场景封4期胡晓峰等：智能决策问题探讨——从游戏博弈到作战指挥，距离还有多远359闭;2）理性与感性结合;3）利用“已有”知识.这3种方法说起来容易，做起来其实都不容易.应用场景封闭.很多智能问题无法解决,都是因为应用场景开放所致，所以应该将智能决策的应用场景封闭在可解决的范围内.不试图解决所有问题,而是限定应用场景范围，使得所有问题都在模型可解范围内，或代表性数据集也是有限确定的,这是封闭性准则.强封闭性准则对封闭性提出更高的要求,弱化通用性，即使该场景中出现失误也不具有致命性，即不会产生致命后果.具体封闭方法需要针对应用场景进行适当剪裁和处理，包括封闭化，改造场景使之具有强封闭性（如人工转为自动流水线）;分治法,分解部分环节封闭，使其符合准则（如人工与自动线结合）;准封闭化,将可能致命性失误的部分封闭，其余半封闭（如高铁）.将应用场景进行封闭，并定位为多个“智能助理”，可能是目前解决作战指挥智能决策问题唯一可行的技术路线.1）封闭化，可将其限定在专业兵棋场景下，未来再移植到指挥系统;2）分治法，可根据需要使其尽可能封闭在“可解”小问题范围内，比如“红军蓝军”分治，“军兵种专业”或“任务”分治等; 3）准封闭化,通过标准接口，将可能致命性的部分进行约束封闭.此外，智能决策过程中，必然需要保留人工席位，以弥补人工智能决策带来的不足,如上级决策、复杂决策等.所以，借助兵棋系统，规范标准接口，实现任务分治，以及人机协同决策等，通过实现一个个智能助理，最终在系统层面实现智能决策.2.2态势能否理解理解态势是作战决策的基础.但是态势有简有繁，低层的战斗或战术级态势较为简单,而高层次的战役战术级态势就非常复杂.要理解态势，必须具有扎实的军事专业知识、作战指挥经验才行，而这恰恰是计算机最不擅长的.“人”的决策是建立在态势理解基础上的，但游戏不是，它们实际上只是做到了“知其然而不知其所以然”，决策并没有建立在“理解”的基础上，其原因就在于缺乏因果关系.比如, AlphaGo通过大量数据得到的走子网络，只是通过胜率建立了“知其然”的对应关系，而并非真正对围棋有了所谓“深刻的理解”.作出的一些所谓“超人”的决策，其实也只是“随机性创新”起了作用.Judea Pearl在其所著的《为什么》一书⑹说到:“机器学习不过是在拟合数据和概率分布曲线，并没有触及问题的本质.”只有自带因果的机器学习，才适合做推理和决策,而不能仅靠相关性.对非即时反馈决策而言，更应该采用因果推断模型，而非单纯数据拟合.《为什么》这本书里给出了一个3层因果模型.第1层是观察-关联，通过即时反馈就能得到.第2层是行动-干预，在这一层的即时反馈已经变得不太可能了.第3层是想象-反事实，比如人们会把作战方案在脑海里推一遍，思考这样做如何、那样做又会如何，不这样做会如何,不那样做又会如何,但不需要每个都去试.我们必须要解决上两层非即时反馈决策独有的因果关系，不能光解决底层的决策问题.真正的理解必须建立在因果关系基础之上，而因果关系又有着不同的表现形式.第1种，可用形式化知识库表示，这属于科学方法范畴，如公式、规则、流程等.第2种，无法用形式化方法表示，比如复杂系统.如图3所示，复杂系统难以描述系统概念,说不清楚参数间关系，比如“猫”千姿百态，没办法描绘出来.“学习”的介入，可以通过“反推概念”的途径，拟合生成神经网络.有人说世界万物可以用4.398万亿个参数表达,姑且不论这种说法是否正确，至少这个神经网络的因果是无法解释的.它只是用一个复杂代替另一个复杂,不过这个复杂是可以复制的.但如果决策都采用这种学习方式，则无异于每个人都经历“从猿到人”的过程，也是行不通的.由此可知,真正做到态势理解是非常困难的.浅层次所谓的“理解”是可以做到的，比如建立起“知其然”的关系，但是这种理解也不是真正的理解，它是万物就是4.398万亿个参数？Fig.3The approach of^reverse reasoning concept”for complex systems 复杂系统模型360指挥与控制学报6卷“程序员的理解”，而非智能体的“理解”.战场态势的 真正理解更加困难，因为“理解”属于“认知”的范畴, 最终还是要在“认知”上解决［7】.“知其所以然”需要 因果，自主理解更需要智能体的“人生”常识和体验.2.3不理解可否决策不理解其实也可以做决策,甚至可以完美决策, 难易取决于决策问题与方式.基于科学数据的决策, 自动化系统就是如此，只要能够穷举；基于深度学 习的决策，则是非形式化的自主决策，主要基于试 错进行学习.重点谈一谈自主决策问题.深度学习下 的认知是什么？其实就是通过试错学习，不需要任 何已知知识，反复训练即可，如接抛球.但不是什么 都可以随机试错的,有些需要承受代价，比如火星探 测、战争.试错学习有许多类型.1）随机试错，即无监督学 习，是“随机选择”的进化学习；2）高效试错,即有监 督学习，是“自带答案”的深度学习；3）反馈试错，则 是行为反馈,是基于“奖惩函数”的强化学习.AlphaStar 是先进行有监督的深度学习，达到基 本水准，然后再通过强化学习，不断提高对抗的水平, 最后引入多智能体学习，展开联赛式训练，优化它的 决策方式.AlphaStar 给我们的启示是什么呢？ 1）模 仿学习非常重要，不使用人类先验知识，很难成功, 总得有一个起点;2）运用图神经网络,提高常规学习 方法效率、泛化能力和可解释性;3）深度长短期记忆 网络（Long Short-Term Memory, LSTM ）是核心，用于 捕捉决策的长程信息.最后，联赛式训练是支撑，也 被称为“种族强化学习”，强化训练.指挥决策有一个科学和艺术的转换过程，决策 智能体现在科学和艺术两个方面（如图4所示）.指挥控制的科学性体现在“知道怎么做时”，如流程、规 划、优化等.指挥控制的艺术性则体现在“不知道怎 么做时”，一旦知道了就变成公式、流程、规则了，是 计算智能而不是认知智能了.真正的智能其实主要 在做“例外”处理:权衡、选择和概括,这才是问题的 关键.2.4如何利用已有知识最直接的方式是采取知识图谱组织和使用“知 识”.但建立知识图谱并不容易，许多人把知识图谱 作为资料的堆砌,这是不对的.建立知识图谱的形式 有两种.1）依托静态、形式化知识建立图谱.大量知 识以条令条例、作战规则、活动流程等形式存在，而 这需要经过知识数据化、知识网络化再到场景化知 识图谱的转化过程，然后根据分析建立合适的知识 网络,实现对作战行动进行推荐.决策知识价值，取 决于知识所在的决策场景（context ）.同一个作战行 动在不同行动场景下的含义可以不同（实体、行为、 事件）.所以，知识图谱的构建必须从基本作战场景 （上下文）开始生成.但如果样本不足,对场景中“模 式”的识别很难泛化.2）依托动态、形式化数据建立 图谱.通过动态获取的海量战场态势数据（包括态势 图、动态情报、部队报告和基础数据等），完成作战决 策知识图谱的建立（场景、层次相关）.建立作战决策 知识图谱的前提是成为作战指挥专家，技术反而是 其次.很多建图谱的人是技术人员，不懂得作战，结 果建起来的图谱往往没有用.建立图谱有3个难题：1） “常识”难题，自主决 策必须要有常识的支持.因为任何“自主”决策都应 该假设在“人类常识”限定下做出，所谓“智能”才 能成立,而“自动”决策则不需要.但是，作战决策的-指挥控制的科学性方面——“知道怎么做时”•指挥控制数据：武器装备、兵力编成、战场环境、对手等•指挥控制方法：任务、流程、程序、运筹、规划、优化等 -指挥控制的艺术性方面——“不知道怎么做时”・不断试错——指挥员会通过试错不断发现和总结・个性选择——每个指挥员都具有自己的直觉和经验指挥层智能决策系统技术三角形 艺术三角形图4决策智能的体现Fig. 4 Embodiment of decisionintelligence4期胡晓峰等：智能决策问题探讨——从游戏博弈到作战指挥，距离还有多远361常识有哪些？在哪里？怎样才能建立？这是一个难题.2） “不断学习”难题,也就是决策智能必须与时俱 进.决策知识图谱需要不断更新、学习和理解，既包 括了解到的新情报，也包括学习到的新知识.这就 要求知识图谱必须是“活”的，做到外部实时更新+ 内部认知改变.3）“融合”难题,就是与神经元网络的 融合知识表示.知识图谱属于符号主义，效率高但 能够表达的知识有限，怎么与神经元网络融合到一 起，将两者的优点结合起来？解决“融合”难题，需 要将符号主义、连接主义甚至行为主义方法结合起 来.DeepMind 公司研究将知识图谱与深度学习结合 起来,形成“图网络”.许多学者也在研究图神经网络 （Graph Neural Networks, GNN ）,用深度学习方法处理 图谱.比如参考人的“快思考”和“慢思考”两种思维 机制,把直觉系统与推理系统结合，建立图神经网络, 这可以看成是“认知图谱”，实际就是图网络+推理.还有一种方法是决策树和神经网络的结合，面 向具体对象的决策行为学习与知识图谱.越高层的 决策越抽象,越应该基于人类知识已知的因果.比如 加州大学的“基于神经网络的决策树（Neural-Backed Decision Trees, NBDT ）”项目，它用神经网络进行低 层次决策,而用决策树保持高层次的可解释性，兼顾 准确性和可理解性[8].当建立图谱的时候，“理解”也 就建立起来了.这提示：两者的结合,才能更好地适 应指挥决策的特点[9].2.5决策智能如何获得作战指挥决策是复杂智能行为，涉及到不同领 域、不同专业，仅依靠训练单一 “超级智能体”来实 现是不可行的.原因有：1）有监督的深度学习样本很 少，而且很难表达和训练;2）强化学习的奖惩函数在 指挥层面是一个难题；3）各种决策准则在多目标下 很难协调,还可能会相互制约;4）可能还需要“人”的 介入，也需要进行协同和协调.在指挥决策中，不管是理性决策（运筹与规划）, 还是经验决策（数据与灵感），实际上都是“涌现”出 来的.根据复杂系统理论，“涌现”的产生可以在简 单条件下实现：1）只需感知局部的简单运算，不需 要通晓全局，这样才不会导致僵化；2）要有足够多 的智能体,并以非线性方式交互，这样行为才不会机 械;3）创新产生在混沌和智慧的边缘且动态平衡，这 样才会具有创造性.事实上，根据哥德尔定理，即使 有更多的神经元网络参数，智能也只能在上一层次 中涌现.指挥决策也是复杂系统，只能靠多种适应、相 关、因果和协同过程的非线性交互和综合，复杂智能 才会涌现出来.主要是因为：1）这是多智能体交互的 综合结果,通过非线性交互和群体协同，可以弥补简 单线性算法的不足，既尊重个体，又有协调,还可能 产生创新;2）这是采取“封闭”策略的结果，这必然导 致系统会由很多智能体组成，减少个体难度,但需要 共同完成复杂决策任务;3）联合指挥机构本就是群 体决策，军兵种、专业、席位甚至个人都会是独立的“智能体”.所以，实现复杂决策需要很多个任务规划 或神经元网络的智能体共同完成.AlphaStar 中也采用了多智能体,采用基于多智 能体强化学习方法，对不同任务进行独立处理，并采 用多智能体组织联赛进行优化训练，这是区别于前 代AlphaGo 、AlphaZero 的一个重要的技术创新.智 能决策需要将“OODA 环”转化为“OODA 螺旋”（如 图5所示）.把“学习”引入OODA 环中，使博弈具有 了学习经验积累的过程,避免了 “机械反馈式”简单 循环.反应行动决策、战术行动决策、战役行动决策, 3个层次的内容是不一样,每一层学习上升一级，这 种学习过程本身就是个螺旋过程.2.6智能决策如何实现自主智能决策有3个环节：态势理解、行动决战役行动决策（意图、制权、评估、布势等）战术行动决策■ （突击、装载、搜索等规划）反应行动决策・・ （防空区、拦截、尾随等规划）图5 OODA 螺旋Fig. 5 OODAhelix。
