仿真模型可信度评估研究综述及难点分析

第４６卷　第６A期２０１９年６月计算机科学COMPUTERSCIENCEVol．４６No．６AJune２０１９

本文受“十三五”装备预研领域基金(６１４０００１０１０５０６)资助.

杨小军(１９８６－),男,硕士,助理研究员,主要研究方向为系统仿真、评估决策,EＧmail:yangxiaojun２００７＠gmail．com(通信作者);徐忠富(１９６９－),男,博士,研究员,主要研究方向为建模与仿真;张　星(１９８６－),男,硕士,助理研究员,主要研究方向为仿真实验与评估;孙丹辉(１９８２－),男,工程师,主要研究方向为仿真实验.仿真模型可信度评估研究综述及难点分析

杨小军　徐忠富　张　星　孙丹辉(中国洛阳电子装备试验中心　河南洛阳４７１００３)

摘　要　近年来,随着计算机和建模与仿真技术的不断发展,仿真模型在军事、社会、经济等领域得到了广泛应用.同

时,仿真模型的功能和性能大大增强,仿真系统越来越复杂,仿真模型的可信度评估面临着新的挑战,已经成为建模与

仿真领域的关键难题.鉴于此,文中对国内外仿真模型可信度研究的主要工作进行了系统的回顾与总结,特别地分析

了近年来的最新研究成果.首先,明确了仿真模型可信度的概念及其与校核、验证与确认(Verification,Validationand

Accreditation,VV&A)之间的关系;然后,总结了仿真模型可信度研究的发展历程、范式和生命周期模型,对仿真模型

可信度评估的方法与技术进行了总结与分类;最后,提出了仿真模型可信度评估面临的８项挑战.通过综述与难点分

析,文章为制定仿真模型可信度评估的研究框架、创新可信度评估理论和方法提供了参考.

关键词　可信度评估,VV&A,仿真模型,研究综述,难点分析

中图法分类号　TP３９１．９ 文献标识码　A

OverviewandDifficultiesAnalysisonCredibilityAssessmentofSimulationModels

YANGXiaoＧjun　XUZhongＧfu　ZHANGXing　SUNDanＧhui

(LuoyangElectronicEquipmentTestCenterofChina,Luoyang,Henan４７１００３,China)

Abstract　Alongwiththedevelopingofcomputingandmodelingandsimulationtechniques,simulationmodelshave

beenappliedinmilitary,socialandeconomicareaswidelyintheseyears．Meanwhile,thecapabilitiesofsimulationmoＧ

delsbecomemoreandmorestrong,andsimulationsystemsbecomemoreandmorecomplex．Thus,thecredibilityasＧ

sessmentofsimulationmodelsisconfrontedwithmanychallengesandbecomesthecrucialdifficultproblemnowadays．

Thispaperreviewedprincipalworks,especiallycurrentresearchesoncredibilityassessmentofsimulationmodels．FirstＧ

ly,theconceptofcredibilityanditsrelationshipwithVerification,ValidationandAccreditation(VV&A)wereintroＧ

duced．Secondly,theresearchhistory,paradigmandlifecycleofcredibilityassessmentofsimulationmodelsweresumＧ

marized,andimportantmethodsandtechniqueswereanalyzedandclassified．Finally,eightchallengesofcredibilityasＧ

sessmentofsimulationmodelswerepresented．Theoverviewanddifficultiesanalysisprovidesignificantreferencesfor

constructingtheframeworkandinnovatingtheoriesandmethodsforthecredibilityassessmentofsimulationmodels．

Keywords　Credibilityassessment,VV&A,Simulationmodels,Overview,Difficultiesanalysis

１　引言

仿真具有无破坏,可重复,经济,安全,高效,保密,不受气

候条件、时间、空间限制等优点,是分析、研究和设计各种复杂

系统的有效工具,是探索客观世界的重要手段.随着计算机

和仿真技术的发展,建模与仿真在军事、社会、经济等领域得

到了广泛应用.与此同时,人们对仿真模型的可信度也越来

越重视.仿真模型本质上是对现实世界的近似抽象,其可信

度直接关系到仿真应用的成败.缺乏足够可信度的仿真模型

产生的仿真结果可能会误导决策者,甚至酿成无法挽回的军

事、政治、经济上的损失.

从１９９７年到２００７年,国内众多学者对仿真模型可信度

评估及VV&A理论相关研究工作进行了总结和综述[１Ｇ７].

伊文英等[８]总结了基于Agent仿真模型的校核与验证的研究进展和分析框架.最近,李伟等[９]系统研究了复杂仿真系统

的特点及可信度评估面临的挑战,并给出了若干解决方案和

应对策略.

十多年来,随着计算机的普及和推广,特别是计算机运算

速度和网络带宽及存储能力得到了迅猛提升,人们能够利用

计算机模型来精细模拟复杂系统和过程.正由于此,计算科

学突破了实验和理论科学的局限性,成为人们认识和改造世

界的重要手段.近年来,人们利用计算机模拟构建了大量的

经济仿真系统、社会仿真系统和军事仿真系统,建模与仿真的

范围越来越广,仿真模型越来越复杂.这些计算机仿真模型

能够快速、低成本地模拟复杂现象和过程,同时产生了大量的

功能特性和仿真数据.与之相适应地,仿真模型的可信度评

估及VV&A研究得到了进一步发展,同时也面临着许多新

的挑战.本文系统回顾了国内外仿真模型可信度研究的主要工

作,特别分析了近年来的最新研究成果,并从中总结了相关概

念和主要方法,分析了仿真模型可信度评估面临的挑战.

２　相关概念辨析

２．１　基本概念

研究人员从不同的工程技术背景出发,提出了仿真模型

可信度的定义,其大体可分为３类[１０].

(１)基于相似度的定义:仿真模型可信度是由仿真模型与

被仿真对象之间的相似度决定的,是仿真模型与被仿真对象

在功能、结构上的相似程度.(２)基于置信度的定义:仿真模型实验结果处于置信区间

内的概率为仿真模型可信度.(３)基于误差的定义:仿真模型可信度取决于仿真结果的

精度,是指用户对仿真实验结果应用到某一研究时的正确性

的信任程度.

通常认为,仿真模型可信度是指在特定的应用目的条件

下,仿真用户对于所开发的仿真模型以及仿真输出结果是否

正确的一种信任程度;或者是指,基于一定的建模与仿真目

的,开发的仿真模型能够再现被仿真对象各项指标的可信

程度.

从可信度的定义可以看出,仿真模型可信度包括客观和

主观两个方面的内容:客观方面是指仿真模型在一定的相似

形式下(结构、功能、输出结果等)与被仿真对象的相似程度;

主观方面是指基于现有相似程度,仿真模型能否满足预期的

仿真应用要求及满足要求的程度.因此仿真模型可信度评估

通常结合使用定性方法和定量方法.

国内外仿真领域都已经确认,对于仿真模型可信度的

保障可以通过校核、验证与确认(VV&A)工作来完成.校

核是确定仿真模型和有关数据是否准确反映了开发者的

概念描述和技术规范.验证是从模型的应用目的出发,确

定仿真模型和有关数据代表被仿真对象的正确程度.确

认是有权威地鉴定仿真模型和有关数据用于特定目的时

是否可以接受.

通过规范建模与仿真过程以保证仿真模型的可信度是VV&A工作的初衷.VV&A这３个过程是相辅相成的,一

般地,校核侧重于对建模过程的检验,而验证侧重于对仿真结

果的检验,确认则是在校核与验证的基础上,由权威机构来最

终确定仿真模型对于某一特定应用是否可接受.

２．２　可信度评估与VV&A的关系

仿真模型可信度评估与VV&A之间的关系非常密切.

美国国防建模与仿真办公室的«VV&A实践指南»中指出“仿

真模型的可信度可以通过V&V来测量”,也有人认为仿真模

型可信度评估就是VV&A.事实上,在没有VV&A这个提

法之前,人们已经开始注意到仿真模型可信度的问题,仿真模

型可信度的研究带动、促进并丰富了VV&A理论的发展和

研究.VV&A目的在于提高仿真模型的可信度,是仿真模型

可信度分析的基础和重要内容,仿真模型可信度评估工作又

促进并指导了VV&A工作的开展.总的来讲,VV&A起源

于并最终归属于仿真模型的可信度分析,为仿真模型可信度

评估提供定性和定量数据.VV&A是贯穿建模与仿真全生命周期的质量控制技术,

是一个过程管理,也是道德规范和政策要求,是仿真模型可信度的一个完整的保证体系.例如,VV&A要求在建模与仿真

过程中,首先要对概念模型进行校核与验证[１１].

VV&A的基本出发点是:充分而有效的VV&A行为一

定能够保证仿真模型具有较高的可信度.对一个已有的仿真

模型进行可信度分析无疑是非常困难的.VV&A则是在系

统开发过程中最大限度地减少可能导致可信度降低的因素,

通过对过程的监控来保证可信结果,这从某种程度上回避了

上述难题.仿真模型可信度分析是在建模与仿真VV&A过

程中求取仿真模型可信度的重要活动.可信度评估与VV&A之间既有联系又有区别,主要表现为以下几个方

面[１２].

(１)可信度评估与VV&A活动的主体不一样.可信度

评估活动的主体主要是专门的评估人员及用户;而VV&A

活动的主体比较广泛,包含仿真模型开发与使用的所有人员.(２)VV&A为可信度评估提供文档、数据、方法和工具的

支持,因而可信性评估要充分利用VV&A的成果,而可信性

评估的结果也可以为VV&A的确认工作提供重要的参考

依据.(３)VV&A是贯穿于建模与仿真整个生命周期的一项重

要活动,以一定规范来约束系统的开发,利用V&V技术与方

法来确保仿真模型的可信度;若可信度达不到要求,可以督促

开发人员进行修改,再次进行V&V与可信度评估.因此,VV&A是一个反复迭代的过程;而可信度评估是对建模与仿

真的各个阶段的产品进行可信度度量的活动,这个过程要比VV&A过程短.(４)VV&A中的确认结论是在系统的可信度满足要求的

情况下由确认代理作出,其中可信度评估的结果是确认的一

个重要条件;而可信度评估是对仿真模型进行客观评价,可不

对评估结果作出是否可以接受的判断.

３　研究现状分析

３．１　理论研究

仿真模型可信度研究有近６０年的历史.２０世纪５０年

代末６０年代初,人们对使用仿真模型代替实际系统进行实验

的可信度有了怀疑,开始对仿真模型进行检验.１９５９年,Conway等率先探讨了仿真模型的可信度问题[１３].１９６２年,

美国学者Biggs等就对“警犬”导弹仿真模型的可信度进行了

全面评估[１４].１９６７年,Naylor等建议采用均值(方差)分析、

χ２检验、因子分析、KolmogorovＧSmirnov检验、非参数检验、

回归分析、频谱分析、Theil不等式系数等方法分析仿真结果

与实测数据的吻合度(goodnessoffit,degreeofconformity),