总第２４３期
２０１０年第１期
计算机与数字工程
Ｃｏｍｐｕｔｅｒ＆ＤｉｇｉｔａｌＥｎｇｉｎｅｅｒｉｎｇ
Ｖ０１．３８Ｎｏ．１
４４
电子装备软件质量评估模型分析＋
崔天意刘庆峰张芝龙
（９１４０４部队秦皇岛０６６００１）
摘要软件质量是软件的生命，软件测试和评价是保证软件质量的重要手段。没有完备的软件质量评价程序和评价方法，质量是很难保证的。文章提出了一种基于缺陷分布模型、专家知识和神经网络方法的电子装备软件专用的质量评估方法，该方法使用电子装备软件的可靠性评估值、功能分析评估值和作战效能评估指标等专用参数作为模型的输入，利用加权综合评判方法完善模型，最终输出软件质量评估值。经实装测试试验证明了该方法的可行性和有效性。
关键词电子装备软件；神经网络；作战效能；质量评估
中图分类号ＴＰ２７３＋．４
ＥｌｅｃｔｒｏｎＷｅａｐｏｎｒｙＳｏｆｔｗａｒｅＱｕａｌｉｔｙＥｖａｌｕａｔｉｏｎＭｅｔｈｏｄ
ＣｕｉＴｉａｎｙｉＬｉｕＱｉｎｇｆｅｎｇＺｈａｎｇＺｈｉｌｏｎｇ
（Ｎｏ９１４０４ＴｒｏｏｐｓｏｆＰＬＡ，Ｑｉｎｈｕａｎｇｄａｏ０６６００１）
ＡｂｓｔｒａｃｔＴｈｅｓｏｆｔｗａｒｅｑｕａｌｉｔｙｉｓｔｈｅｉｍｐｏｒｔａｎｃｅｏｆｔｈｅｓｏｆｔｗａｒｅ，ｓｏｆｔｗａｒｅｔｅｓｔａｎｄｅｖａｌｕａｔｉｏｎａｒｅｔｈｅｉｍｐｏｒｔａｎｔｍｅａｎｓｗｈｉｃｈｐｒｏｍｉｓｅｓｓｏｆｔｗａｒｅｑｕａｌｉｔＢＴｈｅｒｅａｒｅｎｏｃｏｍｐｌｅｔｅｅｖａｌｕａｔｉｏｎｐｒｏｃｅｄｕｒｅｏｆｔｈｅｓｏｆｔｗａｒｅｑｕａｌｉｔｙａｎｄｅｖａｌｕａｔｉｏｎｍｅｔｈｏｄ，ｔｈｅｑｕａｌｉｔｙｉｓｖｅｒｙｄｉｆｆｉｃｕｌｔａｓｓｕｒｉｎｇ．ＴｈｅａｒｔｉｃｌｅｐｕｔｆｏｒｗａｒｄａｋｉｎｄｏｆｔｈｅｓｏｆｔｗａｒｅｑｕａｌｉｔｙｖａｌｕａｔｉｏｎｍｅｔｈｏｄｆｏｒｔｈｅｅｌｅｃｔｒｏｎｂａｔｔｌｅｓｙｓｔｅｍａｃｃｏｒｄｉｎｇｔＯｂｕｇｄｉｓｔｒｉｂｕｔｉｎｇｅｘｐｅｒｆｓｋｎｏｗｌｅｄｇｅａｎｄｎｅｒｖｅｎｅｔｗｏｒｋＴｈｅｍｅｔｈｏｄｕｓａｇｅｅｌｅｃｔｒｏｎｗｅａｐｏｎｒｙｓｏｆｔ—ｗａｒｅｂａｔｔｌｅｅｆｆｅｃｔｅｔｃｐａｒａｍｅｔｅｒｂｅｔｈｅｉｍｐｏｒｔａｔｉｏｎｏｆｍｏｄｅｌ．ｔｈｅｅｘｐｌｏｉｔａｔｉｏｎａｄｄｓｐｏｗｅｒｃｏｍｐｒｅｈｅｎｓｉｖｅａｄｊｕｄｉｃａｔｅａｍｅｔｈｏｄｅｓｔａｂｌｉｓｈｍｅｎｔｍｏｄｅｌ．Ｏｕｔｐｕｔｓｏｆｔｗａｒｅｑｕａｌｉｔｙｖａｌｕａｔｉｏｎ．ＴｈｒｏｕｇｈａｃｔｕａｌｌｙｐａｃｋｅｄａｔｅｓｔｔＯｅｘｐｅｒｉｍｅｎｔｔＯｐｒｏｖｅｔｈｅｐｏｓｓｉｂｉｌｉ—ｔｙ
ａｎｄｕｓｅｆｕｌｎｅｓｓｏｆｔｈａｔｍｅｔｈｏｄ．
Ｋｅｙ
Ｗｏｒｄｓｅｌｅｃｔｒｏｎｗｅａｐｏｎｒｙｓｏｆｔｗａｒｅ，ｎｅｔｗｏｒｋｎｅｕｒｏｎ，ｃａｍｐａｉｇｎｅｆｆｉｃｉｅｎｃｙ，ｑｕａｌｉｔｙｅｖａｌｕａｔｉｏｎＣｌａｓｓＮｕｍｂｅｒＴＰ２７３＋．４
１引言
在现代各种电子战装备系统中，以软件为核心的产品得到了广泛的应用，随着系统中软件成分的不断增加，使得系统对于软件的依赖程度越来越大，对软件质量尤其是可靠性、可维护性和功能性的要求也越来越高［１］。软件质量是软件的生命，软件测试和评价是保证软件质量的重要手段。没有完备的软件质量评价程序和评价方法，质量是很难保证的。
现役电子战装备软件在通过测试之后，各项技术指标可以达到预定要求，但不一定具有较高的作战效能。即软件技术测试合格的系统仍然不符合实际应用要求。因为软件测试只注重软件本身的故障特性，而忽略了对于装备软件至关重要的软硬件配置拟合度和战术合理性等非技术性指标。例如：软件设计的舰艇机动动作要求舰艇在短时间内转向；多种干扰样式组合导致干扰失败；电磁干扰使软件失效。因此作战效能评估对电子战装备软件质量起决定性作用。
从常规的角度来看，质量是一个无形的特性，可以对其进行讨论、感知和判断，不能进行测量。从专业的角度来看，为了提高质量，必须对其进行定义和测量，并将其描述为“与客户需求的一致
－收稿日期：２００９年９月１０日，修回日期：２００９年１０月１５日
作者简介：崔天意，男，硕士，工程师，研究方向：作战系统软件测试及软件测试质量研究。万方数据
客户数据质量评价的原则与方法 admin 2013-10-12 关于客户数据质量的困惑 “什么样的客户数据质量是比较好的？”“为什么我们的客户数据看起来很不错，可是在进行电话营销时，客户接触率和营销效果确差强人意，与期望大相径庭？”在进行数据库营销的讨论和交流中，经常有人问到这样的问题。 这些问题反映出了很多在从事数据库营销或直复营销过程中的营销策划人员和运营管理人员经常面临的问题和困惑。 几乎所有的组织都需要数据，一些行业严重依赖于客户数据，如银行、电信、保险公司等。毫无疑问，较差的数据质量给企业营销带来的损失非常巨大！试想一下，如果你的呼叫中心正在试图向非目标客户进行大规模电话营销活动，或是你的企业正向那些早已过期的邮寄地址寄出了数以万计的促销宣传资料。这些给公司带来的损失有多少？不幸的是，这样的情况几乎经常发生，而企业的数据库营销策划人员也经常面临着数据选择和评价的挑战。 理解关于质量的涵义 首先，让我们简单探讨一下“质量”的涵义。
在服务营销和服务管理中，通常将“质量”定义为：“满足不同客户的个性化需求的能力”。这样的定义有着一定的主观特征，也就是说不同的企业会根据其对客户需求和竞争环境的理解，来定义其产品与服务的质量特征。这可以用来解释为什么对于不同等级的客户提供的服务质量标准有所差异的原因，这也是为什么同样是提供点对点的航空运输服务，某些航空公司的服务质量和客户体验要好于其他一些竞争者的原因。 国际标准组织将质量定义为：“产品或服务所具备的满足明确或隐含需求能力的特征和特性的总和”。这样的定义虽然更明确，但对于大多数的人来说，过于专业和抽象。 一个比较通俗且受到多数人认可的对质量的直观定义是“适合使用需求”。这也是我们本文的一个主旨，没有质量绝对完美的数据，对于数据质量的评价也是要根据数据的使用需求来进行评价的。只要能够适合使用的需求，我们就认为数据的质量是符合要求的。企业也应当本着有取有舍的原则，选择那些为企业所能利用的数据。 了解了质量的定义，接下来就可以进入客户数据质量的评价话题了。 数据质量评价的基本原则
DCAM 数据管理能力评估模型 本文介绍EDM 企业数据管理理事会"DCAM 数据管理能力评估模型" ?DCAM简介 ?DCAM主要内容 ?DCAM评估模型 ?DCAM评估报告（案例） DCAM 简介 DCAM 数据管理能力评估模型是EDM 企业数据管理理事会基于全球领先企业/组织的最佳实践，综合跨企业数据管理经验形成。DCAM 数据管理能力评估模型定义并发布了企业所需的数据管理能力，强调以数据战略和数据治理驱动开展数据管理在技术和规程最佳实践，基于业务价值和业务目标实现，开展数据管理的基本原则。 ?数据被企业作为融合业务和组织过程的核心要素之一； ?数据生命周期的管理和实现是企业利用数据获得降本增效、自动化运营、归并冗余系统、最优化协调增强客户服务的关键。 DCAM 考虑的主要问题 ?较多组织对于数据管理概念模糊，理解不清； ?组织中的数据已然是无处不在，缺乏良好的框架进行管理； ?大量的数据零散在各个业务应用系统中，或是凌乱堆放在数据仓库中需要管理； ?数据的归属、可信和可靠性难以确认，数据带来的业务冲突和阻断带来挑战； ?不良数据所形成的数据基础，难以获得组织的分析、洞察，影响业务协同和客户服务。
?数据的术语、命名、约定等，成为实现业务、数据、IT一致性的关键，诸多业务、IT的阻力屡见不鲜； 当前企业数据管控环境可体现为，如下5个方面： 1.遗留问题，缺乏统一的技术和操作环境； 2.过于简单，缺乏整体复杂度考虑； 3.业务一致性，缺乏对数据精准的理解； 4.数据质量，缺乏数据协同和转换环境下的数据质量管理； 5.技术实现，缺乏数据集成和平台管控。 DCAM 价值 ?DCAM 提供企业数据管理现状指导和建议； ?DCAM 提供企业数据管理未来目标规划建议
软件度量总结 这次总结的结构比较简单,就是按照五个章节分别阐述了自己的理解。 一.软件度量的应用范围。 经过这一阶段的学习,我认为想要明白软件度量,首先要分清度量和测量的区别。度量具有前置性,它提供了一种定量研究软件问题的方法;测量具有实时性或后置性,主要集中在给度量提供数据或者处理数据的方法上。由于软件工程强烈的不确定性,使得软件工程的精确测量困难重重,但软件度量主要研究的是可能性的规律,通过概率和统计学的研究,寻找事物内在的规律。其并不具备 1+1=2的特征, 而是研究在多大可能性上这个结论是合理的,因为软件的主体是人,具有概率属性,设备和材料容易度量,但人很难度量。软件度量的主要作用是评估状况、跟踪进展情况、评价产品有效性和改进设计和过程的质量。定性分析可以提供迅速地判断能力,但定性分析终究需要定量分析的验证与支持,否则其结果很可能成为无目之本,出现错误。 软件度量的方法体系主要包括 5个方面:1. 项目度量,目的在于度量项目规模、成本、进度、顾客满意度等,辅助项目管理进行项目控制; 2. 规模度量,主要依靠经验和经验的模型,是决定项目成败的重要原因之一,是估算工作量、成本预算及策划项目进度的基础; 3. 成本度量, 4。产品度量,实质上是软件质量的度量,软件的质量由一系列质量要素组成,每个质量要素又由一些衡量标准组成,主要肚量方法是McCabe 复杂性度量法; 5,过程度量,对软件开发过程的个各方面进行度量,目的在于预测过程的未来属性,减少结果的偏差,主要包括成熟度度量(例如 CMMI, GJB5000A、管理度量(主要包括里程碑管理、风险度量等项目管理度量,审查度量、质量保证度量等质量管理度量,变更控制、版本管理度量等配置管理度量、生命周期度量三个大的方面。 不同层次的人员对软件度量有不同的需求。高级管理人员,如 CEO 、 COO ,关注点在上市时间、客户满意度、费用的节省等商业策略的组成部分上;中级管理层,如部门经理、总监等,则主要关注生产力、成本控制、效率等,他们更多的是着眼于
第3章软件质量与评价（软件测试标准） 1、质量的定义 质量是多维的概念，包括：实体、实体的属性和对实体的观点。 GB/T6583-ISO8404（1994版）《质量管理与质量保证术语》对质量的定义是：反映实体满足明确的隐含的需要的能力的特性的总和。 GB/T18905-ISO14598（1999版）《软件工程产品评价》定义： 2、测度与度量 在软件质量中用于测量的一种量化的标度和方法即为“测度”，而名词的“度量”用来指测量的结果。 影响软件质量可分为：可直接测量、间接度量 3、软件质量模型 ○1、McCall（麦考尔）质量模型 三个重要方面：操作特性（产品运行）、承受可改变能力（产品修订）、新环境适应能力（产品变迁）。 McCall等认为，特性是软件质量的反映，软件属性可用做评价准则，定量化地度量软件属性可知软件质量的优劣。 ②Boehm(勃姆)质量模型 提出了分层结构的质量模型，除了用户的期望和需要的概念，与McCall（麦考尔）质量模型相同外，还包括McCall模型中没有的硬件特性。 Boehm(勃姆)质量模型反映了对软件质量的理解，即软件做了用户要它做的；有效地使用系统资源；易于用户学习和使用；易于软件测试与维护。 ③ISO9126质量模型 GB/T16260-1996：六个影响质量的特性：功能性、可靠性、易使用性、效率、可维护性、可移植性;各个子特性（及其定义）要求要背 GB/T16260-1996出发点是软件最大限度地满足用户的明确的和潜在的需求。 国标16260中，在描述外部（内部）效率度量时，给出了若干针对计算机系统时间消耗的定义如下： ①响应时间是指从按动传送键到得到结果为止所需要的时间或响应时间包括处 理时间和传输时间 ②处理时间是指从接受一个消息到送出它的结果之间计算机的历时时间 ③ 周转时间是指从提出要求到得到结果所需要的时间 4、标准的发展 GB/T 16260-1996（ISO9126-1991）《软件产品评价-质量特性及其使用指南》已被两个相关的由多部分组成的标准：GB/T 18905-2002《软件工程产品评价》和GB/T 16260-2003（ISO9126-2001）《软件工程产品质量》所取代。 5、GB/T 18905产品评价 （一、GB/T 18905基本组成（6个部分组成） GB/T 软件工程产品评价第1部分: 概述 GB/T 软件工程产品评价第2部分: 策划和管理 GB/T 软件工程产品评价第3部分: 开发者用的过程
总第２４３期 ２０１０年第１期 计算机与数字工程 Ｃｏｍｐｕｔｅｒ＆ＤｉｇｉｔａｌＥｎｇｉｎｅｅｒｉｎｇ Ｖ０１．３８Ｎｏ．１ ４４ 电子装备软件质量评估模型分析＋ 崔天意刘庆峰张芝龙 （９１４０４部队秦皇岛０６６００１） 摘要软件质量是软件的生命，软件测试和评价是保证软件质量的重要手段。没有完备的软件质量评价程序和评价方法，质量是很难保证的。文章提出了一种基于缺陷分布模型、专家知识和神经网络方法的电子装备软件专用的质量评估方法，该方法使用电子装备软件的可靠性评估值、功能分析评估值和作战效能评估指标等专用参数作为模型的输入，利用加权综合评判方法完善模型，最终输出软件质量评估值。经实装测试试验证明了该方法的可行性和有效性。 关键词电子装备软件；神经网络；作战效能；质量评估 中图分类号ＴＰ２７３＋．４ ＥｌｅｃｔｒｏｎＷｅａｐｏｎｒｙＳｏｆｔｗａｒｅＱｕａｌｉｔｙＥｖａｌｕａｔｉｏｎＭｅｔｈｏｄ ＣｕｉＴｉａｎｙｉＬｉｕＱｉｎｇｆｅｎｇＺｈａｎｇＺｈｉｌｏｎｇ （Ｎｏ９１４０４ＴｒｏｏｐｓｏｆＰＬＡ，Ｑｉｎｈｕａｎｇｄａｏ０６６００１） ＡｂｓｔｒａｃｔＴｈｅｓｏｆｔｗａｒｅｑｕａｌｉｔｙｉｓｔｈｅｉｍｐｏｒｔａｎｃｅｏｆｔｈｅｓｏｆｔｗａｒｅ，ｓｏｆｔｗａｒｅｔｅｓｔａｎｄｅｖａｌｕａｔｉｏｎａｒｅｔｈｅｉｍｐｏｒｔａｎｔｍｅａｎｓｗｈｉｃｈｐｒｏｍｉｓｅｓｓｏｆｔｗａｒｅｑｕａｌｉｔＢＴｈｅｒｅａｒｅｎｏｃｏｍｐｌｅｔｅｅｖａｌｕａｔｉｏｎｐｒｏｃｅｄｕｒｅｏｆｔｈｅｓｏｆｔｗａｒｅｑｕａｌｉｔｙａｎｄｅｖａｌｕａｔｉｏｎｍｅｔｈｏｄ，ｔｈｅｑｕａｌｉｔｙｉｓｖｅｒｙｄｉｆｆｉｃｕｌｔａｓｓｕｒｉｎｇ．ＴｈｅａｒｔｉｃｌｅｐｕｔｆｏｒｗａｒｄａｋｉｎｄｏｆｔｈｅｓｏｆｔｗａｒｅｑｕａｌｉｔｙｖａｌｕａｔｉｏｎｍｅｔｈｏｄｆｏｒｔｈｅｅｌｅｃｔｒｏｎｂａｔｔｌｅｓｙｓｔｅｍａｃｃｏｒｄｉｎｇｔＯｂｕｇｄｉｓｔｒｉｂｕｔｉｎｇｅｘｐｅｒｆｓｋｎｏｗｌｅｄｇｅａｎｄｎｅｒｖｅｎｅｔｗｏｒｋＴｈｅｍｅｔｈｏｄｕｓａｇｅｅｌｅｃｔｒｏｎｗｅａｐｏｎｒｙｓｏｆｔ—ｗａｒｅｂａｔｔｌｅｅｆｆｅｃｔｅｔｃｐａｒａｍｅｔｅｒｂｅｔｈｅｉｍｐｏｒｔａｔｉｏｎｏｆｍｏｄｅｌ．ｔｈｅｅｘｐｌｏｉｔａｔｉｏｎａｄｄｓｐｏｗｅｒｃｏｍｐｒｅｈｅｎｓｉｖｅａｄｊｕｄｉｃａｔｅａｍｅｔｈｏｄｅｓｔａｂｌｉｓｈｍｅｎｔｍｏｄｅｌ．Ｏｕｔｐｕｔｓｏｆｔｗａｒｅｑｕａｌｉｔｙｖａｌｕａｔｉｏｎ．ＴｈｒｏｕｇｈａｃｔｕａｌｌｙｐａｃｋｅｄａｔｅｓｔｔＯｅｘｐｅｒｉｍｅｎｔｔＯｐｒｏｖｅｔｈｅｐｏｓｓｉｂｉｌｉ—ｔｙ ａｎｄｕｓｅｆｕｌｎｅｓｓｏｆｔｈａｔｍｅｔｈｏｄ． Ｋｅｙ Ｗｏｒｄｓｅｌｅｃｔｒｏｎｗｅａｐｏｎｒｙｓｏｆｔｗａｒｅ，ｎｅｔｗｏｒｋｎｅｕｒｏｎ，ｃａｍｐａｉｇｎｅｆｆｉｃｉｅｎｃｙ，ｑｕａｌｉｔｙｅｖａｌｕａｔｉｏｎＣｌａｓｓＮｕｍｂｅｒＴＰ２７３＋．４ １引言 在现代各种电子战装备系统中，以软件为核心的产品得到了广泛的应用，随着系统中软件成分的不断增加，使得系统对于软件的依赖程度越来越大，对软件质量尤其是可靠性、可维护性和功能性的要求也越来越高［１］。软件质量是软件的生命，软件测试和评价是保证软件质量的重要手段。没有完备的软件质量评价程序和评价方法，质量是很难保证的。 现役电子战装备软件在通过测试之后，各项技术指标可以达到预定要求，但不一定具有较高的作战效能。即软件技术测试合格的系统仍然不符合实际应用要求。因为软件测试只注重软件本身的故障特性，而忽略了对于装备软件至关重要的软硬件配置拟合度和战术合理性等非技术性指标。例如：软件设计的舰艇机动动作要求舰艇在短时间内转向；多种干扰样式组合导致干扰失败；电磁干扰使软件失效。因此作战效能评估对电子战装备软件质量起决定性作用。 从常规的角度来看，质量是一个无形的特性，可以对其进行讨论、感知和判断，不能进行测量。从专业的角度来看，为了提高质量，必须对其进行定义和测量，并将其描述为“与客户需求的一致 －收稿日期：２００９年９月１０日，修回日期：２００９年１０月１５日 作者简介：崔天意，男，硕士，工程师，研究方向：作战系统软件测试及软件测试质量研究。万方数据
[摘要] 本文提出了数据质量评价模型、质量校验与评价方法，论述了“数据质量分析评价系统”的程序实现流程、总体结构及功能，介绍了系统的关键技术及进一步的研究方向。 [关键词] 质量模型质量检验质量评价 数据作为一种资源，是支撑信息化建设和应用的主体，根据“进去的是垃圾,出来的也是垃圾”这条原理,为了支持正确决策,就要求我们所管理的数据可靠,没有错误,能够准确地反映采油厂的实际情况。胜利采油厂数据中心存放了5千万条的数据，还在以每天2万条的速度加载，如何使这些海量数据在生产管理、科学研究、企业决策中发挥应有作用，使用户能用、敢用、愿用，使数据真正为企业服务，这是几乎所有信息化企业亟需迫切解决的问题。为解决数据质量问题，各种管理手段、技术手段和新的数据评价体系不断被应用在数据的采集和加工过程中。 一、数据质量评价模型的提出背景 采油厂的数据资源具有:横跨专业多，数据采集密度大、频度高，数据处理流程复杂等特点，为了保证数据的可用性，数据管理人员在客户端、服务器端均设置了数据质量审核规则，但是依然不可避免存在比例较高的数据质量问题，典型的有记录不全、数据遗漏、数据错误、多义字段、矛盾值、违背业务规则、无法关联等。产生数据问题的根本原因可以归结为以下几个方面: 1.没有从数据资源的战略高度对数据质量进行统一完整的定义，导致数据的分析评估没有统一可靠的标准； 2.数据质量还停留在定性评价,不能实现精确的量化评价，只是在业务需要某个数据时,才到库里去手动统计,无法动态记录某个单位、某个月的真实数据质量发生情况,导致数据质量考核缺乏可信的数据依据,大大影响考核力度; 3.没有一个能同时面对用户、专业部门、数据管理人员的可视化的数据质量监控评价平台,三方无法共享一个平台,共同实行数据管控一体化,导致业务规则的变更滞后,问题数据在库中的长期滞留; 4.也许有了N个业务模型,但是没有把它放到时间轴上去控制流程,导致实际生产中应该发生的活动的部分生产数据遗漏； 虽然影响采油厂数据质量的原因是多方面的，但主要的原因还是集中在管理、制度和数据采集加工规范化方面。对于如何通过管理、制度、标准和流程来控制数据质量,提高数据可信度,我们提出建立采油厂统一的数据质量分析评价模型，使用管理手段和技术手段相结合的办法,建立一套完善的数据定义、控制、评估流程，依托科学严谨的数据监督和质量控制体系持续地改进数据质量。 二、数据质量分析评价模型构成 构成数据质量分析评估模型的要素分别为:基础模型、数据质量辅助模型、数据质量定义模型、数据质量控制模型、数据质量评价模型。 1.基础模型。基础模型部分是整个模型框架的支撑核心部分，其他质量模型的定义和控制必须以基础模型中的计划和标准为依据。基础模型主要是映射、定义数据采集标准,上载分单位的采集计划,同时纳入了约束规则定义规范、控制规则定义规范、模板定义规范。 数据标准:分两部分,一部分是直接映射应用中的标准，例如源数据库标准;另一部分是针对新增应用库和项目库标准的定义规范,包括代码定义标准、数据项定义标准(例如是取英文还是汉语拼音,取几个字符）、值域定义标准等等新增表准的建立规范； 采集计划:采集单位的每月上载的日度、月度、年度的采集计划;
数据质量管理 定义： 是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。 目录 1数据质量管理 2数据质量管理评估维度 3分析影响数据质量的因素 4MTC-DQM 数据质量管理的方法与步骤 一数据质量管理 数据质量管理是循环管理过程，其终极目标是通过可靠的数据提升数据在使用中的价值，并最终为企业赢得经济效益。 二数据质量管理评估维度 由于数据清洗（DataCleaning）工具通常简单地被称为数据质量（Data Quality）工具，因此很多人认为数据质量管理，就是修改数据中的错误、是对错误数据和垃圾数据进行清理。 这个理解是片面的，其实数据清洗只是数据质量管理中的一步。数据质量管理（DQM），不仅包含了对数据质量的改善，同时还包含了对组织的改善。针对数据的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。 任何改善都是建立在评估的基础上，知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。
1 数据质量评估维度 完整性Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。 规范性Conformity：规范性用于度量哪些数据未按统一格式存储。 一致性Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。 准确性Accuracy：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的。 唯一性Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。 关联性Integration：关联性用于度量哪些关联的数据缺失或者未建立索引。 2 管理质量评估维度 配置管理Config Management：此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范，即数据的计划、产生、变更直至消亡的过程中，与数据相关的计划、规范、描述是否收到控制。评估指标包括：评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。 培训 Training：此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要；受训的知识和技能是否经过审核和确认，受训的内容是否与企业文化和价值观一致；培训流程是否合理完善等； 验证和确认Verify & Validation：此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品（数据）满足指定的要求、是否通过“确认”流程保证工作产品（数据）在计划的环境中满足使用的要求；“验证”和“确认”的流程是否完善； 监督和监控Monitoring：此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度，会导致数据质量低下。监督和监控的流程是否完善。 三分析影响数据质量的因素 影响数据质量的因素主要来源于四方面：信息因素、技术因素、流程因素和管理因素
常见的软件质量模型 关于软件质量模型，业界已经有很多成熟的模型定义，比较常见的质量模型有McCall 模型、Boehm 模型、FURPS 模型、Dromey 模型和 ISO9126 模型。 ?Jim McCall 软件质量模型（1977 年） ?Barry W. Boehm 软件质量模型（1978 年） ?FURPS/FURPS+ 软件质量模型 ?R. Geoff Dromey 软件质量模型 ?ISO/IEC 9126 软件质量模型（1993 年） ?ISO/IEC 25010 软件质量模型（2011 年） Jim McCall 软件质量模型（1977 年） Jim McCall 的软件质量模型，也被称为 GE 模型（General Electrics Model）。其最初起源于美国空军，主要面向的是系统开发人员和系统开发过程。McCall 试图通过一系列的软件质量属性指标来弥补开发人员与最终用户之间的沟壑。 McCall 质量模型使用 3 中视角来定义和识别软件产品的质量： 1.Product revision (ability to change). 2.Product transition (adaptability to new environments). 3.Product operations (basic operational characteristics).
McCall 模型通过层级的要素、标准和指标来详述这 3 个视角定义（产品修改、产品转移、产品运行）。 ?11 Factors (To specify)：描述软件的外部视角，也就是客户或使用者的视角。 ?23 Criterias (To build)：描述软件的内部视角，也就是开发人员的视角。 ?Metrics (To control)：定义衡量指标和方法 下图中，左侧为 11 个质量要素，右侧为 23 个质量标准。
附录A （资料性附录） 数据质量评价维度 A.1 完整性 按照数据规则要求，数据元素被赋予数值的程度。即完整性指的是数据信息是否存在缺失的状况，数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失。不完整的数据所能借鉴的价值会大大降低，完整性是数据质量评估标准的基础。 表A.1完整性评价指标 A.2 规范性 数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。 表A.1规范性评价指标
表A.2 （续） A.3 一致性 数据与其他特定上下文中使用的数据无矛盾的程度。即一致性是指数据是否遵循了统一的规范，数据集合是否保持了统一的格式。数据质量的一致性主要体现在数据记录的规范和数据是否符合逻辑。 表A.2 一致性评价指标 11
数据准确表示其所描述的真实实体（实际对象）真实值得程度。即准确性是指数据记录的信息是否存在异常或错误。 表A.3 准确性评价指标 A.5 唯一性 数据唯一不重复。即唯一性是指度量哪些数据是重复数据或者数据的哪些属性是重复的。 A.6 关联性 数据的关联不可缺失的。即关联性是度量哪些关联的数据缺失或者未建立索引。 关联性评价因素： a)查找到的信息和主题不完全一致，但确是其中某一方面的阐述； b)查找到的信息集合多数在用户需要的检索主题内； c)提供的信息主题与用户检索主题相匹配； d)查找到的信息多数与用户需要的信息无关； e)信息必须和用户需求有相关性。
数据在时间变化中的正确程度。即及时性是指数据从产生到可以查看的时间间歇，也叫做数据的延时时长，及时性对数据分析本身要求并不高，但如果数据分析周期加上数据建立的时间过长，就可能导致分析出的结论失去借鉴意义。 表A.4 时效性评价指标 A.8 可访问性 数据能被访问的程度。 表A.5 可访问性评价指标 13
大数据环境下数据质量管理、评估与检测关键问题研究 随着信息社会的不断发展,信息系统中充斥着海量的、多结构的、多维度的数据资源,大数据价值已被社会全面认可,如何挖掘数据价值已成为各研究领域和各行业应用领域最为关心的问题。数据究竟是垃圾还是宝藏,最重要的问题是所要分析挖掘的数据是否是高质量的,一个低质量的数据来源会使得不仅无法体现数据价值,而且可能会与实际情况背道而驰,反而起到了副作用。目前,国内外研究机构和学者针对数据质量管理与检测问题提出了多种方法论和框架,但在实际应用当中缺乏具体执行手段,使得数据质量管理实行起来困难重重。 针对数据质量管理、评估和检测的关键问题,本文做了以下工作:(1)针对数据质量管理问题,本文通过对目前国内外主流数据管理方法和框架进行了深入对比和分析,梳理出数据质量管理的通用方法流程和指标体系。提出了六项重要数据质量指标的度量方法,并提出了计算公式,为数据质量管理和评估提供了有效指导。同时,针对数据质量管理的执行情况提出了数据质量成熟度模型,为数据质量的整体评价提供了参考依据。 (2)针对数据预处理问题,本文提出了一种数据离散化预处理算法。在大数据环境中,数据产生和更新频率不断加快,更多的数据是以连续方式进入信息系统,需要进行离散化处理才能够被信息系统所处理,离散化处理效率和效果对于后续数据质量检测和评估工作起到至关重要的作用。因此,本文提出了一种高效、准确的数据离散化处理算法(ICACC,Improved class-attribute contingency coefficient Method),能够有效提升大数据应用当中连续数据转换成离散数据进行处理时的效率和准确性,算法经过实验验证相比于传统处理算法准确率提升10%。
仅供参考！ 目前，基于数据仓库的商业智能应用已经成为国内许多企业的IT规划项目，并受到企业管理层的关注。作为商业智能的基础,数据质量的好坏是影响商业智能应用效果的关键，但由于企业的信息化经过长期的积累和发展,数据质量参差不齐，脏数据的存在阻碍了商业智能应用的进程，下面将重点谈谈如何让脏数据改头换面。 数据的“往事” 脏数据是指源系统中的数据不在给定的范围内或对于实际业务毫无意义，或是数据格式非法，以及在源系统中存在不规范的编码和含糊的业务逻辑。 脏数据的存在主要是由于源系统的设计不够严密造成的。主要表现为：数据格式错误，数据不一致，数据重复、错误，业务逻辑的不合理，违反业务规则等。例如，未经验证的身份证号码、未经验证的日期字段等，还有账户开户日期晚于用户销户日期、交易处理的操作员号不存在、性别超过取值范围等。此外，也有因为源系统基于性能的考虑，放弃了外键约束，从而导致数据不一致的结果。 目前，大多数的银行业务系统的输入界面是采用COBOL语言或C语言开发的，界面处理功能不是很强，一些要素被设计成“输入”而不是“选择”，如企业客户的信用等级被设计成输入，输入的正确与否完全由操作员的理解决定，这也是脏数据产生的原因之一。例如，如果被设计成“选择”就不会出现把AAA输成“1”或其他了。 转换与清洗的实例 下面以银行业务系统的客户的惟一标识—客户号为例来讲解如何转换与清洗数据。 客户信息的处理是整个数据抽取、转换、清洗和装载（ETL）工作中最复杂的部分。目前业务系统中常见的客户信息处理的难点主要有以下两个方面。 客户的惟一标识混乱 银行的客户号一般由证件类型与证件号组成，这里就有一个问题，如果客户有多种证件怎么办？或者说某个客户办了移民，有了新的身份，系统中怎样体现出他是同一个客户？这些问题，除了少部分是由于发证机关造成的（如身份证重号），大部分是由于操作人员的操作不规范造成的。主要表现在以下三个方面。 A、客户身份证号问题 最常见的问题是客户的身份证从15位更换为18位。首先操作人员只要能输入新的客户号，就认为是一个新的客户；其次，即使操作员知道客户的身份证升位了，但在银行的客户信息中，客户号是惟一标识，如果对惟一标识进行更新，作为增量反映到目标系统中，但没有记录原客户号，对于目标系统来说就是一条新记录，而删除原有的客户信息在实际操作中可能是不允许或做不到的，因为在这个客户号上可能还挂了许多账户，即便物理删除了这条客户
如何对软件质量进行评估 1 软件质量的有关概念软件质量是“软件产品具有满足规定的或隐含要求能力要求有关的特征与特征总和”。根据软件质量国家标准GB-T8566--2001G，软件质量评估通常从对软件质量框架的分析开始。1.1 软件质量框架模型如图1所示，软件质量框架是一个“质量特征—质量子特征—度量因子”的三层结构模型。 在这个框架模型中，上层是面向治理的质量特征，每一个质量特征是用以描述和评价软件质量的一组属性，代表软件质量的一个方面。软件质量不仅从该软件外部表现出来的特征来确定，而且必须从其内部所具有的特征来确定。 第二层的质量子特征是上层质量特征的细化，一个特定的子特征可以对应若干个质量特征。软件质量子特征是治理人员和技术人员关于软件质量问题的通讯渠道。 最下面一层是软件质量度量因子（包括各种参数），用来度量质量特征。定量化的度量因子可以直接测量或统计得到，为最终得到软件质量子特征值和特征值提供依据。如何对软件质量进行评估（图一） 图1 软件质量框架模型1.2 软件质量特征 按照软件质量国家标准GB-T8566--2001G，软件质量可以用下列特征来评价： a.功能特征：与一组功能及其指定性质有关的一组属性，这里的功能是满足明确或隐含的需求的那些功能。 b.可靠特征：在规定的一段时间和条件下，与软件维持其性能水平的能力有关的一组属性。 c.易用特征：由一组规定或潜在的用户为使用软件所需作的努力和所作的评价有关的一组属
性。 d.效率特征：与在规定条件下软件的性能水平与所使用资源量之间关系有关的一组属性。 e.可维护特征：与进行指定的修改所需的努力有关的一组属性。 f.可移植特征：与软件从一个环境转移到另一个环境的能力有关的一组属性。 其中每一个质量特征都分别与若干子特征相对应。 2 评估指标的选取原则 选择合适的指标体系并使其量化是软件测试与评估的要害。评估指标可以分为定性指标和定量指标两种。理论上讲，为了能够科学客观地反映软件的质量特征，应该尽量选择定量指标。但是对于大多数软件来说，并不是所有的质量特征都可以用定量指标进行描述，所以不可避免地要采用一定的定性指标。 在选取评估指标时，应该把握如下原则： a.针对性 即不同于一般软件系统，能够反映评估软件的本质特征，具体表现就是功能性与高可靠性。 b.可测性 即能够定量表示，可以通过数学计算、平台测试、经验统计等方法得到具体数据。 c.简明性 即易于被各方理解和接受。 d.完备性 即选择的指标应覆盖分析目标所涉及的范围。 e.客观性 即客观反映软件本质特征，不能因人而异。 应该注重的是，选择的评估指标不是越多越好，要害在于指标在评估中所起的作用的大小。假如评估时指标太多，不仅增加结果的复杂性，有时甚至会影响评估的客观性。指标的确定一般是采用自顶向下的方法，逐层分解，并且需要在动态过程中反复综合平衡。 3 软件质量评估指标体系
中国科学院数据应用环境建设与服务 数据质量评测方法与指标体系 （征求意见稿） 中国科学院数据应用环境建设与服务项目组 2009 年9 月
前言本规范是“中国科学院数据应用环境建设与服务”之标准规范建设成果之一。本规范由中国科学院计算机网络信息中心科学数据中心提出并归口。本规范由中国科学院计算机网络信息中心科学数据中心负责起草。
目录 1 范围.......................................................................................................... 2 规范性引用文件................................................................................................ 3 应用.......................................................................................................... 4 术语.......................................................................................................... 5 数据质量评测制度.............................................................................................. 6 数据质量评测原则.............................................................................................. 6.1 科学性原则 (5) 6.2 客观性原则 (5) 6.3 系统性原则 (5) 6.4 可操作性原则 (6) 6.5 针对性原则 (6) 6.6 引导性原则 (6) 7 数据质量评测一般流程.......................................................................................... 7.1 数据质量需求分析 (7) 7.2 确定评价对象及范围 (7) 7.3 选取数据质量维度及评价指标 (7) 7.4 确定质量测度及其评价方法 (8) 7.5 运用方法进行评价 (8) 7.6 结果分析及评级 (9) 7.7 质量结果及报告 (9) 8 数据质量评价主体的要求........................................................................................ 9 数据质量指标体系............................................................................................... 9.1 数据质量结构 (10) 9.2 主要数据质量指标 (11) 9.2.1 基本层 (12) 9.2.2 准则层 (13) 9.2.3 评价指标选取的基本要求 (16) 9.2.4 评价指标的筛选和权重 (16) 9.2.5 评测指标的冲突处理原则 (17) 10 数据质量评测方法........................................................................................... 10.1 定性方法 (18) 10.1.1 第三方评测法 (19) 10.1.2 用户反馈法 (19) 10.1.3 专家评议法 (20) 10.2 定量方法 (20) 10.2.1 访问量统计 (20) 10.2.2 计算机辅助检查 (21) 10.3 综合方法 (21) 10.3.1 层次分析法 (21) 10.3.2 缺陷扣分法 (26)
常见软件质量模型的对比 J. A. McCall等人将质量模型分为三层:因素、衡量准则、度量,并对软件质量因素进行了研究,认为软件质量是正确性、可靠性、效率等构成的函数,而正确性、可靠性、效率等被称为软件质量因素,或软件质量特征,它表现了系统可见的行为化特征。每一因素又由一些准则来衡量,而准则是跟软件产品和设计相关的质量特征的属性。例如,正确性由可跟踪性、完全性、相容性来判断;每一准则又有一些定量化指标来计量,指标是捕获质量准则属性的度量。McCall认为软件质量可从两个层次去分析,其上层是外部观察的特性,下层是软件内在的特性。McCall定义了11个软件外部质量特性,称为软件的质量要素,它们是正确性、可靠性、效率、完整性、可使用性、可维护性、可测试性、灵活性、可移植性、重复使用性和连接性。同时,还定义了23个软件的内部质量特征,称之为软件的质量属性,它们是完备性、一致性、准确性、容错性、简单性、模块性、通用性、可扩充性、工具性、自描述性、执行效率、存储效率、存取控制、存取审查、可操作性、培训性、通信性、软件系统独立性、机独立性、通信通用性、数据通用性和简明性,软件的内部质量属性通过外部的质量要素反映出来。然而,实践证明以这种方式获得的结果会有一些问题。例如,本质上并不相同的一些问题有可能会被当成同样的问题来对待,导致通过模型获得的反馈也基本相同。这就使得指标的制定及其定量的结果变得难以评价。 Boehm模型是由Boehm等在1978年提出来的质量模型,在表达质量特征的层次性上它与McCall模型是非常类似的。不过,它是基于更为广泛的一系列质量特征,它将这些特征最终合并成19个标准。Boehm提出的概念的成功之处在于它包含了硬件性能的特征,这在McCall模型中是没有的。但是,其中与McCall模型类似的问题依然存在。 ISO9126质量模型主要从三个层次来分析即内部质量，外部质量和使用质量，这三者之间都是互相影响互相依赖。其中内在质量和外在质量的六个特征,它们还可以再继续分成更多的子特征。这些
软件质量评估 1 软件质量的有关概念 软件质量是“软件产品具有满足规定的或隐含要求能力要求有关的特征与特征总和”。根据软件质量国家标准GB-T8566--2001G，软件质量评估通常从对软件质量框架的分析开始。 1.1 软件质量框架模型 如图1所示，软件质量框架是一个“质量特征—质量子特征—度量因子”的三层结构模型。 在这个框架模型中，上层是面向管理的质量特征，每一个质量特征是用以描述和评价软件质量的一组属性，代表软件质量的一个方面。软件质量不仅从该软件外部表现出来的特征来确定，而且必须从其内部所具有的特征来确定。 第二层的质量子特征是上层质量特征的细化，一个特定的子特征可以对应若干个质量特征。软件质量子特征是管理人员和技术人员关于软件质量问题的通讯渠道。 最下面一层是软件质量度量因子（包括各种参数），用来度量质量特征。定量化的度量因子可以直接测量或统计得到，为最终得到软件质量子特征值和特征值提供依据。 1.2 软件质量特征 按照软件质量国家标准GB-T8566--2001G，软件质量可以用下列特征来评价： a.功能特征：与一组功能及其指定性质有关的一组属性，这里的功能是满足明确或隐含的需求的那些功能。 b.可靠特征：在规定的一段时间和条件下，与软件维持其性能水平的能力有关的一组属性。 c.易用特征：由一组规定或潜在的用户为使用软件所需作的努力和所作的评价有关的一组属性。 d.效率特征：与在规定条件下软件的性能水平与所使用资源量之间关系有关的一组属性。 e.可维护特征：与进行指定的修改所需的努力有关的一组属性。 f.可移植特征：与软件从一个环境转移到另一个环境的能力有关的一组属性。 其中每一个质量特征都分别与若干子特征相对应。
我国GDP统计数据质量评估方法研究 ——基于构建诊断模型的研究西南财经大学刘盾、魏子力、吕达劲 摘要：统计是认识社会的武器，政府统计关系到国民经济的方方面面。政府统计数据的质量，对于宏观调控，科学研究,企业营销策略等，都起着不可或缺的重要作用。但是，近年来，中国官方统计数据受到不少的质疑，有必要对我国统计数据质量的定量检验进行系统深入的研究。 本文首先从统计数据的研究背景和研究意义出发，介绍了统计数据质量的概念和重要性；其次采用了三种方法来进行数据质量的检验，第一种方法：探索性数据质量分析方法。该方法适用于在没有以往数据资料积累或质量记录的情况下，根据GDP的数据特征,判断数据是否存在质量问题。并通过作箱线图的形式明确指出了可能是异常值的对应数据。第二种方法：Probit模型数据质量分析方法。通过建立Probit模型对数据进行分析，并进行了预测。第三种方法：基于层次分析法的模糊综合评价方法。从研究统计数据的分布规律入手，对统计数据准确性检验问题进行了探讨，接着利用模糊综合评价方法对政府统计数据质量进行整体优度检验。 关键词：统计数据质量，探索性数据分析， Probit模型， 异常点识别，模糊综合评价
目录 一、引言 (3) 二、文献综述 (4) （一）统计数据质量的相关研究方法 (4) （二）各种研究方法的优缺点 (5) （三）各种研究方法的文献综述 (7) 1．逻辑性评估方法 (7) 2．从异常值的角度对数据质量进行评估 (7) 3．从误差的角度对数据质量进行评估 (8) 4．事后预测及反常结果判断的方法 (8) 5．模糊综合评价方法 (8) 6．判别分析方法 (8) 三、本文的研究方法 (9) （一）模型选择 (9) (二）数据的选择与来源 (10) 四、模型构建及分析 (10) （一）探索性数据质量分析方法 (10) 1．数据处理 (10) 2．分析步骤及分析结果 (10) （二）Probit模型数据质量分析方法 (16) 1．Probit模型的原理 (16) 2．分析步骤及分析结果 (16) （三）层次分析法与模糊综合评价方法 (18) 1．对政府统计数据的对数正态分布检验 (18) 2．政府统计数据的准确性检验 (21) 3．AHP-模糊综合评价方法相结合——对政府统计数据质量进行整体优度检验 (23) 五、相关结论与建议 (32) （一）结论： (32) （二）建议： (33) 1．对数据使用者的相关建议 (33) 2．对提供数据的相关政府部门的建议 (33) 参考文献： (35) 附录： (36) 1．Probit模型建立前的辅助计量模型自变量的选择： (36) 2、Probit模型回带期望概率 (39) 3、所用数据 (45)
评标专家工作质量评价模型-标准化文件发布号：（9556-EUATWK-MWUB-WUNN-INNUL-DDQTY-KII
评标专家工作质量评价模型 杨正超林琳王毅 摘要：评标活动是工程招标投标的重要环节，评标专家的水平直接影响着招标投标决策的科学性，建立科学合理的评标专家工作质量综合评价体系对于招标投标管理活动具有重要的意义。本文基于近年来出现的电子化评标系统，通过分析系统积累的历史数据资源，初步建立了评标专家的工作质量评价模型，设计了评标专家评价指标体系，以作为评价评标专家工作质量之抛砖引玉之用。 引言 《招标投标法》等相关法律法规赋予了评标委员会对投标文件的评审权和自由裁量权。作为评标委员会的主要成员——评标专家的业务素质、职业道德、客观公正等要素直接影响招标投标的成效。建立一支专业素养强、职业道德好、专业分类合理的评委专家队伍是招标投标活动高质有效开展的基本要求，建立一套科学合理的评标专家评价体系是保证评标专家队伍优胜劣汰、评标行为客观公正的迫切需要。 多年来，招标投标管理机构一直在探索和研究评标专家工作评价机制。一些地区采用管理部门对评标专家主观评分的方式进行评价，评价结论一般只反映评标专家外在的工作表现、工作态度，不能正确表达评标行为是否客观公正，评标结果是否科学合理。2004年，江苏省在评标活动中首先开展了计算机辅助评标，实现了经济标评审的电子化操作。2008年又在全省全面推行网上远程异地评标，实现了完整投标文件评审的电子化操作，从而建立了具有分析意义的评标专家评审行为数据库，积累了大量的数据。通过对历史数据的分析，建立了一套基于远程异地评标系统数据库的评标专家工作质量评价体系，为招标投标管理部门评价评标专家工作质量提供了重要的参考依据。 一、建立评标专家工作评价指标体系的必要性 评标专家在工程招标投标中承担着裁判的角色，是招标投标工作中的关键环节，是确保招标投标公正的关键因素。无论哪一方市场主体，想达到操纵招标的目的，都需要有专家的参与才能实现。因此，评标专家往往成为了不法者的公关焦点。常见的情况主要为以下几种： 一是投标人想尽办法及时摸清楚参加评标的专家，亲自出面做工作，采用不法手段获得评标专家的支持。二是对于专业性较强的项目，评标专家数量少。投标人平时就与这些评标专家联系建立感情。评标的时候，这些评标专家自然会给出感情分。三是先做好招标单位的工作，利用评标委员会中的招标单位代表，采用明示暗示等方式，让评标专家们知道招标人希望让哪一家企业中标，评委顺理成章打出了“感情分”，“关系分”，致使这家企业中标。