PMI授权的项目管理综合培训机构 Global Registered Education Provider 课程：基于大数据的软件缺陷分析和预测 什么是大数据？数据挖掘？R语言在华尔街盛行? 大数据Big data、数据挖掘Data mining、R语言等在不同领域的应用越来越流行，比如：用于市场分析消费者消费习惯，以推出针对性广告；找出有问题的信用卡交易；用于股票或 者财务市场预测；用于地区犯罪率预测。 这些对软件和科技行业有什么作用？ 在软件工程方面开始使用大数据帮助预测缺陷，更容易地提高软件质量。从2000年开始，学术界对缺陷的预测已经做了不小的研究，一直收集产品发布的不同历史，包括缺陷历 史、变更历史、代码本身。通过数据分析，可以找出在新版本里面容易出错的地方。 如果公司是对软件质量要求很高的相关行业，比如银行、财务、通信，因它们知道单是靠最终的系统测试无法把潜在的缺陷都找出来，以下系列课程可以帮公司，QA，或技术人 员开拓视野。 我们的课程为学员解释以上新技术的概念，教授如何准备对应的日常数据和利用新技术。 这一系列课程先从统计、度量开始，介绍如何利用常用工具，帮公司建立可以长期操作的度量系统，不断去搜集过去历史的产品开发经验，然后可以为日后做出一些公司的基线和 预测模型打好基础，帮助产品质量的提高。 我们一系列总共有3个课程，每个课程为2天，从最基础的统计、度量与分析开始，到最后利用一些大数据，Data mining的技巧，对一些实例做分析研究。 课程特点： 课程以实战为主理论为辅。提供足够的参考资料给学员在课前后研究。学员通过学习后也可以掌握一些立马可以在公司里推行的开源工具、程序和技巧。
有完全实现但不影响使用。如提示信息不太准确，或用户界面差，操作时间长，模块功能部分失效等，打印内容、格式错误，删除操作未给出提示，数据库表中有过多的空字段等 D类—较小错误的软件缺陷（Minor），使操作者不方便或遇到麻烦，但它不影响功能过的操作和执行，如错别字、界面不规范（字体大小不统一，文字排列不整齐，可输入区域和只读区域没有明显的区分标志），辅助说明描述不清楚 E类- 建议问题的软件缺陷（Enhancemental）：由问题提出人对测试对象的改进意见或测试人员提出的建议、质疑。 常用的软件缺陷的优先级表示方法可分为：立即解决P1、高优先级P2、正常排队P3、低优先级P4。立即解决是指缺陷导致系统几乎不能使用或者测试不能继续，需立即修复；高优先级是指缺陷严重影响测试，需要优先考虑；正常排队是指缺陷需要正常排队等待修复；而低优先级是指缺陷可以在开发人员有时间的时候再被纠正。 正确评估和区分软件缺陷的严重性和优先级，是测试人员和开发人员以及全体项目组人员的一件大事。这既是确保测试顺利进行的要求，也是保证软件质量的重要环节，应该要引起足够的重视。这里介绍三种常用的技术工具供大家参考。 （1）20/80原则 管理学大师彼得杜拉克说过：做事情必须分清轻重缓急。最糟糕的是什么事都做，这必将一事无成。而意大利经济学家柏拉图则更明确提出：重要的少数与琐碎的多数或称20/80的定律。就是80%的有效工作往往是在20%的时间内完成的，而20%的工作是在80%的时间内完成的。因此，为了提高测试质量，必须清晰的认识到哪些软件缺陷是最重要的，哪些软件缺陷是最关键的。不要拣了芝麻，却丢了西瓜。所以，只有抓住了重要的关键缺陷，测试效果才能产生最大的效益，这也是第一个原则---分清轻重缓急，把测试活动用在最有生产力的事情上。 （2）ABC法则
缺陷预测方法介绍 一、背景介绍 研发项目在测试初期由于没有更多的数据支撑，所以不能进行缺陷总数预测。而当数据量达到一定程度后，我们就可以通过工具来进行缺陷总数预测，同时在不同的时间段内多次预测并不断修正预测的缺陷总数，已达到对质量评估和测试计划调整起到一个指导作用。 二、工具及使用介绍 I、Excel II、Gompertz增长模型 III、SPSS 平常测试中我们会发现，测试的初始阶段，由于对测试环境不够熟悉，日均发现的软件缺陷数量比较少，发现软件缺陷数的增长较为缓慢；随着逐渐进入状态并熟练掌握测试环境后，日均发现软件缺陷数增多，发现软件缺陷数的增长速度迅速加快。随着测试的继续进行，软件缺陷的隐藏加深，发现难度加大，需要执行较多的测试才能发现一个缺陷，尽管缺陷数还在增加，但增长速度会减缓，而软件中隐藏的缺陷是有限的，因次限制了发现缺陷数的无限增长。这种发现软件缺陷的变化趋势及增长速度是一种典型的‘S’曲线，根据这种规律我们可以使用增长模型来预测缺陷的总数。 1、Excel运用宏进行缺陷总数预测 1-1、首先先把数据列入Excel表中 1-2、加载宏 Office按钮 -> Excel选项(I) -> 加载项 -> 管理(选择“Excel 加载项”) -> 点击[转到(G)]按钮 -> 加载宏界面勾选“分析工具库”和“规划求解加载项” (确定后等待加载完成即可)，图1
图1 1-3、在数据下的菜单里点击“数据分析”(在右边)，将弹出数据分析对话框，图2 图2 1-4、在分析工具(A)选择框处选择“回归”后点击[确定]按钮，弹出回归设置对话框，如图3 图3 1-5、根据步骤4的设置，在新的sheet里查看结果，我们只需查看Upper 95%的值即可，如图4 图4 根据以上操作，我们可以预测该系统的缺陷总数约为448.4个。 2、运用Gompertz增长模型进行缺陷总数预测 模型表达式为Y=a*b^(c^T) 其中Y表示随时间T发现的软件缺陷总数，a是当T→∞时的可能发现的软件缺陷总数，即软件中所含的缺陷总数。a*b是当T→0时发现的软件缺陷数，c表示发现缺陷的增长速度。我们需要依据现有测试过程中发现的软件缺陷数量来估算出三个参数a，b，c的值，从而得到拟合曲线函数。
Microcomputer Applications Vol. 25, No.11, 2009 技术交流 微型电脑应用 2009年第25卷第11期 ·31· 文章编号：1007-757X(2009)11-0031-03 基于贝叶斯网络技术的软件缺陷预测与故障诊断 王科欣，王胜利 摘 要：如何进一步地提高软件的可靠性和质量是我们十分关注的问题，而前期软件缺陷和后期软件故障的诊断都是控制质量的关键手段，由此我们提出了基于贝叶斯的神经网络。基于对贝叶斯网络和神经网络理论的分析，发现贝叶斯网络和神经网络各自的优点与不足，利用贝叶斯具有前向推理的优势进行故障诊断，利用神经网络学习算法能够处理更复杂网络结构的优势来积累专家知识，最后提出了贝叶斯网络与概率神经网络相结合的模型，该模型可以更好地兼顾软件缺陷与故障诊断两个方面。 关键词：贝叶斯；神经网络；测试；缺陷预测；故障诊断 中图分类号：TP311.5 文献标志码：A 0 引言 如何进一步提高软件的可靠性和质量是我们十分关注的问题，软件可能存在缺陷，我们在软件的整个生命周期中始终期望能及早发现重要错误，并及时诊断。这就告诉我们，在进行软件前期预测时，就应该重视和记录重要缺陷，以便在故障发生时能通过早期预测的记录表找到故障原因。这就说明软件缺陷预测和故障诊断不应该是两个独立的过程，而应该有所联系。本文就通过贝叶斯网络和模糊神经网络对两项工作进行了整合。通过贝叶斯的在推理规则上的优势，尤其是前向推理的特点进行故障诊断，利用神经网络学习和训练函数的复杂多样性，可以更好地拟合复杂情况。 1 软件缺陷预测与故障诊断 1.1 软件缺陷预测的两个方面 1.1.1 对于软件可靠性早期预测 对于开发者而言，在开发软件之前或者设计软件中，主要作用是进行风险控制，验证其设计可行性。由于贝叶斯网络可以在信息不完全的情形下进行不确定性和概率性事件的推理，所以对于复杂软件的早期预测具有先天的优势。软件缺陷数量属于动态度量元素，需要通过对软件产品进行完整的测试后才能获得。针对特定模块进行完整测试成本比较高，并且必须在软件开发完成之后才能进行集成测试，这样在前期很难控制软件产品缺陷数量。为了更好地提高软件质量，对软件模块中包含的缺陷进行预测是一个可行的方法。软件缺陷预测方法的前提假设是软件的复杂度和软件的缺陷数量有密切关联。复杂度高的软件模块产生的缺陷比复杂度低的模块产生的缺陷多。软件缺陷预测的思路是使用静态度量元素表征软件的复杂度，然后预测软件模块可能的缺陷数量或者发生缺陷的可能性。通过进行软件缺陷预测，能够以较低的成本在项目开发的早期预测产品的缺陷分布状况，可以更好的调整有限的资源，集中处理可能出现较多缺陷的高风险模块，从而从整体上提高软件产品的质量。 1.1.2 对于软件残留缺陷的预测 对于测试者而言，通过质量预测，可将软件的各个组成部分按预测的质量水平进行分类，明确测试的重点，避免在进行测试时同等对待，而是有所侧重，这对节约有限资源和缩短开发周期都有着十分重要的意义。软件的测试和修改是一个螺旋式上升的过程。由于资源和时间的有限投入，什么时候软件达到了要求的质量水平从而能够投入实际使用是一个十分关键的问题。对残留缺陷进行预测，目的就是为了确保代码中的缺陷数量维持在一个安全水平。对测试经理来说，估计目前软件的测试到了哪个阶段、还应该继续做到什么样水平，这都是尤其重要的。从软件经济学的观点上来看，它关系到产业界的投入产出比、测试过度，不能再检查出太 多错误，或者说检查耗费很长的时间和很多的人力，但最终是一个细微的错误，这是不经济的；但是如果残留缺陷还比较多，就停止测试工作，那么会使得这些缺陷在未排除的情 况下交付给用户，等到用户发现错误时，维护的成本就会更 高。因此，正确预测软件残留缺陷对于交付使用后的软件维护也具有重要意义。 1.2 软件故障诊断技术 软件故障诊断是根据软件的静态表现形式和动态信息查找故障源，并进行分析，给出相应的决策。其中静态形式包括程序、数据和文档，动态信息包括程序运行过程中的一系列状态，人在参与软件生存周期的各个阶段工作时，都有可能由于各种疏忽和不可预料的因素，出现各种各样的错误。因而，从广义上说，软件故障诊断的工作涉及到软件的整个生命周期——需求分析、设计、编码、测试、使用、维护等各阶段所造成的缺陷。 软件故障诊断，“诊”的主要工作是对状态检测，包括使用各种度量和分析方法；“断”的工作则更为具体，它需要确定：（1）软件故障特性；（2）软件故障模式；（3）软件故障发生的模块和部位；（4）说明软件故障产生的原因，并且提出相应的纠正措施和避免下一次再发生该类错误的措——————————— 作者简介：王科欣（1982-） ，男，湖南长沙人，暨南大学计算机科学系，硕士研究生，软件设计师，广东体育职业技术学院助教，主要研究方向为软件工程、数据库与知识工程，广东 广州，510632；王胜利（1984-），男，湖南衡阳人，暨南大学计算机科学系，硕士 研究生，研究方向为软件工程、数据挖掘，广东 广州，510632
软件的缺陷分析 一、缺陷分析的作用 软件缺陷不只是通常所说程序中存在的错误或疏忽，即俗称的Bug。其范围更大，除程序外还包括其相关产品：项目计划、需求规格说明、设计文档、测试用例、用户手册等等中存在的错误和问题。需要强调，在软件工程整个生命周期中任何背离需求、无法正确完成用户所要求的功能的问题，包括存在于组件、设备或系统软件中因异常条件不支持而导致系统的失败等都属于缺陷的范畴。 软件测试的任务就是发现软件系统的缺陷，保证软件的优良品质。但在软件中是不可能没有缺陷的。即便软件开发人员，包括测试人员尽了努力，也是无法完全发现和消除缺陷。 如何做到最大限度地发现软件系统的缺陷，人们首先想到提高开发人员的素质和责任心，科学地应用测试方法和制定优秀的测试方案。但这是不够的，我们还需要实施缺陷分析。缺陷分析是将软件开发、运行过程中产生的缺陷进行必要的收集，对缺陷的信息进行分类和汇总统计，计算分析指标，编写分析报告的活动。 通过缺陷分析，发现各种类型缺陷发生的概率，掌握缺陷集中的区域、明晰缺陷发展趋势、了解缺陷产生主要原因。以便有针对性地提出遏制缺陷发生的措施、降低缺陷数量。对于改进软件开发，提高软件质量有着十分重要的作用。 缺陷分析报告中的统计数据及分析指标既是对软件质量的权威评估，也是判定软件是否能发布或交付使用的重要依据。 二、管理软件的缺陷分析 不同于系统、工具、工控、游戏等软件，管理软件在实际运行时面临情况要复杂得多。首先是用户的需求更加不统一，而且随时间的推移需求发生变化快、变化大；其次运行环境更复杂，除受操作系统、数据库等影响外，用户在网络、甚至同一计算机安装运行不同性质和背景的应用软件，其影响很难预测；再者客户的操作习性不同，等等。因此管理软件的种种缺陷，不是在开发时通过测试都能预计的。预测并控制缺陷有效手段之一是缺陷分析。 在高级别的CMM 中就包含了缺陷分析活动。缺陷分析更是一种以发展方式进行软件过程改进的机制。 三、缺陷的信息收集 软件工程通常要求为开发项目建立缺陷管理库，也有人称为变更控制库。从发现缺陷开始创建变更，直到缺陷解决、经验证、关闭变更止。在缺陷管理的整个生命周期记录了大量相关资料，它们是缺陷分析所需要的宝贵信息。 由于变更库并不专为缺陷分析而设计，缺陷分析主要关心以下信息项：变更编号、变更主题、变更提交的日期、变更状态、变更性质、变更解决的日期、变更产生的根本原因、解决变更的工作量、验证变更的工作量、变更的严重性等级、变更所属软件产品及子系统、变更修改的模块、变更产生的阶段、变更来源、变更测试情况等。缺陷信息部分是在创建变更时输入的，部分是在变更解决中或解决后输入的。 为了实施统计，有些缺陷信息必需事先设定关键字。 变更控制库中有一信息项——变更原因，由修改缺陷程序的程序员详细记录缺陷产生的具体原因。这项信息显然无法直接用于分类和汇总。变更产生的根本原因信息项，则是基于变更原因的关键字字段，是专为处理缺陷分析中缺陷原因而设计的信息项。 软件发布前缺陷分析所用缺陷根本原因的关键字，可以有下几种实例： * 编程：原始编程出错，没有客观原因。 * 修改：由于修改缺陷而引发的新变更，并且引发的变更与原变更的错误是相关的。 * 培训：项目组新成员培训不充分，或使用新工具不熟练引起的变更。
一、软件缺陷的定义及主要类型 我们对软件缺陷分析一下,所谓"软件缺陷（bug）"，即为计算机软件或程序中存在的某种破坏正常运行能力的问题、错误，或者隐藏的功能缺陷。一般来说，软件缺陷的属性包括缺陷标识、缺陷类型、缺陷严重程度、缺陷优先级、缺陷来源、缺陷原因等。 进行软件缺陷分析后,软件缺陷的主要可以分为以下几种类型： （1）设计不合理; 2）功能、特性没有实现或部分实现; 3）运行出错，包括运行中断、系统崩溃、界面混乱等; 4）与需求不一致，在执行TestCase时则为实际结果和预期结果不一致; （5）用户不能接受的其他问题，如存取时间过长、界面不美观; （6）软件实现了需求未提到的功能。 二、软件缺陷的级别、优先级及状态 软件缺陷有四种级别，分别为：致命的(Fatal)，严重的(Critical)，一般的(Major)，微小的(Minor)。 A类—致命的软件缺陷(Fatal): 造成系统或应用程序崩溃、死机、系统挂起，或造成数据丢失，主要功能完全丧失，导致本模块以及相关模块异常等问题。如代码错误，死循环，数据库发生死锁、与数据库连接错误或数据通讯错误，未考虑异常操作，功能错误等 B类—严重错误的软件缺陷（critical）：系统的主要功能部分丧失、数据不能保存，系统的次要功能完全丧失。问题局限在本模块，导致模块功能失效或异常退出。如致命的错误声明，程序接口错误，数据库的表、业务规则、缺省值未加完整性等约束条件 C类—一般错误的软件缺陷（major）：次要功能没有完全实现但不影响使用。如提示信息不太准确，或用户界面差，操作时间长，模块功能部分失效等，打印内容、格式错误，删除操作未给出提示，数据库表中有过多的空字段等 D类—较小错误的软件缺陷（Minor），使操作者不方便或遇到麻烦，但它不影响功能过的操作和执行，如错别字、界面不规范（字体大小不统一，文字排列不整齐，可输入区域和只读区域没有明显的区分标志），辅助说明描述不清楚 E类- 建议问题的软件缺陷（Enhancemental）：由问题提出人对测试对象的改进意见或测试人员提出的建议、质疑。 常用的软件缺陷的优先级表示方法可分为：立即解决P1、高优先级P2、正常排队P3、低优先级P4。立即解决是指缺陷导致系统几乎不能使用或者测试不能继续，需立即修复；高优先级是指缺陷严重影响测试，需要优先考虑；正常排队是指缺陷需要正常排队等待修复；而低优先级是指
软件测试的缺陷分析 相关内容：软件测试缺陷跟踪管理更多知识 一、缺陷分析的作用 软件缺陷不只是通常所说程序中存在的错误或疏忽，即俗称的Bug。其范围更大，除程序外还包括其相关产品：项目计划、需求规格说明、设计文档、测试用例、用户手册等等中存在的错误和问题。需要强调，在软件工程整个生命周期中任何背离需求、无法正确完成用户所要求的功能的问题，包括存在于组件、设备或系统软件中因异常条件不支持而导致系统的失败等都属于缺陷的范畴。本文 软件测试的任务就是发现软件系统的缺陷，保证软件的优良品质。但在软件中是不可能没有缺陷的。即便软件开发人员，包括测试人员尽了努力，也是无法完全发现和消除缺陷。 如何做到限度地发现软件系统的缺陷，人们首先想到提高开发人员的素质和责任心，科学地应用测试方法和制定的测试方案。但这是不够的，我们还需要实施缺陷分析。缺陷分析是将软件开发、运行过程中产生的缺陷进行必要的收集，对缺陷的信息进行分类和汇总统计，计算分析指标，编写分析报告的活动。 通过缺陷分析，发现各种类型缺陷发生的概率，掌握缺陷集中的区域、明晰缺陷发展趋势、了解缺陷产生主要原因。以便有针对性地提出遏制缺陷发生的措施、降低缺陷数量。对于改进软件开发，提高软件质量有着十分重要的作用。－全国教育类网站() 缺陷分析报告中的统计数据及分析指标既是对软件质量的权威评估，也是判定软件是否能发布或交付使用的重要依据。－全国教育类网站()
二、管理软件的缺陷分析 不同于系统、工具、工控、游戏等软件，管理软件在实际运行时面临情况要复杂得多。首先是用户的需求更加不统一，而且随时间的推移需求发生变化快、变化大；其次运行环境更复杂，除受操作系统、数据库等影响外，用户在网络、甚至同一计算机安装运行不同性质和背景的应用软件，其影响很难预测；再者客户的操作习性不同，等等。因此管理软件的种种缺陷，不是在开发时通过测试都能预计的。预测并控制缺陷有效手段之一是缺陷分析。 在高级别的CMM中就包含了缺陷分析活动。缺陷分析更是一种以发展方式进行软件过程改进的机制。来源： 三、缺陷的信息收集 软件工程通常要求为开发项目建立缺陷管理库，也有人称为变更控制库。从发现缺陷开始创建变更，直到缺陷解决、经验证、关闭变更止。在缺陷管理的整个生命周期记录了大量相关资料，它们是缺陷分析所需要的宝贵信息。 由于变更库并不专为缺陷分析而设计，缺陷分析主要关心以下信息项：变更编号、变更主题、变更提交的日期、变更状态、变更性质、变更解决的日期、变更产生的根本原因、解决变更的工作量、验证变更的工作量、变更的严重性等级、变更所属软件产品及子系统、变更修改的模块、变更产生的阶段、变更来源、变更测试情况等。