收稿日期:2002-05-30
基金项目:铁道部科技研究开发计划资助项目(2001-X-005)
作者简介:王铁江(1976-),男,河南郑州人,博士生.
基于黑箱的自动软件测试工具的质量保障方法
王铁江,郦 萌
(同济大学计算机科学与工程系,上海 200092)
摘要:软件测试需要合适的自动测试工具的有效支持,此时保障测试工具质量的问题显得尤其重要.介绍了两种
针对基于黑箱的自动软件测试工具的质量保障方法,并详细讨论了软件故障注入方法.长期测试实践证明了这
些方法对保障铁路计算机联锁软件测试评估平台的检测能力和可靠性是非常有效的.
关键词:故障注入;质量保障;测试工具;软件测试
中图分类号:T P 311.5 文献标识码:A 文章编号:0253-374X(2002)10-1249-04
Approaches for Guaranteeing Quality of Automatic
Software Test Tools Based on Black Box
WANG Tie -j iang,L I Meng
(Department of Computer Scien ce and Engineering,Tongji University,S hanghai 200092,Ch i na)
Abstract :Softw are testing needs effective support from appropriate automatic test tools.And the problem of g uaranteeing the quality of test tools is of more importance.Tw o methods of guaranteeing the quality of auto -matic softw are test tools based on black box are introduced,and the approach for softw are fault injection is discussed in detail.These approaches prove to be very effective by long -term test practices w hen guaranteeing the testing ability and reliability of the Railway Computer Interlocking Softw are Testing and Evaluation Plat -form.
Key words :fault injection;quality guarantee;test tool;softw are testing
软件测试是软件质量保证的关键技术,在软件生命周期中占有重要的位置.不管专业技术人员采用多好的研发和管理技术来保证软件质量,都不能代替软件测试.测试过程是软件开发过程中一个单调、复杂和耗时的质量保障环节.激烈的商业竞争要求它必须借助于有效的自动软件测试工具代替繁重的手工测试工作来提高测试效率,缩短开发周期和减少资金投入.近几年来国内软件测试工具的开发和研究[1~4]
取得了很大进展,其中,铁路计算机联锁软件测试评估平台(以下简称测试平台)是一种针对一类安全软件)))铁路车站计算机联锁软件的专业性自动测试工具.既然作为一种对安全性完善度要求最高的安全软件的自动测试工具,测试案例的自动生成、自动执行和测试结果自动判定的正确性以及工具本身的可靠性对于测试的有效性也就显得至关重要.在测试平台质量保障过程中,作者使用两种方法来保证基于黑箱的自动软件测试工具的高可用性和高可靠性:1通过模拟被测软件,支持测试平台的开发和调试[4];o使用故障注入验证自动测试案例集的有效性.本文将简要介绍前一种方法,并详细阐述使用故障注入来验证案例集的实现原理,且通过长期的测试实践证明了故障注入在保障测试工具质量中取得的良好效果.1 基于动态判定的黑箱测试平台
基于黑箱的测试平台适用于由开发商和用户以外的第三方来进行软件的可靠性、安全性评估.图1所第30卷第10期
2002年10月同 济 大 学 学 报JOURNAL OF T ONGJI UN IVERSIT Y Vol.30No.10 Oct.2002
图1 测试平台的框架结构
Fig.1 Framework of the
testing platform 示为一种基于动态判定的黑箱测试平台的框架结构.主控机根据软
件按照被测软件的需求规格说明自动生成和执行测试案例,同时对
仿真机的仿真环境进行故障设置,然后主控机的动态判定系统把被
测软件的输出和期望输出进行比较和判定,完成对被测软件的安全
性测试,其间的测试结果由数据库机实时记录[2~4].
2 质量保障方法2.1 模拟被测软件
被测软件相对于测试方完全是/黑箱0,并且测试方在开发过程
中很难获得大量实际被测对象,因此需要模拟被测软件支持测试平台的开发,对测试用数据和各个子系统的正确性、可用性和可靠性进行检验.模拟被测软件按照被测软件的需求规格说明实现自动测试需要检验的各种功能,并在不同的操作方式和不同的数据驱动下,保持很高的通用性,最终把黑箱测试条件转化为虚拟/白箱0测试条件,降低软件开发难度.
2.2 故障注入
故障注入是指按照特定的故障模型,用人为的方法有意识地产生故障并施加于运行特定工作负载的目标系统中,以加速该系统的错误和失效的发生,同时观测和回收系统对所注故障的回应信息,通过分析,对系统进行验证和评价的过程.故障注入有三种实现方法:1硬件实现的故障注入[5];o软件实现的故障注入[6];?用重离子辐射实现的故障注入
[7].其中软件实现的故障注入具有成本低、无损害、易于控制
等优点.安全软件的无故障间隔时间(M TBF)相当长,所以在测试平台开发阶段,不可能根据它的实际失效来验证测试案例集的有效性.事实上,在用模拟目标软件代替实际被测软件进行开发的基础上,能够使用故障注入加速模拟目标软件失效,然后来验证测试案例集的有效性和评价其测试覆盖度.
3 故障注入质量保障方法
3.1 故障模式的选择
故障模式的选择需要考虑试验的目的,即对哪些类别和功能的自动测试案例集进行验证.选择的故障模式越接近并尽可能覆盖系统真实运行期间所发生的故障,验证的效果就越好.一般而言,软件实现的故障注入所选用的故障模式应该包括以下几方面特性:类型、作用时刻、持续时间和位置.故障空间是这几种特性取值的笛卡儿乘积.
穷尽注入故障集进行验证因耗时而无法实现,故采用一定的策略选择可能发生的和可以注入的故障的一个子集进行故障注入研究.自动验证测试案例集,关键不在于故障的原因,而在于区分各种故障原因在被测试软件上表现出的故障行为是否相同,即以不同的故障行为来建立被测软件的故障模型.基于这一思想进行的设计可以大大简化故障注入器的复杂程度.一种可行的方案是:根据软件需求规格说明和自动测试预先声明的能够检测到的故障模式,分析造成软件失效的故障特征,归纳故障行为并建立故障模式库.故障模式库提供被测软件的通用故障模式,使故障注入器能够选择不同的故障模式注入故障,对自动测试案例集的揭错能力进行验证.
3.2 注入故障效果的分析
注入故障的选择与验证效果关系密切,一方面要求注入故障的准确性.越接近实际运行期间所发生的故障,验证工作越有意义;另一方面要求注入故障的针对性.尽管采用自动测试代替人的繁重劳动,但不能实现所有案例的穷尽自动测试,因此故障应针对已实现的自动测试案例集来注入,选择注入的故障模式应尽可能接近测试案例集包含的故障模式.于是,注入的故障集F f 与测试平台预先声明能够自动检验出的故障集F c 存在着以下几种关系.(1)若F f X a,F c X a,F f H F c =a,说明注入故障完全落在检验能力范围之外,无法自动检验出注入1250 同 济 大 学 学 报第30卷
的故障,主要因为注入故障时没有考虑到当前运行的自动测试案例而导致故障注入偏离了验证目的,当然也不排除因为检验能力不足而引起的.这种情况在实际过程中出现较少.
(2)若F f X a,F c X a,F f H F c X a,F f ¤F c ,F c ¤F f ,说明能够检测出部分注入的故障,验证过程中经常出现这种情况.对没有被检测出来的故障存在以下两种原因需要进一步分析.主要原因是案例的自动生成和结果动态判定仍需要完善,没有检测到要求发现的软件故障;另外也可能存在着注入的故障不在自动检验范围之内的可能性.
(3)若F f X a,F c X a,F f =F c ,这是目标结果,因为已发现的故障集合等于自动检验预先声明能够发现的故障集合,而没有被检测出的故障说明不在自动检验预先声明的能够检验到的故障集之内,并且不要求通过自动检验来发现没有被检测出的故障.如果没有被检测到的故障在F c 之外,且通过完善测试工具仍能够发现这些故障,则需要扩充F c 来提高检验能力.
(4)若F f X a,F c X a,F f A F c ,说明注入的故障都能够被发现,不存在没有被发现的故障.这种情况主要是因为注入的故障类型太少,不能全面暴露测试案例的缺陷和不足,因而需要扩充故障模型库直至达到目标结果为止.
总之,为了保证动态判定系统既不会错判也不会漏判,对测试案例集的有效性进行验证需要通过以下两个方面来保证测试案例集的揭错能力:1对测试平台预先声明某个案例能够自动检验出的故障集F c 的验证,即当注入的故障是F c 中的故障,验证注入的故障是否能够被发现;o注入的故障在F c 之外,可以发现那些自动检验本来能够发现的故障但是由于设计缺陷没有纳入F c 中,这样可以减少漏判的可能性.
3.3 使用变异算子实现故障注入
首先假定模拟被测软件P 是近似正确的,即在不使用故障注入技术的情况下,测试平台的自动测试不能继续发现它的软件缺陷.此时P 在变异算子的作用下变异成含有软件缺陷的变异体P c ,并在一定输入数据驱动下表现出一种期望的故障行为,即完成了对P 的故障注入.尽管诱使程序具有一种特定的故障特征的原因可能很多,但是这里只关心表现出的故障行为是否相同,故可以选择最明显和简单的原因作为变异算子.常见的错误与变异算子有:1引用错误的程序数据或关键参数;o使用错误的输入参数变量;?在变量状态空间内,给变量错误赋值;?错误的布尔表达式;?把语句用T rap 语句代替,而T rap 语句使程序终止且输出一个与任何输出都不同的结果;?激活含有错误的模块代替正常运行的模块.有时可通过后两种方式改变程序运行路径.
在自动测试中,通过故障注入器的人机接口向程序P 中注入故障,包括选择故障的类型、对象、位置、时刻和持续时间等参数.程序P 和P c 在一个自动测试案例T 的输入上,动态判定对P 的计算结果产生了不同的输出判断值,说明变异体P c 被杀死了,即该测试案例能有效地发现所注入的故障,记录为1,否则记录为
0.
图2 故障注入提高自动检验能力的过程Fig.2 Process of improving the automatic testing ability by using fault injection 在故障注入试验中,试验者必须全面监视软件行为,详细做好试验记录.典型的系统行为包括故障是否有效注入;故障是否被激活;故障是否被检测到;软件是否成功恢复;注入故障后软件的运行轨迹等.试验者分析实验结果,并根据F f 与F c 的关系,确定故障注入验证测试案例集揭错能力的效果,评价测试案例集的测试检测率和测试覆盖度,并对测试案例集的完善提供改进建议.
4 结束语
在软件测试工具开发阶段,故障注入技术加速模拟目标
软件失效,对基于黑箱的自动测试工具)))测试平台的检测
能力进行评价是一种能反映软件的相对真实性且易于实现的
一种评价方法.如图2所示,经过多次循环验证和反馈优化,
故障注入在验证测试案例集的有效性的同时,提高了自动检
验能力并保障测试工具质量.为了提高测试效率,将先前的手
工测试案例形式化后实现其自动测试,故障注入也是对改进1251 第10期王铁江,等:基于黑箱的自动软件测试工具的质量保障方法
1252同济大学学报第30卷
型测试平台的测试案例集的有效性进行验证的一种有效方法.事实上,在测试平台的多次改进优化中,模拟被测软件和故障注入技术在保障测试平台的检测能力和可靠性时确实发挥了重要作用,然而也只有得到质量保障的测试工具才能取得令人满意的测试结果.自1997年以来,设在同济大学的/铁路车站计算机联锁检验站0利用自行开发的计算机联锁软件测试平台对10多个不同规模的实际车站和4个不同制式的标准站的计算机联锁软件进行安全性测试,总共测出软件缺陷550个,其中致险缺陷占30%~40%.测试平台能够使用有效的测试案例准确发现被测软件的潜在缺陷,以及测试平台在测试过程中的稳定可靠运行,都说明了保障质量方法的合理性和有效性.
参考文献:
[1]孙昌爱,金茂忠.基于场景的软件测试工具系列的设计与实现[J].计算机工程与应用,2001,37(12):49-53.
[2]W U Fang-mei,LI M eng.Railway signaling safety testing based on dynamic decision table[A].Proceeding of the Eighth Asian Test S ym po-
sium[C].Shanghai:IEE E Computer Society,1999.247-250.
[3]LI Wei-w ei,XU Zhong-w ei,JIN Yan.An approach for tes ting safety-critical software[A].9th Great Lakes Sym posium on VLSI,Ann
Arbor[C].M ichigan:IEEE Com puter Society Press,1999.180-183.
[4]王铁江,吴芳美.面向软件测试的虚拟计算机联锁软件的设计和实现[J].测试技术学报,2000,14:388-393.
[5]W ang J Y,S un J Z,Li Y C,et al.T he implementation of FT T-1:A hardw are-based fault i njector[A].Proc IEEE Internati onal Workshop
on Computer-Aided Design,T est and Evaluation for Dependabi lity[C].Beiji ng:IEEE Com puter Society,1996.170-174.
[6]Karlsson J,Liden P,Dahlgren P,et https://www.doczj.com/doc/0613732699.html,ing heavy-lon radi ation to validate fault-handling mechanisms[J].IEEE M icro,1994,14(1):8-
32.
[7]Kanaw ati G A,Kanaw ati N A,Abraham J A.A flexi ble software-based fault and error injection system[J].IEEE T rans Computer,1995,44
(2):248-260.
#下期文章摘要预报#
市场比较法及其在农地价格评估中的应用
单胜道,尤建新
市场比较法的应用基础是发达的土地市场和大量的交易案例.目前我国农地市场刚起步,交易案例极少,评估方法极不完善,有关农地价格数据也极不齐全,因此,在应用市
场比较法时必须拓宽思路,灵活运用.通过案例分析,对市场比较法及其拓展方法的应用
作了较为全面的探讨,并就市场比较法方法本身作了客观的评价.
支持产品创新的分散网络化制造
马淑梅
阐述了产品创新对企业赢得竞争的重要性,分析了产品快速开发的支撑技术,并通过实例描述了分散网络化制造的全过程,这种网络联盟企业将对我国制造业提高产品创新
能力,缩短新产品上市周期,提高产品开发质量,快速响应市场产生显著的效果.
软件测试工具汇总 一、工具汇总 1.免费工具 下表中针对WEB页面或B/S结构进行功能和性能测试的工具有： 开源功能自动化测试工具：PureTest，OpenSTA，Watir、Selenium、MaxQ、WebInject、Fitnesse 开源性能自动化测试工具：Jmeter、OpenSTA、DBMonster PureTest Minq公司功能测试商业 免费 本是业内商业自动化测试工具之一，如今PureTest已经免费。它专注于对WEB应用程序进行功能自动化测试，并即时对WEB页面元素进行检 测，对HTTP请求、响应进行诊断分析。 PureTest is an application which is primarily used to setup scenarios of tasks, execute and debug them. Even though it supports testing a variety of applications it is especially useful for debugging and snooping of web applications. PureTest includes a HTTP Recorder and Web Crawler which makes it useful for generic verification of HTTP requests and web content checking. The normal way to access web sites is via a browser; however, there are times when it is desirable to bypass the browser and access a site from a program, including: Debugging of HTTP requests and responses Automated web site testing The HTTP Recorder simplifies the process of capturing all requests that are exchanged between a browser and the web server. Then use PureTest to replay each request in order to carefully watch the HTTP data that is transferred on the wire (HTTP headers, request parameters, response headers and response content). The Web Crawler is useful to pro-actively verify the consistence of a static web structure. It reports various metrics, broken links and the structure of the crawled web. Test scenarios that be saved to file and later be repeated, to verify that you server applictaion works as expected. This can be done using the PureTest debugger in the grapical user interface, but also using a command line interface. PureLoad Minq公司负载压力测 试 商业 免费 PureLoad正是一款基于Java开发的网络负压测试工具，它的Script代码 完全使用XML，所以，这些代码的编写很简单，可以测试各种C/S程序， 如SMTP Server等。它的测试报表包含文字和图形并可以输出为HTML 文件。由于是基于Java的软件，所以，可以通过Java Beans API来增强 软件功能。
7.6 AutoRunner简介 (1) 7.6.1 AutoRunner的组成 (1) 7.6.1.1 AutoRunner功能简介 (4) 7.6.2 AutoRunner的安装要求 (6) 7.6.3 AutoRunner的安装 (6) 7.6.4配置AutoRunner (9) 7.6.4.1配置AutoRunner (9) 7.6.5 AutoRunner的使用流程 (10) 7.6.5.1 AutoRunner使用流程简介 (10) 7.6.5.2创建项目 (11) 7.6.5.3 创建脚本 (14) 7.6.5.4 录制脚本 (15) 7.6.5.5 录制回放 (17) 7.6.5.6 脚本参数化 (18) 7.6.5.6 属性校验 (22) 7.6.5.7 脚本调用 (24) 7.6 AutoRunner简介 7.6.1 AutoRunner的组成
集成开发环境： (Integrated Development Environment 简称IDE)软件是用于程序开发环境的应用程序，一般包括代码编辑器、编译器、调试器和图形用户界面工具，也就是集成了代码编写功能、分析功能、编译功能、Debug功能等一体化的开发软件套。所有具备这一特性的软件或者软件套(组)都可以叫做IDE。如微软的Visual Studio系列，Borland的C++ Builder、Delphi系列等。 IDE环境菜单栏 AutoRunner3.9中的菜单栏如上图所示，主菜单包含文件、编辑、录制、执行、设置、许可证、帮助等菜单项，下面对每一项做一个简介。 文件菜单 如图所示，所有对脚本的管理操作都可以在文件菜单下完成，包括对脚本的新建，导入，保存，另存为，关闭，改变工作空间，最近打开，退出等等。 编辑菜单
测试工具的比较和选择（仅供内部使用）
修订记录 2
目录 一．白盒测试工具集 (2) 二．黑盒测试工具集 (3) 三．测试管理工具典型产品比较 (4) 四．商业化自动测试工具比较 (6) 五．测试工具的选择 (7) 六．测试工具在实际中运用的瓶颈 (8) 七．总结 (9)
关键词： 白盒测试工具集、黑盒测试工具集、测试管理工具集、自动化测试工具集 摘要： 随着软件测试的地位逐步提高，测试的重要性逐步显现，测试工具的应用已经成为了普遍的趋势。目前用于测试的工具已经比较多了，这些测试工具一般可分为：白盒测试工具、黑盒测试工具、性能测试工具，另外还有用于测试管理（测试流程管理、缺陷跟踪管理、测试用例管理）的工具。总的来说，测试工具的应用可以提高测试的质量、测试的效率。但是在选择和使用测试工具的时候，应该看到，在测试过程中，并不是所有的测试工具都适合我们使用，同时，有了测试工具、会使用测试工具并不等于测试工具真正能在测试中发挥作用。因此，要发挥测试工具的价值,必须根据公司的实际情况合理选择测试工具, 本文拟从测试工具的选择和使用方面着手，讲述一点个人的心得,供公司参考
一．白盒测试工具集 白盒测试工具一般是针对代码进行测试，测试中发现的缺陷可以定位到代码级，根据测试工具原理的不同，又可以分为静态测试工具和动态测试工具。公司目前的测试水平尚不具备使用白盒测试工具进行代码测试的能力，这里只作简单介绍 1．静态测试工具 静态测试工具直接对代码进行分析，不需要运行代码，也不需要对代码编译链接，生成可执行文件。静态测试工具一般是对代码进行语法扫描，找出不符合编码规范的地方，根据某种质量模型评价代码的质量，生成系统的调用关系图等。静态测试工具的代表有Telelogic公司的Logiscope软件、PR公司的PRQA软件。 2．动态测试工具 动态测试工具与静态测试工具不同，动态测试工具的一般采用"插桩"的方式，向代码生成的可执行文件中插入一些监测代码，用来统计程序运行时的数据。其与静态测试工具最大的不同就是动态测试工具要求被测系统实际运行。 动态测试工具的代表有Compuware公司的DevPartner软件、Rational公司的Purify系列等。 Parasoft白盒测试工具集 Compuware白盒测试工具集 2
常用办公软件测试题 一、综合部分 1．对于Office XP应用程序中的“保存”和“另存为”命令，正确的是___。 A．文档首次存盘时，只能使用“保存”命令 B．文档首次存档时，只能使用“另存为”命令 C．首次存盘时，无论使用“保存”或“另存为”命令，都出现“另存为”对话框 D．再次存盘时，无论使用“保存”或“另存为”命令，会出现“另存为”对话框 2．对于Office XP应用程序中的“常用”工具栏上的“新建”命令按钮和“文件”菜单下的“新建”命令项，不正确的是___。 A．都可以建立新文档 B．作用完全相同 C．“新建”命令按钮操作没有“模板”对话框，使用空白模板 D．“文件”后“新建”命令可打开“模板”对话框，可以选择不同的模板 3．不能在“另存为”对话框中修改文档的___。 A．位置B。名称 C．内容D。类型 4．Office XP应用程序中的“文件”菜单底端列出的几个文件名表示___。 A．用于切换的文件B。已打开的文件 C．正在打印的文件D。最近被该Office XP应用程序处理过的文件 5．在文本编辑状态，执行“编辑”到“复制”命令后，___。
A．被选定的内容复制到插入点 B．被选定的内容复制到剪贴板 C．被选定内容的格式复制到剪贴板 D．剪贴板的内容复制到插入点 6．当“编辑”菜单中的“剪切”和“复制”命令呈浅灰色而不能被选择时，表示___。A．选定的内容太长，剪贴板放不了 B．剪贴板里已经有信息了 C．在文档中没有选定任何信息 D．选定的内容三图形对象 7．Office XP应用程序中的工具栏可以___。 A．放在程序窗口的上边或下边 B．放在程序窗口的左边或右边 C．作为一个窗口放在文本编辑区 D．以上都可以 8．可以从___中选择Office XP应用程序中的命令。 A．菜单B。工具栏 C．快捷菜单D。以上都可以 9．Office XP应用程序中使用鼠标进行复制操作应___。 A．直接拖动B。按住
主流测试工具介绍 选自：https://www.doczj.com/doc/0613732699.html, WinRunner:强大的企业级自动化测试工具 Mercury Interactive公司的WinRunner是一种企业级的功能测试工具，用于检测应用程序是否能够达到预期的功能及正常运行。通过自动录制、检测和回放用户的应用操作，WinRunner能够有效地帮助测试人员对复杂的企业级应用的不同发布版进行测试，提高测试人员的工作效率和质量，确保跨平台的、复杂的企业级应用无故障发布及长期稳定运行。 企业级应用可能包括Web应用系统，ERP系统，CRM系统等等。这些系统在发布之前，升级之后都要经过测试，确保所有功能都能正常运行，没有任何错误。如何有效地测试不断升级更新且不同环境的应用系统，是每个公司都会面临的问题。 如果时间或资源有限，这个问题会更加棘手。人工测试的工作量太大，还要额外的时间来培训新的测试人员等等。为了确保那些复杂的企业级应用在不同环境下都能正常可靠地运行，你需要一个能简单操作的测试工具来自动完成应用程序的功能性测试。 轻松创建测试 用WinRuuner创建一个测试，只需点击鼠标和键盘，完成一个标准的业务操作流程，WinRunner自动记录你的操作并生成所需的脚本代码。这样，即使计算机技术知识有限的业务用户轻松创建完整的测试。你还可以直接修改测试脚本以满足各种复杂测试的需求。WinRunner提供这两种测试创建方式，满足测试团队中业务用户和专业技术人员的不同需求。 插入检查点 在记录一个测试的过程中，可以插入检查点，检查在某个时刻/状态下，应用程序是否运行正常。在插入检查点后，WinRunner会收集一套数据指标，在测试运行时对其一一验证。WinRunner提供几种不同类型的检查点，包括文本的、GUI、位图和数据库。例如，用一个位图检查点，你可以检查公司的图标是否出现于指定位置。 检验数据
第119贴【2004－10－12】：常见测试术语一 Acceptance Testing－－可接受性测试 一般由用户/客户进行的确认是否可以接受一个产品的验证性测试。 actual outcome－－实际结果 被测对象在特定的条件下实际产生的结果。 Ad Hoc Testing－－随机测试 测试人员通过随机的尝试系统的功能，试图使系统中断。algorithm－－算法 （1）一个定义好的有限规则集，用于在有限步骤内解决一个问题；（2）执行一个特定任务的任何操作序列。 algorithm analysis－－算法分析 一个软件的验证确认任务，用于保证选择的算法是正确的、合适的和稳定的，并且满足所有精确性、规模和时间 方面的要求。 Alpha Testing－－Alpha测试 由选定的用户进行的产品早期性测试。这个测试一般在可控制的环境下进行的。 analysis－－分析 （1）分解到一些原子部分或基本原则，以便确定整体的特性；（2）一个推理的过程，显示一个特定的结果是假 设前提的结果；（3）一个问题的方法研究，并且问题被分解为一些小的相关单元作进一步详细研究。 anomaly－－异常 在文档或软件操作中观察到的任何与期望违背的结果。
application software－－应用软件 满足特定需要的软件。 architecture－－构架 一个系统或组件的组织结构。 ASQ－－自动化软件质量（Automated Software Quality） 使用软件工具来提高软件的质量。 assertion－－断言 指定一个程序必须已经存在的状态的一个逻辑表达式，或者一组程序变量在程序执行期间的某个点上必须满足的 条件。 assertion checking－－断言检查 用户在程序中嵌入的断言的检查。 audit－－审计 一个或一组工作产品的独立检查以评价与规格、标准、契约或其它准则的符合程度。 audit trail－－审计跟踪 系统审计活动的一个时间记录。 Automated Testing－－自动化测试 使用自动化测试工具来进行测试，这类测试一般不需要人干预，通常在GUI、性能等测试中用得较多。 第120贴【2004－10－13】：常见测试术语二 Backus-Naur Form－－BNF范式 一种分析语言，用于形式化描述语言的语法 baseline－－基线
基于模型的分时段软件测试工具TPT TPT是针对嵌入式系统的基于模型的测试工具，特别是针对控制系统的软件功能测试。TPT支持所有的测试过程：包括测试建模、测试执行、测试评估以及测试报告的生成。 TPT软件由于首创地使用分时段测试（Time Partition Testing），使得控制系统的软件测试技术得以极大提升；同时由于TPT软件支持众多业内主流的工具平台和测试环境，能够更好地利用客户已有的投资，实现各种异构环境下的自动化测试；针对MATLAB/Simulink/Stateflow以及TargetLink，TPT提供了全方位的支持进行模型测试。 PikeTec公司是全球知名的基于模型的嵌入式系统测试工具TPT的软件供应商，总部位于德国柏林，其创始人均在戴姆勒公司拥有十多年的嵌入式软件开发经验。TPT产品曾被评为2005年戴姆勒最佳创新软件，并在戴姆勒、大众、奥迪、保时捷、通用等汽车整车厂及多家零部件企业（如博世、大陆、海拉）中得到广泛应用，如戴姆勒的多个车型的混合动力车的动力总成、电池管理控制器的测试，博世的汽油机和柴油机控制系统测试等。（请登录PikeTec的TPT产品了解更多产品详情。） 北汇信息作为PikeTec的中国合作伙伴，将帮助中国客户借助TPT提升嵌入式控制系统的开发效率。 分时段测试方法 分时段测试（Time Partition Testing）是一种采用分时段对软件进行测试和验证的测试方法，主要被用于嵌入式系统中基于模型的模块测试、集成测试、系统测试和回归测试。 通常软件测试的一种分类是静态测试和动态测试。静态测试是指不运行被测程序本身，仅通过分析或检查源程序的语法、结构、过程、接口等来检查程序的正确性。对需求规格说明书、软件设计说明书、源程序做结构分析、流程图分析、符号执行来找错。静态方法通过程序静态特性的分析，找出欠缺和可疑之处，例如不匹配的参数、不适当的循环嵌套和分支嵌套、不允许的递归、未使用过的变量、空指针的引用和可疑的计算等。静态测试结果可用于进一步的查错，并为测试用例选取提供指导。例如QAC C/C++、Logiscope等软件都属于静态测试工具。
摘要 随着信息科技的发展。数字科技的进步。人们对所使用的软件要求越来越严格，许多大型的软件公司对自己严发出来的软件要求也越来越严格，为了解决其中的BUG，软件测试行业开始在国内崛起。新兴的科技技术，带领着软件业开始飞速发展，产品趋于完美化，智能化，易用程度也大大的提高。 但是软件测试行业的形成是因为什么呢？许多人只知道软件测试，但是不知道其根本，它的源头是什么，它是怎么发展衍变的？ 本文在探讨软件测试技术的基础上，详细介绍了软件测试的发展，它的衍变过程。同时为大家介绍了多种系列的软件测试工具及它们各自的特点。为软件测试人员理清了测试思路，详细的划分了软件测试的种类。在阅读众多参考文献的情况下对于软件的安全的问题也进行了详细的阐述。最后详细介绍了一款基于主机的入侵检测的工具—PortSentry的安装，配置及使用方法。 关键词软件测试；发展；种类；工具
Abstract Along with information science and technology development.Digital science and technology progress.The people for the software request which uses are more and more strict, many large-scale software companies the software request which sends strictly to oneself more and more are also strict, in order to solve BUG, the software test profession starts in to rise domestically.The emerging technical technology, leads the software industry to start to develop rapidly, the product tends to the beautification, the intellectualization, easy to use the degree also big enhancement. But is the software test profession formation because of what? Many people only know the software test, but did not know its basic, what is its source, how is it develops evolves? This article in the discussion software test technology foundation, introduced in detail the software tests the development, it evolves the process.Meanwhile introduced many kinds of series software testing tool and they respective characteristic for everybody.Tested the personnel for the software to clear off the test mentality, the detailed division software has tested type.Has also carried on the detailed elaboration in the reading multitudinous reference situation regarding the software security question.Finally introduced one section in detail based on the main engine invasion examination tool - PortSentry installment, the disposition and the application method. Keywords software test，development，kind,tool
软件自动化测试工具介绍 一、功能测试工具 1、QTP测试工具 全名 HP QUiCkTeSt ProfeSSional SoftWare ,最新的版本为HP QUiCkTeSt ProfeSSional 11.0 QTP是 quickteSt PrOfeSSiOnal 的简称，是一种自动测试工具。使用QTP的目 的是想用它来执行重复的手动测试，主要是用于回归测试和测试同一软件的新版本。因此你在测试前要考虑好如何对应用程序进行测试，例如要测试那些功能、操作步骤、输入数据和期望的输出数据等 QUiCkTeSt针对的是GUl应用程序，包括传统的Windows应用程序，以及现在越来越流行的Web应用。它可以覆盖绝大多数的软件开发技术，简单高效，并具备测试用例可重用的特点。其中包括：创建测试、插入检查点、检验数据、增强测试、运行测试、分析结果和维护测试等方面。 2、WinRUnner MerCUry Interactive 公司的 WinRUnner是一种企业级的功能测试工具，用 于检测应用程序是否能够达到预期的功能及正常运行。通过自动录制、检测和回放用户的应用操作，WinRUnner能够有效地帮助测试人员对复杂的企 业级应用的不同发布版进行测试，提高测试人员的工作效率和质量，确保跨平台的、复杂的企业级应用无故障发布及长期稳定运行。 企业级应用可能包括 Web应用系统，ERP系统，CRM S统等等。这些系统在发布之前，升级之后都要经过测试，确保所有功能都能正常运行，没有任何错误。如何有效地测试不断升级更新且不同环境的应用系统，是每个公司都会面临的问题。 3、RatiOnal Robot 是业界最顶尖的功能测试工具，它甚至可以在测试人员学习高级脚本技术之前帮助其进行成功的测试。它集成在测试人员的桌面IBM Rational TeSt Manager上，在这里测试人员可以计划、组织、执行、管理和报告所有测试活动，包括手动测试报告。这种测试和管理的双重功能是自动化测试的理想开始。 4、AdVentNet QEngine AdVentNet QEngine是一个应用广泛且独立于平台的自动化软件测试工具, 测试、 可用于Web功能Web性能测试、JaVa应用功能测试、JaVa APl测试、SoAP测试、回归测试和 JaVa
一、判断题 1. Realone Player不支持多节目连续播放。（N） 2. 网际快车可以上传和下载文件。（N） 3. 天网防火墙的拦截功能是指数据包无法进入或出去。（Y） 4. SnagIt可以捕获DOS屏幕，RM电影和游戏等画面。（Y） 5. Adobe Acrobat Reader可以解压缩文件。（N） 6. 金山词霸2002支持Windows XP,但不支持office XP系统。（N） 7. 在用Ner-Burning Room刻录CD音乐时，若误将数据文件从本地资源管理器中拖入刻录机虚拟资源管理器中时，该文件将被添加到音乐CD中。（N） 8. Symantec Ghost 可以实现数据修复。（N） 9. Easy Recovery 可以恢复任何被从硬盘上删除的文件。（N） 10. Ctrem软件具有防发呆功能。（Y） 二．选择题（每小题2分，共40分） 1、下列不属于金山词霸所具有的功能的是：（C ） A、屏幕取词 B、词典查词 C、全文翻译 D、用户词典 2、东方快车提供了（C ）种语言翻译。 A、1种 B、2种 C、3种 D、4种 3、:Vintual CD 中的Creat按钮的功能为（B ） A、编辑映像文件 B、创建光盘的映像文件 C、映像文件的显示方式 D、将映像文件插入虚拟光驱 4、下列哪一个软件属于光盘刻录软件（A ） A、Nero-Buring Room B:Virtual CD C: DAEMON Tools D:Iparmor 5、下列不属于媒体播放工具的是（D ） A、Winamp B、超级解霸 C、Realone Player D:WinRAR 6、下列媒体播放器可以自由截取单个画面或整段电影的是非曲直（B ） A、Winamp B、超级解霸 C、Realone Player D、音频解霸 7、下列哪一个不是网际快车为已下载的文件设置的缺省创建类别（ D） A、软件 B、游戏和mp3 C、驱动程序 D、电影 8、CuteFTP具有网际快车不具备的功能是（ A） A、上传文件 B、下载文件 C、断点续传 D、支持多线程下载 9、如果在天网防火墙的ICMP规则中输入（ B）则表示任何类型代码都符合本规则。 A、254 B、255 C、256 D、253 10、Norton Antivirus的安全扫描功能包括（D ） ①自动防护②电子邮件扫描③禁止脚本④全面系统扫描 A、①②③ B、①②④ C、①③④ D、①②③④ 11、ACDSee不能对图片进行下列哪种操作（C ） A、浏览和编辑图像 B、图片格式转换 C、抓取图片 D、设置墙纸和幻灯片放映 12、SnagIt捕获的图片可被存为下列哪些格式（D ） ①BMP ②PCX ③TGA ④RSB A、①②③ B、①②④ C、①②③④ D、①② 13、WinRAR不可以解压下列哪些格式的文件（ D）
软件测试自动化与软件测试工具 目录 一、软件自动化测试基础 (2) 1、1 软件自动化测试的产生 (2) 1、2软件自动化测试的概念 (2) 1、3当软件开发过程中具有下列情况时首先需要考虑引入自动化测试： (2) 二、自动化测试的作用和优势 (2) 2、1概述 (2) 2、1、1产生可靠的系统 (2) 2、1、2改进测试工作质量 (2) 2、1、3．减少测试工作量并加快测试进度 (3) 2、1、4友情提醒 (3) 三、自动化测试工具 (3) 3、1软件测试工具分类 (3) 3、1、1白盒测试工具 (4) 3、1、2黑盒测试工具 (5) 3、1、3测试管理工具 (5) 3、2自动化测试工具一览 (5) 3、2、1 Rational Robot (5) 3、2、2 WinRunner (6) 3、2、3 LoadRunner (6) 3、2、4 Parasoft C++ Test (7) 3、2、5 QACenter (7) 3、2、6 WebLoad (8) 3、2、7 Web Application Stress (WAS) Tool (8) 3、2、8 TestDirector (8) 四、附录 (9)
一、软件自动化测试基础 1、1 软件自动化测试的产生 随着计算机日益广泛的应用，计算机软件越来越庞大和复杂，软件测试的工作量也越来越大。随着人们对软件测试工作的重视，大量的软件测试自动化工具不断涌现出来，自动化测试能够满足软件公司想在最短的进度内充分测试其软件的需求，一些软件公司在这方面的投入，会对整个开发工作的质量、成本和周期带来非常明显的效果。 1、2软件自动化测试的概念 软件测试自动化就是通过测试工具或其他手段，按照测试工程师的预定计划对软件产品进行自动的测试，它是软件测试的一个重要组成部分，能够完成许多手工无法完成或者难以实现的一些测试工作。正确、合理地实施自动化测试，能够快速、全面地对软件进行测试，从而提高软件质量、节省经费、缩短产品发布周期。 自动化测试能够替代大量手工测试工作，避免重复测试，同时，它还能够完成大量手工无法完成的测试工作，如并发用户测试、大数据量测试、长时间运行可靠性测试等。 1、3当软件开发过程中具有下列情况时首先需要考虑引入自动化测试： 非常重要的测试 涉及范围很广的测试 对主要功能的测试 容易自动化的测试 很快有回报的测试 运行最频繁的测试 二、自动化测试的作用和优势 2、1概述 使用测试工具的目的就是要提高软件测试的效率和软件测试的质量。通常，自动化测试的好处有： 产生可靠的系统； 改进测试工作质量； 减少测试工作量并加快测试进度。 2、1、1产生可靠的系统 测试工作的主要目标一是找出缺陷，从而减少应用中的错误；另一个是确保系统的性能满足用户的期望。为了有效地支持这些目标，在开发生存周期的需求定义阶段，当开发和细化需求时则应着手测试工作。使用自动化测试可改进所有的测试领域，包括测试程序开发、测试执行，测试结果分析、故障状况和报告生成。它还支持所有的测试阶段，其中包括单元测试、集成测试、系统测试、验收测试与回归测试等。 通过使用自动化测试可获得的效果可归纳如下。 （1）需求定义的改进 （2）性能测试的改进 （3）负载/压力测试的改进 （4）高质量测量与测试最佳化 （5）改进与开发组人员之间的关系 （6）改进系统开发生存周期 2、1、2改进测试工作质量 通过使用自动化测试工具，可增加测试的深度与广度，改进测试工作质量。其具体好处可归
7.7 PerformanceRunner简介 (2) 7.7.1 PerformanceRunner的组成 (2) 7.7.1.1 PerformanceRunner功能简介 (11) 7.7.2 PerformanceRunner的安装要求 (12) 7.7.3 PerformanceRunner的安装 (12) 7.7.4配置PerformanceRunner (15) 7.7.4.1配置PerformanceRunner (15) 7.7.5 PerformanceRunner的使用流程 (17) 7.7.5.1 PerformanceRunner使用流程简介 (17) 7.7.5.2创建项目 (17) 7.7.5.3创建脚本 (19) 7.7.5.4 录制脚本 (21) 7.7.5.5 录制回放 (24) 7.7.5.6 关联脚本 (25) 7.7.5.6 属性校验 (26) 7.7.5.7 添加事务 (29) 7.7.5.8 场景的创建与执行 (29) 7.7.5.9 测试结果和数据分析 (33)
7.7 PerformanceRunner简介 7.7.1 PerformanceRunner的组成 用户界面-生成器 测试或监控环境时，需要在系统中模拟用户的真实行为。PerformanceRunner 测试工具模拟多个用户在系统中同时工作或访问系统的环境。为了进行这种模拟，用虚拟用户（即 Vuser）代替现实生活中的人。Vuser执行的操作在 Vuser 脚本中进行描述。用于创建 Vuser 脚本的主要工具是脚本生成器。生成器不仅录制 Vuser 脚本，它还运行 Vuser 脚本。使用生成器运行脚本有助于进行调试。使用生成器可模拟 Vuser 脚本在大型测试中的运行情况。录制 Vuser 脚本时，生成器会生成多个函数，用以定义录制会话期间所执行的操作。生成器将这些函数插入到脚本编辑器中以创建基本 Vuser脚本。
常用软件测试工具大全 分类：软件测试 一、商业工具 工具名称来源类型费用功能概要 WinRunner Mercury公 司 功能性测试 收费 昂贵 Winrunner 最主要的功能是自动重复执行某一固定的测试过程，它以脚 本的形式记录下手工测试的一系列操作，在环境相同的情况下重放，检查 其在相同的环境中有无异常的现象或与实际结果不符的地方。可以减少由 于人为因素造成结果错误，同时也可以节省测试人员大量测试时间和精力 来做别的事情。功能模块主要包括：GUI map、检查点、TSL 脚本编程、 批量测试、数据驱动等几部分 LoadRunner Mercury公 司 性能与负载 压力 收费 昂贵 LoadRunner? 是一种预测系统行为和性能的工业标准级负载测试工具。 通过以模拟上千万用户实施并发负载及实时性能监测的方式来确认和查 找问题，LoadRunner 能够对整个企业架构进行测试。通过使用 LoadRunner ，企业能最大限度地缩短测试时间，优化性能和加速应用系 统的发布周期。LoadRunner 是一种适用于各种体系架构的自动负载测试 工具，它能预测系统行为并优化系统性能。LoadRunner 的测试对象是整 个企业的系统，它通过模拟实际用户的操作行为和实行实时性能监测，来 帮助您更快的查找和发现问题。此外，还能支持广范的协议和技术，为您 的特殊环境提供特殊的解决方案。 QuickTest Pro Mercury公 司 功能测试和 回归测试 收费 昂贵 QTP是一个B/S系统的自动化功能测试的利器,软件程序测试工具。 Mercury的自动化功能测试软件QuickTest Professional ，可以覆盖绝大 多数的软件开发技术，简单高效，并具备测试用例可重用的特点。Mercury QuickTest Pro 是一款先进的自动化测试解决方案，用于创建功能和回归 测试。它自动捕获、验证和重放用户的交互行为。Mercury QuickTest Pro 为每一个重要软件应用和环境提供功能和回归测试自动化的行业最佳解 决方案。 TestDirector Mercury公 司 测试管理 收费 昂贵 基于WEB的测试管理工具，他能够让你系统地控制整个测试过程，并创 建整个测试工作流的框架和基础，使整个测试管理过程变得更为简单和有 组织。他能够帮助你维护一个测试工程数据库，并且能够覆盖你的应用程 序功能性的各个方面。T并且还为你提供了直观和有效的方式来计划和执 行测试集、收集测试结果并分析数据。还专门提供了一个完善的缺陷跟踪 系统。并可以同Mercury公司的测试工具、第三方或者自主开发的测试工 具、需求和配置管理工具、建模工具的整合功能。你可以通过他进行需求 定义、测试计划、测试执行和缺陷跟踪，即整个测试过程的各个阶段。 SilkTest Segue公司功能测试和收费SilkTest 是面向Web应用、Java应用和传统的C/S应用，进行自动化的
主流自动化测试工具介绍 一、功能测试工具 1、Selenium （浏览器自动化测试框架） Selenium[1] 是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动录制动作和自动生成 .Net、Java、Perl等不同语言的测试脚本。据 Selenium 主页所说，与其他测试工具相比，使用 Selenium 的最大好处是： Selenium [2] 测试直接在浏览器中运行，就像真实用户所做的一样。Selenium 测试可以在 Windows、Linux 和 Macintosh上的 Internet Explorer、Mozilla 和 Firefox 中运行。其他测试工具都不能覆盖如此多的平台。使用 Selenium 和在浏览器中运行测试还有很多其他好处。 下面是主要的两大好处： 通过编写模仿用户操作的 Selenium 测试脚本，可以从终端用户的角度来测试应用程序。通过在不同浏览器中运行测试，更容易发现浏览器的不兼容性。Selenium 的核心，也称browser bot，是用 JavaScript 编写的。这使得测试脚本可以在受支持的浏览器中运行。browser bot 负责执行从测试脚本接收到的命令，测试脚本要么是用 HTML 的表布局编写的，要么是使用一种受支持的编程语言编写的。 2、QTP测试工具 全名HP QuickTest Professional software ，最新的版本为HP QuickTest Professional 11.0 QTP是quicktest Professional的简称，是一种自动测试工具。使用QTP的目的是想用它来执行重复的手动测试，主要是用于回归测试和测试同一软件的新版本。因此你在测试前要考虑好如何对应用程序进行测试，例如要测试那些功能、操作步骤、输入数据和期望的输出数据等 QuickTest针对的是GUI应用程序，包括传统的Windows应用程序，以及现在越来越流行的
软件测试过程中的工具使用软件测试过程中的工具使用 作者：easylife来源：不详 摘要：软件测试是保证软件质量的重要手段，它在整个软件开发过程中 占据了将近一半的时间和资源。在软件测试过程中合理的引入测试工具，能够加快测试进度，提高测试质量，实现更快、更好的开发软件产品的目标。本文介绍了覆盖软件测试各个阶段的测试工具，说明了每一类工具所应用的测试阶段，以及它能发挥的作用。 Abstract：Software test is one measure to insure the quality of software,it costs half of time and resource in the whole process of development.If test tools can be used in the process,it would to improve the speed of test and the quality of test,It's probable to develop software rapidly and to produce high quality.In this document it introduces some software test tools for the different of test moment,it introduce the time for every kind of tools,but the function of the test tool. 关键字：软件测试工具；测试设计；静态分析；单元测试；功能测试； 性能测试；测试过程管理； Keywords：software test tool；test design；static analysis； unit test；function test；performance test；test process management； 1、引言最近几年，软件测试在国内越来越受到重视，因为大家逐渐认识到了软件测试对于保证软件质量的重要性。随着对软件测试重视的提高，国内软件测试技术的发展也很快，逐渐从过去手工作坊式的测试向测试工程化的方向发展。 要真正实现软件测试的工程化，其基础之一就是要有一大批支持软件测 试工程化的工具。因此，软件测试工具对于实现软件测试的工程化来说至关重要。本文就从如何进一步提高软件测试质量和效率的角度出发，讨论测试工具在软件测试过程中的应用。 2、为什么要引入测试工具在测试过程中引入测试工具能给我们带来以下的好处。
目前主流的测试工具主要有以下5类： 1.负载压力测试工具 这类测试工具的主要目的是度量应用系统的可扩展性和性能，是一种预测系统行为和性能的自动化测试工具。在实施并发负载过程中，通过实时性能监测来确认和查找问题，并针对所发现问题对系统性能进行优化，确保应用的成功部署。负载压力测试工具能够对整个企业架构进行测试，通过这些测试，企业能最大限度地缩短测试时间，优化性能和加速应用系统的发布周期。 2.功能测试工具 通过自动录制、检测和回放用户的应用操作，将被测系统的输出记录同预先给定的标准结果比较，功能测试工具能够有效地帮助测试人员对复杂的企业级应用的不同发布版本的功能进行测试，提高测试人员的工作效率和质量。其主要目的是检测应用程序是否能够到预期的功能并正常运行。 3.白盒测试工具 白盒测试工具一般是针对代码进行测试，测试中发现的缺陷可以定位到代码级。根据测试工具原理的不同，又可以分为静态测试工具和动态测试工具。静态测试工具直接对代码进行分析，不需要运行代码，也不需要对代码编译链接和生成可执行文件。静态测试工具一般是对代码进行语法扫描，找出不符合编码规范的地方，根据某种质量模型评价代码的质量，生成系统的调用关系图等。动态测试工具一般采用“插桩”的方式，在代码生成的可执行文件中插入一些监测代码，用来统计程序运行时的数据。它与静态测试工具最大的不同是，动态测试工具要求被测系统实际运行。 4.测试管理工具 一般而言，测试管理工具对测试需求、测试计划、测试用例、测试实施进行管理，并且测试管理工具还包括对缺陷的跟踪管理。测试管理工具能让测试人员、开发人员或其他的IT 人员通过一个中央数据仓库，在不同地方就能交互信息。 5.测试辅助工具 这些工具本身并不执行测试，例如它们可以生成测试数据，为测试提供数据准备。 参加完“2005年IT测试技术研讨会”以后，谢常君对软件测试和网络测试的主流厂商和产品有了更全面的了解。不过最让他高兴的是结识了一批企业的代表和专家。 一个阳光明媚的下午，谢常君约上某位专家在一个咖啡馆会面。“非常谢谢你能前来，我这次约你出来是希望你可以给我一些专业的建议。”谢常君说，“我们公司近期可能需要采购一些测试工具，但是我们对此了解不多，希望你可以帮我们。”接下来，这位专家就首先从测试工具的分类开始讲起…… IT测试工具集锦 Radview TestView系列 Radview公司的TestView系列Web性能测试工具和WebLoad Analyzer性能分析工具，旨在测试Web应用和Web服务的功能、性能、程序漏洞、兼容性、稳定性和抗攻击性，并且能够在测试的同时分析问题原因和定位故障点。 整套Web性能测试和分析工具包含两个相对独立的子系统：Web性能测试子系统Web 性能分析子系统。其中Web性能测试子系统包含3个模块：TestView Manager、WebFT以及WebLoad。Web性能分析子系统只有WebLoad Analyzer。 左图表达了在一个完整的测试系统中，TestView Manager用来定制、管理各种测试活动；WebLoad模拟多个用户行为进行测试，所测试的是系统性能，容量，稳定性和抗攻击性；