ODERN SCIENCE &TECHNOLOGY OF TELECOMMUNICATIONS现代电信科技M ····························智能终端MTBF 稳定性测试方法与应用赵强（工业和信息化部电信研究院，北京100191）随着移动互联网的兴起，智能终端的使用越来越普及，其功能也得到了极大地发展，从最初以通话为主的有限功能发展成为集通话、社交、媒体、娱乐等为一体的可扩展智能平台，而上述丰富的功能则依赖于大量第三方应用的涌现。
这些应用为用户带来了全新的使用体验，同时软件质量的良莠不齐也为终端产品的稳定性和体验感带来了挑战。
另一方面，运营商和终端厂商在缺乏准确客观的检测技术的情况下，也很难发现良好的第三方应用并进行大范围推广。
在这种环境下，平均无故障时间（MTBF ：Mean Time Between Failure ）的稳定性测试重点也从传统的硬件测试、基本性能测试转移到对终端的软件测试上。
并且，随着各操作平台涌现出越来越多的应用程序，系统稳定性测试的复杂度日益提高，依靠以往的人工测试方式，不仅得不到可靠的测试结果，对人力的要求和成本也相当高昂。
因此，MTBF 稳定性的自动化测试越来越受到重视。
1智能终端MTBF 稳定性含义与测试方法MTBF 是衡量一个产品的可靠性指标。
它反映了TTL Test泰尔测试C ····························产品的时间质量，是体现产品在规定时间内保持功能的一种能力。
具体来说，是指相邻两次故障之间的平均工作时间，也称为平均故障间隔。
它仅适用于可维修产品。
同时也规定产品在总的使用阶段累计工作时间与故障次数的比值为MTBF 。
为了测试智能终端在连续工作状态下，出现死机、重启、冻屏、应用程序强制关闭等严重故障的概率，通常采用将被测终端在一个周期内通过自动化方式反复执行规定的用例，记录测试过程中出现的故障数的测试方法。
最终MTBF 的测试结果可通过以下公式计算得出：由于MTBF 稳定性测试需要在一个周期内连续执行，因此使用人工的方式进行操作测试变得不可行，只能采用自动化的方式执行测试。
通过自动化的方式反复运行智能终端中各应用的功能，在测试周期时长内对终端进行连续观察以完成测试。
目前，自动化测试的方式主要有两种。
第一种自动化测试的方式为通过机械臂来点击智能终端中应用的功能菜单，达到自动化操作终端的目的。
机械臂点击的坐标位置和操作序列通过脚本的方式事先进行定义，在测试环节中按照预定义的脚本来控制机械臂对终端进行操作。
此种方式的缺陷在于并行测试的终端数量受机械臂数量的限制，无法大规模部署测试场景。
第二种自动化测试的方式为通过程序来发送命令实现点击智能终端中应用的功能菜单。
由于智能终端的操作系统普遍都支持接收远程命令来控制终端，所以在建立了与终端系统的远程连接（通常通过USB 数据线进行连接）后，即可编写测试脚本控制终端执行测试。
与第一种方式相比，易于大规模部署并行测试场景，且部署方式简单、成本低廉；此外，程序控制的方式在测试执行过程中也更高效。
因此，此种方式目前被大量广泛使用。
由于MTBF 测试考察的是终端在长时间连续工作的稳定性，只测试单台终端的话可能因偶发原因导致测试失败，从而不能反映终端平均稳定性水平，所以通常采用多台终端并行测试的方式得到最终稳定性结果。
如果同时并行测试的终端型号数量较多，则需要大量的端口连接手机。
MTBF 测试系统通常采用性能稳定的工作站来连接被测终端以控制其自动化地执行测试程序，因此工作站要设计为多USB 端口以支持连接多部被测终端。
且为了解决USB 供电不稳定的问题，需要采用额外的稳压源向终端供电。
为了支持大量终端并行测试的需求，工作站需要设计支持尽可能多的USB 端口。
但在实际测试中发现，单台工作站如果连接的终端超过一定数量，会出现测试不稳定的现象。
因此，需要部署多台工作站来满足大量终端并行测试的需求。
为了解决多台工作站分别管理不便的问题，采用服务器的方式集中管理。
服务器与各工作站相连接，通过服务器对测试进度和测试结果进行统一管理，使得管理操作变得简单和便捷。
同时，测试系统还应支持工作站和服务器的分布式部署，以适应各种测试环境的搭建。
在测试执行过程中，如何自动地判定测试结果是否符合预期是测试系统需要解决的一个核心问题。
在测试系统自动化地控制被测终端按照预定义的脚本对各应用执行操作之后，需要判定操作执行之后终端的状态是否符合预期的结果。
通常采用图像对比的方式来判定，即在编写脚本时将操作执行后预期的终端截图进行保存，然后与测试过程中脚本执行到此步骤时终端截图进行图像对比，对比可不必针对整张截图，只需针对重点关注的某个小区域即可。
如果两张截图的对比结果为一致，则认为合格；否则，认为不合格。
需要注意的是，这种判定方式在终端的系统或应用界面的设计发生变化时，需要重新编写脚本，包括重新截图。
否则，结果的判定会出现错误。
经过大量终端的测试，发现了很多关于稳定性方面的问题，主要可以分为两类。
MTBF =被测终端累计运行时间被测终端累计出现故障次数ODERN SCIENCE &TECHNOLOGY OF TELECOMMUNICATIONS现代电信科技M ····························第一类是软件问题，包括重启、死机、卡屏、内存满、内存低、应用停止工作、进程无响应、断开连接、打开网址乱码、发送短/彩信及邮件超时等。
其中，终端运行过程中重启和应用进程强制关闭是较常见的问题。
前者的原因可能是对于原生Android 代码的修改，在相关指针方面的处理不是很完善，存在低概率的空指针异常导致的重启问题。
可通过优化相关代码逻辑来解决。
后者的原因可能是终端的进程在读取APN 数据库时发生了I/O 阻塞，导致程序无响应。
可通过优化系统检测RAM 时的相关同步机制来解决。
第二类是硬件问题，包括掉网、黑屏、关机、SIM 卡无法识别和SD 卡无法识别等。
其中，硬件黑屏和掉网是较常见的问题。
前者非常容易出现在拨打电话过程中，主要原因是光感不好或电压不稳定。
后者一般是由天线故障、功率放大器故障或射频未校准而引起。
上述问题传统功能、性能测试都极难发现，其复现和定位都需要自动化地进行MTBF 测试才能实现。
并且，MTBF 测试在整机质量保证上，作用仍不可忽视。
2智能终端MTBF 稳定性测试在行业中的应用随着智能终端的普及，以及大量基于智能终端应用程序的推出和广泛使用，终端工作的稳定性越来越受到重视，成为衡量一款终端性能的重要指标。
为了提高用户对终端的使用体验，各运营商纷纷制定符合自身要求的终端MTBF 测试要求，并且在采购终端时将MTBF 稳定性测试列为必选测试项目。
目前，美国的AT&T 和我国的中国移动已正式开展智能终端的MTBF 测试。
AT&T 的MTBF 测试，测试内容包括2G/3G 语音呼叫、短/彩信、浏览器上网、电话本操作等大多数常见用户操作。
测试时使用7台终端每天24小时不间断运行AT&T 规定的测试项目，测试过程中出现的测试用例失败情况都会记录下来，然后用7台终端总的运行时间除以全部手机出现的测试失败次数，即得到MTBF 值。
整个测试过程全部采用自动化方式，并且都在AT&T 的现网环境下进行，最大限度保证了和用户使用场景的一致性。
该测试已经成为所有与AT&T 合作的终端厂商都必须通过的测试，而且是所有厂商公认的最难通过的测试。
中国移动的MTBF 测试，整个测试过程也全部采用自动化测试的方式，测试内容包括2G/3G 语音呼叫、短彩信、手机web 应用、邮件功能、电话本以及录音、日程、音频播放等本地业务。
每轮测试5台终端并行连续循环执行中国移动规定的测试用例7×24小时，期间记录系统级问题，包括死机、重启、白屏、脱网等严重问题。
最终用5台终端总的运行时间除以全部手机出现的测试失败次数，即得到MTBF 值。
在各运营商开展智能终端MTBF 测试的过程中，发现并解决了大量常规测试无法发现的功能、性能、软件及硬件问题，终端的质量越来越好，稳定性也有显著提升，提高了终端上市后的客户体验感受。
3结语在移动互联网蓬勃发展的时代，随着智能终端的迅速普及和移动应用的大量涌现，对终端工作的稳定性也不容忽视。
提高终端运行的稳定性，将大大提高用户在使用中的体验，从而促进移动互联网的发展。
由运营商主导开展的终端MTBF 稳定性测试，将使得智能终端的稳定性得到大大提高，这将是对整个移动互联网产业的有力推动。
作者简介赵强：工业和信息化部电信研究院泰尔终端实验室工程师，具有多年通信行业标准制定、设备检测、软件研发等工作经历，现主要从事信息通信业技术研究、软件研发与测试等工作。
酝杂栽栽。
