金融IT系统非功能测试体系建设与实践作者：刘一鸿等来源：《中国金融电脑》 2017年第9期面对异常复杂的经营形势，建设银行加大改革创新力度，加快转型发展，提出了新一代核心系统建设的重大战略举措。
新一代核心系统是对建设银行当前应用系统的一次全面重构，目标是建立起统一集中的信息技术平台，建立起保障业务创新、流程再造、技术革新的长效机制，支撑和引领未来综合性、多功能、集约化经营。
在新一代核心系统建设过程中，建设银行非功能测试团队按照金融IT 系统全生命周期管控要求，不断探索实践金融IT 系统非功能测试体系建设，建立持续优化的测试实施管理体系、强化自主测试和自动化测试的工具方法体系、和谐高效测试质量管控体系。
经过历时五年大量项目密集投产的实际应用，建设银行金融IT 系统非功能测试体系已较为成熟，为保障全行IT 系统的安全稳定运行，发挥着越来越重要的作用。
本文将从非功能测试实施管理体系、非功能测试质量管控体系、非功能测试工具方法体系和非功能测试工作成效四个方面详细阐述建设银行非功能测试体系的建设与实践效果。
一、非功能测试实施管理体系非功能测试实施管理体系建设的总体目标是以“人盯项目” 为突破点，依托信息技术管理（InformationTechnology Management, ITM）实现非功能测试需求结构化、标准化，集中精力做好非功能测试必要性评估和投产风险评估，落实非功测试管理实施规范与工艺，确保新一代投产中各项目版本实现其业务目标和技术目标。
所谓“人盯项目”，是指建立测试经理与系统项目的责任关系，细化测试经理工作职责，以生产运行零事件为工作目标，以绩效考核为激励工具，促进测试经理不断理解和掌握系统项目，实现测试质量的全面提升。
按照系统的业务类型、重要程度、承载业务量，将系统分为四类，根据测试经理的特长和经验，以较为合理、公平的方式，将系统分配给测试经理，其中特别重要且高风险等级的系统由测试骨干负责。
通过进开发、做测试、盯生产三个方面，细化测试经理工作职责。
1. 进开发测试经理从版本跟进、系统整体分析、ITM 非功能需求管控三个方面实现进开发的目标。
版本跟进工作包括掌握系统年度、季度和月度的投产计划安排，投产范围、协同关系、投产策略、非功能测试关注点等。
系统整体分析是进开发的工作核心，是实现测试质量提升的关键。
从系统的主要业务及业务特点、系统用户、应用架构设计、数据库特点、端到端交易线、批处理设计和生产部署七大方面，要求测试经理以进驻项目组现场、电话访谈、小组信息共享等方式，全面掌握和理解项目的需求、设计、开发和部署，为提高测试案例设计的针对性、有效性和充分性做好充足准备。
ITM 非功能需求管控主要解决非功能需求来源分散、指标缺失、理解二义性以及生产问题不可追溯等问题，通过ITM 项目管理平台实现企业级非功能需求管理，将非功能需求标准化、结构化，最终实现测试有据可依、生产事件有据可查。
2. 做测试根据非功能测试必要性评估结论，测试经理按照非功能测试实施管理规范和工艺，针对重大新建或者改造、关键系统重大变更等应用版本，开展非功能测试实施工作，包括：非功能测试指标确认、测试模型场景设计、测试环境搭建、测试案例开发、测试数据预埋、测试脚本开发、测试执行，以及缺陷诊断分析、调优验证等，最后依据测试情况，评估应用版本的投产风险，完成整体测试工作。
3. 盯生产非功能测试的最终目标是保障生产安全稳定运行，因此非功能测试的全部工作都是紧紧围绕生产进行。
我们建立了测试经理与生产运维经理的长效沟通机制，测试经理通过生产晨会跟进生产事件情况，通过APM平台实时查看系统运行情况、异常交易和场景，随时准备在测试环境复现生产问题、验证应急措施。
测试经理定期与运维经理讨论生产变更情况，包括基础设施扩容、软件版本升级、交易波动分析、容量趋势预估等。
为保障测试分析的充分性、测试过程的规范性和测试结果的有效性，我们专门组织行内外专家、经验丰富的测试经理参照产品流水线生产模式，以及企业级设计、组件化的实现特征，研究制定了非功测试管理实施规范与工艺，形成了自底向上、逐层装配和次第累积验证的测试策略，实现了“框架平台测试- 组件组装测试- 应用组装测试- 版本检验测试”的全生命周期测试实施与管理模式的探索。
框架平台测试是针对新一代框架平台的非功能指标进行验证，提前发现框架平台的瓶颈和缺陷，降低缺陷蔓延成本。
组件组装测试主要验证组件内部集成后，组件整体是否满足非功能特性，测试内容主要包括验证单一组件联机服务响应时间及并发性特性、典型业务运行场景的整体处理能力、稳定性、高可用性、可扩展性、运维指标、核心设计以及基础设施性能容量、稳定性、可用性等非功能特性。
应用组装测试主要验证单一应用集成后，典型交易的端到端响应时间、应用整体的非功能特性及其他指标是否符合设计要求，其测试内容包括验证单一应用集成后的典型交易的响应时间及并发特性、全流程性能容量、稳定性、批处理、超时、流控、故障隔离机制以及版本安装、数据迁移等。
版本检验测试是对待投产版本在检验环境下，对前期测试各阶段的高优先级测试案例以及发现过缺陷的测试案例进行回归测试，验证版本安装工艺是否符合要求，验证应用版本的非功能特性是否发生变化，避免因投产版本发生变化导致新缺陷的引入或原有缺陷的重现。
非功能测试实施管理体系的建设，不仅充分点燃了测试经理工作的热情和激情、责任感和使命感，而且有力地保障了测试的合规性、权威性，为投产把好非功能质量关。
二、非功能测试质量管控体系非功能测试质量管控体系建设的主要目标是满足建设银行新一代核心系统投产要求，明确管控内容、管控方法、管控指责分工及流程，确保在新一代各期工程的测试实施中非功能需求全面落地，确保新一代业务目标和技术目标全部达成，最终实现新一代系统各批次顺利上线投产。
非功能测试质量管控体系的建设思路是依托新一代项目实施工艺，覆盖项目全生命周期各环节，以全脉络稽核为手段，实现非功能测试实施活动质量管控全覆盖，形成以非功能目标管控为核心，过程管控为轴线，提交件管控为节点的三位一体，点、线、面相结合的管控体系。
首先，非功能测试承接五级建模、需求分析、应用架构、技术架构和安全架构等工艺方法，紧紧围绕测试活动过程，基于非功能测试工艺工序，开展质量跟踪、打分、评审及定期发布等质量管控活动，既要关注项目本身在不同阶段的承接或依赖关系，也要关注跨项目、跨系统交叉管控点，确保质量管控完整性和一致性。
其次，我们重新定义了管控主体，包括关键提交件、关键工序活动等，同时进一步拓宽了管控渠道和手段。
这体现在通过测试指标、案例覆盖率度量测试的充分性，通过专家抽查、评审会评估测试目的、场景、范围、策略的有效性，通过工具静态扫描评估方案、案例、报告等提交件及测试执行过程的规范性。
最后，我们抽象出5 个非功能质量管控矩阵，153个管控点，其中分析设计管控矩阵45个管控点，组件组装测试阶段管控矩阵43 个管控点，应用组装测试阶段管控矩阵44 个管控点，版本检验测试阶段管控矩阵21 个管控点，形成了涵盖主体、对象、依据、内容、标准、手段、工具、流程及评价的非功能测试指控体系。
为提高质量管控体系的有效性和可靠性，我们提出了全脉络稽核的工作思路，通过建立非功能需求、测试指标、测试案例及测试结果的映射图，形成了非功能测试实施过程与需求、设计、开发V 模型的对应关系，完成了78 条全脉络稽核规则的制定。
为了提高全脉络稽核的工作效率，我们专门开发了自动化规则校验工具，实现自动化检核和提醒。
除了常规的质量管控之外，非功能测试还实施了一系列举措保障案例设计的充分性，包括非功能整体分析、数据库专项治理和生产对接等，对投产应用组件全面诊断把脉、识别风险，深入挖掘非功能测试点。
通过专家跟踪评审、交叉评审、专项评审和抽样评审等多种形式的评审，全面提高非功能测试覆盖度。
数据库专项治理是通过数据库参数、SQL 设计专项检查，实现数据库参数配置合理，无异常SQL 投产，保障数据库稳定可靠。
生产对接参数对接通过投产版本最优的参数配置顺利传导到生产，实现测试有效可靠。
非功能测试质量管控体系建设，有效保证了每一条测试数据都精准可靠，每一个测试案例至少执行一次，每一个缺陷都被验证解决，实现无风险投产。
三、非功能测试方法和工具体系在建设银行新一代核心系统建设中，通过不断创新融合、自主研发，秉持“统一、灵活、实用、高效”的原则，积极借鉴业界优秀的非功能测试工具和方法，形成了一套涵盖性能容量、高可用性、可维护性、可扩展性等多类型的测试方法集，以及一套由性能测试模拟器、数据库审计检核工具、内存分析工具、客户端响应时间监控工具、异常仿真模拟器、测试脚本自动生成和测试案例管控工具等构成的测试工具集，为非功能测试质量和效率的全面提升提供了技术支撑。
1. 非功能测试方法集由以下七大类构成（1）性能容量测试：主要获取应用在特定交易场景下的性能表现，也可获取应用最优处理能力及定位应用瓶颈等，涉及交易选取方法、场景配置方法、加压方法、监控与诊断方法、极限测试方法等。
（2）高可用性测试：主要考察高可用机制的有效性，涉及数据库RAC 机制、HA 切换、集群有效性、主备NAS 切换、流控机制等测试方法。
（3）可扩展性测试：主要获取系统在横向和纵向的扩展能力，其包括单AP 多Server、单AP 多CPU/MEM、多AP 等。
（4）交易一致性测试：主要考察交易一致性机制的有效性，涉及关键业务数据/ 状态一致性、联机服务组件间一致性、异步自动任务一致性、消息类交易一致性等。
（5）批处理测试：主要考察系统的批处理能力效率，涉及批处理效率、断点重跑、断点续跑等。
（6）客户端体验测试：主要考察员工渠道和客户渠道的交易平均响应时间，涉及不同客户端、不同版本浏览器、不同安全机制、不同延迟策略下的客户体验。
（7）生产模拟比对性能测试：通过研究网络抓包与报文分析技术, 同时结合负载发起工具，实现生产报文的录制、转换、回放、检核和统计分析，实现生产真实场景在测试环境的回放情况，获取更为真实的数据性能数据。
2. 非功能测试工具集由八大类工具组成（1）性能测试模拟器，支持HTTP、TCP 长短连接、MQ、Tuxedo、SOAP 等通讯协议，支持新老安全加密体系，支持自动交易码识别和数据映射，支持自定义插件模块，实现智能模拟各种系统，满足新一代测试过程中服务模拟的需求。
（2）应用总装测试执行工具，实现了所有LoadRunner 负载发起端集中管控，多场景TPS 集中展现，测试效率提升超过82%。
（3）数据库检核与SQL 审计工具，实现数据库规范性检查和Oracle SQL 的自动审计、报告导出等功能，基于规则库SQL 的自动审计，发现潜在的性能威胁，最终实现对全行数据库的快速检核与审计。
