移动数据业务性能管理系统技术方案建议书
成都德企通信发展有限责任公司
2010 年 07月3日
成都市天府大道南延线高新孵化园8#楼2010—2013#（610041）电话：（028）66322222，传真：（028）66322249
目录
1.背景和需求 (3)
1.1背景 (3)
1.2需求 (4)
1.2.1功能性要求 (4)
1.2.2非功能性指标 (5)
1.3解决方案的总体原则 (5)
2.解决方案 (6)
2.1.方案概述 (6)
1.3.1定位 (6)
1.3.2业务性能评估实现方法 (6)
1.3.3目标 (7)
1.3.4规划 (7)
2.2.系统整体架构 (7)
2.2.1.系统的整体架构 (7)
2.2.2.系统逻辑层次 (9)
2.2.3.网络拓扑 (9)
2.3.业务功能 (9)
2.4.技术设计 (10)
2.5.数据采集部分 (10)
2.5.1.总体功能结构 (10)
2.5.2.智能代理 (10)
2.5.3.采集控制器 (11)
2.5.4.数据汇集平台 (11)
2.6.数据分析部分 (11)
2.6.1.总体结构 (11)
2.6.2.实时分析模块 (11)
2.6.3.统计分析模块 (11)
2.6.4.分析引擎 (11)
2.6.5.挖掘模块 (11)
2.7.门户展现 (11)
2.7.1.总体结构 (11)
2.7.2.实时技术指标 (12)
2.7.3.实时业务性能 (12)
2.7.4.数据明细 (13)
2.7.5.系统配置 (13)
2.7.6.系统监控 (13)
2.7.7.业务分析与预警 (14)
2.7.8.挖掘 (14)
1.背景和需求
1.1 背景
移动数据业务在日常运营中会存在许多典型现象：
数据业务应用的处理能力下降，但网络正常，服务器也没有宕机，问题在哪？
数据业务构筑于计算机系统、网络和软件之上；
业务种类增多，系统已越来越复杂；
涉及的供应商、合作商越来越多；
移动业务的增长使数据业务的重要性日益增强，用户对数据业务服务质量的敏感度增加。
当前移动数据业务日益增长，业务系统日渐庞大，数据业务的发展面临许多挑战，迫切需要从以下几个方面加强建设：
提升数据业务服务质量，保障移动数据业务健康、稳定增长；
加强移动数据业务质量保障的实时性、有效性；
建立科学、公开、公正的数据业务质量度量、评估体系；
提升数据业务管理效率和管理水平。
以下是一个典型数据业务系统案例：
图 1 典型数据业务系统流程图
在该系统运营过程中，运营商时常会感到以下困惑：
用户提交的服务请求是否成功执行？
用户实际感受到的该服务的响应时间如何？
整个事务流程的瓶颈在那里？
如果失败，产生问题的原因在哪？
事务与子事务如何进行的关联调用（整个事务流程的拓扑是怎么样的）？
哪些数据业务，每天有多少被用户使用？
如何调整应用系统和基础环境，使之运行更加快速、稳定？
管理部门对业务系统的了解始终停留在系统建成的一刻，随着时间的增长，系统提供商会更改应用的部署，业务流程，业务管理部门很多时候不能及时掌握这些变化。
1.2 需求
建立有效、完整、规范的、适应移动数据业务发展的业务性能管理系统，并以业务性能管理系统为前提采用业务性能管理工具平台完善移动运营商业务性能管理工作，协助数据部门实时监控数据业务运营的有效性、完整性、规范性，提高业务性能管理的可操作性和效率，降低管理成本。使数据业务性能评估管理的覆盖率得到保证，控制运营风险，提升移动运营商数据业务系统的有效性和稳定性，为业务发展提供强有力的技术支撑。
数据业务性能管理系统的建立，是要对所有移动数据业务系统的运营性能状况进行实时的评估管理，尽早发现潜在的业务性能问题，为提升移动运营商服务质量提供有效支持。
1.2.1功能性要求
数据业务性能管理系统需要对以下功能进行有效支持：
数据业务系统定义
可以对各种数据业务系统提供统一支持，本地实施时开发工作量小。
数据业务流程自定义
支持抽象业务流程定义，可以统一处理各数据业务系统实现的流程逻辑，实现以业务流程为粒度的性能监控与评估。
业务性能实时评估
对各数据业务系统的响应时间、业务完整性等性能指标进行实时评估。
服务器技术性能指标实时监视
能够对数据业务系统各服务器的技术性能指标进行实时监视，包括操作系统、数据库和中间件等基础软件。
基础数据明细查询
支持业务性能基础数据的明细查询，为业务性能问题的排查提供基础手段。
业务性能智能预警
能够对业务性能的异常波动进行自动识别，并提供自动预警功能。
业务性能数据分析及挖掘
能够对统计分析业务运行的宏观性能状况，相关指标包括：异常事件发生率，统计异常
事件发生的比率；平均无故障运行时间Mean Time Between Failures (MTBF)；故障平均修复时间Mean Time To Repair (MTTR)；平均用户响应时间Mean Time To Respond To Customer (MTTRTC)；完备性，测量运行功能与交付功能需求规模的比值；变更率，测量数据业务实施过程中业务功能发生变更的数量。
另外，还要能够对多个业务性能指标和技术性能指标进行关联分析和挖掘，提供一些决策支持信息。
商业上线前压力测试
提供数据业务系统商业上线前的压力测试，除了获取业务性能的相关峰值，还要能够对业务性能调优提供支持。
性能问题诊断分析知识库
当数据业务系统出现性能问题时，能够为问题诊断提供支持手段。
组织机构及用户权限管理
安全控制
有效控制评估系统对各数据业务系统的影响，不能给业务系统的生产引入安全隐患。
系统配置及监控
能够对系统自身的运行状况进行有效监控。
1.2.2非功能性指标
数据业务性能管理系统还需要支持以下特性：
直观展现
对于实时评估的各种数据，提供图形化的直观展现。对分析结果提供灵活的报告和图表显示功能。可以产生关联的报告，例如显示性能问题极其相关的分析报告等。
同时支持较多数量的业务系统实时评估
能够同时支持5-10个数据业务系统，系统应具有良好的扩展性，通过扩容可以有效支持更大规模的应用。
管理灵活方便
当新的数据业务系统引入时，能够方便地加入评估管理系统。
1.3 解决方案的总体原则
由运营商标准主导，第三方提供系统构建、运行服务支持的数据业务质量保障体系。
通过该系统可以带来以下主要效益：
确定问题何时发生于整个移动数据业务运营网络的何处；
排除来自于不同厂商的、杂乱的测试工具产生的所谓“噪声”干扰；
基于业务流程全过程的监测，将有利于各个处于不同环节的管理团队消除偏见，并帮助大家更有效的合作，找出问题的根本原因；
可对竞争性业务类型或业务提供商进行服务级性能(service-level performance)对比，改以往粗放型管理手段为指标化、精细化管理手段，进而提高各SP的服务
质量。
2.解决方案
2.1. 方案概述
1.3.1定位
移动数据业务性能管理系统是数据服务领域的新概念、新产品，其定位是：提供业务系统上线后运行状况的分析评估，以及待投产系统的业务压力测试及业务性能分析。
1.3.2业务性能评估实现方法
典型数据业务过程如下图：
图 2 典型数据业务系统
在一次典型业务过程中，各事务时间关系如下：
用户体验：Ta=T8-T1
应用系统响应：Tb= T7-T2
业务系统流程：Tc= T6-T5
子过程：Td= T4-T3
通过对业务过程中各关键时间点的采集，经过分析处理后可以得到业务性能相关的数据。宏观上：通过在时间上的积累，可以统计出各个粒度的业务吞吐量、业务完整性和响应时间分布等指标数据；微观上：以上每一个时间都有设计指标，通过分析每个具体事务的精
确时间可以确定详细的业务性能状况（如业务事件具体响应时间）。
1.3.3目标
业务性能评估要区分于普通网管系统，不强调网络监控，突出对业务性能进行实时分析评估的特点。重点实现以下几个方面的目标：
实时性：实时展现技术性能指标，同时呈现可以实时获得的业务性能指标；
统计分析：对积累数据提供多种统计和分析手段，为业务性能分析提供辅助手段；
预警：自动分析关键性能指标，对异常波动进行识别，并自动发出提示或者警告；
整合ARM：为细粒度的业务性能分析提供支撑手段；
对待上线系统评估：利用平台分析评估能力，对待上线业务系统进行压力测试，提供业务性能评估报告。
业务性能问题诊断：基于知识库技术，自动进行业务性能分析，为故障排除和预警提供参考方案；
1.3.4规划
随着运营商重组以及3G牌照的发放，新一代移动技术将迅速得到推广，更高的网络带宽将会给数据业务的发展带来前所未有的契机。与此同时，用户对体验的要求将更加苛刻，激烈的竞争必然要求数据业务系统提供更加可靠的服务，业务性能测试将成为数据业务系统上线前的必须环节。
业务性能评估系统的远景规划是：为运营商提供标准的业务性能测试环境以及生产系统实时评估服务，同时为数据服务开发商提供专业的业务性能测试及调优服务。
由于需要管理的业务系统具有相当复杂性，评估系统进行结构设计时要充分考虑架构的灵活性，在设计时要提供具有相当高度和前瞻性的基础架构，具体实施过程中则根据实际情况分梯度实现。
软件平台开发的指导原则是：先进架构，立足创新，扎实稳妥，分步实施。
为此，从长远建设看，数据业务性能管理的团队建设需要从以下几点考虑：
打造专业的性能测试团队，重点培养问题诊断及性能调优的技术骨干；
加强数据业务相关知识积累，培养数名数据业务领域的性能评估专家。
2.2. 系统整体架构
应用规模初期为同时评估10～20套业务系统，50～100台服务器。
2.2.1.系统的整体架构
系统分为数据采集、分析处理和门户展现三大基本部分。
一、数据采集