应用性能管理系统介绍与实践
张伟剑;周海涛
【期刊名称】《电子世界》
【年(卷),期】2014(000)016
【摘要】本文简要介绍了河南省电力公司信息运维工作现状，从河南电力应用性能监控实际需求出发，通过充分的测试、调试以及规划，建立了数据中心完整的网络流量监控分析平台，建立了业务梳理及监控实施的完整流程，并归纳出了多个标准的网络流量和应用性能监控视图，最终实现了以业务系统为单位的应用性能管理系统。
【总页数】2页(108-108,109)
【关键词】应用性能管理;监控分析平台;业务系统
【作者】张伟剑;周海涛
【作者单位】国网河南省电力公司;国网河南省电力公司
【正文语种】中文
【中图分类】
【相关文献】
1.卓豪ManageEngine应用性能管理系统 [J],
2.应用性能管理系统在电信集中BSS系统的应用 [J], 李磊
3.东华应用性能管理系统 [J],
4.基于用户体验的应用性能管理系统设计 [J], 孙永亮
5.应用性能管理系统的设计与实现 [J], 王强
中国银行从DevOps实践到应用性能管理 面对互联网金融汹汹来袭，将服务延伸至支付、资管、交易、融资等金融领域，传统银行加速了以提高用户消费体验为宗旨的数字化进程。 中国银行软件中心在2013年便开始了探索DevOps模式，并成功推出中国银行第一个互联网金融产品——网络通宝。
目录 1. 打造敏捷体系 (3) 2. 仅有DevOps还不够 (5)
1.打造敏捷体系 2016 年，中国银行推出“ e中银” 三年规划（ 2016- 2018），指出：全面践行“互联网+”行动纲领及国家十三五规划，顺应市场环境与客户需求变迁，把握金融服务本质，开放合作、场景融合、快速创新商业模式，重塑流程、数据洞察、极大提升业务价值，为客户提供随时、随地、随心的全方位金融服务，推动公司、零售、金融市场各条线业务快速增长，构建中国银行特色鲜明的差异化竞争优势，将“e中银”打造成银行业互联网金融领先品牌，推动“做最好的银行”战略目标实现。 作为中国银行信息科技体系的重要组成部分，中国银行软件中心担负着整个集团软件系统与应用的开发、测试、维护管理和实施工作。因此，建设“e中银”，中国银行软件中心可谓是使命必达。 然而随着各个分中心规模的不断扩大，中国银行内部系统的开发任务也变得愈发艰巨，其中各项金融产品不但越来越复杂，数量也呈快速上升状态，而且更新迭代速度也在不断加快。同时，产品在开发方式上的多样性，以及来自业界的竞争压力，都促使中国银行急需找到一个强有力的指导方法来应对这一挑战。 于是，中国银行软件中心开始践行DevOps打造敏捷开发和运维体系。 简单说，DevOps是软件开发、运维和质量保证三个部门之间的沟通、协作和集成所采用的流程、方法和体系的一个集合。它是企业为了及时生产软件产品或服务，以满足某个业务目标，对开发与运维之间相互依存关系的一种新的理解。 “e中银三年规划要求我们必须具有并行开发多个互联网金融领域产品的能力和具备多产品线、多批次及多任务生产能力，这需要我们全面建立敏捷开发和运维体系，实现应用的端到端全流程交付，实施DevOps是必然之道。”中国银行软件中心高级系统工程师付大亮表示，“DevOps是文化、工程方法、工具技术的有机整合，用来促进软件开发、运营维护
x 应用性能管理（APM系统）项目立项书 2016年4月
目录 一、应用性能管理系统项目概述 (1) 1.1项目背景 (1) 1.2建设目标 (1) 1.2.1 远期目标 (1) 1.2.2 本期目标 (2) 二、应用性能管理APM系统的服务 (2) 2.1 APM系统实现 (2) 2.2 APM系统服务 (3) 2.2.1 主动页面性能监控 (3) 2.2.2 Web页面及H5页面监控 (3) 2.2.3 移动端APPs性能监控 (4) 2.2.4 应用服务器端性能监控 (5) 三、应用性能管理APM系统的价值 (6) 3.1 APM对运维部门的价值 (7) 3.2 APM对研发部门的价值 (7)
一、应用性能管理系统项目概述 1.1 项目背景 随着云计算和移动互联网的发展，支持随时随地进行业务交易的便利也进一步推动着企业和政府部门开发互联网和移动互联网业务。各类APP和网站数量急剧增长，同类业务竞争进入白热化阶段，而国家提出的“互联网+”战略，也表明基于互联网和移动互联网业务是国家未来发展的驱动力。经过近10年的发展，互联网业务所必需具备的一些属性也逐步明确，用户体验是其中重要的一个因素。用户体验是否良好成为业务成功与否的关键。 影响应用体验的环节是贯穿从终端到服务端的，初步分析需要考虑的因素如下：?终端：终端性能，接入方式，OS版本； ?APP应用：布局渲染，进程调用，代码效率，闪退，崩溃； ?浏览器端：客户端时间，DNS，TCP连接，页面渲染，JS错误，Ajax请求； ?网络传输：异常路由，延迟，抖动，CDN节点设计和选择； ?云端即服务器端：硬件性能，设备延迟，并发压力，应用架构，代码效率，外部接口调用，数据库调用； 以上的任何一个环节出现问题都会影响用户体验，更何况中国的网络环境南北互通复杂，网络运营商众多，OS次生系统和智能终端数量众多，机房设备品牌众多等因素的影响，用户体验的优化更加难以把握。基于业务层面的用户体验管理体系的建设可以让业务系统的用户体验透明化，可有效的保障线上业务开展。 随着XX电子政务平台整体信息化建设的加快，业务规模的不断发展，为了能够给用户提供高效、可靠、稳定的业务服务，提升OA、门户、信息系统等业务的整体业务性能，建立一整套体系的涵盖浏览器，网络，应用服务器端的端到端应用性能管理平台显得尤为重要。 1.2 建设目标 1.2.1 远期目标 建设XX信息系统从浏览器，APP，网络到应用服务器的全过程端到端应用性能管理平台，从用户体验角度全面掌控管理信息系统的服务状态及业务支撑能力，夯实IT运维
构建可视化网络，进行精细化网络和业务性能管理 ————记江苏建行NetScout网络和应用性能管理解决方案实施 概要：江苏建行从网络管理的角度，通过对网络流量的监控分析，从而建立起网络流量和各种业务系统的关联。以对各种业务系统的流量进行实时监控为手段，附之异常流量发现、应用响应时间监测/告警、精细化流量分析操作等，保障各种业务系统的高效率稳定运行。 伴随着银行业的开放，各银行不但要面对本土同行的竞争，还要应对外资的围堵，市场竞争越来越激烈！作为银行业务运行的重要平台，IT系统的重要性不言而喻，在经历数据大集中之后，网络运行的效率和稳定性，与银行业务的关联性更加密切。这就需要网络管理在基础设施管理的基础上，做到可视化网络流量，精细化网络性能管理，并对网络流量和业务系统进行关联。 如何获得网络端到端的可视性，如何进行精细化的故障预防，如何为网络基础设施的规划和部署提供数据支持依据，如何进行网络流量和业务系统关联，成为网络管理面临的新问题。 基于上述考虑，2006年10月份，江苏建行开始考虑实施网络流量分析，和网络流量层面上的业务性能监控。经过缜密的前期调研、繁多的产品考察和一系列产品测试，最终选择了NetScout的网络和应用性能管理解决方案。 NetScout网络和应用性能管理解决方案简介 NetScout网络和应用性能管理解决方案可实现网络性能管理及网络安全监控等功能，系统主要由nGenius PM服务器、nGenius探针、NFD转换器和nGenius Flow Recorder数据流记录器组成。如下图： 从上图可看出，Netscout解决方案可收集网络中的多种数据源，包括nGenius Probe/AFM
Compuware应用性能管理观摘要：端到端应用性能管理（End-to-end Application Performance Management，简称APM）指的是一种IT 服务方法，包括识别、区分优先次序以及解决影响业务应用的性能和可用性问题。APM 正在变得越来越重要，因为终端用户依赖日益复杂的应用来实现关键业务交易。应用性能低下将降低生产力，影响客户满意度，并有损IT 声誉，进而导致成本攀升、收入减少、IT 变得效率低下——这些问题通常比可用性问题更加严重。 端到端应用性能管理（End-to-end Application Performance Management，简称APM）指的是一种IT服务方法，包括识别、区分优先次序以及解决影响业务应用的性能和可用性问题。APM正在变得越来越重要，因为终端用户依赖日益复杂的应用来实现关键业务交易。应用性能低下将降低生产力，影响客户满意度，并有损IT声誉，进而导致成本攀升、收入减少、IT 变得效率低下——这些问题通常比可用性问题更加严重。 传统的监测解决方案通常无法识别和解决应用性能问题的根源。事实上，最近在终端用户体验监测、依赖性映射和相关性方面的最新进展，已让IT运行经理能够更有效地监测和解决不满足服务水平的问题。这些技术帮助提高对整个网络、服务器（分布式和大型主机）和其它应用层的可视性，借助技术分析因果关系，从业务的角度确定哪些响应该优先进行。实际上，即使基础架构测量指标仍然提供主要的故障和容量数据，强调重点也已从基础架构测量指标变成了业务测
量指标。 我们将撰写一系列应用性能管理最佳实施的文章，从问题和事件管理的视角剖析APM。问题和事件管理是APM 的两个核心ITIL（信息技术基础架构库，简称ITIL）流程。事件管理（Incident Management）是当IT 出现问题的时候解决它们，作为对服务质量降低的一种响应。事件管理的目标是恢复服务，对业务造成尽可能小的影响。问题管理（Problem Management）强调识别和消除问题的根源。它通过改变服务和APM 解决方案，增加了服务质量改进的概念。 本文将首先概括地讲述APM 设计、实施和运营的基本要素，将端到端APM作为一个流程来进行探讨。 一、APM设计 APM 解决方案通常是作为草根、基础架构监测实践开始的，由IT 机构的某个独立业务部门实施，缺乏一致的目标。例如，网络团队可能要部署一个开源网络工具，以获得基础网络的可视性，而web 服务器团队则可能会从一个主流的服务器厂商那里部署一个服务器监测工具。然而，自上而下地设计一个APM 方案要切合实际得多。使用这种方法，您先设想结果，然后将它应用于您选择的解决方案组件。
应用性能管理（APM）行业 画像分析报告 2019年12月
目录 一、行业发展概况 (4) 1、IT运维管理行业概况 (4) 2、应用性能管理行业概况 (4) （1）APM的定义 (5) （2）APM产品与传统ITOM产品的差异 (5) 3、行业发展历程 (7) （1）全球APM行业的发展历程 (7) （2）我国APM行业的发展历程 (14) 4、行业发展趋势 (18) （1）传统行业渗透 (19) （2）适用新兴技术 (19) （3）自身技术演进 (19) 二、行业驱动力分析 (20) 1、全国数字经济规模持续扩大，传统行业数字化转型进程加 速20 2、传统运维将被智能运维大规模替代 (21) 3、IT运维市场融合发展，APM正向邻近领域延伸 (22) 4、5G与物联网将激发新的业务增长点 (22) 三、市场规模分析 (23) 1、全球市场规模概况 (23) 2、中国市场规模概况 (24) （1）数字产业化稳中有进 (26)
（2）产业数字化深入推进 (27) 四、行业竞争分析 (27) 1、竞争格局 (27) （1）海外市场起步较早，相对较为成熟 (27) （2）国内市场起步较晚，正处于快速发展阶段 (27) 2、行业内主要企业 (28) （1）Dynatrace (28) （2）NewRelic (28) （3）AppDynamics (29) （4）DataDog (29) （5）飞思达科技 (30) （6）基调网络 (30) （7）蓝海讯通 (31) （8）云智慧 (31) 五、行业发展制约因素 (32) 1、市场参与者逐渐增多、市场竞争加剧 (32) 2、国内行业规模有待进一步开发 (32) 3、行业专业人才相对缺乏 (32)
APM应用性能监控解决方案 现状与需求分析 随着分布式应用、云计算的不断深入发展，业务系统的逻辑结构正变得越来越复杂，应用已经演变成系列服务的形式，运行在不同平台上。应用的复杂性和灵活性加大了运维的难度，如何保障IT应用系统能够稳定、高效率的运行问题越来越受到了用户重视。 传统的IT监控解决方案主要关注资源监测、资源协调和纠错，但由于这种面向网络、主机、数据库、应用软件的平台级监控系统都是孤立、单独的监控与管理，通常都无法识别和解决应用性能问题的根源。我们需要一种新的技术手段，真实感知最终用户体验，主动发现应用性能问题，快速定位到问题组件，最终实现以预防为主的主动式应用性能监控。 .1
解决方案概述 Broadview APM基于网络镜像数据包，是一种有效的非侵入式解决方案，适用于企业内部业务系统，以核心业务系统和关键交易为主要监控目标，可对业务系统及关键交易性能进行深入分析，是一款基于用户体验的主动式应用性能管理方案。 .2
图1 整体解决方案 .3
Broadview APM为IT人员提供了IT基础架构之上观测应用系统的逻辑结构、负载量、健康度和可用性的方法，以业务拓扑图、时序图的形式可视化展现各服务组件、环节的运行状态。通过Broadview APM，IT 人员可以对要观察的IT基础架构有一个总体了解，从而可以更快地响应问题。 Broadview APM支持完整业务交易链的监控。通过在应用系统中设定关键交易点，可以实现对这些关键交易应用性能指数、最终用户体验的持续跟踪。Broadview APM还支持以Live视图形式串联关键交易形成完整的业务交易链。 Broadview APM还是一个高速摄像机，能够自动记录应用系统运行过程中出现的各类异常信息，包括错误码、异常原因及调用参数，帮助开发人员还原问题发生时的运行场景。 解决方案优势与特色 主动感知真实用户体验 .4
应用性能监控解决方案
1.1模拟交易监测 通过模拟用户的操作行为来达到检测应用系统可用性的目的。应用监控针对不同的应用系统预先录制交易脚本，通过定时调用的方式来执行这些交易脚本，并记录交易结果。应用监控通过分析交易结果，做到主动发现应用系统的异常，定位交易路径上出现故障的环节。模拟交易一般选取用户登录或查询类交易，同时要考虑交易路径的长度，做到有区别的选择。模拟交易的方式适用于B/S 和C/S结构及手机端，适合于没有24小时业务数据，但又被要求7*24小时持续健康运转的系统。 1.2 旁路交易监控 通过网络旁路的方式来抓取生产系统上真实的交易包，经过分析交易路径上各个环节上的交易处理情况，做到主动发现异常。由于生产系统之间的关联关系复杂，一笔交易往往要通过几个系统的处理才能完成，因此，在交易路径的关键节点上部署旁路交易监控，可以比较准确的定位出现故障的环节，帮助运维人员及时处理异常，避免对业务产生影响或把对业务的影响降到最低。旁路交易监控除了能主动发现应用异常外，还可以将监控到交易量、交易分布等情况进行汇总统计，形成业务运行情况报告，作为运维工作的重要参考依据。通
过交换机端口镜像及网络层解码技术，实时分析业务节点的响应时间和报文传输质量，使运维部门能快速分清责任（是网络问题、数据库问题、负载均衡设备问题、报文传输问题，服务器内部处理问题等），实现应用性能诊断的粗定位。 1.3 深度交易监控 针对应用系统性能较为突出，缺乏合适工具定位问题根源的具体现状，通过在应用中间件服务器上安装探针方式（生产环境系统CPU开销不超过3%），实现中间件及代码执行状况的深入监控并可自动绘制程序访问流图，为运维和开发排查问题提供依据，目前根据使用场景不同有开发测试和生产两个版本可供选择（主要是探针所获取的信息和系统开销有所区别，生产版本做了严格的性能限定），开发测试版用于新程序压力测试，排查代码隐患提升可靠性；生产版本用于生产环节分析排错。 系统支持层层钻取功能的展示界面，可帮助应用维护人员和开发人员，快速定位代码故障根源（精确到函数、类、方法、语句、参数层面），并可与Eclipse、Visual studio等IDE开发工具集成，大幅提升代码问题的排查效率，改善消除系统瓶颈，优化代码质量，提升客户的访问体验，适合于想做代码深入定位诊断和有代码质量潜在问题的用户。 二、应用监控能解决的问题 2.1 企业所面临的现状 ?近年来业务的快速发展，需要维护的业务系统越来越多、体系越来越庞大； ?在业务与新技术的融合过程中，企业的IT应用及业务系统的逻辑日益复杂化； ?应用系统常见性能问题：连接池泄露、数据库连接不释放、前台页面响应缓慢，后台 中间件服务宕、挂死等； ?随着业务的不断变化，已投入生产的IT系统代码更新或版本升级频率很高，在代码 更新或版本升级后也有可能出现影响业务的问题。
代码级应用性能管理解决方案 东华软件股份公司
一、前言 近年来业务的快速发展，需要维护的业务系统越来越多、体系越来越庞大，在业务与新技术的融合过程中，企业的IT应用及业务系统的逻辑日益复杂化，业务系统功能也越来月强大，已投入生产的IT系统代码更新或版本升级频率很高，在代码更新和版本升级引发的问题也越来越多，运维部门分析解决这些问题费时费力，甚至有时根本找不到最终导致故障的原因，严重影响了生产效率和客户体验，引发业务部门不满与用户信任度下降甚至流失，代码级的应用监控解决方案越来越受到运维与开发部门的重视。 二、代码级应用监控能解决的问题 2.1 当前运维部门的痛点 ?代码执行效率与性能瓶颈诊断定位难，基于旁路的NPM和基础监控软件无法解决这部 分的问题； ?通过人工排查问题的手段，时间和人力成本高，需要在测试环境反复模拟，有时问题 还不一定会再现； ?新版本开发上线前，无法提前预知系统代码缺陷与执行效率风险点； ?出现复杂问题时，很难查清导致问题的根本原因； ?临时解决的问题，隐患也有可能在将来某个未知的时间点或时间段重新显现； ?应用系统开发商的代码质量参差不齐，缺乏有效的检验和判断的标准； ?运维与开发部门沟通存在角度与技术门槛，难以准确把问题说清楚； ?传统的技术手段无法支撑高效的快速、敏捷的运维需求。 2.2 代码级应用监控可解决的问题 ?可以快速定位故障原因是在运维层面还是代码层面； ?快速全面掌握IT系统问题对业务的影响，进而分析影响度产生分级处理方案； ?通过实时分析视图和历史服务趋势视图，反映每笔业务访问与程序执行的真实情况； ?系统自动绘制每次访问的程序流图，存储全量访问数据，确保每个用户的每次访问情 况都可快速查询；
EzSonar —业界领先的业务流可视化性能分析系统 EzSonar是业界领先的业务流可视化性能分析系统，可实现业务路径可视化（智能预警）、根源问题定位及性能问题回溯分析，是新一代的应用性能管理平台。 在传统IT运维管理中，我们面临以下基本的问题： 当业务系统的用户出现抱怨时，如何快速定位问题和及时处理故障？ 当基础设施、服务器、基础环境不在内控时，怎么保证应用的性能？ 当应用来自多个厂商，共同协作为客户服务时，怎么保证应用的性能？ 当应用配置不断动态变化时，如何了解其影响、用户体验、后台变化？ 数据源复杂多样、分散，如何在单一平台实现对业务和交易的监控？ 故障诊断流程复杂、低效率，怎样实现故障根源的快速定位？ 从应用的发展趋势看，怎么处理大数据的性能？ EzSonar的解决之道 EzSonar面向业务，通过对业务逻辑进行梳理，将其业务逻辑架构进行可视化，直接呈现在监控系统之上，动态的呈现应用系统关键环节的状态指标。 EzSonar采用旁路监控网络流量的方式，通过统一视角，对整个业务系统进行监控。0插件的特征确保了EzSonar对业务应用0资源占用的优势，这可以确保监控系统不对业务生产系统产生任何影响，也不需要对被监控的应用进行代码修改和部署上的变更。 EzSonar不仅可以从标准协议（如HTTP、Tuxedo、MQ等等）中解析交易内容，借助Adaptive Transaction Inspection技术，它还可以解析用户自定义协议，用户仅仅通过配置就可以实现。
EzSonar用户价值体现 ●能真实准确的掌握用户体验 对于应用运维团队而言，保证用户体验是他们的首要任务。EzSonar能够为应用运维团队提供用户体验的7×24监控，我们不仅能监控HTTP、HTTPS等标准七层协议上承载的应用，更能通过简单的配置，监控用户自定义的非标准七层协议上承载的应用。 EzSonar能从交易类型、来源渠道、时间等多个维度，对应用的响应时间、交易成功率、交易响应率等多个指标进行分析，为运维团队提供最及时、精确的用户体验数据。 ●能主动发现故障 对于运维团队来说，MTTR(Mean Time to Repair)是重要的绩效指标。要想显著降低MTTR，仅仅依靠用户体验监控是远远不够的，只有深入应用系统内部，对各个节点的服务性能进行监控，才能在第一时间发现业务系统内部的异常，甚至在这些异常还没有影响用户体验之前就发现并解决。 ●能定位故障根源 仅仅对业务系统的各节点进行监控？不，EzSonar能做的更多，它可以把这些孤立的节点监控信息按照业务处理流程串联起来，让运维团队可以跟踪每一个单笔用户请求在业务系统内部的处理流程，类似地铁运行图，当某趟列车出现问题，调度人员可以很轻松的知道它的位置和出现问题的原因，能够迅速做出正确有效的响应。 ●能帮助解决故障 EzSonar对业务系统的故障进行了节点级别的定位后，还能继续为解决故障提供帮助。EzSonar通过海量交易的多维分析和钻取，可以发掘出故障交易出现的时间、客户端分布、交易类型分布、交易错误代码等等规律，为运维及研发团队分析故障提供判断依据，提高故障修复效率，缩短MTTR。 ●是业务、应用、网络运维团队的最佳协调者 通常情况下，业务系统从研发团队交付到运维团队投入生产时，一般会提交系统架构、网络拓扑等基本信息，但是这些知识转移并不够全面和准确，对于比较复杂的业务系统，业务请求的处理流程，每一个节点对业务服务的影响关系，这些知识对运维团队来说也非常重要，而往往是运维团队了解的，只能完全依赖开发团队，造成故障处理的被动和低效。EzSonar 实现了对每一笔交易在业务系统内部的处理流程的跟踪，必然可以将业务系统内部的各节点、第三方外部节点等，对业务的影响关系梳理清楚，并通过业务路径图直观展示给运维团队，减少对开发团队的依赖。