陕西电信业务中Foglight应用管理的部署应用

陕西电信业务中Foglight应用管理的部署应用1、引言IT行业发展到今天已经成为企业应用系统不可或缺的基础和支撑，因此对IT系统的管理，尤其是核心应用系统的管理变得越来越迫切和重要。

陕西电信公司借助Foglight监控软件实现了核心系统各环节的运维立体化监控管理，从运维广度、深度、高度三个方面做到了各级运维人员对整个核心系统的统一的一体化的管理平台；通过部署Quest监控软件，实现了对企业两大核心系统CRM，营收计费系统的主机、中间件、数据库组件的监控，告警，诊断分析功能。

该系统的部署大大增强了维护管理人员对庞大复杂的多系统实现了集中化管控，降低了企业的人力成本和故障准确定位的时间开销，针对陕西电信实际生产环境现状，制定了灵活多样化的监控规则和告警机制，并对核心系统关键业务订制了丰富的报表模版，长期保留了系统的各项运行性能数据，为决策层和日后的系统改造提供了宝贵的历史数据。

2、系统现状及管理目标2.1系统现状:陕西电信IT系统架构比较复杂，包括CRM系统，服务开通系统，移动码号系统和营收计费系统等多个服务子系统。

其中CRM系统和营收计费系统是两个最核心的系统，直接影响客户服务质量，也是两个具备代表性的系统，陕西电信CRM，营收计费系统两大核心系统均采用C/S三层逻辑架构，客户端通过域名经过负载均衡设备F5指向两台中间件主机，再由中间件按照业务逻辑分发到后端数据库RAC节点，如图1所示：陕西电信CRM和营收计费系统的运行环境非常复杂，其中数据库系统若干套，采用Oracle10g RAC；J2EE中间件若干套，采用Websphere和Weblogic；主机若干套，采用HP，IBM操作系统。

针对如此庞大的系统，由维护人员每天对其进行巡检是件非常繁杂的事情，也非常浪费工作时间；同时系统各个环节关联性很高，在业务出现问题时，常常是针对某一个问题发生的表象，只专注于一个环节进行分析，缺乏整体系统的故障诊断措施。

此外，在日常的运行维护中需要对以上数据库、中间件和主机进行主动的管理，尽早将故障隐患杜绝在萌芽中，防患于未然，这些工作如果没有一个专业化的软件进行管理是很难想象的。

2.2应用与服务管理需求目标应用系统的可用性和性能维护是一个非常重要的工作，目前的运维手段中急需对以下三个方面作出提升：第一：有效的性能管理手段。

性能问题对最终用户体系，应用的可用性有者非常大的影响，特别是集中应用模式的采用，复杂技术构架的实施，频繁的应用变更，用户的激增以及数据的快速增长，对性能管理提出了巨大的挑战。

性能问题涉及到开发商，厂商，数据库和中间件管理员，应用管理员等多种角色，协调大家共同解决性能问题比较困难。

性能问题主要体现数据库和J2EE方面，需要借助工具对其深入发现问题，诊断问题；并建立起运维和开发之间的桥梁，通过统一的管理全面解决性能问题。

第二：从应用角度的管理和服务等级的评测。

目前，日常维护基本都是针对应用的某个组件进行管理，如数据库，中间件等等，需建立起应用管理视图，从应用而非单个组件的角度进行管理。

第三：统一的一体化的管理平台。

在整个运维过程中，涉及到值班员，数据库管理员，J2EE管理员，系统管理员技术人员，应用管理人员，技术经理和开发人员等多种管理角色，每个角色既有自己工作目标和定位，又需要和其他角色的人想配合，共同完成运维工作。

3.应用管理系统的设计实施方案基于陕西电信实际业务系统环境，经过前期详细的技术分析和测试验证，依据测试结果对比，陕西电信最终选择了Foglight应用管理方案来实现电信IT中心的CRM，营收等核心系统的监控，问题诊断跟踪和历史系统运行数据的收集比对与报表功能。

3.1被监控模块的选择CRM和营收系统的系统构架如下：在CRM系统中，应用服务器有两个Cluster，每个Cluster又分别有10个节点。

因为前端使用F5做负载均衡。

所以每个节点的Websphere的应用配置都是相同的，只需要在每个cluster上监控部分Websphere服务器即可。

后端的数据库服务器是两个实例的Oracle RAC，可以考虑全部纳入Foglight5的监控范围。

在营收系统中，应用服务器由两套Weblogic Web Server + Weblogic App Server + Tuxexdo服务器组成。

因为也是做了负载均衡，所以只选择一套服务器监控即可。

后端的数据库服务器是做了FailOver的两套双节点的Oracle RAC，可以考虑只监控其中的一套RAC。

3.2实现功能：安装配置Foglight并启动运行之后，可以对CRM和营收计费系统进行有效的应用管理，具体内容包括：1．对应用的所有组件进行监控和性能管理●主机：查看操作系统的运行状况，CPU，内存与文件系统的使用情况。

●Web服务器：查看Web服务器的运行状况，连接会话情况，页面访问流量等信息。

●Weblogic和Websphere：监控整体运行状况，各个组成模块的运行状况。

等服务请求的响应时间较长时，可以对特定的服务请求进行Trace跟踪操作，能够深入分析服务请求在各个应用服务层之间的时间消耗，在各个应用组件直接的时间分布，并可以找出最消耗时间的代码模块。

●Oracle：监控数据库的可用性，数据库运行性能，找出最消息系统资源的会话，系统等待的瓶颈等。

2．帮助建立报警和故障处理机制依赖Foglight提供的强大报警和事件处理能力，陕西电信成功地实现了以下集中报警方式：●Foglight管理界面报警●声音报警，针对主要报警事件，通过声音提示管理员出现问题。

●邮件报警，按照主机，数据库，J2EE中间件分类，将报警信息发送到管理员的邮箱。

同时，集中的邮件管理控制台分类显示相关的报警信息。

图2 邮件报警界面从一年的运行结果来看，当端口出现异常时，报警平台能够提前30分钟左右获得告警信息。

可以提前在告障电话前进行分析处理工作。

更重要的是，管理员可以在告警信息上进行深入钻取，诊断出现告警的问题根源。

1．通过报表完善日常巡检机制报表功能对日常运维管理无疑是非常重要的，而建立在完善的报表基础上的日常巡检机制是应用成功运维的必要因素。

陕西电信在Foglight平台上，开发定制了基于主机，数据库和中间件的多种报表，并成功地实现了报表邮件自动发送的功能。

2．建立了统一的一体化的应用运维护管理平台陕西电信的运维管理包括以下核心的运维角色。

●监控人员：负责对所有的管理点进行报警监控。

●系统管理员，负责对所有的主机进行维护工作，其中CRM和营收计费系统的数据库是数据库管理的工作重点。

●数据库管理员，负责所有数据库系统的维护工作，其中CRM和营收计费系统的数据库是数据库管理的工作重点。

●J2EE管理员，负责所有J2EE和Tuxedo的维护工作，其中，其中CRM和营收计费系统的数据库是数据库管理的工作重点。

●应用项目经理，CRM和营收计费系统各1人：负责整个应用系统的可用性和性能，其工作职责是关联整个应用系统，了解应用的运行状态，进行服务等级的评测和管理，隔离问题，区分责任，协调开发商，厂商，技术人员解决问题，并在应用上线和变更过程中主动的性能管理（发现问题，诊断问题，解决问题）。

●应用开发人员，若干：参与问题诊断过程，并解决和应用相关的问题。

●技术经理，负责整个IT系统的运维工作，包括人员，工具和方法论，并对最终结果负责。

通过Foglight集中式服务台，不同角色的人员都可以完成他们的工作目标。

4 IT监控系统项目实施效果展示4.1数据库性能管理数据库是应用的核心环节，通过该软件对CRM，营收数据库进行深入的数据库性能管理，主要涵盖四个方面的内容。

●日常健康检查DBA可以自动生成日报，周报，月报等各种报表，便于全面了解数据库的运行状态。

●主动的性能管理DBA可以进行主动的性能管理，定期通过管理工具检查系统的资源使用，制定主动的优化计划，发现问题，解决问题，防患于未燃烧。

在应用变更期间，数据库管理员也可以收集相关数据，主动发现变更前后性能对比，并在性能下降的时候快速判断问题。

数据库管理员可以每周或变更期间通过Quest数据库性能分析工具分析历史时间段的资源使用情况，判断系统瓶颈，确认是否存在阶段性的执行计划变更，找出有问题的SQL语句，提交应用部门进行测试和优化，最后解决问题并验证效果。

●快速故障诊断在通过Foglight管理工具报警发现问题后，可以通过管理工具快速诊断问题，解决问题，如图3所示。

图3 CRM，营收数据库监控分析图●连接运维环境和开发测试环境很多性能问题都和应用程序相关，管理工具为DBA，应用管理人员和开发人员提供的共同的基础数据，便于隔离问题，达成一致，快速解决问题。

一些工作，如碎片重组，索引创建等等，可以在DBA层面进行优化，而另外一些工作，如SQL优化，则需要开发测试部门解决问题。

4.2 J2EE性能管理电信主要使用的中间件为Websphere和Weblogic，通过Foglight提供的J2EE 监控组件可以深入的对J2EE中间件实施监控管理，主要涵盖四个方面的内容。

●日常健康检查J2EE管理员可以自动生成日报，周报，月报等各种报表，便于全面了解J2EE 的运行状态。

登陆Foglight软件，可对CRM 3套WAS集群中间件进行总体运行浏览检查。

如图4所示：图4 CRM中间件集群拓扑关系图●主动的性能管理在应用变更期间，应用管理员也可以收集相关数据，主动发现变更前后性能对比，并在性能下降的时候快速判断问题。

J2EE管理员可以每周或变更期间或前台反应系统慢的情况下通过Foglight 进行监控和深入性能分析，由总体到具体，找到最耗费资源或响应时最长的一些服务请求，定位瓶颈是在Web层、中间件层还是数据库层；可以到方法级和具体的SQL语句。

并将这些问题提交给开发人员。

如图5所示：图5抓取性能较差的服务方法和SQL语句跟踪●快速故障诊断通过Foglight管理工具可以快速发现中间件中某一个server的整体性能资源使用情况，如图6所示，分析服务请求，应用，JVM和服务的状态和具体指标。

图6 Appsrv4 Server的整体资源使用概况提供J2EE响应式的性能管理，在应用变更期间J2EE管理员通过Foglight 发现一些服务请求的响应时间过长，可以将这些服务请求提交给开发团队，开发团队使用JProbe进行优化后，通过PerfomaSure进行压力测试，确认没有问题后在重新部署到生产系统。

同时，通过对Foglight的使用，发现也能提供前瞻性的性能保障，开发和测试部门也可以使用Jprobe和PerformaSure在开发测试环境控制应用质量，提升应用性能，避免将问题带入生产系统。

4.3 主机性能管理Foglight能够主动地管理和监控多种操作系统和服务器，确保业务系统稳定运行，陕西电信通过将其部署在AIX，HPUX，WINDOWS操作系统，已能提供了许多详尽的监控选项，并提供逐层深入的报警功能，使管理员能够快速识别操作系统环境中性能下降的因素，如图7所示。