面向业务的端到端客户感知评估监控分析系统
- 格式：doc
- 大小：3.13 MB
- 文档页数：18
成果上报申请书面向业务的端到端客户感知评估监控分析系统一、背景情况随着移动通信网络的日益复杂化，网络中逐渐出现了“网元好≠端到端质量好，均值好≠局部地区好，测试好≠单用户好，统计好≠感受好”的脱节现象，客户满意度的提升不再与单纯的网络KPI的提升成正比，网络质量的评估优化等一系列管理工作迫切需要从传统的基于网元的以KPI为中心的管理向以客户感知为导向的端到端的业务管理转变！在此背景下，本成果的主要意义在于：i.建立面向业务的端到端客户感知评估体系，实现了从基于网元的KPI管理到基于客户感知的端到端业务管理的转变，解决“网元好≠端到端质量好，统计好≠感受好”的问题；ii.实现了分场景，且最低粒度为小区级的用户感知评估和监控，解决“均值好≠局部地区好”的问题；iii.实现了对集团客户，甚至是单用户的感知评估和监控，解决“测试好≠单用户好”的问题；iv.设计大量的分析型KPI，实现对造成不良感知或用户投诉真正原因的快速定位，提高问题的发现速度和优化效率，提升用户感知；v.以用户感知的评估指导网络优化调整工作的开展，保证资源受限的情况下一切调整不以牺牲用户感知为代价；vi.实现了“可视、可管、可分析、可溯源”的“四可”客户感知监控分析系统，支撑“面向用户、面向业务、面向网络、面向场景”的客户感知评估管理工作开展。
二、技术方案1、概述从面向业务的端到端客户感知的评估、监控、分析工作的实际需求出发，本成果的技术方案主要包括以下技术点：i.设计层次丰富、结构清晰的客户感知模型，既实现了客户感知评估的简明性，又满足了问题原因分析定位的复杂性；ii.针对不同业务，通过业务矩阵分解，建立端到端的客户感知评估体系；iii.挖掘丰富的数据源，实现全面完整的客户感知评价；iv.深入分析问题原因与症状之间的映射关系，实现问题原因的快速定位；v.采取专家问卷调查等多种手段制定评分规则，保证评估体系是客户感知的真实反映；vi.设计开发满足“四可”、“四面向”的客户感知监控分析系统。
2、层次丰富、结构清晰的客户感知模型设计为达到既实现了客户感知评估的简明性，又满足了问题原因分析定位的复杂性的目的，客户感知的模型从上至下共设计了5个层次：客户感知评估体系中用于评估网络质量的指标包括KQI、逻辑KPI、评估型KPI，三者之间有逐级对应的汇聚计算关系。
当上层指标不好时，可以量化计算每个下层指标所造成的影响。
从网络层级上看，KQI、逻辑KPI和评估型KPI的构建都是从小区级开始的。
更高层级（包括场景、BSC、MSS、行政区域等）的指标都是以下一层网络的指标经汇聚运算得出。
QoE体系中的分析型KPI则用于当某项评估型KPI不良时，细分问题的根源位置。
通常某项评估型KPI的好坏，与其所关联的分析型KPI的好坏有直接或间接的关系，但二者之间并没有直接的汇聚计算关系。
对于语音业务，共设计了网络覆盖、接入性、保持性、完整性4项KQI，7项逻辑KPI，12项评估型KPI，对于数据业务，共设计了接入性、保持性、完整性3项KQI，9项逻辑KPI，38项评估型KPI，而两项业务均设计了百余项分析型KPI，各层次KPI的繁简程度直接体现了一方面满足客户感知评估的简明性，另一方面满足问题原因分析定位的复杂性的要求。
3、面向业务的端到端客户感知评估体系建立针对不同的业务，遵循以下六个步骤实现端到端客户感知评估体系的建立：①分析业务场景②分析用户体验时间轴③确定业务拓扑图④开发业务矩阵⑤KQI/KPI模型⑥确定KQI测量方法其中业务矩阵是把业务生命周期分解成底层技术相关的动作，及其所流经的服务资源。
下图即为分解得到的语音和数据业务的业务矩阵。
4、丰富数据源的挖掘利用得到各业务的业务矩阵，确定所需的counter和测量点后，还要根据数据源状况，采选合适的测量数据进行关键指标的构建，因此数据源对于所得评估体系最终与客户感知的相符程度也起着至关重要的作用。
本成果中不仅利用了OMC提供的大量统计作为数据源，还深度挖掘了设备厂家的统计工具及第三方的监测统计手段，并采用了诺西的Traffica系统和中创的信令监测系统分别作为语音和数据业务的数据源之一。
除此之外，还结合实际的工作经验和需求，定制了寻呼黑洞，异常短呼的分析结果作为数据源，同时还纳入了用户投诉数据来帮助进行用户感知的评估和问题分析。
丰富的数据源奠定了全面准确反映用户感知的基础。
5、问题原因的快速定位为使客户感知评估体系能够在发现问题的同时帮助快速的定位问题原因，提高网络优化效率，一方面设计并定义了丰富的分析型指标，利用分析型KPI构成分析问题库，包括覆盖、负荷、干扰、移动性和RTT clear code等类型的指标。
每个评估型KPI都会和分析问题库中的相应内容进行关联，对每一项评估型KPI，进行分析型KPI的归类和收集，及关联关系的建立，使其与评估型KPI形成合理的映射关系，集成在一起可以便在发现问题后很方便地进行优化上的原因分析和查找。
因此分析问题库就是一个优化的经验库。
另一方面专题深入分析了Traffica clear code与掉话等问题原因的细分映射关系，利用Traffica clear code准确快速的定位至问题原因。
6、评分规则的科学制定如何将评估体系中的KPI科学的映射到客户感知一直是相关研究的重点和难点所在，在本成果中，为准确把握客户感知，采用了设定门限的0-5分的归一化评分方式，即对各评估型KPI，根据其所处的不同区间评价为0-5分六档，其中5分为客户感知优秀，3-4分为客户感知良好，1-2分为客户感知不良，0分代表客户感知差。
为使评分门限能够准确的反映客户感知，本成果中采用了多种方式方法，综合制定了评分门限，主要采取的方法有：i.面向一线维护优化专家开展客户感知评分标准问卷调查，每种业务均回收问卷约150份；ii.各评估型KPI现网情况的统计和分布分析；iii.利用典型案例对客户感知评估体系的验证；iv.利用用户投诉中预估覆盖小区与客户感知的评估结果对照7、“四可”、“四面向”系统的设计开发基于成果中建立的面向业务的端到端客户感知评估体系，设计了系统功能和界面，部署并开发了相应的硬软件，实现了“可视、可管、可分析、可溯源”的“四可”客户感知监控分析系统，支撑“面向用户、面向业务、面向网络、面向场景”的客户感知评估、监控、分析等一系列管理工作的开展。
该系统实现了对客户感知的监控和评估，还可以方便的实现从客户感知KQI—逻辑KPI—评估型KPI—分析型KPI—Raw counter逐级的钻取和分析，快速的定位问题原因，及时的改善网络环境，第一时间回复用户投诉，切实提升用户感知。
同时，还可以自定义的开展集团客户或单个用户的感知评估，自定义场景的评估，更有利于通信保障等专项工作中的客户感知保证。
三、效果面向业务的端到端客户感知评估监控分析系统上线后，一举突破了当前语音和数据业务网络质量评估单纯依靠路测和无线侧KPI、与用户感知脱节的初级优化阶段，实现了端到端、用户级的业务感知评估、监控与原因深度定位分析：1）实现了语音和数据业务用户感知的实时端到端量化评估与监控：系统上线后，可以分别从用户、场景、业务和网元维度，准实时（最小15分钟粒度）地量化评估不同业务的用户感知，对影响感知的网络质量变化监控更及时、更准确。
2）实现了语音和数据业务用户投诉相关的端到端网络分析：通过Gn信令、Traffica数据、WAP 网关日志、OMC统计的自动关联，实现了投诉问题原因的快速定位，以往需要2～3天的VIP投诉处理时长可以缩短到4小时以内，同时问题定位的准确度也提升明显，以往复测无法复现的问题也可以通过QoE系统进行准确的信令回溯和原因定位。
3）客户感知评估体系指导下的网络优化更有效：与传统KPI导向的网络优化相比，以客户感知为导向的网络优化使得网络调整更加精确。
以EGPRS信道配置优化为例，在QoE体系指导下，改变了以往单纯依靠PDCH 复用度等KPI 进行调整的方法，充分考虑了每个小区的用户感知度得分，使得EGPRS 信道资源更多的向感知差小区倾斜。
在CBD 区域试用结果显示，PDCH 承载效率提升达16％，而用户感知的接入性、完整性、保持性指标保持稳定，达到了即提高资源利用率同时又尽量减少对客户感知的影响的目的。
1、 分场景、分用户的端到端客户感知量化评估A. 分场景的QOE 评估本成果能够提供灵活的自定义场景的客户感知监控分析，在对不同场景分析的同时，还可以通过多个场景的比较发现短板，集中力量优化。
如下图所示，就是对北京东城区和朝阳区核心区域内各场景的评估，该地区域人口密度较高，覆盖场景较多，如娱乐场所、商务区、住宅等。
本文分别针对娱乐场所、商务区、高端住宅和道路四个场景进行了接入性、保持性、完整性和网络覆盖等方面的QOE 的评估，通过评估可得这几类场景的整体客户感知均处于良好水平，即各场景的各项KQI 得分都在3分以上，说明整体状况良好。
道路4.30 4.225.00 3.95 4.00 3.77 3.97 4.02 3.70 4.00 4.00商务区4.15 4.065.00 4.18 4.26 3.84 4.22 4.26 4.01 4.37 4.37高端住宅3.61 3.464.91 3.84 3.94 3.46 3.98 4.09 3.33 3.85 3.85娱乐场所 4.22 4.135.00 4.34 4.40 4.14 4.44 4.49 4.16 4.47 4.47逻辑KPI_话音质量逻辑KPI_单/回/串KQI_接入性逻辑KPI_端到端接通率逻辑KPI_端到端呼叫建立时延KQI_保持性逻辑KPI_异常中断KQI_完整性场景KQI_网络覆盖逻辑KPI_覆盖率逻辑KPI_覆盖投诉同时，通过各场景间的比较可以看出：高端住宅的客户感知水平较其他场景为差，这主要是由于区域内的高端住宅覆盖不足造成。
道路的覆盖水平虽然与商务区和娱乐场所一样，但其他各项客户感知水平相对低一些。
通过发现各种场景的短板，可以开展更针对性地优化。
B.分用户日常监控该系统能够针对单个VIP用户，或用户团体进行用户感知的评估和监控，并可以设置告警。
通过系统界面可以很方便清晰地查看和分析集团客户和VIP客户对不同业务的客户感知情况。
系统界面将用户的感知评分通过不同的颜色进行标识，红色表示用户感知差，处于用户不可接受状态，黄色表示用户感知较差，需要关注，绿色则表示用户感知良好。
➢集团用户的客户感知监控通过该界面，首先可以将集团用户进行分级，针对不同的级别分别查看分析各用户的接入性、保持性、完整性和覆盖方面的感知问题。
➢VIP用户的客户感知监控通过用户号码定义VIP客户或VAP（敏感用户），进行客户感知的监控和评估。
