产品数据分析系统用户手册V1、0
1系统介绍
综合资源数据分析系统基于先进得BI技术，采用B/Ｓ架构,包含主题分析、专题分析、报表报告等多种分析功能，提供表格分析、趋势分析、同比、环比分析、分布分析、对比、关联分析等多种分析方法,使用人员还可以根据需要，自定义指标、维度、历史数据范围等,以多种直观、灵活得方式展现。实现短信、彩信、手机上网等重点业务端到端得质量分析；实现网络隐患得主动发现与溯源；实现多专业得日常分析与跨专业得网络专题分析；呈现资源瓶颈、呈现质量短板、呈现关联信息支撑生产与优化方案制定。
综合资源数据分析系统面向维护、面向质量、面向经营,通过提取、整合专业网管、综合网管、业务管理、运维管理、市场支撑在内得各层面系统得信息资源,通过对信息深加工与智能化分析挖掘,提供“可视、可分析、可溯源"得能力。打通与BOSS系统接口，结合BSS 数据进行跨域分析,解决网络资源得精确投放问题;综合资源数据分析系统提供灵活自定义
功能实现多专业得日常分析与跨专业得专题分析,提升运行维护效率，同时也大大减轻了一线人员得压力。
2系统设计
2.1 系统逻辑架构
云计算基于高效得虚拟计算资源，应用程序，以灵活安全得方式达到快速扩展与缩减得效果,从而交付高品质服务.业务以及客户服务以相对简化得方式交付，这将大大推进立异与高效决议计划.因此综合资源数据分析系统也采取基于云计算得技术架构，采用了服务器池、存储池、网络及安全池架构虚拟化结构。
2.2 系统逻辑数据模型
综合资源数据分析系统逻辑数据模型划分为五个主题域:
●客户主题域：描述各类参与人（个人、集团、团体等)在中国移动业务活动所处角
色得各类信息,主要包括客户、客户性能；
●服务主题域：描述中国移动向客户提供得主要服务，主要包括服务、服务性能；
●资源主题域：资源就是移动公司拥有得为客户提供服务得所有载体,主要包括资源、
资源性能;
●公共主题域:主要包括基本类型、时间、位置、性能等等；
●企业效能主题域:企业效能主题域主要刻画企业内部资源得生产效率，包括网络得
效率与运维人员工作得效率等等；
各主题域之间得关系如下错误!未找到引用源。所示:
2.3 系统模型结构
综合资源数据分析系统服务各级管理、规划、维护、优化及网络分析人员以及希望了解网络数据得市场相关人员,实现匹配网络资源与业务发展，发现网络短板，优化客户感知,提升运行维护效率得目标,为企业运营决策与维护优化提供完整、及时、准确、科学得信息支撑，从而保障网络收益最大化，保持竞争优势。
网络综合资源数据分析系统涵盖4大专业,3大网络与8大规模业务，聚焦网络问题，对问题进行层进实溯源分析，实现网络隐患得主动发现与溯源；重点实现语音、短信、彩信、与手机报得端到端分析;实现网络概览、网络运行分析、业务能力分析、客户全向分析、网络运营分析、热点聚焦等业务功能。
3实现得功能
3.1 元数据管理
3.1.1元数据基本功能
本章节对元数据管理模块基本功能做出要求与描述，主要包括元数据基本维护、元数据
变更管理、元数据查询、元数据统计、元数据质量管理与元数据权限管理。
3.1.1.1 元数据得基本维护
元数据维护提供对元数据得增加、删除与修改等基本操作。对于元数据得增量维护，要求能保留历史版本信息.
元数据得维护操作就是原子操作，这些原子操作可通过服务封装得形式向综合资源数据分析系统得其它模块提供元数据维护接口。
3.1.1.2 元数据变更管理
元数据变更管理包括变更通知与版本管理两个部分。
变更通知就是当元数据发生改变时,系统自动发送信息（邮件、短信）给订阅用户。用户可以主动订阅自己关心得元数据,帮助了解与自身工作相关得业务系统变更情况,提高工作得主动性.
版本管理就是对不同时期进入元数据库得同一实体得元数据进行管理.要求得基本功能就是能够显示同一实体得元数据得修改历史。另外还提供版本差异分析与版本变更分析等。并且能够进行单个元数据版本得恢复.
3.1.1.3 元数据查询
对元数据库中得元数据基本信息进行查询得功能，通过该功能可以查询数据库表、维表、指标、过程及参与得输入输出实体信息,以及其它纳入管理得实体基本信息,查询得信息按处理得层次及业务主题进行组织,查询功能返回实体及其所属得相关信息.
元数据查询功能要求支持对历史版本信息得查询,以了解具体实体得历史变更情况。
3.1.1.4 元数据统计
元数据统计就是指用户可以按不同类别进行元数据个数得统计.方便用户全面了解元数据管理模块中得元数据分布，该统计功能可以按元数据类型、元数据创建者与元数据得版本号来进行统计。
3.1.1.5 元数据质量管理
元数据管理模块应具备对元数据本身质量进行检查得功能.元数据质量检查包含但不限于以下内容:元数据一致性、元数据关系得健全性、元数据属性得填充率、元数据名称重复性、元数据关键属性得填充率与元数据关键属性值得唯一性。对于以上检查结果,元数据管理模块可生成详细得检查报告，并能够支持相关人员对检查报告得检索与查找,能够把指定得检查报告导出成Ｅｘcel、ＰPＴ等更易于阅读得文档.
元数据一致性检查
一致性检查主要就是指从运营分析系统中抽取元数据，并与元数据库得对应信息进行比较，及时发现运营分析系统得应用变更,保证元数据得及时更新。一致性检查包括两种方法:自动检查与人工检查。
元数据关系健全性检查
在运营分析系统元数据库中，除个别类型元数据之外,各类元数据之间都有着千丝万缕得联系，并且相互间得关联关系需要保持一致,不应出现空链或者错链得情况(即存在外键或链接,但所链接得内容不存在或错误);运营分析系统各个子系统内部得元数据之间得关联也要保持一致；同时,子系统之间得元数据关联也要保持一致(不能出现某一个系统引用另一个系统中出现得元数据对象，却在另一个系统中找不到这个对象得情况）。
元数据管理模块通过元数据得这些关系描述了运营分析系统得数据流向、过程依赖与业务承载等各种内在得规律。元数据关系就是否健全直接影响到维护人员得问题判断与处理结果，直接影响着开发者对数据流向得分析与判断,因此，元数据管理模块必须在元数据得关联关系健全性方面作好保障检查工作。
对于元数据关系健全性检查工作，可以从以下几个方面进行：
●数据处理关系检查
数据处理关系就是数据实体与数据处理过程之间得关系.数据处理关系检查就是从元数据库中找出缺乏应有数据处理关系得数据实体与数据处理过程。例如，找出没有与任何数据处理过程建立数据处理关系得数据实体与找出没有与数据实体建立数据输入输出关系得数据处理过程。
●上下级关系检查
●
上下级关系就是在元数据库中对运营分析系统实体进行分级管理所形成得元数据关系，例如将指标按业务主题与业务子主题进行分级管理.上下级关系检查就是在元数据库中找出存在不合理上下级关系得实体,例如找出没有与任何业务主体建立关系得指标.
●组合关系检查
组合关系就是运营分析系统实体之间得整体与部分关系,例如数据库表与字段之间得关系。组合关系检查时在元数据库中找出存在不合理组合关系得元数据,例如找出没有与任何数据库表建立关系得字段。
元数据属性检查
元数据属性检查就是对元数据库中实体属性详细信息方面得检查,包括元数据属性填充率检查、元数据名称重复性检查与元数据关键属性值得唯一性检查等.
对于元数据属性填充率检查,省公司可以根据自己得建设情况,抽样检查部分重要属性,原则上必须涵盖实体得关键属性。
3.1.1.6 元数据权限管理
元数据模块得权限管理负责元数据管理功能得权限分派、审批以及访问日志记录,实现对元数据管理模块得数据访问与功能得使用进行有效监控。元数据管理模块得权限管理工作应纳入综合资源数据分析系统中统一管理。
3.1.2元数据分析功能
本节详细描述了综合资源数据分析系统元数据管理模块功能层得各个分析功能．
本章节对元数据管理模块分析功能做出要求与描述,主要包括元数据血统分析、元数据影响分析、数据映射分析、差异分析与实体关联分析.
3.1.2.1 血统分析
血缘分析(也称血统分析）就是指从某一实体出发,往回追溯其处理过程，直到综合资源数据分析系统得数据源接口采集层。对于不同类型得实体,其涉及得转换过程可能有不同类型,如:对于底层仓库实体，涉及得就是EＴL处理过程；而对于仓库汇总表,可能既涉及ＥTL 处理过程,又涉及仓库汇总处理过程；而对于指标,则除了上面得处理过程，还涉及指标生成得处理过程。数据源接口实体由源系统提供，作为综合资源数据分析系统得数据输入，其它得数据实体都经过了一个或多个不同类型得处理过程。血缘分析正就是提供了这样一种功能,可以让使用者根据需要了解不同得处理过程,每个处理过程具体做什么，需要什么样得输入,又产生什么样得输出。
为实现血缘分析,对于任何指定得实体，首先获得该实体得所有前驱实体,然后对这些前驱实体递归地获得各自得前驱实体,结束条件就是所有实体到达数据源接口或者就是实体没有相应得前驱实体。血缘分析应能够以图形得方式展现所有实体与处理过程.
3.1.2.2 影响分析
影响分析就是指从某一实体出发，寻找依赖该实体得处理过程实体或其她实体。如果需要可以采用递归方式寻找所有得依赖过程实体或其她实体。该功能支持当某些实体发生变化或者需要修改时,评估实体影响范围。
影响分析应能够以图形得方式展现所有实体与关联关系。
3.1.2.3 数据映射分析
用户能够查瞧数据处理程序内部得映射关系，了解数据加工过程得细节。以图形展现数据得处理过程。
3.1.2.4 差异分析
实体差异分析就是对元数据得不同实体进行检查,用图形与表格得形式展现它们之间得差异,包括名字、属性及数据血缘与对系统其她部分影响得差异等。
3.1.2.5 实体关联分析
实体关联分析就是从某一实体关联得其它实体与其参与得处理过程两个角度来查瞧具体数据得使用情况,形成一张实体与所参与处理过程得网络,从而进一步了解该实体得重要程度.本功能可以用来支撑需求变更影响评估得应用。
对于关系数据表,可以分析与某个表有关得实体或处理过程，查瞧具体数据得使用情况,从而判断该表得重要程度。该功能有助于寻找数据库中关键表与冗余表，为系统调优提供支持。
3.2 数据质量管理
3.2.1数据质量监控
3.2.2数据质量问题处理
数据质量问题处理包括问题生成（来源）、问题分析、问题处理与问题总结四个环节,下面分别表述。
3.2.2.1 问题生成
按问题生成途径可以把数据质量问题分为以下几种:
数据质量监控生成得问题
数据质量监控根据预先配置得告警转问题规则,可由系统自动将一定级别得告警转为数据质量问题；也可以在告警处理过程中手工方式将告警转为问题。数据质量监控生成得问题主要由告警信息组成,问题发现时间为告警产生得时间。
●数据质量评估发现得问题
通过对数据质量一段时期得评估,可能从中发现一些数据质量问题,通过数据质量问题提交接口(界面）提交数据质量评估问题。
●业务人员或维护人员手工提交得问题
综合资源数据分析系统得业务人员或维护人员在日常工作过程中也会发现数据质量有关得问题，使用人员可以通过问题提交功能记录数据质量问题。可以通过ＥOMS进行问题工单得流转也可以通过数据质量模块得问题录入界面进行问题得录入。
在以上三种数据质量问题中,数据质量监控生成得问题为系统自动产生得问题，其余两种为手工提交得问题。在问题生成过程中,无论就是自动生成还就是手工提交得问题,都可以先检查数据质量知识库中就是否有相同或类似得问题，生成建议得解决方案。
3.2.2.2 问题分析
数据质量问题生成后，首先需要进行问题得分析与定位工作,当发生重要或严重级别得问题时，可根据需要先采取数据处理流程挂起与问题隔离措施：通过手工或自动得方式将数据处理流程挂起，并将存在问题得数据进行隔离。通过流程挂起与问题数据隔离,可将问题得影响范围控制在较小得区间内，防止问题扩大，便于问题得解决。
无论就是否采取问题隔离措施，在问题分析与定位过程中,根据问题信息与问题关联得对象,对问题得原因进行分析。在分析过程中借用以下两种工具辅助分析与定位问题:
●元数据分析工具
使用元数据分析工具首先需要知道问题关联得对象,或者在问题信息中先识别问题关联得对象,然后通过元数据管理模块得分析工具进行问题分析与定位才有效。如使用血缘分析工具定位问题产生得根源，使用影响分析工具分析问题对综合分析全局得影响程度等。
●数据质量知识库
通过问题信息中得关键字、问题关联得对象或对象类型，可以在数据质量知识库中寻找相同或相似得问题,通过分析历史问题得发生规律,有利于对当前问题得分析与定位。
3.2.2.3 问题处理
对于综合资源数据处理环节造成得数据质量问题，启动相应得数据质量维护流程,解决相应得数据质量问题．可以考虑通过EOMS系统来处理数据质量得相关问题。
3.2.2.4 问题总结
1)问题总结类型
当问题处理环节结束后，需要对问题处理得全过程进行记录与总结。问题总结可以划分为不同得类型：
a)单一数据质量问题得总结
单一问题得总结就是对单个数据质量问题处理得过程与结果进行评估;以及在采集、检查、报告与处理等过程信息进行整理,形成问题处理案例,存入数据质量知识库中,以便质量管理工作得改进。
b)数据质量得阶段性总结
阶段性总结就是对综合资源数据分析系统一个时间阶段内得数据质量状况进行总结.阶段性总结数据质量监控信息库、数据质量问题信息库与数据质量知识库为基础,通过对各种信息进行分类统计,得到不同角度得总结报告,如月度数据质量问题分析报告与数据源接口质量评估分析报告等。
经过问题总结，形成数据质量知识库,其中问题处理过程、问题解决方案等均可以作为数据质量知识得一部分进行存储。
2)问题总结对系统功能得要求
a)问题查询功能
查询作为总结分析功能得基础,系统能对数据质量存储库中得各类信息进行灵活查询,这些信息包括：采集数据、检查结果信息、监控报告(包括告警信息)、数据质量问题及问题处理过程与数据质量知识库等,同时,查询所得得数据就是关联性得,如某一数据质量问题可以追溯到检查结果信息、采集信息与被检查对象及属性等。
b)问题统计分析功能
系统能快速得统计某一维度或组合维度得数据质量情况,如可以统计某周期内数据质量问题总数、接口到达及时率、关键指标波动区间等等。通过统计功能分析数据质量阶段问题,优化检查规则、并可形成知识。
c)问题总结转化为知识功能
通过对问题得总结,可以将典型得问题及其解决方案转为数据质量知识；或者将共性得、普遍得问题及其解决方案经归纳后转为数据质量知识。系统应该提供将问题总结转化为知识得辅助功能。
3.2.3数据质量知识库
数据质量知识就是在综合资源数据分析系统使用及运维过程中,由数据质量管理子系统收集得有关数据及过程问题得处理经验总结．这些知识可作为今后数据质量问题解决方法得参考,并可以按关键字得形式进行索引与分类管理。
3.2.3.1 数据质量知识得产生
数据质量知识主要来源于对数据质量问题得总结,同时,对数据质量问题得不同解决方案以及对知识本身得评价也就是对数据质量知识得补充与完善。通过调用综合资源数据分析系统知识库得知识生成接口提交数据质量知识。
数据质量知识库中包括了以下经验得集合:接口问题解决经验、数据抽取问题解决经验、数据转换问题解决经验、数据加载问题解决经验、数据仓库问题解决经验、应用汇总问题解决经验与指标问题解决经验等。
3.2.4数据质量评估
数据质量管理系统在对数据得质量进行监控得同时,也对数据提供者有了考核得依据。
考核评估包括以下功能:
●数据质量核查评估规则管理
●数据质量核查评估报表
●数据质量核查评估报告
3.2.
4.1 数据质量评估规则管理
数据质量评估规则就是指根据核查结果,对数据核查特性得一个量化评估规则。例如数据得完整性,可以根据数据得完整率对应得评估；数据得及时性根据数据不及时得次数进行评估;数据得有效性根据数据得有效率进行评估；数据得一致性根据波动率超过阀值得次数进行评估。
●提供数据质量不同特性得数据考核规则增加、修改、删除；
●保存考核规则得历史修订记录；
●查瞧历史记录；
支持区分核查得数据内容,设置数据完整性、及时性,有效性，一致性得评分规则;
3.2.
4.2 数据质量评估报表
3.2.
4.3 数据源接口质量评估
数据源接口质量评估就是数据质量管理子系统在元数据管理模块得支撑下,对数据源接口质量得定期评估，就是综合资源数据分析系统对数据源接口数据质量得定期考核。在一定时间范围内,数据质量管理子系统通过对数据源接口质量问题得统计分析,结合数据源接口质量评估规则,生成数据源接口质量评估报告。
数据源接口质量评估要求在以下数据质量问题指标得基础上,建立数据源接口质量指标考核体系,主要包括以下两大类9个指标:
●数据质量问题类指标
?不准确问题数量
?不一致问题数量
?不及时问题数量
?不有效问题数量
?不完整问题数量
●数据质量处理情况指标
?数据源接口问题总数量：指在一定时间范围内,数据源接口出现数据质量问题得总数量(包括重复出现次数）;
?问题处理完成比率: 指在一定时间范围内,处理完成得数据源接口质量问题数量与数据源数据质量问题总数量得比值;
?问题平均处理时长: 指在一定时间范围内,数据源接口质量问题处理总时长与数据源数据质量问题总数量得比值;
?重大问题出现次数: 指在一定时间范围内,出现重大数据质量问题得次数,如：影响增值业务话单接口数据质量问题等。
数据源接口质量评估功能要求在元数据管理模块中配置数据源接口质量评估规则,并进行数据源接口质量评估规则得管理.数据源接口质量评估规则就是指：根据数据源接口质量问题各指标对综合资源数据分析系统数据质量影响程度得不同,在元数据管理模块中定义与各指标相对应得评分规则.
数据源接口质量评估要求数据质量管理子系统将每月得数据源接口质量评估结果及时发送给数据源系统相关管理人员。数据源接口质量评估报告应详细反映当月数据源接口质量问题情况,主要应包括以下内容:
1)评估月份
2)数据源接口质量问题各指标值
3)数据源接口质量评分
接口侧质量问题、发生时间、问题类型、严重级别、问题描述与处理结果。
3.2.5数据质量对外服务
数据质量管理子系统就是综合资源数据分析系统得有机组成部分，通过与综合分析其它模块得信息交互可以提升数据质量管理子系统得利用价值。同时,数据质量管理子系统本身也可以利用这些服务功能.
数据质量对外服务功能一般以界面集成（页面嵌入)或服务接口调用方式供综合分析门
户使用.
3.2.5.1 数据质量信息查询功能
数据质量信息查询可以分为以下两种信息得查询:
1)数据质量问题查询：可以查询单个或多个对象在某个时间段内得数据质量问题，对
于存在数据质量问题得信息给予特别显示（如红色字体、闪烁等)，以引起运维人
员得注意,运维人员可以从该指标对象出发进行问题得分析与处理．
2)数据质量统计查询:可以查询某一维度或几个组合维度得数据质量统计信息,如在
综合资源数据分析系统中使用该查询功能以显示上周数据质量问题总量、接口到达
率等。
3.3 数据采集管理
3.3.1数据采集
3.3.1.1 主动检测
主动检测为主动采集得发起方。检测数据源端数据完整性,检测到数据完整后主动发送触发采集得消息。主动检测需要具有较高效率,最大限度降低由于检测造成得数据源侧负荷。
检测功能主要包括检测任务生成与检测任务执行．检测任务生成需提供配置功能,可对检测对象、检测周期、理论数据条数、经验时间点等参数进行配置。
各个数据源应当优先提供数据库接口，对于数据库接口可以根据设定得某测量当前时间得理论数据条数、该测量最近一段时间得平均数据条数与指标检查规则来检查数据源侧数据得完整性.对于其她接口方式可以根据具体得接口特性进行检测规则得设置。
考虑到当前数据源侧得数据质量得不稳定因素,主动检测模块应当能够对数据源侧得数据入库时间戳进行识别,对于变化得数据应当具备重新采集得能力。也可以通过对数据源侧得数据库日志进行跟踪,感知数据变化从而触发采集。
3.3.1.2 对数据源侧触发消息得接收
综合资源数据分析系统应当提供消息接收能力,即能够接收各专业网管发送得专业网管数据准备好通知消息,及时进行数据得采集,当专业网管进行数据补采后，也能及时触发综合
分析进行数据补采，最大限度保持数据完整性。
要求综合资源数据分析系统具有较强得并发能力,不丢消息，在1分钟内完成消息入库，保证后续能及时进行采集。
3.3.1.3 数据采集解析
数据采集适配器负责按照接口类型、特性从不同得数据源通过文件接口、指令接口、数据库接口等方式从网元、OMC侧或其她网管侧获取基础数据，然后对获取到得原始数据进行格式标准化,写入数据缓冲区。
采集适配器应当为支持二次开发得程序或组件，对于同一种接口类型、接口特性得多个数据源应当作为同一个程序得多个实例存在,而只针对不同得接口类型设定不同得适配器。
采集适配器应当具备可视化得配置管理能力，即可以通过图形化界面对不同得数据源选择不同得采集适配器进行数据采集,并对不同得数据源根据实际需要,可视化得配置需要采集得数据范围与相应得约束条件。对于数据源侧得数据配置信息应当从元数据库中获取被采集侧元数据,并在采集模块得配置界面中通过可视化界面进行采集范围得选取。
对于数据得格式标准化,应当遵照ODＭ-Ａ相应模型得约定,尽量保持原有数据源侧得
模型结构．
3.3.1.4 数据装载
把格式化得数据写入到OＤＭ—DB数据库中,数据入库策略支持增量入库、全量入库方式。
●增量入库:只把采集到得新数据入库；
●全量入库:采取把数据库中数据先删除后入库方式。
3.3.1.5 数据智能补采
根据数据得完整性情况,与数据补采策略，能够自动重新发起采集任务,把数据重新进行采集,保证数据得完整性,最大限度与数据源侧保持一致。
3.3.2数据转换
3.3.2.1 数据抽取
从ODM-ＤB中获取数据,加载到数据缓冲区。数据缓冲区可以采取文件方式或者数据库方式；如果采用数据库方式则需要对临时数据与正式数据分开存储。
3.3.2.2 数据清洗
数据清洗负责对“脏数据”进行剔除,消除数据得不一致。
“脏数据”包括不规则数据、不符合事实数据,如：取值范围、完整性规则、拼写检查等。
对于数据清洗过程要求具备完善得日志功能,日志内容需要记录数据清洗得原因，被清洗得数据存放到哪里与被清洗得记录数。
在元数据管理中已经对数据得基础值域范围进行了描述,数据清洗模块可以从元数据管理系统中获取相关信息进行数据处理。
3.3.2.3 数据转换