中国联通经营分析系统 数据模型培训
- 格式:ppt
- 大小:4.08 MB
- 文档页数:3
基于数据仓库的联通经营分析系统的设计和实现的开题报告一、项目背景随着信息化的进一步深入,各行业都面临着数据的爆炸式增长,而数据的管理、分析、应用已经成为企业发展的重要基石,尤其是在电信领域,随着4G网络的普及和5G网络的即将到来,移动通信业务的数据已经达到海量级别。
而数据分析已经成为移动通信运营商的关键能力之一。
联通公司是我国移动通信运营商之一,也是电信行业的重要代表,其经营情况一直备受关注。
企业决策者面临的问题主要是如何快速、准确地获取有价值的信息,以便对经营管理做出明智的决策,这是需要依托于数据仓库来实现的。
二、项目意义本系统的建设将直接帮助联通公司实现对经营情况的全方位地深入分析,包括市场、客户、收费以及的基站等方面,实现对业务的精细化管理,有效掌握市场动态,进行精确投资决策,以更好地满足国民的通信需求,同时提升企业的市场竞争力,为企业带来更大的经济价值和社会价值。
三、项目内容本系统采用数据仓库技术,对联通的各类数据进行采集和集成,并对采集的数据进行预处理、清洗、标准化等操作,确保数据的统一性和可靠性。
经过ETL操作,将处理后的数据存入数据仓库中,建立多维数据立方体,实现对数据的多角度分析。
同时,本系统提供基于Web的分析工具,支持用户自主分析和查询,为企业决策者提供数据化的支持。
系统设计流程如下图:四、技术方案(1) 数据采集和集成本系统通过引入抽象数据模型,封装底层技术以实现数据的快速集成、数据格式化和数据项映射等功能。
具体实现时可采用 Apache Flume 进行数据收集和处理,Apache Sqoop 进行数据的抽取和迁移。
(2) 数据处理和存储在数据获取和整合后,对数据进行清洗、过滤、标准化、转换等,确保数据规范化和一致性。
对清洗后的数据进行存储,并建立多维数据立方体以方便多维分析。
数据存储方案考虑使用 HDFS 或者 HBase。
中国联通运营数据分析系统使用手册V2.0.1北京中广瑞波科技股份有限公司Beijing ChinaRainbow Technology Co., Ltd.文档修订记录目录1引言 (1)2术语和缩略词 (1)2.1术语 (1)2.2缩略词 (2)3系统概述 (2)3.1系统简介 (2)3.2功能清单 (3)3.3角色分类 (3)4安装与使用 (3)5业务流程 (4)6操作方法 (4)6.1概述 (4)6.2登录 (5)6.3任务管理 (6)6.4数据分析管理 (15)6.5系统管理 (24)7常见问题 (29)附录A:南25省后付费用户状态编码 (30)附录B:南25省预付费用户状态编码 (31)附录C:北6省后付费用户状态编码 (31)附录D:北6省预付费用户状态编码 (33)附录E:用户流量套餐参数说明 (33)附录F:参考材料 (34)1引言本手册对中国联通运营数据分析系统的使用方法进行了说明,通过本手册可了解该系统的基本功能、业务流程和操作方法,可用于指导运营人员、测试人员、运维人员管理和维护本系统。
2术语和缩略词2.1 术语表2.1 术语说明2.2 缩略词表2.2缩略词说明3系统概述3.1 系统简介中国联通运营数据分析系统(以下简称:运营数据分析平台)是北京中广瑞波科技股份有限公司(以下简称:中广瑞波)为联通宽带公司建设的管理平台,该平台通过联通wo+能力共享平台查询总部枢纽平台提供的用户三户信息、用户品牌信息、用户漫游状态和用户流量套餐(以下简称:用户信息),提供相应的可视化界面。
3.2 功能清单表3.1 系统功能列表3.3 角色分类表3.2角色分类4安装与使用1、浏览器:系统采用BS架构设计,通过浏览器可直接访问本平台,推荐浏览器:谷歌浏览器、火狐浏览器、IE浏览器。
●生产环境访问地址:http://220.194.53.186/bssmanager●SIT环境访问地址:http://192.168.10.83:8099/BssManager/2、SecureCRT:SSH(SSH1和SSH2)的终端仿真程序,用于登录服务器后获取平台生成的用户信息文件,也可使用其他类似软件。
联通BI基础培训广东联通BI基础培训谢礼明目录广东联通经分系统介绍1数据仓库基础知识2广东联通业务介绍3developer快速上手4BI系统BI系统的是为业务部门提供数据分析,支撑数据应用。
Business intelligence,简称BI,商业智能。
KPI考核指标首页是图形界面个人认为一个优秀的BI 系统应包含以下功能:基本功能1,报表2,即席查询3,ETL4,指标监控及预警漂亮的界面1,图表结合2,UI 设计专业、简单、美观3,操作简单方便4,移动版1,基本功能优秀的数据分析1,单维/多维分析2,深入分析,数据可以层层深入3,数据内容充实,切合使用需要4,自动生成数据分析报告。
1,基本功能数据挖掘1,预测2,分类请在系统找出我们已经具备的功能?目录广东联通经分系统介绍1数据仓库基础知识2广东联通业务介绍3developer快速上手4数据仓库与数据库的区别数据库数据仓库1,用途不同OLTP系统,面向应用OLAP系统,面向主题分析2,使用的用户面向事物操作人员面向分析和决策人员3,库容量差异数据量小,十T级数据量大,百T级甚至P级4,数据量操作级别差距短的,简单性事务,只影响几条或几十条数据复杂的select和大数据的insert,动不动就百万级以上的数据。
5,数据结构数据分散,不同数据标准集成的(数据汇总、数据聚合)。
数据标准统一6,数据时间性要求当前的、最新的的数据反应历史变化的。
数据特点:历史数据,按周期存放的,冗余的数据。
7,DB设计基于E-R,遵循第三范式星形/雪花,可以不遵循第三范式8,优先考虑高性能,高可用性,高并发海量数据操作,响应时间分层设计应用层数据集市地市数据集市、数据挖掘应用层 KPI报表、cagnos、主题分析、指标库中间层 DWACBD:用户统一视图、3G用户统一视图、固话用户统一视图汇总数据:用户行为、增值业务、集团业务、国际业务DWD 清单汇总、用户属性聚合、费用汇总、集团客户汇总等接口层存储层接口备份、增量转全量、减少I/O(分常用数据和历史数据) 接口层日接口、月接口、增量接口、全量接口中间层是数据仓库最重要的一层。
第1章数据网络基础知识课程目标•掌握数据通信网基木结构和数据通信系统组成• 了解数据传输的基本概念•熟悉信号和信道的基本概念•掌握数据传输的方式、形式和介质•掌握数据编码技术和数据传输中差错产生和基本控制方法•掌握多路复用的基木概念•掌握OSI参考模型的定义和每层功能•熟悉各类数据通信网对应OSI参考模型了解面向连接和无连接技术•熟悉数据通信中的寻址方式•掌握数据通信交换方式以及各种交换方式的特点及对比1.1数据通信概述1.1.1数据通信网结构1、拓扑结构根据实际应用需要,网络可根据需要连成多种拓扑结构,典型的拓扑结构有6种,如图1-4所示。
从拓扑结构來看,网络内部的主机、终端、交换机都可以称为节点。
图1-4网络拓扑结构总线结构通常采用广播式信道,即网上的一个节点(主机)发信时,其它节点均能接 收总线上的信息,如图l-4(a)所示。
环型结构采用点到点通信,即一个网络节点将信号沿一定方向传送到下一个网络节 点在环内依次高速传输,如图l-4(b)所示。
为了可靠运行,也常使用双环结构。
如图l-4(c)所示,星型结构中有一中心节点,执行数据交换网络控制功能。
这种结服务器工作站工作站工作站(a)总线结构 (b)环型结构O O O O O构易于实现故障隔离和定位,但它存在瓶颈问题,一旦中心节点出现故障,将导致网络 失效。
一次为了增强网络可靠性,应采用容错系统,设立热备用中心节点。
树型结构的连接方法象树一•样从顶部开始向下逐步分层分义,有吋也称其为层型结 构,如图14(d)所示。
这种结构中执行网络控制功能的节点常处于树的顶点,在树枝上 很容易增加节点,扩人网络,但同样存在瓶颈问题。
网状结构的特点是节点的用户数据可以选择多条路由通过网络,网络的可靠性高, 但网络结构、协议复杂,如图14(c)所示。
冃前大多数复杂交换网都采用这种结构。
当 网络节点为交换中心时,常将交换中心互连成全连通网,如图l-4(f)所示。
1.1.2数据通信系统组成数据通信是计算机与计算机或计算机与终端之间的通信。