数据仓库指标体系建设

第 16/2016/DAF/SA 号公开招标方案建议书

第1章 数据仓库建设

1.1 数据仓库总体架构

专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。

根据专家系统数据仓库建设目标，结合系统数据业务规范，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下：

数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的内容：

数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume第 16/2016/DAF/SA 号公开招标方案建议书

及传统的ETL采集工具。

数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。

数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。

数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。

1.2 数据采集

专家系统数据仓库数据采集包括两个部分内容：外部数据汇集、内部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；内部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。

1.2.1 外部数据汇集

专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的内容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。

根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。

摘 要

自20世纪90 年代以来,计算机技术发展迅猛,各通信商逐步开发出新的BI系统。实现给通信领域提出了充分利用数据仓库技术，将现有的海量数据构造成为可用、可控、可扩展的数据组织,以适应通信领域各级主管和业务人员的分析需要。

在本论文中从数据仓库需求分析包括参与成员、各个成员所起到的作用；逻辑模型建设通过软件设计，确定表之间的关系；物理模型建设中对表和过程进行详细的审核，用来支持所提出的需求；数据仓库设计以ODS、DWD、DWA为层次，采用横向分层纵向分域的理念，进行具体的实施建立，并在后期提供了错误的应急措施、数据仓库的维护和优化。

关键词： 数据仓库，物理模型，维护和优化

English abstract

Since the nineteen ninties, computer technology is developing rapidly, the

communication business gradually developed a new BI system. Reality to

communication field is presented for fully using data warehouse technology to

existing data structures become available, controllable, scalable data organization, to

adapt to the field of communication at all levels of managers and business analysis.

In this paper from the data warehouse requirement analysis includes the

participation of members, each member of the role played by; logic model

2 Page 2 of 7 1. 数据仓库概述

经过多年IT的建设，信息对于XXX的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好XXX内部纷繁的数据也越来越成为信息管理的一项重要工作。

在过去相当一段时间内，XXX业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏XXX全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML、EXCEL等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。

数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。

3 Page 3 of 7 2.

全域数据库总体架构

信息治理、元数据管理IT安全运维管理IT综合监控展示层门户手机平板电脑PC统一授权服务单点登录应用层多维分析即席查询报表统计统计分析预测分析分析型管理流程整合数据整合空间数据其他应用基础服务层应用服务器空间地理数据引擎服务总线主数据管理引擎协同工作事件驱动规则引擎数据挖掘引擎消息中间件工作流引擎知识内容管理引擎大数据分析引擎OLAP引擎数据存储区流媒体数据大数据OSD数据仓库数据集市特征库模型库预测数据地理数据MDMHUB共享数据库交换服务体系数据层（ISB）数据联邦数据复制数据清洗数据转换大数据流消息队列应用层流程服务信息服务交互服务消息服务基础设施层（网络、存储、硬件、系统软件）关系型数据源非关系型数据源传感器/监控数据源核心业务边防一体化其他XMLExcelWeb服务消息队列文本数据智能传感器虚拟传感器摄像头全域数据库总体架构

- 1 - 附件4

陕西省《高等职业教育创新发展行动计划（2015-2018年）》

项目建设指标体系

序号：XM-1 名称：骨干专业建设 （全国3000个左右/陕西150个）

一级指标 二级指标 主要观测要素 备注

1.专业

定位与

人才培养

（20分） 1.1专业

定位与特色

（4分） （1）专业规划紧扣国家“一带一路”、“中国制造2025”和企业“走出去”等发展战略，定位准确，科学合理；

（2）专业特色鲜明，专业发展对接行业优势明显，能服务区域经济转型、产业升级需求；

（3）人才培养对接国家新兴战略产业，对区域支柱产业和社会发展紧需人才的培养贡献度大。

1.2人才

培养模式

与方案

（4分） （1）社会调研深入广泛，专业发展研究深入；

（2）紧跟行业动态发展趋势，人才培养模式创新机制完善；

（3）人才培养目标、规格准确科学；

（4）人才培养模式契合专业特点，遵循人才成长规律，适应区域经济特点，产教深度融合；

（5）人才培养方案科学合理，能够满足技术技能人才培养需求，能够体现校企共育的特点。

1.3招生

情况

（4分） （1）连续招生6年以上，在校生人数400人以上；

（2）近三年招生形势好，在校生规模大；

（3）近三年第一志愿报考率100%以上，报到率90%以上。

1.4就业

质量及社会声誉

（4分） （1）学生就业对口率高、质量、起薪、满意度高；

（2）连续三年首次就业率达到95%，用人单位对学生满意度95%以上；

（3）形成了毕业生对人才培养工作的反馈机制；

（4）专业具有标志性成果，在全省乃至全国同类院校中形成了良好品牌。 - 2 - 一级指标 二级指标 主要观测要素 备注

1.5建设

机制与经费投入

（4分） （1）校企协同共建长效机制完善，能够指导专业建设且运行顺畅，成效显著；

（2）教学质量保障、监控、评价、反馈和改善机制完善，运行良好；

（3）专业建设经费投入机制健全，经费足额到位、使用高效，近三年专业建设经费持续增长。