数据仓库建设方案

第 16/2016/DAF/SA 号公开招标方案建议书

第1章 数据仓库建设

1.1 数据仓库总体架构

专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。

根据专家系统数据仓库建设目标，结合系统数据业务规范，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下：

数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的内容：

数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume第 16/2016/DAF/SA 号公开招标方案建议书

及传统的ETL采集工具。

数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。

数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。

数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。

1.2 数据采集

专家系统数据仓库数据采集包括两个部分内容：外部数据汇集、内部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；内部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。

1.2.1 外部数据汇集

专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的内容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。

根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。

謇。Ｓ．探Ａ信Ｎ服科Ｇ技ＦＯ　Ｒ　。薯　０　；－　蒜＃尊ｌｌ　０　０　０　臣魏　：　

嚣　一　

｜薯　．　

中图分类号：ＴＰ３１１．１３　文献标志码：Ｂ　文章编号：１６７２—４８４４（２０１１）０２—００８０—０４　

人力资源管理数据仓库　

建　

摘要：　

设过程　

对其特　

实施解　

人力资　

方面均　

关键词　

０引言　

国家电网公司根据“十一五”　

信息发展规划，决定实施信息化　

ＳＧＩ８６　程，建设以一・体化平台、　

八大业务应用及六大保障体系为　

核心的统～的企业级信息系统。　

根据国家电网公司ＳＧｌ８６　程总　

体规划，在国家电网公司的大力　

推进下．在各个网省公司积极配　

合下，成熟套装软件ＥＲＰ系统的　

建设工作在国家电网公司系统内　

稳步推进。　

在此背景下。山东电力集团　

公司ｆ以下简称山东电力）在全省　

范同内，采用同步实施的加速建　

设方式进行成熟套装软件信息化　建设工作，实现公司管理信息化　

水平再上新台阶的重大举措，此　

举标志着Ｌ【Ｉ东电力信息化建设进　

入了一个崭新的阶段。　

山东电力ＥＲＰ项目人力资　

源模块系统实施项目参照２００４　

年ＰｅｏｐｌｅＳｏｆｌ　８．３版本已实施的　

组织管理、人事管理、假期管理、　

薪资核算管理的系统功能方案，　

使用ＰｅｏｐｌｅＳｏｆｌ　ＨＣＭ　９．０版本标　

准功能进行重新实施，以辅助集　

团公司总部、１７个地市公司和超　

高压公司对其正式员Ｉ建立标准　

化的人力资源管理平台。　

１人力资源数据特点　

１）数据增量大、使用频率高。　在此次项目实施中。相对于其他　

领域，人力资源模块采集到的首　

批数据量并不是最多的。随着系　

统上线后深入应用，数据增量很　

大，大部分增量数据来源于系统　

－ｔＬＬ￣理操作。员工个人自助平台　

启用后．系统使用者不再只是人　

力资源管理业务人员．而是全员　

参与、数据的使用频率将会很高。　

对于同一员工的数据，由于操作　

者的角色不同，出现了并发操作　

现象　

２）数据结构复杂、关联性强。　

人力资源模块引入了员工全方位　

数据仓库建设方案

----宋停云与您分享----

----宋停云与您分享---- 数据仓库建设方案

数据仓库建设方案是指根据组织的数据需求和业务目标，经过系统性的分析和设计，建立一个统一、集成、可靠、灵活的数据存储和管理系统。通过数据仓库建设方案，组织可以更好地利用数据资源，支持决策和业务流程，提高组织的运营效率和竞争力。

首先，数据仓库建设方案需要进行需求分析。通过与组织各个部门的沟通和了解，明确业务需求和数据需求，确定数据仓库的目标和范围。同时，也需要考虑数据的来源和格式，以及数据的质量和安全性等方面的需求。

其次，数据仓库建设方案需要进行数据模型设计。根据需求分析的结果，设计数据仓库的结构和组织方式，确定数据的存储和关联关系。同时，也需要考虑数据的处理和转换方式，以及数据的更新和维护策略等方面的设计。

然后，数据仓库建设方案需要进行技术选型。根据数据仓库的规模和复杂程度，选择适合的数据库管理系统和硬件设备，以及相应的数据集成和分析工具。----宋停云与您分享----

----宋停云与您分享---- 同时，也需要考虑数据仓库的架构和性能等方面的技术选型。

接着，数据仓库建设方案需要进行系统实施和测试。根据设计和选型的结果，进行数据仓库的搭建和配置，导入和清洗数据。同时，也需要进行系统的功能和性能测试，确保数据仓库的正常运行和满足业务需求。

最后，数据仓库建设方案需要进行系统运维和优化。定期进行数据的更新和维护，监控和管理数据仓库的性能和安全。同时，也需要根据业务需求和技术发展，对数据仓库进行优化和改进，提升数据仓库的效率和可用性。

总之，数据仓库建设方案是一个综合性的工程，需要从需求分析到系统实施再到运维优化，进行全面的规划和设计。通过数据仓库建设方案，组织可以更好地管理和利用数据资源，提高业务的决策能力和竞争力，实现可持续的发展。

数仓建设方案

一、引言

随着大数据时代的到来，数据成为企业发展的重要资源。而在处理和管理大数据方面，数据仓库（Data Warehouse）起到了关键的作用。本文将介绍一个适用于数仓建设的方案，旨在提高数据管理和分析的效率。

二、背景

数据仓库是一个以主题为导向、集成、稳定、相对历史的数据集合，可用于支持企业的决策制定。在设计和构建一个完善的数据仓库之前，我们首先要明确背景和目标。

1. 背景说明

说明数据仓库建设的原因和必要性。例如，业务发展迅速，数据量激增，传统的数据存储和管理方式无法满足需求。

2. 目标设定

明确数仓建设的目标，包括但不限于数据集成、数据质量提高、数据分析支持等。

三、建设方案

本节将详细介绍数据仓库建设的方案，包括数据采集、数据存储和数据分析三个方面。 1. 数据采集

数据采集是数据仓库建设的第一步，也是最关键的一步。数据在采集过程中需要经过清洗、抽取、转换和加载等多个阶段。

清洗：处理数据中的无效、重复或错误的信息，确保数据的质量。

抽取：从各个业务系统中抽取所需数据，可使用ETL工具进行自动化操作。

转换：将抽取的数据进行转换，使其符合数据仓库的标准格式和结构。

加载：将转换后的数据加载至数据仓库中，储存为独立的数据表。

2. 数据存储

数据存储是指将采集到的数据以结构化的方式存放，以便后续的查询和分析。常见的数据存储方式有关系型数据库和大数据存储技术。

关系型数据库：适用于小规模和结构化数据的存储，例如使用MySQL或Oracle等。

大数据存储技术：适用于海量数据的存储和处理，例如使用Hadoop、Spark和Hive等。

3. 数据分析

数据分析是数据仓库建设的最终目标，通过分析数据可以获取有价值的信息和洞察力，为企业的决策提供支持。 数据挖掘：利用统计学和机器学习等技术挖掘数据中隐藏的模式和规律。

报表和可视化：将数据以图表、表格等形式展现，便于决策者理解和分析。