数据仓库解决方案
深圳太极云软技术股份有限公司
2016年1月
目录
(一)概述 (3)
一. 国内信息化的现状 (3)
二. 以应用驱动，数据仓库建设应由后向前规划 (3)
三.“想大做小”（整体设计、分布实施） (4)
(二)系统架构 (5)
数据仓库架构 (6)
系统功能架构 (7)
(三)数据仓库建设方法 (8)
数据仓库建设8大步骤 (9)
1.系统分析，确定主题 (9)
2.选择满足数据仓库系统要求的软件平台 (10)
3.建立数据仓库的逻辑模型 (10)
4.逻辑数据模型转化为数据仓库数据模型 (11)
5.数据仓库数据模型优化 (12)
6.数据清洗转换和传输 (13)
7.开发数据仓库的分析应用 (14)
8.数据仓库的管理 (15)
(四)系统功能详细介绍 (16)
企业数据门户 (16)
主题分析 (17)
即席查询 (18)
多维分析工具 (19)
ETL工具 (19)
报表工具 (21)
(一)概述
一.国内信息化的现状
1.信息化建设的发展历史：
在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。
2.为何要建立数据仓库：
根据现状业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。
二.以应用驱动，数据仓库建设应由后向前规划
数据仓库到底应该怎么建设?我一贯的主张是应用驱动。什么样的应用呢？应用是应考虑政府管理的现状和决策层最关心的问题入手。分利用现有信息系统资源，进一步细化、量化权力清单，固化权
力运行流程和办理环节，达到规范业务流程、监督个体行为、记录执法诚信、科学考核评价和提升管理精度，最终使群众的合法权益得到保护，实现权力有效监督和提升政府效能。通过分析经济发展、卫生健康、教育科技、道路交通、机构团体、生活服务、文体娱乐、安全避险、资源环境、社保就业、财税金融、法律服务等这些主题的分析是否可行，应该先进行评估。这样从应用主题入手，就可以知道需要什么样的数据，来自那些业务系统和数据源，这些数据的全体进行一定的整合，按照分析的要求存储就组成了一个个数据集市（Data Mart）。
三.“想大做小”（整体设计、分布实施）
为了避免原有业务系统相对独立而形成的一个个信息孤岛，以应用驱动建设数据仓库，往往会造成新的信息孤岛。这是因为应用往往是部门级的或者是某一方面的应用，不能完全覆盖企业级的所有应用。当然我们这里不提倡一次建设的应用。如何避免这个问题，是我这里着重要要强调的。这里分两种情形进行设计，系统作用
1. 整合业务数据
在各业务系统中，数据不流通，形成信息孤岛，商业智能解决方案建立统一数据仓库，整合业务数据，给管理者提供统一视图，统一决策界面。
2. 支撑决策
从数据中分析企业发展趋势，挖掘新的机会方法，根据数据决策，
提高决策的及时性及准确率。
3. 提供管理效能，量化办事效率
基于系统分析内容，管理者能了解细化、量化权力清单，固化权力运行流程和办理环节，达到规范业务流程、监督个体行为、记录执法诚信、科学考核评价和提升管理精度，最终使群众的合法权益得到保护，实现权力有效监督和提升政府效能。
(二)系统架构
系统架构图
在建立数据仓库，数据仓库按主题域存储各业务数据。数据来源主要是政府
管理结构的不同业务管理系统。通过数据交换平台定期采集各管理机构的业务数据，后台数据处理工具ETL抽取、清洗数据，并加载入数据仓库中。
架构于数据仓库上的系统功能主要包括大数据门户、专题主题分析、即系查询、多维分析、自助报表的功能模块，通过这些功能模块为管理者获取数据和分析数据提供简单易用、功能强大的方法，为管理者决策及提升管理精度，最终实现权力有效监督和提升政府效能。
数据仓库架构
数据仓库是一个建设过程，而不是产品。数据仓库是通过对来自不同的数据源进行统一的处理及管理，通过灵活的展示方法来帮助决策支持。
数据获取层
实现如何从所有源系统中获得原始的业务数据，并对其进行一定的数据处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。
数据仓库系统需要从多个源数据系统中抽取和汇总各个业务数据，这些数据源系统是数据仓库系统的数据来源。
把上述数据源系统中的数据按照主题进行划分和组织，然后抽取并装载到数据仓库系统中。
数据需要经过三个过程：数据抽取、数据转换、数据装载。这三个过程是在保证各个数据源系统与数据仓库系统能够成功连接（包括网络协议标准的转换、不同平台之间的接口）的前提下实现的。保证把来自不同的源数据系统的同类数据的一致性和完整性，转换完成的
数据装载到数据仓库系统中。
数据管理层
把数据存储到企业级数据仓库系统中进行集中管理。在数据存储层，数据是存放在两类数据库中：关系型数据库和多维数据库。数据存储是数据仓库系统的中心。取自多个数据源系统的明细数据，以及用于分析的集成汇总数据都存储在这个中心。它在逻辑上是一个完整的库。
数据使用层
把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求、使用报表、随即查询、多维度分析和数据挖掘进行数据展现。
数据输出层的功能是使最终用户通过报表、图形和其他分析工具的方式简便、快捷地访问数据仓库系统中的各种数据，得到分析结果。
提供多种数据分析方法，包括标准报表、即席查询报表、动态分析报表、多维分析、趋势预测、假设分析和数据挖掘等。
系统功能架构
多维分析OLDP多角度、立体化、灵活动态的分析业务数据。产品简单易用，无需编写任何的代码，用户只需要通过语义层的定义就可以轻松搭建自己的多维数据模型。
即席查询统计报表、指标的快速检索，帮助业务分析人员快速获得所需要的数据和统计信息。
数据门户Data Portal进行统一展现，展现方式包括仪表盘、表格、报表、日历等内容，并支持用户个性化定制内容、指标等功能，
实现真正的个性化服务。数据门户中展现的内容是管理者及业务人员最关注的指标，通过门户为他们获取数据提供最简单容易的方式。
主题分析根据资源的组织，支持数据的深入挖掘和分析应用，跟踪、监控政策的执行情况及实施效果，让管理层了解细化、量化权力清单，固化权力运行流程和办理环节，达到规范业务流程、监督个体行为、记录执法诚信、科学考核评价和提升管理精度，最终使群众的合法权益得到保护，实现权力有效监督和提升政府效能。
报表业商业智能系统建设的重要组成部分，主要对企业数据仓库中整合的各主题域业务数据，按照监督管理要求，面向各级部门，快速提供准确、全面、灵活的体现政府管理效能等方面实际的数据信息，为决策支持、业务管理提供有效的数据信息支撑。
ETL工具：ETL是数据仓库最核心的后台组件，通过对及汇总来的不同来源数据的抽取、清洗、加载实现数据仓库中数据的更新及流转。ETL工具（桥接器），实现了图形化及自动化的方式来配置ETL 流程，极大的减轻了数据加工的工作量，提高了数据准确性及处理效率。
(三)数据仓库建设方法
数据仓库决策分析的业务处理流程主要分为四个阶段。
1)数据集中：各级政府部门业务数据统一汇总数据中心临时
数据存储；
2)数据整理和转换：汇总后的业务数据经过ETL抽取、转换、
加载到数据仓库中；
3)数据存储和管理：对数据仓库数据进行集中存储和管理、
备份和维护；
4)数据挖掘和展现：用户通过前端的展现工具对数据仓库中
数据进行挖掘、钻取和分析，在数据门户展现；
趋势
数据仓库建设8大步骤
1.系统分析，确定主题
确定一下几个因素：
·操作出现的频率，即业务部门每隔多长时间做一次查询分析。
·在系统中需要保存多久的数据，是一年、两年还是五年、十年。·用户查询数据的主要方式，如在时间维度上是按照自然年，还是财
政年。
·用户所能接受的响应时间是多长、是几秒钟，还是几小时。
2.选择满足数据仓库系统要求的软件平台
选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准：
·厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。·数据库对大数据量（TB级）的支持能力。
·数据库是否支持并行操作。
·能否提供数据仓库的建模工具，是否支持对元数据的管理。
·能否提供支持大数据量的数据加载、转换、传输工具（ETT）。·能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。
3.建立数据仓库的逻辑模型
具体步骤如下：
（1）确定建立数据仓库逻辑模型的基本方法。
（2）基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。（3）识别主题之间的关系。
（4）分解多对多的关系。
（5）用范式理论检验逻辑数据模型。
（6）由用户审核逻辑数据模型。
4.逻辑数据模型转化为数据仓库数据模型
具体步骤如下：
（1）删除非战略性数据：数据仓库模型中不需要包含逻辑数据模型中的全部数据项，某些用于操作处理的数据项要删除。
（2）增加时间主键：数据仓库中的数据一定是时间的快照，因此必须增加时间主键。
（3）增加派生数据：对于用户经常需要分析的数据，或者为了提高性能，可以增加派生数据。
（4）加入不同级别粒度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。粒度是数据仓库设计的一个重要因素，它直接影响到驻留在数据仓库中的数据量和可以执行的查询类
型。显然，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限。
5.数据仓库数据模型优化
数据仓库设计时，性能是一项主要考虑因素。在数据仓库建成后，也需要经常对其性能进行监控，并随着需求和数据量的变更进行调整。优化数据仓库设计的主要方法是：
·合并不同的数据表。
·通过增加汇总表避免数据的动态汇总。
·通过冗余字段减少表连接的数量，不要超过3~5个。
·用ID代码而不是描述信息作为键值。
·对数据表做分区。
6.数据清洗转换和传输
由于业务系统所使用的软硬件平台不同，编码方法不同，业务系统中的数据在加载到数据仓库之前，必须进行数据的清洗和转换，保证数据仓库中数据的一致性。
在设计数据仓库的数据加载方案时，必须考虑以下几项要求：
·加载方案必须能够支持访问不同的数据库和文件系统。
·数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。
·支持各种转换方法，各种转换方法可以构成一个工作流。
·支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库。
7.开发数据仓库的分析应用
建立数据仓库的最终目的是为业务部门提供决策支持能力，必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。信息部门所选择的开发工具必须能够：
·满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预测和趋势分析。
·提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。使用方式上，可以是客户机/服务器方式，也可以是浏览器方式。
事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。
8.数据仓库的管理
只重视数据仓库的建立，而忽视数据仓库的管理必然导致数据仓库项目的失败。数据仓库管理主要包括数据库管理和元数据管理。
数据库管理需要考以下几个方面：
·安全性管理。数据仓库中的用户只能访问到他的授权范围内的数据，数据在传输过程中的加密策略。
·数据仓库的备份和恢复。数据仓库的大小和备份的频率直接影响到备份策略。
·如何保证数据仓库系统的可用性，硬件还是软件方法。
·数据老化。设计数据仓库中数据的存放时间周期和对过期数据的老化方法，如历史数据只保存汇总数据，当年数据保存详细记录。
然而，元数据管理贯穿于整个系统的建设过程中，元数据是描述数据的数据。在数据采集阶段，元数据主要包括下列信息：
·源数据的描述定义：类型、位置、结构。
·数据转换规则：编码规则、行业标准。
·目标数据仓库的模型描述：星型/雪花模型定义，维/事实结构定义。
·源数据到目标数据仓库的映射关系：函数/表达式定义。
·代码：生成转换程序、自动加载程序等。
在数据管理阶段，元数据主要包括下列信息：
·汇总数据的描述：汇总/聚合层次、物化视图结构定义。
·历史数据存储规则：位置、存储粒度。
·多维数据结构描述：立方体定义、维结构、度量值、钻取层次定义等。
在数据展现阶段，元数据主要包括以下信息：
·报表的描述：报表结构的定义。
·统计函数的描述：各类统计分析函数的定义。
·结果输出的描述：图、表输出的定义。
元数据不但是独立存放，而且对用户是透明的，标准元数据之间可以互相转换
(四)系统功能详细介绍
企业数据门户
企业实施商业智能、数据仓库的目的之一为整合各系统的业务数据，统一指标口径，实现统一视图、统一决策界面。企业数据门户功能主要对整合的业务数据进行统一展现，展现方式包括仪表盘、表格、日历等内容。数据门户中展现的内容是管理者及业务人员最关注的指标，通过门户为他们获取数据提供最简单容易的方式。数据门户中展现的内容根据用户角色不同而有所差异，每个用户都可以定制自己
关注的内容，实现真正的个性化服务。
系统截图：
主题分析
数据仓库中的业务数据通常是面向主题进行组织的。主题分析是在较高层次上将企业信息系统的数据进行归并、抽象，形成对分析对象的一个完整的描述，体现分析数据之间的相互关系，揭示数据规律
和问题。
主题分析模块从主题域的角度入手，支撑数据资源的组织，支持数据的深入挖掘和分析应用，跟踪、监控政策的执行情况及实施效果，倒逼行政权力部门认真履职、规范执法、优化服务,努力提高政府效能。
考虑到国情特点和现状，主题分析涵盖了经济发展、卫生健康、教育科技、道路交通、机构团体、生活服务、文体娱乐、安全避险、资源环境、社保就业、财税金融、法律服务量等八个主题域相关的主题分析功能。
即席查询
即席查询针对数据仓库内的各主题数据、统计报表、指标的快速检索，帮助分析人员快速获得所需要的数据和统计信息。即席查询工具通过提供各种向导式界面、图形查询生成器、联机帮助等功能，为系统使用人员提供细粒度数据。
即席查询是分析人员的重要的辅助工具，它是在数据仓库的信息组织基础上，尽可能多的在后台按照分析人员关心的分析角度沉淀业务知识，在前端功能上屏蔽后台查询技术细节，为分析人员提供灵活的业务分析查询角度定制和结果定制功能，使分析人员在分析汇总数据的同时能够通过即席查询进一步深入到自己感兴趣的细节数据中，以便更全面地反映情况，做出正确决策。
多维分析工具
多维分析是商业智能的核心技术，可以帮助用户进行多角度、立体化、灵活动态的分析。多维分析报表由“维”（影响因素）和“指标”（衡量因素）组成，能够真正为用户所理解、并真实的反映国情特性信息。
BI-多维分析工具简单易用，无需编写任何的代码，用户只需要通过语义层的定义就可以轻松搭建自己的多维数据模型。同时具有灵活的分析功能、直观的数据操作和分析结果可视化表示等突出优点，从而使用户对基于大量复杂数据的分析变得轻松而高效，以利于迅速做出正确判断。它可用于证实人们提出的复杂的假设，以图形或者表格的形式来表示的对信息的总结。
多维分析工具专门设计用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员，以便他们准确掌握企业（公司）的经营状况，了解对象的需求，制定正确的方案。
ETL工具
ETL负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。ETL是数据仓库中的非常重要的一环，它是承前启后的必要的一步。
ETL工具纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。功能强大、灵活，使用简单。
（ETL平台架构）
数据抽取就是从数据源抽取出所需的数据的过程。数据抽取后，再经过数据清洗、转换，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。数据转换主要用于解决数据不一致性问题，数据加载就是将从数据源系统中抽取、转换后的数据加载到数据仓库系统中。ETL流程管理调度是ETL过程中的统一调度者和指挥者，它把复杂的数据处理过程中各个步骤整合成一个整体。异常数据处理机制指源数据系统中的数据本身出错并发生变更后，对于正在抽取、已经抽取、已经处理、已经汇总等各个环节，如何进行回退处理的一套机制。系统截图：
(ETL界面切图)
产品特色：
前言： 随着我国企业信息化建设步伐的不断加快，全球性市场竞争的加剧，越来越多的企业开始建设自己的数据仓库系统，希望能对历史数据进行具体而又有针对性的分析与挖掘，以期从中发现新客户和客户新的需求。 目前市场上各种数据仓库产品及其解决方案品种繁多，且大多属于“舶来品”，产品定位不同，各有特点，究竟选择哪家的产品能更适合自己的企业特点与未来发展？ 本文对目前市场上九种主流数据仓库产品(Business Objects、Oracle、IBM、Sybase、Informix、NCR、Microsoft、SAS、CA)进行分析与总结，根据各公司提供的数据仓库工具的功能，将其分为三大类：单点产品、提供部分解决方案的产品、提供全面解决方案的产品。下面对其进行一一介绍，以期能够给你的选择提供一定的参考。 九种数据仓库产品及解决方案评析 =============================================== 一、单点产品 这类产品仅局限于数据仓库方案实施中的一部分或某一特定功能，主要是作为第三方产品或者和其它公司的产品结合起来进行使用。比较有特色的是Business Objects。 Business Objects 所谓单点产品是指仅局限于数据仓库方案实施中的一部分或某一特定功能，主要是作为第三方产品或者和其它公司的产品结合起来进行使用。 ?产品特点： Business Objects是一个集查询、报表和OLAP技术为一身的智能决策支持系统。它使用独特的“语义层”技术和“动态微立方”技术来表示数据库中的多维数据，具有较好的查询和报表功能，提供钻取(Drill)等多维分析技术，支持多种平台（所有Windows 平台及Unix平台）和多种数据库（如Oracle、informix、Sybase、Microsoft SQL Server、DB2、CA-Ingres、Teradata、Red Brick、FoxFro、dBase、Access等），同时它还支持Internet/Intranet，可以通过WWW进行查询、报表和分析决策。 ?主要工具： Business Objects提供工具如下： BusinessObjects是集成查询，报表和分析功能的工具； Webintelligence是世界上第一个通过Web进行查询、报表和分析的决策支持工具； Businessquery是第一个可以在Microsoft Excel中集成企业公共数据源中数据的工具； Businessminer是面向主流商业用户的数据挖掘工具，可以实现深入的分析用以发掘深层次的数据之间的关系。
1.1技术架构设计 成功地实施一个仓库项目，通常需要很长的时间。如果仅仅着眼于短期成果，缺乏整体考虑，采用一种不健全的体系结构，不仅会增加系统开发和维护成本，而且必将对发挥数据仓库的作用造成不利的影响。因此一个综合，清晰的远景规划及技术实施蓝图将在整个项目的实施过程中起到重要作用。 技术架构必须具有高度先进性和可扩展性，以满足业务需求的不断变化。一个完整的数据仓库系统包括数据源、数据转换区、数据仓库、数据集市、和数据展现层，通过数据仓库不同层次之间的加工过程，实现财政从数据资产向信息资产的转化过程。在不同层次之间的数据加工过程需要通过ETL技术实现，并对整个过程进行有效的元数据管理。 基于对需求的理解，基于财政部的信息系统框架模型基础之上的财政决策支持系统技术架构如下图所示： 如上图所示意，通过搭建灵活的、可扩展技术架构，在保持数据集市稳定性的同时，可以不断增加数据源，增加应用数据层、增加应用层，满足不断增加的业务分析应用需求。 采用DW+ODS的数据仓库体系结构，使用全新的ETL模式对ODS进程每日数据更新，按周或月周期对数据仓库执行ETL过程。使用COGNOS BI做为前端的查询分析和数据挖掘工具，可满足各种日常数据处理操作，从即时简单报表查询到多维多级数据分析和挖掘，都能够在统一COGNOS BI平台上完成。 1.1.1数据源和数据接口 数据源指存储于财政各个业务系统的业务数据，以及未来的财政监管和外部数据。数据仓库系统将整合来自于这些系统的数据，形成财政统一的、一致的基础数据集，并提供给不同的应用主题形成数据集市。各个系统在体系架构、开发平台、数据定义、接口标准都会存在不同程度的差异；另外由于业务的不断变化，
XXXX企业数据仓库概要设计说明书ETL概要设计分册 （文档编码：OM-BIDW-C008） （版本01.00.000） 未经许可，不得以任何形式抄袭 XXXX版权所有，翻板必究 OM数据仓库XXXX企业数据组 2009年3月
文档变更历史
目录 1概述 (4) 2设计原则和前提 (5) 2.1 整体部署 (5) 2.2 前提条件 (6) 2.3 设计原则 (6) 3整体框架 (7) 3.1 ETL系统架构图 (7) 3.2 ETL系统功能模块描述 (7) 4数据抽取模块 (9) 4.1 假设与约定 (9) 4.2 模块功能图 (9) 4.3 各子模块功能及处理流程 (11) 5数据加载模块 (11) 5.1 假设与约定 (11) 5.2 数据加载模块图 (11) 5.3 数据加载功能模块描述 (12) 6作业调度模块 (13) 6.1 模块概述 (13) 6.2 假设与约定 (13) 6.3 作业调度流程 (13) 6.4 ETL作业种类及调度实现方法 (14) 7监控管理模块 (15) 7.1 监控管理模块图 (15) ETL监控内容 (16) 附录1控制表及控制文件设计 (16) 附录2：文件目录及编码说明 (19)
1概述 ETL是数据仓库系统开发中至关重要的一个过程，它涉及到对源数据的抽取、整合及各种转换，并最终形成面向用户的分析数据。由于数据仓库系统的数据源来自于多个分散的业务系统，对不同业务系统的数据整合及清洗转换将是一个复杂的过程，ETL过程决定了数据仓库系统获取数据的准确性。 另外由于ETL包括数据抽取、数据清洗、数据转换及数据加载等数据处理过程，这些处理过程分散在不同的系统平台及开发工具上，对这些作业过程的统一调度将是一个重要的问题，作业调度涉及到系统的稳定性。
第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标，结合系统数据业务规范，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的内容： 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume
及传统的ETL采集工具。 数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。 数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分内容：外部数据汇集、内部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；内部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的内容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:
IBM公司数据仓库商业智能解决方案(DOC 45页)
1. 技术瓶颈：海量数据收集、海量数据存储、海量数据多维分析等一系列的问题，即使最热门最被业内人士看好的Hadoop技术能否撑得住？ 2. 资源投入：海量数据处理伴随着相应的硬件、软件需求的增长，技术人员的投入上对企业势必成为新的负担。 3. 价值金矿：海量数据中的非结构化数据蕴含着的“价值金矿”，能够帮助企业从未所触及的角度和维度为企业提供商业决策和辅助。 从海量数据价值挖掘层面上看，传统的思维是数据量加大是一定要考虑OLAP的，一般的报表可能5、6个小时出来结果，而基于Cube的查询可能只需要几分钟，因此从一般意义上认为处理海量数据的利器是OLAP多维分析，即建立数据仓库，建立多维数据集，基于多维数据集进行报表展现和数据挖掘等。 然而目前OLAP存在的最大问题是: 业务灵活多变,必然导致业务模型随之经常发生变化,而业务维度和度量一旦发生变化,技术人员需要把整个Cube重新定义并重新生存,业务人员只能在此Cube上进行多维分析,这样就限制了业务人员快速改变问题分析的角度,从而使所谓的BI系统称为死板的日常报表系统. 在思达商业智能平台 Style Intelligence上进行海量数据的多维数据分析，从业务需求的角度出发，维度和度量才是直接针对业务人员的分析语言。在自主知识产权数据块儿技术支持下，直接把维度和度量的生成交给业务人员，由业务人员自己定义好维度和度量之后，将业务的维度和度量直接运行，并最终生成报表。 此种以终为始的设计思路，首先能解决传统OLAP分析中维度难以改变的问题，利用思达商业智能平台 Style Intelligence中数据非结构化的特征，业务人员可以灵活地改变问题分析的角度，对业务人员非常友善。其次思达商业智能平台Style Intelligence 在海量数据处理中利用分布式数据处理架构强大的分布式数据处理能力，无论OLAP分析中的维度增加多少，系统开销并不显著增长。
九大数据仓库方案特点横向比较[1] 本文针对几大知名的数据仓库解决方案的性能和特点做分析和比较…… IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等有实力的公司相继(通过收购或研发的途径)推出了自己的数据仓库解决方案，BO和Brio等专业软件公司也在前端在线分析处理工具市场上占有一席之地。 IBM--IBM公司提供了一套基于可视数据仓库的商业智能(BI)解决方案，包括：Visual Warehouse(VW)、Essbase/DB2 OLAP Server 5.0、IBM DB2 UDB，以及来自第三方的前端数据展现工具(如BO)和数据挖掘工具(如SAS)。其中，VW是一个功能很强的集成环境，既可用于数据仓库建模和元数据管理，又可用于数据抽取、转换、装载和调度。Essbase/DB2 OLAP Server 支持“维”的定义和数据装载。Essbase/DB2 OLAP Server不是ROLAP(Relational OLAP)服务器，而是一个(ROLAP和MOLAP)混合的HOLAP服务器，在Essbase完成数据装载后，数据存放在系统指定的DB2 UDB数据库中。 严格说来，IBM自己并没有提供完整的数据仓库解决方案，该公司采取的是合作伙伴战略。例如，它的前端数据展现工具可以是Business Objects的BO、Lotus的Approach、Cognos 的Impromptu或IBM的Query Management Facility; 多维分析工具支持Arbor Software的Essbase和IBM(与Arbor联合开发)的DB2 OLAP服务器; 统计分析工具采用SAS系统。 Oracle--Oracle数据仓库解决方案主要包括Oracle Express和Oracle Discoverer两个部分。Oracle Express由四个工具组成：Oracle Express Server是一个MOLAP (多维OLAP)服务器，它利用多维模型，存储和管理多维数据库或多维高速缓存，同时也能够访问多种关系数据库; Oracle Express Web Agent通过CGI或Web插件支持基于Web的动态多维数据展现; Oracle Express Objects前端数据分析工具(目前仅支持Windows平台)提供了图形化建模和假设分析功能，支持可视化开发和事件驱动编程技术，提供了兼容Visual Basic语法的语言，支持OCX和OLE; Oracle Express Analyzer是通用的、面向最终用户的报告和分析工具(目前仅支持Windows平台)。Oracle Discoverer即席查询工具是专门为最终用户设计的，分为最终用户版和管理员版。 在Oracle数据仓库解决方案实施过程中，通常把汇总数据存储在Express多维数据库中，而将详细数据存储在Oracle关系数据库中，当需要详细数据时，Express Server通过构造SQL语句访问关系数据库。但目前的Express还不够灵活，数据仓库设计的一个变化往往导致数据库的重构。另外，目前的Oracle 8i和Express 之间集成度还不够高，Oracle 8i和Express之间需要复制元数据，如果Oracle Discoverer(或BO)需要访问汇总数据，则需要将汇总数据同时存放在Oracle和Express中，系统维护比较困难。值得注意的是，刚刚问世的Oracle 9i把OLAP和数据挖掘作为重要特点。 Sybase--Sybase提供的数据仓库解决方案称为Warehouse Studio，包括数据仓库的建模、数据抽取与转换、数据存储与管理、元数据管理以及可视化数据分析等工具。其中，Warehouse Architect是PowerDesigner中的一个设计模块，它支持星形模型、雪花模型和ER模型; 数据抽取与转换工具包括PowerStage、Replication Server、Carleton PASSPORT，PowerStage 是Sybase提供的可视化数据迁移工具。 Adaptive Server Enterprise是Sybase企业级关系数据库，Adaptive Server IQ是Sybase公司专为数据仓库设计的关系数据库，它为高性能决策支持系统和数据仓库的建立作了优化处理，Sybase IQ支持各种流行的前端展现工具(如Cognos Impromptu、Business Objects、Brio Query等); 数据分析与展现工具包括PowerDimensions、EnglishWizard、InfoMaker、PowerDynamo等，PowerDimensions是图形化的OLAP分析工具，它支持SMP和多维缓存技术，能够集成异构的关系型数据仓库和分布式数据集市，从而形成单一的、新型的
“Informatica PowerCenter 产品在对数据源的支持、数据转换功能、集成和开放性等方面都有突出表现。同时，Informatica 在接驳SAP 系统方面具有成熟的实施经验，能够完全理解五矿的业务需求。而厂商所拥有的专业的数据管理理念以及技术支持团队的专业能力和服务态度也让我们更青睐Informatica 。”——五矿信息管理部副总经理 何瑞娟女士中国五矿集团公司中国五矿集团公司（以下简称“五矿集团”）是一家国际化的矿业公司，成立于1950年，秉承“珍惜有限，创造无限”的发展理念，致力于提供全球化优质服务。经过半个多世纪的发展，五矿已从单一的五金矿产进出口集团，逐渐蜕变为一个涉及矿产、金融、地产和矿冶科技的多元化集团公司。五矿主要机构遍布全球28个国家和地区，拥有17.7万员工，控股9家境内外上市公司。2012年，中国五矿实现营业收入3250亿元，利润总额80亿元，位列世界500强第169位，在金属类企业中排名第4位。深化信息化建设，建立企业管理与决策支持系统 多元化随之带来的管理问题并没有成为五矿发展的瓶颈，这背后重要的功臣是信息化技术的 有力支撑。五矿是央企信息化建设先进单位，连续三年在央企信息化水平评测中达到A 级。 早在2000年，五矿的第一个信息化规划出炉之时，秉承“小步快跑、量身定做”的规划理念， 五矿信息管理部就自己打造了钢铁贸易ERP 、有色贸易ERP 等系统，把业务流程管理起来。此后， 五矿又陆续开发了统一的标准化系统、用户权限管理系统以及十几套业务管理系统，这些系 统的基础数据和用户权限都由统一平台进行管理。2006年是五矿信息化建设的一个关键年， 因其企业内部经营范围的多元以及业务流程的繁杂，他们决定引进国际套装软件SAP ERP 来 整合业务与管理信息系统。 解决方案： Informatica PowerCenter 收益： 高质量数据整合服务实现数据 统一集中管理 高效稳定的数据集成平台，快 速且准确的提供各个展现系统 所需要的数据 Informatica 产品无编码、图形 化的开发，大大缩短了项目上 线周期 在数据流动的过程中，大大减 轻对业务系统的影响，确保业 务系统的正常使用数据分析力转化为决策力Informatica 帮助五矿集团建立企业级数据仓库成功案例
北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史： 在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库： 前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区： 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以看到十几张或者几十张报表。领导不满意，项目负责人压力也很大，无法交待。这时，项目经理或者项目负责人才意识到，项目有问题，但是谁也不敢说项目有问题，因为这样显然是自己当时的决策失误。怎么办？寻找咨询公司或者一些大的厂商，答案往往是数据仓库缺乏数据模型，应该考虑数据模型。如果建设时考虑到整个企业的数据模型，就可以建设成企业级的数据仓库（EDW）。什么是数据模型，就是满足整
I B M数据仓库解决方案简 The latest revision on November 22, 2020
1.1技术架构设计 成功地实施一个仓库项目，通常需要很长的时间。如果仅仅着眼于短期成果，缺乏整体考虑，采用一种不健全的体系结构，不仅会增加系统开发和维护成本，而且必将对发挥数据仓库的作用造成不利的影响。因此一个综合，清晰的远景规划及技术实施蓝图将在整个项目的实施过程中起到重要作用。 技术架构必须具有高度先进性和可扩展性，以满足业务需求的不断变化。一个完整的数据仓库系统包括数据源、数据转换区、数据仓库、数据集市、和数据展现层，通过数据仓库不同层次之间的加工过程，实现财政从数据资产向信息资产的转化过程。在不同层次之间的数据加工过程需要通过ETL技术实现，并对整个过程进行有效的元数据管理。 基于对需求的理解，基于财政部的信息系统框架模型基础之上的财政决策支持系统技术架构如下图所示： 如上图所示意，通过搭建灵活的、可扩展技术架构，在保持数据集市稳定性的同时，可以不断增加数据源，增加应用数据层、增加应用层，满足不断增加的业务分析应用需求。 采用DW+ODS的数据仓库体系结构，使用全新的ETL模式对ODS进程每日数据更新，按周或月周期对数据仓库执行ETL过程。使用COGNOS BI做为前端的查询分析和数据挖掘工具，可满足各种日常数据处理操作，从即时简单报表查询到多维多
级数据分析和挖掘，都能够在统一COGNOS BI平台上完成。 1.1.1数据源和数据接口 数据源指存储于财政各个业务系统的业务数据，以及未来的财政监管和外部数据。数据仓库系统将整合来自于这些系统的数据，形成财政统一的、一致的基础数据集，并提供给不同的应用主题形成数据集市。各个系统在体系架构、开发平台、数据定义、接口标准都会存在不同程度的差异；另外由于业务的不断变化，历史数据与当前数据之间的含义也可能存在不同，因此数据整合必须充分考虑源系统在技术和数据方面存在的差异。 数据仓库系统将采用文本文件的方式从源系统获取数据。每个源系统会就与数据仓库之间就传输数据接口文件（IFF）的格式和方法制定标准，称之为接口规范。 每个数据源会首先通过各自的数据导出程序（Extractor）生成接口文件存储在各自的文件缓冲区内。这个Extractor负责各自范围内导出数据的完备性和一致性，包括： 1）依照各自的业务规则确定增量数据的导出方法 2）保证导出文件的格式符合接口规范的要求 3）保证导出文件的传输时间的及时性 4）保证接口文件的数据质量，不错数、不丢数、不多数
甲骨文公司数据仓库解决方案详叙 作者邬凡 系别商务学院 专业物流管理 年级10级 学号102067229 评定教师张宏伟
甲骨文公司数据仓库解决方案详叙 一、.数据仓库发展的商业驱动力 （一）、企业生存环境的变化 在信息时代，伴随着Internet技术的蓬勃发展，全世界范围内的各个企业都在经历一场深刻的变革，各企业都在利用Web无所不达的特性来扩展自己将商品和服务推向市场的能力，但同时由于Internet的存在，客户的期望也是水涨船高。客户需要即时访问各类信息，并不断比较您和您的竞争对手的情况。因此，在Internet 时代，谁能在正确的时间以正确的价格交付正确的产品，谁就是赢家。那么，企业在扩大市场、提高效率和保持客户的原始商业驱动力不变的情况下，如何继续保持竞争的优势，它关系到企业在未来的发展命运。有远见的公司都会意识到，只有将自己建成能够对客户做出迅速反应的公司才能获得诸多收获，这些收获包括收入、新客户、客户满意度、客户回头率以及公司效益的增加，从而使竞争力大为提升。 在80年代中期及90年代初，许多企业开始重新设计其商业流程，以期降低成本并提高效率和竞争能力。同时，这些企业也意识到，要达到这些目的，所需要开发的技术耗资巨大、复杂且耗时冗长。因此，许多公司转而求助于企业资源规划(ERP)应用系统。这些应用系统帮助它们实现了内部商业流程，如财务、制造、库存管理和人力资源的自动化和优化，从而将企业从战术性的日常商业运作事务中解放了出来。
自此以后，企业关注的焦点逐渐由改进内部运作转移到更多地关注客户上来。各类人士和商业机构都开始要求得到更多的关注和更及时的服务，许多公司都开始调整自己的商业模式，并将更多的注意力投向外部。由于需要将更多的注意力集中到客户身上，许多企业都再度开始寻求技术的帮助，即求助于客户关系管理(Customer Relationship Management)软件。和ERP一样，CRM解决方案着力于提高企业运作的自动化和改进业务处理流程，建立客户关系管理(CRM)系统的目的是赋予企业更完善的与客户交流的能力，即从潜在客户识别、生成有需求的客户，到销售完结、付运订单以及不断进行的服务和支持，提供全过程的自动化处理和更好的协调与合作，以提高客户满意度和客户忠实度，增加市场机会和销售利润，为企业发展服务。 通过不断采用新的技术手段，推出新的业务模式，企业的发展规模在不断的扩大，企业所积累的信息(包括企业内部业务数据和客户相关数据)越来越多，如何充分利用这些信息，为企业的进一步发展服务，已经成为企业急需解决的一个关键问题。 1、企业如何迎接市场变化带来的挑战 “Internet的发展正在改变我们人类生活的方方面面”，对于企业经营的挑战主要来自三个方面： 如何把握急速扩张的市场机会(Expand Markets)：市场竞争的全球化日趋激烈，传统的商业界限正在逐步消失，新的业务模式层出不穷，如何抓住机会，占领更多的市场份额。
数据仓库项目解决方案 v1.0 -CAL-FENGHAI-(2020YEAR-YICAI)_JINGBIAN
数据仓库解决方案 深圳太极云软技术股份有限公司 2016年1月
目录 (一) 概述....................................................................................................错误!未定义书签。 一. 国内信息化的现状........................................................................错误!未定义书签。 二. 以应用驱动，数据仓库建设应由后向前规划............................错误!未定义书签。 三. “想大做小”（整体设计、分布实施）....................................错误!未定义书签。 (二) 系统架构............................................................................................错误!未定义书签。 数据仓库架构 ..........................................................................................错误!未定义书签。 系统功能架构 ..........................................................................................错误!未定义书签。 (三) 数据仓库建设方法............................................................................错误!未定义书签。 数据仓库建设8大步骤 ..........................................................................错误!未定义书签。 1.系统分析，确定主题 ..................................................................错误!未定义书签。 2.选择满足数据仓库系统要求的软件平台...................................错误!未定义书签。 3.建立数据仓库的逻辑模型 ..........................................................错误!未定义书签。 4.逻辑数据模型转化为数据仓库数据模型...................................错误!未定义书签。 5.数据仓库数据模型优化 ..............................................................错误!未定义书签。 6.数据清洗转换和传输 ..................................................................错误!未定义书签。 7.开发数据仓库的分析应用 ..........................................................错误!未定义书签。 8.数据仓库的管理 ..........................................................................错误!未定义书签。 (四) 系统功能详细介绍............................................................................错误!未定义书签。 企业数据门户 .................................................................................错误!未定义书签。 主题分析 .........................................................................................错误!未定义书签。
1. 数据仓库概述 经过多年IT的建设，信息对于XXX的日常管理已经日益重要，并逐渐成为重要的信息资产，信息资产的管理已经成为日常管理中一个非常重要的环节。如何管理和利用好XXX内部纷繁的数据也越来越成为信息管理的一项重要工作。 在过去相当一段时间内，XXX业务系统的构建主要围绕着业务的数据展开，应用的构建多是自下而上构建，主要以满足某个部门的业务功能为主，我们称之为业务处理的时代。这样的构建方式造成了一个个分立的应用，分立的应用导致了一个个的静态竖井。由于数据从属于应用，缺乏XXX全局的单一视图，形成了一个个信息孤岛，分立的系统之间缺乏沟通，同样数据的孤岛导致只能获得片面的信息，而不是全局的单一视图。存储这些信息的载体可能是各种异构或同构的关系型数据库，也有可能是XML、EXCEL等文件。因此，构建新一代的一体化平台提上了日程并最终促成全域数据的管理方式，目的是覆盖XXX各个环节的关键业务数据，完善元数据管理，形成全局的数据字典、业务数据规范和统一的业务指标含义，能够灵活的获取XXX业务数据的单一视图（需要保证数据的一致性、完整性、准确性和及时性）。数据的交换和共享主要发生在上下级组织机构之间或同级的不同部门之间。最终，这些数据可以为部队分析、决策支持（多维分析、即席查询、数据挖掘）等应用提供更及时、准确、有效的支持。 数据仓库的目标是实现跨系统数据共享，解决信息孤岛，提升数据质量，辅助决策分析，提供统一的数据服务。同时，数据仓库的构建也面临着各种挑战，比如信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实施周期以及整合项目的风险等。
2. 全域数据库总体架构 核心业务边防一体化其他XML Excel Web 服务消息队列文本数据智能传感器 虚拟传感器摄像头全域数据库总体架构 全域数据库总体的层次，最下面是基础架构层，主要包括支撑这一架构运行的主机系统、存储备份系统、网络系统等内容。从下往上看，再上面是数据源层，既包括各个业务的关系型数据源、内容管理数据源也包括半结构化数据源比如XML 、EXCEL 等，也包括各个总队、支队的业务数据源。 数据源层之上是“交换服务体系”，主要包括信息服务总线和服务总线两部分。信息服务总线主要实现数据层的信息整合和数据转换，而服务总线主要实现应用层的信息交换和整合。信息服务总线主要依托联邦、复制、清洗、转换等技术实现，其主要包括信息整合服务和清洗转换加载服务两部分。通过信息服务总线的信息整合服务（数据联邦、复制），可以透明、实时的访问分布在总队和支队的各个业务系统中的各种同构、异构数据（前提是拥有足够的权限）。信息整合服务在整个XXX 层面保证
数据仓库建设的几点 建议
北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史： 在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库： 前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区： 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以
广西科学院学报 2006,22(4):375～377 Journal of GuangxiA cade m y of Sciences V ol .22,N o .4 N ove m ber 2006收稿日期:2006209212 作者简介:何朝红(19652),女,广西南宁人,硕士,主要从事供应链管理和物流信息化研究。 数据仓库在我国企业的应用现状及实施策略分析 On the Appl i ca ti on of Da t a W arehouses i n Ch i n ese En -terpr ises 何朝红 H E Chao 2hong (广西物资集团总公司,广西南宁 530022) (Guangx iM aterials Group Corp .,N ann ing ,Guangxi ,530022,Ch ina ) 摘要:分析数据仓库在我国企业中的应用现状。认为目前我国企业数据仓库的应用主要存在对数据仓库的概念理解不深,对项目的长期性、艰巨性认识不足,数据库系统中数据的积累不够,用户没有参与数据仓库建设的需求分析,项目实施过程中的管理混乱,具体实现中的技术问题尚未完善等问题。企业应从确定建立数据仓库的合适时机,选择切合实际的实施方法,取得最高管理层的支持和认可,确定基本目标、量化预期收益,选择正确的设计思路,选择合适的合作伙伴等6个方面应用数据仓库技术。关键词:数据仓库 应用 问题 策略 中图法分类号:T P 311113 文献标识码:A 文章编号:100227378(2006)0420375203 Abstract :T he app licati on of data w arehouses in Ch inese enterp rises is discussed .T he p roble m s in the app licati on are revealed as fo ll ow s .T he data w arehouse can not be fully understood .T he l ong ter m and hardness of the p roject runn ing are neglected .T here are less data accum ulated in the data w arehouse .T here is lack of users partici pating in the de m and analysis of the data w are 2house establishm ent ,and poor m anage m ent in the i m p le m entati on of the p ro ject .T he technical p roble m s have not been i m p roved in the operati on of the data w arehouse .T he relevant sugges 2ti ons are p resented .For the p roject to be supported ,it needs to choose a correct ti m e and a p rag 2m atic executi on w ay to construct a p ro ject ,set up an essential goal ,m easure the expecting bene 2fits ,and select a suitable partner . Key words :data w arehouse ,app licati on ,p roble m s ,strategy 近年来,计算机网络和数据库技术的迅速发展和广泛应用,使得企业管理进入了一个崭新的时代,企业的许多业务得到了联机事务处理(OL T P )信息系统的支持。然而,随着市场竞争的加剧,正确及时的决策成为企业生存和发展的重要环节。特别是随着数据库系统的逐日运行,产生了大量的业务数据,如何安全有效地存储和管理这些数据,并从大量繁杂的数据中获取其中有用的决策信息,为高层管理人员提供快速、准确和方便的决策支持,成为目前企业提高管理水平和竞争优势必须解决的问题。数据仓库(D ata W arehouse )技术的产生和发展,为这个问题的解决提供了有效的理论和方法指导。 数据仓库是20世纪90年代初出现的数据管理的 新技术,到20世纪90年代中期已在发达国家的许多行业中得到应用[1]。建立数据仓库的目的,就是把来自企业内部和外部的大量异构数据按辅助决策主题的要求进行加工、集成,为高层管理人员提供各种类型的、有效的数据分析,起到决策支持的作用。因此,数据仓库已经成为继Internet 之后的又一技术热点。 1 数据仓库在我国企业的应用现状 随着各种计算机技术,如数据模型、数据库技术和应用开发技术的不断发展,数据仓库技术也在不断完善,并在实际应用中发挥了越来越大的作用。据美国国际数据公司(I D C )调查,使用数据仓库技术的投资回报率(RO I )平均超过400%,平均回报时间 为2～3年;若从部门级数据仓库(也称“数据集市”)开始实施,则投资回报率平均超过500%[2]。 目前,在美国,30%到40%的公司已经或正在建
数据仓库在现代企业中的应用 【摘要】当今世界,随着科学技术的发展,数据的迅速增长,信息量的急剧增加,给人类提出了一个亟待解决的课题,即如何有效地使用这些数据。目前还处于数据丰富而知识贫乏阶段,利用当前的数据库技术并不能充分发挥这些数据的作用。本文介绍了数据仓库技术,分析了数据仓库技术对于现代企业的作用,给出了在企业中建立数据仓库的方法和实施步骤,同时介绍了市场上一些成熟的数据仓库解决方案。 【关键词】数据库数据仓库联机分析 企业数据仓库的建设,是以现有企业业务系统和大量业务数据的积累为基础的。数据仓库不是静态的概念,只有把信息及时交给需要这些信息的使用者,供他们做出改善其业务经营的决策,信息才能发挥作用,信息才有意义。而把信息加以整理归纳和重组,并及时提供给相应的管理决策人员,是数据仓库的根本任务。因此,从产业界的角度看,数据仓库建设是一个巨大的工程。 一、对数据仓库的简介 1、什么是数据仓库。数据仓库的概念由美国著名工程学家W·H·lnmon博士于90年代在《建立数据仓库》一书中提出:“数据仓库(Data Warehouse)是一个面向主题的、集成的、稳定的、包含历史数据的数据集合,它用于支持经营管理中的决策制定过程。”主题是指用户使用数据仓库进行决策时所关心的重点方面;面向主题是指数据仓库内的信息是按主题进行组织的,为按主题进行决策的过程提供信息;集成是指数据仓库中的信息不是从各个业务处理系统中简单抽取出来的,而是经过系统加工、汇总和整理,保证数据仓库内的信息是关于整个企业的全局信息;稳定是指一旦某个数据进入数据仓库以后,一般情况下将被长期保留,也就是数据仓库中一般有大量的插入和查询操作,但修改和删除操作很少;包含历史数据是指数据仓库内的信息并不只是关于企业当时或某一时点的信息,而是系统记录了企业从过去某一时点到目前各个阶段的信息,通过这些信息可以对企业的发展历程和未来趋势做定量分析和预测。作为一个系统,数据仓库至少包含三个基本功能部分。 第一,数据获取。它负责从外部数据源获取数据,包括从各现行系统获取当前细节数据和从其他存储介质获取早期细节数据,数据被区分出来后,进行拷贝或格式转换等处理,准备载入仓库;第二,数据存储与管理。这部分负责仓库内部的维护和管理,提供的服务包括数据存储的组织、数据的维护、数据的分发、仓库的例行维护等;第三,信息访问。信息访问部分属于数据仓库的前端,面向不同种类的最终用户,主要由桌面系统的各种工具组成。数据仓库的最终用户在这里提取信息、分析数据集、实施决策等。进行信息访问的软件工具主要是查询生成工具、多维分析工具和数据采掘工具等。
数据仓库解决方案 深圳太极云软技术股份有限公司 2016年1月
目录 (一)概述 (3) 一. 国内信息化的现状 (3) 二. 以应用驱动，数据仓库建设应由后向前规划 (3) 三.“想大做小”（整体设计、分布实施） (4) (二)系统架构 (5) 数据仓库架构 (6) 系统功能架构 (7) (三)数据仓库建设方法 (8) 数据仓库建设8大步骤 (9) 1.系统分析，确定主题 (9) 2.选择满足数据仓库系统要求的软件平台 (10) 3.建立数据仓库的逻辑模型 (10) 4.逻辑数据模型转化为数据仓库数据模型 (11) 5.数据仓库数据模型优化 (12) 6.数据清洗转换和传输 (13) 7.开发数据仓库的分析应用 (14) 8.数据仓库的管理 (15) (四)系统功能详细介绍 (16) 企业数据门户 (16) 主题分析 (17) 即席查询 (18) 多维分析工具 (19) ETL工具 (19) 报表工具 (21)
(一)概述 一.国内信息化的现状 1.信息化建设的发展历史： 在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2.为何要建立数据仓库： 根据现状业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 二.以应用驱动，数据仓库建设应由后向前规划 数据仓库到底应该怎么建设?我一贯的主张是应用驱动。什么样的应用呢？应用是应考虑政府管理的现状和决策层最关心的问题入手。分利用现有信息系统资源，进一步细化、量化权力清单，固化权