第28卷 第11期2004年11月
信 息 技 术
I NFORM ATI ON TECH NO LOGY
VO L.28 NO.11
Nov.2004
ODS数据仓库新技术的研究与应用
王霓虹,刘美玲
(东北林业大学,哈尔滨150040)
摘 要:讨论数据仓库新的技术方向—操作型数据存储ODS(Operational Data Store),介绍了其基本内容及特性,并探讨了ODS与实时系统的应用问题。介绍了结合林业企业木材销售应用的ODS商业系统。
关键词:ODS;数据仓库;实时数据仓库;O LAP
中图分类号:TP311.13 文献标识码:B 文章编号:1009-2552(2004)11-0008-04 Operational Data Store—data w arehouse ne w technology
WANG Ni2hong,LI U Mei2ling
(N ortheast Forestry U niversity,H arbin150040,China)
Abstract:In this article,a new data warehouse application(ODS)-Operational Data Store technology is dis2 cussed.Chiefly,introduce its basic content and behavior.Als o ODS and real-time system is in this research.
F or instance of a system which according to forestry enterprise timber marketing.
K ey w ords:ODS(Operational Data Store);data warehouse;real-time data warehouse;O LAP(On-Line Analytical Processing)
1 数据仓库及ODS的基本内容
1.1 数据仓库概念
典型的数据仓库应该是一个主题数据库,支持用户从巨大的运营数据存储中发现信息,支持对业务趋势进行跟踪,实现业务的预测和计划。
更为广泛接受的数据仓库定义是数据仓库之父Bill Inm on在1991年出版的“Building the Data Ware2 house”一书中所提到的:数据仓库是一个面向主题的,集成的,不同时间的,稳定的数据集合以便支持管理决策。
数据仓库不是一个新平台,而是一个新概念。数据仓库也不是一个现成的产品,而是一个解决方案。数据仓库是在收集各种分散、异构数据源的基础上,对数据进行转换和集成,从而为决策者提供单一的分析环境,帮助其科学决策分析。
1.2 数据仓库与ODS的关系
基于数据库(Data Base)和数据仓库(Data Ware2 house)的中间层ODS(Operational Data Store)的数据存储技术,从应用的角度分析设计了一个商业系统的即时O LAP(On-Line Analytical Processing)系统。通过使用ODS克服了利用DW进行决策过于臃肿且不适合企业即时的中层决策的问题。
2 ODS新技术的研究
2.1 ODS的基本内容及其特征
先从概念上对ODS有个直观的理解。ODS定义为:(Operational Data Store)操作型数据存储,对于一些准实时的业务数据库当中的数据的暂时存储,支持一些同时关联到历史数据与实时数据分析的数据暂时存储区域。
操作数据存储(ODS)是用于支持企业日常的全局应用的数据集合,ODS的数据具有面向主题、集成的、可变的和数据是当前的或是接近当前的4个基本特征。ODS是介于DB和DW之间的一种数据存储技术,和原来面向应用的分散的DB相比,ODS中
收稿日期:2004-09-26
作者简介:王霓虹(1952-),女,1978年毕业于哈尔滨船舶工程学院计算机系,现工作在哈尔滨东北林业大学信息与工程计
算机工程学院,院长,教授,学科带头人,研究生导师。
—
8
—
的数据组织方式和数据仓库(DW)一样也是面向主题的和集成的,所以对进入ODS的数据也象进入数据仓库的数据一样进行转化和集成处理。另外ODS 只是存放当前或接近当前的数据,如果需要的话还可以对ODS中的数据进行增、删和更新等操作,虽然DW中的数据也是面向主题和集成的,但这些数据一般不进行修改,所以ODS和DW的区别主要体现数据的可变性和当前性上。
2.2 对于ODS的分析
例如:一个数据仓库的开发,可以把所有业务初始数据(不同平台、不同数据库类型),导到一个统一的Oracle数据库中可称为staging data server(阶段数据服务器),staging data server存储的是从业务系统原版搬过来的没有经过数据清洗、转换的数据。这些数据没有经过任何的其他处理,称它为“脏”数据,是否在数据仓库和staging data server之间再处理一次数据呢,这次处理就是清洗和转换过程,结果存放在ODS。这样处理的好处如下:
(1)ODS可以作为数据仓库的备份数据;
(2)staging data是临时的增量数据,快速地从源数据抽取,减少业务系统压力;
(3)客户如果想查询详细数据,可以直接从ODS 查询统计;
(4)各个层次结构清晰明了,各自完成不同的功能;
(5)ODS是与外部系统的标准接口,需求改变,减少数据ET L改变的工作量。
也有不足的地方:由于中间多一个层次结构,数据的分析不够及时。
2.3 ODS与Staging Data Server
Staging Data Server可以说是大型数据仓库的一个很重要的选项,其数据结构和内容与业务系统是一模一样的,这么做主要是为了减少对业务系统的压力,并让ET L(数据抽取、转换、清洗、装载)过程有一个统计的接口。
(1)Staging Data Server是一个虚拟的概念,它可以是一个单独的服务器,也可以驻留在业务系统或数据仓库的数据库服务器上,一般是不允许用户访问的。而里面的内容一般是临时性的,抽取到数据仓库后删除或者在下一次更新抽取前删除。但是现在也有一种做法是建立Persistent Staging(永久数据),数据是不断累积的,Persistent Staging相当于就是业务系统数据的备份,也能承担一部分的查询。不过建立Per2 sistent Staging的做法现在还不怎么流行。
(2)ODS可以说是数据仓库的一个变体,其数据结构和数据仓库可以说是完全相同,也是基于主题进行组织的,但是其数据是挥发的,一般就保存1～3个月,因此还不能说是数据仓库的备份数据。ODS 的主要功能是承担大量的报表和简单查询,以减少数据仓库的负担,因此报表和简单查询一般查的是近期数据。超过3个月的数据就导入到数据仓库中。因此ODS是可选的,如果数据仓库的压力不是特别大,就没必要建立ODS。
在很多情况下,Staging Data Server是逻辑的,据国外同行的经验,对于数据源特别复杂的情况,建议采用Staging Data Server可以实现统一的ET L接口,并且屏蔽ET L对源系统的影响。物理上他可以和数据仓库是同一台服务器。(考虑投资的因素)对于ODS的确有很多争论的地方,甚至有人就把Staging Data Server作为ODS,这样的话ODS就比较偏向业务系统,但是Bill Inm on(比尔?恩门)对ODS的定义是:“运营数据存储是一个面向主题的、集成的、当前的并且是可“挥发”的数据集合,主要用于企业战术性的决策制定过程或业务管理。“ODS 的数据是可写回的,并不断进行刷新”。因此ODS 是针对业务系统和数据仓库的不足提出来的,作为业务系统和数据仓库的中间桥梁,因为对业务系统来说,数据是分散的,用户无法得到统一的、全面的、集成的数据展现。
3 ODS与实时数据仓库和O LAP的使用3.1 ODS的应用
一般来说,业务系统都可以作为数据源来处理,至于它们之间的数据结构是否一致,并不重要,都可以通过数据仓库中的所谓的integrator(积分器)来进行结构转换,最终都使用同一种格式。还有,就是数据仓库中的数据并不需要原子粒度的数据,它的作用就是为统计分析,或者是模式挖掘等服务的,所以其中的数据是经过合成的。所以,数据源与数据仓库之间的中间层是肯定必须的。
基于ODS构建的大客户管理系统,源数据层的数据经大客户管理系统的数据采集功能进行数据采集/整理/加载,形成的统一信息层-ODS层(操作数据存储,实际上就是大客户管理系统中的客户档案数据),在逻辑和存储上对业务处理系统与数据仓库进行隔离。
数据仓库采用多维模型进行存储,通过对ODS 层数据的抽取、净化和转换而形成的从细节级、轻度综合、中度综合直至高度综合各级粒度的O LAP分析数据层,是按照主题分析的需要建立的企业级全局数据存储。
在数据仓库之上通过联机分析(O LAP)和数据
—
9
—
挖掘预测的分析引擎,构建大客户经营分析与决策支持等应用,和Web服务器共同构成中间层。
ODS作为一个中间层次,一方面,它包含企业全局一致的、细节的数据,可以进行全局操作型处理;另一方面,它又是一种面向主题的、集成的数据环境,适合完成日常报表和决策的数据处理分析。可见,ODS一方面支持业务性操作,另一方面面向主题。在主题之下放置与该主题相关的各种基础数据,组合在一起就是基础数据源。基础数据源是整个ODS的核心,存储着最为基础的非派生数据。从上面分析可看出,建设数据仓库的第一步是建设基础数据源。
因此可以看到,面向主题和集成性斯得ODS的数据在静态特征上很接近DW中的数据。但是,在ODS与DW之间仍然有许多基本的、重要的差别。首先,ODS主要保存近期数据,而DW大量是长期保存并可重复查询的历史数据。其二,ODS支持面向记录的联机刷新,包括企业级的O LAP;而DW中的基础数据是不可修改的。其三是向ODS数据仓库DW提供一致的数据环境以供抽取。DW则主要用于长期趋势分析或战略决策。
3.2 实时数据仓库的概念
对于实时数据仓库,最早是Michaem Haisten(BI 专家)提出的,他对实时数据仓库的分类和架构有详细的描述。
现在逐渐提出了实时数据仓库的概念,主要的思想就是:在数据仓库中,将保存的数据分为两类,一种为静态数据,一种为动态数据,静态数据满足用户的查询分析要求;而动态数据就是为了适应实时性,数据源中发生的更新可以立刻传送到数据仓库的动态数据中,其中再经过响应的转换,满足实时的要求。
3.3 实时数据仓库和ODS的关系
对于实时数据仓库和ODS的关系,现在更多的实时分析是建立在ODS上而不是数据仓库上,因为ODS相对数据量较少,处理较为容易,根据这种分类,ODS可以分为三类。
(1)第一类ODS:这类ODS的数据可以同步或接近同步地和业务系统数据同时刷新,实现实时(或准实时)的运营决策,例如实时的反欺诈。这要求ODS数据的抽取、转换和加载也是实时进行的。第一类ODS一般是通过实时的消息传递中间件,例如I BM M Q,T ibco Rendezv ous等来实现,要求涉及的业务系统不能太多,刷新的数据量不能太大。第一类ODS的建设成本最高。
(2)第二类ODS:这类ODS的数据可以基本上实现与业务系统的同步,例如1～2个小时刷新一次,这降低了对业务系统的负担,具有较好的灵活性。
(3)第三类ODS:这是目前为止最常见的ODS,其数据一天刷新一次,可以利用业务系统的空闲时间进行刷新,可实现所有业务系统的数据集成和刷新。刷新频率的下降也给系统有更多的时间进行数据更正和清洗。第三类是最容易建设也最便宜的一种ODS。
对于实时数据仓库,可以从两个方面来说,一个就是必须提高现有的数据仓库的数据补充技术,简化中间层次,提高算法的效率,这样可以减少时间成本;再有一个就是上面提到的将数据仓库中分层的思想,分成静态数据跟动态数据,数据源中发生的更新及时传送到动态数据中,经过相应的转换,可以满足实时要求。当然,其中具体的做法,还有待研究。
实时数据仓库并不是要求其所有的数据表都是实时更新的,T DWI(The Data Warehouse Institute—数据仓库机构)有一项统计,实时数据仓库的实时表只占总数的10%,只是这些表需要修改结构以实现实时更新。
另外,有关实时数据仓库是否和ODS相关,一些资料中提到两种实现实时数据仓库的方法,一种是静态部分和动态部分分离,另一种是用ODS,而且在某种条件下,这两种方式其实是一样的。不过在国内还没有大范围的做实时数据仓库,也只是讨论阶段。
实时数据仓库主要的难点是实时的数据抽取和更新,Michael Haisten好象提到实时数据仓库用数据库的triger(触发器)和复制机制来实现,不过现在觉得这不是一种好办法。现在很多厂商在推行其实时数据仓库的解决方案,包括In formatics(信息学),In2 formatics提供了P ower C onnect F or M Q,以及P ower C onnect F or T ibco等,实现ET L工具和消息传递中间件的接口,这样应用系统的变化可以通过消息传递中间件交给ET L,让ET L Server加载到数据仓库中,就可以实现实时的数据分析。
3.4 基于ODS构建木材销售系统的即时O LAP应用
现在举个例子说明数据仓库ODS技术和即时O LAP,即基于ODS构建商业系统的即时O LAP应用。面向主题的数据仓库(DW)概念的提出,不但为有效地支持企业经营管理决策提供了一个全局一致的数据环境,也为历史数据,综合数据的处理提出了一种行之有效的解决方法。数据仓库概念的提出也清楚的把数据处理划分为操作型处理和分析型处理两种不同类型,从而建立起了DB-DW的两层体系结构。但是有很多情况,DB-DW的两层体系结构
—
1
—
并不能涵盖企业所有的数据处理要求,因为企业的数据处理虽然可以较为粗略的划分成操作型和分析型两部分,但这两种类型也不是泾渭分明的,它们之间也有交叉的情况,譬如,有些是操作型的,但不适合在操作型DB中进行,而又有一些是分析型处理,但不适合在DW中进行。
比如木材产销存系统的销售决策子系统,按要求公司经理要解决什么商品该进货了,各种商品近来的赢利情况,客户的信任情况等等。要回答这些问题,必须首先要弄清楚木材的存货是否充裕,还要了解该木材近期的销售情况,另外还要和别的木材树种的库存和销售情况进行比较等。如果把这个决策分析过程放在原有的面向应用的分散DB系统中去完成的话,不一定得到每个部门的准确一致的信息,而要进行各部门间的协调配合,工作量势必会很大,但如果把其放在DW中去进行分析的话,不但费时,而且会有很多的不必要的数据检索存在。
对于上述问题可以借助于DB-DW的中间层ODS(操作数据存储)来解决。
即时O LAP ODS主要是适应企业级的全局应用的需要而产生的,对它的应用主要是在即时“O LAP”的数据处理上。在DW上实现O LAP主要是为了进行长期趋势分析,DW中是数据量很大,所以O LAP 应用的运行时间都比较长。在企业日常经营中,常常要进行一些非战略的中层决策以实现企业的日常管理和控制。譬如,木材销售公司经理要每周查看木材的销售情况,各地区的木材销售情况,业务员的业绩情况等等,并且这种决策过程并不需要参考太多的历史数据,主要是参考当前的或比较当前的数据,还需要比较快的执行速度,可以把这种分析决策称为“即时O LAP”。显然利用DW不但运行的效率是无法让人忍受而且也很难准确的反映近期的真实情况,ODS的建立克服了DW系统过于臃肿,处理时间过长和不适应即时O LAP的情况,提供给中层决策者以快捷准确的分析信息。
在DB-ODS的体系结构中,ODS的实现机制表现在其记录系统定义的数据传送关系上。操作型环境中各分散的DB记录经过过滤后形成了ODS系统的记录系统,向ODS系统中提供数据。记录系统定义了原有分散DB中那些数据送往ODS,并指明与ODS数据相应的数据表。通过ODS的定义可以把分散于应用的DB中的数据复制到ODS中去,这样原来的分散DB中的记录就形成了ODS中的面向主题的记录。ODS维护着一个分析型的环境,数据处理简单得多,实际需要的支持技术也很少。
虽然没有给出从ODS向DB转化的实现机制,但这种情况主要用在有关企业全局操作应用上,可以通过在ODS系统中存放一些参数表,它所反应的关系是ODS全局更新时必须要反应到所有DB中的相关记录。此时,ODS是一个操作型环境,实现ODS所要求的技术跟原来的面向应用的分散的数据库系统一样,包括事务管理、封锁管理、数据恢复等等技术。
根据前面的分析,优先选择销售区域、客户和木材三个在销售领域最关切的主题,把事务数据库中涉及到此领域的数据转入到ODS中。ODS(主要对照DW)逻辑模型的类别主要有星形模型、雪花模型和混合模型等三种,在开发ODS逻辑模型时用了星形模型。一个简单的星形模型由一个事实表和若干个维表组成,而复杂的星形模型可能包括数百个维表。星形模型从支持商务决策的角度定义了数据实体,它能客观在实体中反映商务运行的规则和属性,与后两种模型相比,设计相对简单,更容易被用户所理解和接受。
定义记录系统时,主要考虑如何将主题域的各个属性分配到应用系统中去,这里主要考虑把各主题中的属性分配到木材销售的操作环境中的销售和库存等子系统中。
数据采集过程跨越分散DB操作环境和ODS分析环境。本系统中数据采集过程较为简单,只需要按照ODS记录系统和ODS记录系统定义两者之间的映射关系,将DB中的数据传送到ODS,这里采用了S Q L SERVER7.0的DTS数据转换服务,S Q L SERVER7.0的DTS(Data Trans formation Services)提供了数据的提取、转换和装载的功能。利用S Q L SERVER710的输入输出向导创建DTS包,在复制时使用S NAPSH OT(快照类型)对ODS中的数据进行清除和重建,由于数据量不是很大,故可以取得很好的执行效率。
数据采集过程跨越分散DB操作环境和ODS分析环境。进而是系统用户界面的实现。
4 结束语
进入二十一世纪以来,飞速发展的商业环境,与日俱增的竞争压力,日益增长的客户期望,使企业在高速成长的过程中,面临越来越多的内外部的多重挑战。加强企业内部管理,及时调整业务模式,完整掌握决策信息,正确制定战略目标,成为企业在当今动态竞争环境中脱颖而出的另一个关键内容。有效地集成各种业务系统、数据仓库中信息,为企业改进业务流程、加强客户服务、促进销售并增加盈利提供有针对性的分析报告;快速、连贯地(下转第31页)
5 系统软件组成
系统软件使用8098汇编语言编写,以中断方式进行工作。中断由HSI 输入信号产生。系统软件由主程序和中断服务程序组成,主程序及中断服务程序的流程框图如图2所示
。
图2 主程序及中断服务程序流程图
主程序完成系统初始化工作(堆栈指针,HSI 中
断方式,控制寄存器,LE D 显示设置等);而中断服务程序则完成对闪电产生的电磁波信号和次声信号进行数据采集、处理及结果显示的任务,它主要由三个模块组成,分别是:电磁脉冲信号处理模块、次声信号处理模块及显示驱动模块。各模块功能简要说明如下:
脉冲信号处理模块主要完成闪电脉冲信号判别(三路脉冲信号分别从HSI 0,HSI 1,HSI 2输入,并判别是否为闪电信号,给出判别结果,并确定闪电信号入射方向所在的象限位置,为方位角的计算提供相应数据,消除测量的二义性),天线峰值信号采集(两路数据,从ACH 5,ACH 6通道采集),方位角计算以及计时等任务;各个任务由相应的子程序完成,完成处理的中间结果存储在指定的寄存器单元;并把最终计算得到的方位角数据送到指定存储单元(A0H ～A3H )进行保存。
次声信号处理模块主要完成闪电次声信号的采集(一路数据,从ACH 4通道采集)、次声信号滤波(排除风脉动等自然界产生的次声干扰信号)、闪电次声信号识别等任务,并根据与电磁脉冲信号到达观测点(测量点)的时差Δt 计算闪电到观测点的距离。
由于闪电的不同信号(电磁波、次声波)在大气中的传播存在着时间差Δt ,而电磁波(电磁脉冲信号)要比次声波(次声信号)先期到达测量点,如忽略电磁脉冲信号在大气中的传播时间,则两者到达测量点的时间差Δt 与闪电和测量点的距离成正比。如距离在10公里,则时间差Δt 的值约为29秒。在系统允许的测量误差范围内,为简化程序设计,可以在脉冲信号处理模块求出方位角后,再启动计时子程序进行计时作业,直到系统接收到闪电的次声信
号为止。
脉冲信号处理模块和次声信号处理模块共用一个采集子程序,调用采集子程序时,根据不同情况,给出不同的采集通道号、采集频率和采集次数即可。如脉冲信号处理模块调用采集程序时,采集的数据是天线的峰值保持信号,使用的是ACH 5,ACH 6通道。
显示驱动模块主要完成把闪电方位角及闪电与观测点的距离信息在LE D 上进行显示的任务。
6 结束语
该系统的实际应用中表明,在对中远距离(10～60公里)闪电的定位,系统则取得了较好的测量效果,达到了系统设计要求。参考文献:
[1] 韩金林1次声在雷暴探测中的应用[J ]1应用声学,1990,(2):
1-4.
[2] 刘复华18098单片机及其应用系统设计[M]1北京:清华大学
出版社,1992.
[3] 赵让元,潘威炎1国内外雷电探测研究[J ]1电波与天线,
1997,(4):1-11.
责任编辑:杨立民
(上接第11页)分析数据
,既保证信息的及时性,又保证
信息的延续性;为企业决策者构建管理驾驶舱,使决
策者能全方面掌控企业运营,及时地做出科学周密的决策。
ODS 技术的引入和应用,为企业在日常经营中进行即时O LAP 提供了一种解决方案使得企业无须建立一个“臃肿”的DW ,就可以进行一些非战略性的的中层决策,来实现对企业的日常管理和控制,同时也能获得较快的响应速度。对于决策支持起着重要的作用。
参考文献:
[1] 王珊,等1数据仓库技术与联机分析处理[M].北京:科学出版
社,19981
[2] 李薇,李宛洲1基于数据仓库技术的进销存系统的设计与实现
[J ]1计算机工程与应用,2001,(10)1
[3] 袁虹,何厚存1联机分析与数据仓库的建模技术[J ]1计算机应
用与研究,1999,(12)1
[4] 马刚,王延章1数据仓库及其设计规范化[J ]1大连理工大学学
报,2001,(9)1
[5] 王闯舟1数据仓库逻辑建模[M]1NCR 公司数据仓库解决方案
小组,20021
责任编辑:杨立民
北京甲骨文软件有限公司咨询经理鲁百年博士 一、国内信息化的现状 1、信息化建设的发展历史：在国内信息化建设过程中，基本上是按照当时业务系统的需求进行建设，例如：在一个企业中，财务部门为了减少工资发放的差错，提高发放的效率，先建设一个工资发放和管理程序；为了报账和核对的需求，建设一个财务管理程序；在银行首先为了业务处理的方便，将最基本的手工记帐和处理的业务建成一个系统，过一段时间，如果有新的业务推出，就再建设一个新的系统，或在原系统的基础上增加新的业务处理。这样的结果使每个系统和系统之间缺少真正的信息沟通和信息交换。 2、为何要建立数据仓库：前面我们讲过，业务系统各自为政，相互独立。当很多业务系统建立后，由于领导的要求和决策的需求，需要一些指标的分析，在相应的业务系统基础上再增加分析和相应的报表功能，这样每个系统就增加了报表和分析功能。但是，由于数据源不统一导致了对同一个指标分析的结果不相同。为了解决该问题，Bell Inman提出了数据仓库的概念，其目的是为了分析和决策的需要，将相互分离的业务系统的数据源整合在一起，可以为领导和决策层提供分析和辅助决策。 3、国内企业对数据仓库建设认识的误区： 大家对数据仓库的认识是将业务系统的数据进行数据抽取、迁移和加载（ETL），将这些数据进行整合存放在一起，统一管理，需要什么样的分析就可提供什么样的分析，这就是数据仓库。这样做的结果是花了一年到两年的时间都无法将整个企业业务系统的数据整合在一起，花钱多、见效慢、风险大。一年后领导问起数据仓库项目时，回答往往是资金不足，人力不够，再投入一些资源、或者再延长半年的时间就会见到效果，但是往往半年过后还是仅仅可以看到十几张或者几十张报表。领导不满意，项目负责人压力也很大，无法交待。这时，项目经理或者项目负责人才意识到，项目有问题，但是谁也不敢说项目有问题，因为这样显然是自己当时的决策失误。怎么办？寻找咨询公司或者一些大的厂商，答案往往是数据仓库缺乏数据模型，应该考虑数据模型。如果建设时考虑到整个企业的数据模型，就可以建设成企业级的数据仓库（EDW。什么是数据模型，就是满足整 个企业分析要求的所有数据源。结果会如何，我个人认为：这样做企业级数据仓
浅谈煤矿安全管理数据仓库的构建与应用(通用版) Safety is the prerequisite for enterprise production, and production is the guarantee of efficiency. Pay attention to safety at all times. ( 安全论文) 单位：_______________________ 部门：_______________________ 日期：_______________________ 本文档文字可以自由修改
浅谈煤矿安全管理数据仓库的构建与应用 (通用版) 摘要:改革开放以来，随着我国煤矿企业的发展以及计算机信息时代的到来，煤矿安全信息计算机管理越来越受到人们的重视。本文从加强煤矿信息管理建设的角度出发，在借鉴前人研究的基础上，结合当下煤矿安全生产的特点，通过对煤矿安全信息进行分析，提出了基于数据仓库模型的煤矿信息安全管理，同时还就数据仓库在企业中的应用进行了探讨。 关键词：煤矿安全信息管理；数据仓库；应用 一、数据仓库 1.1数据仓库的概念 数据仓库，英文名称为DataWarehouse，可简写为DW或
DWH。数据仓库是一种数据的战略集合,其目的是为企业所有级别的决策制定过程提供支持。应用数据仓库的最终目的是为企业提供需要业务智能来指导业务流程改进。 1.2数据仓库的特点 数据仓库并不是一般意义上的“大型数据库”，它是在数据库已经大量存在的前提下，为进一步挖掘数据资源、做出更好的而建立的。由于以有的数据库中的数据有较大的冗余，所以需要的存储也较大，为了更方便的为前端查询和分析，因而便想到数据仓库方案的建设。为了更好地为前端应用服务，数据仓库的特点一般具有以下几点： （1）效率高 对于大多数情况来说，利用数据仓库分析的数据一般分为日、周、月、季、年等。而其中以日为周期的数据所要求的效率最高，其要求24小时或者12小时内，客户能看到前一天的数据分析。由于有的企业每日的数据量很大，如果数据仓库的设计不好，数据仓库经常出问题，从而导致数据分析需要延迟1-3
数据仓库技术在医院信息系统中的应用 本文介绍了数据仓库技术的发展历程及特点，对数据仓库技术在医院信息管理平台的应用进行了分析，并对医院信息平台使用数据仓库技术提出了建议，为数据仓库技术在医院的建设及使用提供了一定有价值的参考。 标签：数据仓库；医院信息；应用 数据仓库可为所有类型的数据起到支持与集合作用，也是企业发展过程中对决策定制必须要用到的。数据仓库作为独立的数据存储，对企业业务报告进行分析以及作出决策等提供一定支持，对业务流程、所花费成本以及质量等进行控制的一种系统。 1 数据仓库技术 数据仓库由数据仓库之父比尔·恩门（Bill Inmon）于1990年提出，主要功能是将组织透过资讯系统之联机事务处理（OLTP）经年累月所累積的大量资料，透过数据仓库理论所特有的资料储存架构，有系统的进行分析整理，以利于各种分析方法如联机分析处理（OLAP）、数据挖掘（Data Mining）的进行，并进而支持如决策支持系统（DSS）、主管资讯系统（EIS）的创建，帮助决策者能快速有效的从大量资料中，分析出有价值的资讯，有利于决策拟定及快速回应外在环境变动，帮助建构商业智能（BI）[1]。数据仓库技术主要对数据库中获得的信息进行研究和分析，以找出解决方法，因此，数据仓库最大的特点就是具有集成性、稳定性和实时性。 2 数据仓库的特点 数据仓库最大的特点就是可以在数据库存储大量数据的情况下，还可以对数据进行深度挖掘，以对企业在决策问题上提供支持。数据仓库同其他系统大型数据库不同，数据仓库存在的最主要目的就是为企业所得数据进行分析与查询，以为企业提供数据依靠，所以在所用的存储量上较多。数据仓库为了能为企业提供更多前端应用服务，在其实际应用过程中还存在以下几点特点： 2.1对数据仓库要求效率过高数据库对数据进行分析也是有其规律的，分别按照年、季、月、周、日为周期对数据进行分析。以日周期为例，对数据仓库的要求上尤其高，要求其分析数据的频率能够在客户所要求的时间内得出结果。但对于大型企业来说，每天企业所涉及的数据量非常多，如果数据仓库使用不恰当则会延误客户的需求，进而给企业造成影响。 2.2对数据质量要求严格数据仓库所收集到的各种信息必须保证准确，如果在某一数据或者某一代码中出现错误，那么往往就会造成部分数据失真。在数据仓库实际使用过程中所涉及环节较多，且内容复杂，因此，在为客户所提供的数据信息上仍会有错误数据存在，使客户作出错误的判断，进而对企业造成损失。
第1章数据仓库建设 1.1数据仓库总体架构 专家系统接收增购项目车辆TCMS或其他子系统通过车地通信传输的实时或离线数据，经过一系列综合诊断分析，以各种报表图形或信息推送的形式向用户展示分析结果。针对诊断出的车辆故障将给出专家建议处理措施，为车辆的故障根因修复提供必要的支持。 根据专家系统数据仓库建设目标，结合系统数据业务规，包括数据采集频率、数据采集量等相关因素，设计专家系统数据仓库架构如下： 数据仓库架构从层次结构上分为数据采集、数据存、数据分析、数据服务等几个方面的容： 数据采集：负责从各业务自系统中汇集信息数据，系统支撑Kafka、Storm、Flume
及传统的ETL采集工具。 数据存储：本系统提供Hdfs、Hbase及RDBMS相结合的存储模式，支持海量数据的分布式存储。 数据分析：数据仓库体系支持传统的OLAP分析及基于Spark常规机器学习算法。 数据服务总线：数据系统提供数据服务总线服务，实现对数据资源的统一管理和调度，并对外提供数据服务。 1.2数据采集 专家系统数据仓库数据采集包括两个部分容：外部数据汇集、部各层数据的提取与加载。外部数据汇集是指从TCMS、车载子系统等外部信息系统汇集数据到专家数据仓库的操作型存储层（ODS）；部各层数据的提取与加载是指数据仓库各存储层间的数据提取、转换与加载。 1.2.1外部数据汇集 专家数据仓库数据源包括列车监控与检测系统（TCMS）、车载子系统等相关子系统，数据采集的容分为实时数据采集和定时数据采集两大类，实时数据采集主要对于各项检测指标数据；非实时采集包括日检修数据等。 根据项目信息汇集要求，列车指标信息采集具有采集数据量大，采集频率高的特点，考虑到系统后期的扩展，因此在数据数据采集方面，要求采集体系支持高吞吐量、高频率、海量数据采集，同时系统应该灵活可配置，可根据业务的需要进行灵活配置横向扩展。 本方案在数据采集架构采用Flume+Kafka+Storm的组合架构，采用Flume和ETL 工具作为Kafka的Producer，采用Storm作为Kafka的Consumer，Storm可实现对海量数据的实时处理，及时对问题指标进行预警。具体采集系统技术结构图如下:
收稿日期 2001-06-26 基金项目 黑龙江省教育厅科学技术研究项目(9551104)。文章编号:1005-3751(2002)01-0029-03 关于数据仓库若干关键技术的研究 Study on critical techniques of Data Warehouse 周丽娟1,柳池2,刘大昕1(1.哈尔滨工程大学计算机科学技术学院,黑龙江哈尔滨150001;2.哈尔滨理工大学计算机与控制学院,黑龙江哈尔滨150080) Z H O U Li j uan1,LI U Chi2,LI U Da x in1(1.College of Computer Science and Technology,Harbi n Engineering U niv., Harbin HLJ.150001;https://www.doczj.com/doc/6918070292.html,puter&Control College,Harbi n Univ.of Science and Technology,Harbin HLJ150080,China) 摘要:介绍数据仓库系统的基本结构,讨论了建立数据仓库的几个关键技术和实现方法,并比较了各种方法的优缺点,以便在数据仓库的实施中选择高效的技术方案。 关键词:数据仓库;实视图;联机分析处理 ABS TRACT:Introduces structure of data w arehouse system and discusses som e critical techniques and methods of i m plement in data w arehouse.These methods are compared so that w e choose efficient technical s oluti on. KEYWO RDS:Data Warehouse;M aterilized View;On_li ne Ana lytical Processing 中图分类号:T P311.13文献标识码:A 1引言 随着数据库技术的成熟和广泛应用,人们积累了大量的数据,利用这些数据可以进行分析和推理,辅助企业的决策,使企业获得最大的效益。当今企业面临着一个激烈竞争的环境,自动快速获得有用的决策信息是企业获得最大效益的重要环节。因此有必要建立企业的决策支持系统(DSS)。但随着数据量的迅速增大以及查询要求的复杂化,建立在联机事务处理(OL T P)的数据库上的DSS,暴露出许多难以克服的问题:数据分散、没有统一的标准,缺乏组织性;只存储当前数据,难以满足决策分析对所需的历史数据的分析;数据访问效率低下。为了弥补数据库系统存在的不足,数据仓库(DW)的思想逐步形成。数据仓库是一个用以更好的支持企业或组织的决策分析处理的、面向主题的、集成的、稳定的、随时间不断变化的数据集合。 数据仓库系统不同于数据库系统,作为一个新兴的研究领域,数据仓库发展很快。本文侧重讨论数据仓库所需解决的主要问题和可采用的技术。2数据仓库系统的基本结构 数据仓库系统由数据仓库、仓库管理工具和分析工具三部分组成,如图1。 图1数据仓库系统的结构 数据仓库的数据来源于多个不同的数据源,它可以是通常的数据库系统,但也可以是非传统的数据,如文件、HT M L和SGM L文件、知识库等。 数据仓库管理包括:在确定了数据仓库的信息需求后,首先进行数据建模,然后确定从数据源到数据仓库的数据抽取、清理和转换过程,最后确定数据仓库的存储方法。元数据是数据仓库的核心,它是对数据库中各个对象的描述,它遍及数据仓库的所有方面。数据仓库管理包括对数据的安全、归档、维护、备份、恢复等工作,这些工作需要数据库管理系统的支持。 数据仓库是面向分析的,所以分析工具是数据仓库系统的一个重要组成部分。分析工具包括用于完成决策问题所需的各种查询工具、检索工具、OL AP分析工具和数据挖掘工具等,以实现决策支持系统的各种要求。 29 2002年第1期微机发展
数据仓库与数据挖掘技术
第1章数据仓库与数据挖掘概述1.1数据仓库引论1 1.1.1为什么要建立数据仓库1 1.1.2什么是数据仓库2 1.1.3数据仓库的特点7 1.1.4数据进入数据仓库的基本过程与建立数据仓库的步骤11 1.1.5分析数据仓库的内容12 1.2数据挖掘引论13 1.2.1为什么要进行数据挖掘13 1.2.2什么是数据挖掘18 1.2.3数据挖掘的特点21 1.2.4数据挖掘的基本过程与步骤22 1.2.5分析数据挖掘的内容26 1.3数据挖掘与数据仓库的关系28 1.4数据仓库与数据挖掘的应用31 1.4.1数据挖掘在零售业的应用31 1.4.2数据挖掘技术在商业银行中的应用36 1.4.3数据挖掘在电信部门的应用40 1.4.4数据挖掘在贝斯出口公司的应用42 1.4.5数据挖掘如何预测信用卡欺诈42 1.4.6数据挖掘在证券行业的应用43 思考练习题一44
1.1.1为什么要建立数据仓库 数据仓库的作用 建立数据仓库的好处
1.1.2 什么是数据仓库 1．数据仓库的概念 W.H.Inmon在《Building the Data Warehouse》中定义数据仓库为：“数据仓库是面向主题的、集成的、随时间变化的、历史的、稳定的、支持决策制定过程的数据集合。”即数据仓库是在管理人员决策中的面向主题的、集成的、非易失的并且随时间而变化的数据集合。 “DW是作为DSS基础的分析型DB，用来存放大容量的只读数据，为制定决策提供所需的信息。” “DW是与操作型系统相分离的、基于标准企业模型集成的、带有时间属性的。即与企业定义的时间区段相关，面向主题且不可更新的数据集合。” 数据仓库是一种来源于各种渠道的单一的、完整的、稳定的数据存储。这种数据存储提供给可以允许最终用户的可以是一种他们能够在其业务范畴中理解并使用的方式。 数据仓库是大量有关公司数据的数据存储。 仓库提供公司数据以及组织数据的访问功能，其中的数据是一致的（consistent），并且可以按每种可能的商业度量方式分解和组合；数据仓库也是一套查询、分析和呈现信息的工具；数据仓库 是我们发布所用数据的场所，其中数据的质量是业务再工程的驱动器（driver of business reengineering）。 定义的共同特征：首先，数据仓库包含大量数据，其中一些数据来源于组织中的操作数据，也有一些数据可能来自于组织外部；其次，组织数据仓库是为了更加便利地使用数据进行决策；最 后，数据仓库为最终用户提供了可用来存取数据的工具。
数据库技术及其在金融行业的应用 1. 前言 数据库仓库（DW）技术从1991年开始出现，经过多年的摸索和应用，目前在一些发达国家已经建设得比较成熟，为企业综合与灵活的分析型应用提供了强大的数据支撑，为管理层的分析决策和操作层的智能营销提供了技术保证，为企业带来了多方面的收益。而在国内，数据库仓库仍处于尝试或初级建设阶段。 国内的金融行业，随着外部监管和信息披露的压力、内部管理和决策分析的需要，在建设分析类应用时，也正在逐渐从孤立的数据层向统一的数据仓库层规划和转移。建立数据仓库能够减少对数据层的重复投资和资源浪费、统一数据标准、监管和提高数据质量、消除信息孤立、支持综合分析和灵活及时的分析型应用、适应管理和发展、提高业内竞争力。 本文对数据库技术做一个概括性的介绍，并对国内外金融行业数据仓库技术的应用现状做一个简单分析。 2. 数据仓库概念 2.1. DW的提出 2.1.1. 需求 业务系统的建设与逐渐完善，巨量数据信息的积累。 分析类需求不断增加，传统分析类应用造成巨大的资源浪费和管理困难。 业务数据平台异构、数据来源口径多、标准不统一、信息孤立。 整合部门级应用，建设企业级应用，满足综合分析、复杂查询、智能营销等高级需求。 2.1.2. DW概念的提出 MIT在20世纪70年代对业务系统和分析系统的处理过程进行研究，结论是只能采用完全不同的架构和设计方法。 1988年，IBM为解决全企业数据集成问题，提出了信息仓库的概念，确立了原理、架构和规范。但没有进行实际的设计。 1991年，Bill Inmon提出了数据仓库概念，并对为什么建设数据仓库和如何建设数据仓库进行了论述。Bill Inmon被称为数据仓库之父。
数据仓库与数据挖掘 摘要 数据挖掘是一新兴的技术，近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念．做了相应的分析，同时共同探讨了两者共同发展的关系，并对数据仓库与挖掘技术结合应用的发展做了展望。用Data Miner作为对数据挖掘的工具，给出了应用于医院的数据仓库实例。指出了数据挖掘技术在医疗费用管理、医疗诊断管理、医院资源管理中具有的广泛应用性，为支持医院管理者的分析决策作出了积极探索。 Abstract The Data Mine is a burgeoning technology，the research about it is developing flourishing．In this paper，it expatiates and analyses the concepts of Data Warehouse and Data Mine Together，discussing the connections of how to expand the two technologies，and combining the two technologies with prospect．The data warehouse supports the mass data on the further handling and recycling．The paper points out the use of data mining in patient charge control，medical quality control， hospital resources allocation management． It helps the hospital to make decisions positively 关键字：数据仓库；数据挖掘；医院信息系统 Key words：Data Warehouse；Data Mine；Hospital information system
数据仓库制定方案 在当下的数据仓库系统安全控制模块中，我国数据仓库安全分为不同的等级。总体来说，我国的数据仓库安全性是比较低。为更好的健全计算机数据仓库体系，进行数据仓库安全体系的研究是必要的。很多软件都是因为其比较缺乏安全性而得不到较大范围的应用，归根结底是数据仓库安全性级别比较低。为满足现阶段数据仓库安全工作的需要，有利于数据仓库保密性的控制，保证这些数据存储与调用的一致性。 当前数据仓库安全控制过程中，首先需要对这些数据进行可用性的分析，从而有利于避免数据仓库遭到破坏，更有利于进行数据仓库的损坏控制及其修复。其次为了保证数据仓库的安全性、效益性，也离不开对数据仓库整体安全性方案的应用。最后必须对数据仓库进行的一切操作进行跟踪记录，以实现对修改和访问数据仓库的用户进行追踪，从而方便追查并防止非法用户对数据仓库进行操作。 2.1数据仓库安全整体规划 本方案通过对电力行业敏感信息泄露安全威胁的分析，对数据仓库安全进行整体设计与规划，通过全系列数据仓库安全产品相互之间分工协作，共同形成整体的防护体系，覆盖了数据仓库安全防护的事前诊断、事中控制和事后分析。 制定严密可行的实施计划，整个工程严格按照计划进行；公司质量控制部利用ISO9000质量管理规范对工程的软件开发及实施全过程进行监督和控制；建立完善的软件开发和工程实施的文档体系。对程序进行测试，对各个模块之间的关联情况下可能出现的问题进行严密的测试，并不断完善在测试过程中暴露出来的问题。在这过程中质量控制小组将全程参与，确保软件质量。 需求调研是数据仓库开发的最重要的环节之一，在调研的过程中能否真实、准确地描述客户的需求，对于数据仓库的开发有着举足轻重的影响。与客户沟通不够导致对同一个事物的描述或者理解有分歧和差异，或者调研过程中流于表面文字，而没有进入实际的操作，都可能造成在需求调研的过程中造成对需求不精确的理解。失之毫厘，谬之千里，需求调研的微小差异可能会在软件的开发过程中造成较大的偏差，直接影响了工程的建设质量。为此我们为需求调研工作分配
Northwind数据仓库的构建和ETL 课程设计与实验报告
课程设计与实验教学目的与基本要求 数据仓库与知识工程课程设计与实验是学习数据仓库与知识工程的重要环节，通过课程设计与实验，可以使学生全面地了解和掌握数据仓库与知识工程课程的基本概念、原理及应用技术，使学生系统科学地受到分析问题和解决问题的训练，提高运用理论知识解决实际问题的能力。 使学生在后继课的学习中，能够利用数据仓库与数据挖掘技术及实践经验，解决相应的实际问题，并能在今后的学习和工作中，结合自己的专业知识，开发相应的数据仓库与数据挖掘应用程序。培养学生将已掌握的理论与实践开发相结合的能力，以及在应用方面的思维能力和实践动手能力。 课程设计与实验一数据仓库的构建和ETL （一）目的 1．理解数据库与数据仓库之间的区别与联系； 2．掌握数据仓库建立的基本方法及其相关工具的使用。 3．掌握ETL实现的基本方法及其相关工具的使用。 （二）内容 1. 以SQL Server为系统平台，设计、建立创建数据仓库NorthwindDW（根据课程设计内容）。 2. 将业务数据库Northwind的数据经过ETL导入（或加载）到数据仓库NorthwindDW。 3. 将数据仓库NorthwindDW事实表的前100个记录导出到Excel中。 （三）数据仓库设计要求 Northwind数据库存储了一个贸易公司的订单数据、产品数据、顾客数据、员工数据、供货商数据等，假设贸易公司的经营者迫切的需要准确地把握贸易公司经营情况，跟踪市场趋势，更加合理地制定商品采购、营销和奖励政策。具体的分析需求是： ●分析某商品在某地区的销售情况 ●分析某商品在某季度的销售情况 ●分析某年销售多少金额的产品给顾客 ●分析某员工的销售业绩 任务：确定主题域、确定系统（或主题）的边界。设计数据模型（星型模型）的事实表和维表。
数据仓库技术与应用 LEKIBM standardization office【IBM5AB- LEKIBMK08- LEKIBM2C】
文章编号 :5(2004 03 收稿日期 :27 基金项目 :教育部高等学校骨干教师资助计划项目 (GG 28 作者简介 :项军 (19792 , 男 , 四川绵阳人 , 空军工程大学导弹学院计算机工程系硕士研究生 , 研究方向 :智能信息处理与人工智能 ; 雷英杰 (19562 , 男 , 陕西渭南人 , 教授 , 博士生导师 , 研究方向 :智能信息处理 , 模式识别 , 人工智能。数据仓库技术与应用 项军 , 雷英杰 (空军工程大学导弹学院 , 陕西三原 713800 摘要 :对数据仓库、联机分析处理和数据挖掘等几个概念做了详细的介绍 , 在此基础上提出适用于电信系统应用的设计思想 , 详细介绍了该系统的系统结构、关键技术的实现和各子系统功能。关键词 :数据仓库 ; 联机分析处理 ; 数据挖掘中图分类号 :文献标识码 :A The T echnique and Application of Data W arehouse XI ANGJun ,LEI Y ing 2jie (Missile Institute of Air F orce Engineering University ,Sanyuan 713800,China Abstract :This paper introduces the concepts of data warehouse ,on 2line analytical processing and data mining ,puts forward the design thought of telecommunication system and briefly introduces the system structure ,the key techniques of the system and the functions of each sub 2system. K ey w ords :data warehouse ;on 2line analytical processing ;data mining 0引言
昆明理工大学信息工程与自动化学院学生实验报告 （2015—2016学年第1学期） 课程名称：数据仓库与数据挖掘开课实验室：444 2015年10月24日年级、专业、 班 计科121 学号姓名成绩 实验项目名称数据仓库的构建指导教师 教师评语该同学是否了解实验原理： A.了解□ B.基本了解□ C.不了解□ 该同学的实验能力： A.强□ B.中等□ C.差□ 该同学的实验是否达到要求： A.达到□ B.基本达到□ C.未达到□ 实验报告是否规范： A.规范□ B.基本规范□ C.不规范□ 实验过程是否详细记录： A.详细□ B.一般□ C.没有□ 教师签名： 年月日 一、上机目的及内容 目的： 1、理解数据库与数据仓库之间的区别与联系； 2、掌握典型的关系型数据库及其数据仓库系统的工作原理以及应用方法； 3、掌握数据仓库建立的基本方法及其相关工具的使用。 内容： 以SQL Server为系统平台，设计、建立数据库，并以此为基础创建数据仓库。 要求： 利用实验室和指导教师提供的实验软件，认真完成规定的实验项目，真实地记录实验中遇到的各种问题和解决的方法与过程，并绘出模拟实验案例的数据仓库模型。实验完成后，应根据实验情况写出实验报告。 二、实验原理及基本技术路线图（方框原理图或程序流程图） 数据仓库，由数据仓库之父W.H.Inmon于1990年提出，主要功能仍是将组织透过资讯系统之联机交易处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料储存架构，作一有系统的分析
整理，以利各种分析方法如线上分析处理(OLAP)、数据挖掘(Data Mining)之进行，并进而支持如决策支持系统(DSS)、主管资讯系统(EIS)之创建，帮助决策者能快速有效的自大量资料中，分析出有价值的资讯，以利决策拟定及快速回应外在环境变动，帮助建构商业智能(BI)。 三、所用仪器、材料（设备名称、型号、规格等或使用软件） 1台PC及Microsoft SQL Server套件 四、实验方法、步骤（或：程序代码或操作过程） --建立数据 USE master CREATE DATABASE [DW] ON PRIMARY ( NAME = N'DW', FILENAME = N'E:\DW.mdf' ) LOG ON ( NAME = N'DW_log', FILENAME = N'E:\DW_log.ldf' ) GO USE DW -------------------------------- --1、建维表 /*1.1 订单方式*/ CREATE TABLE DIM_ORDER_METHOD (ONLINEORDERFLAG INT,DSC VARCHAR(20)) /*1.2 销售人员及销售地区*/ CREATE TABLE DIM_SALEPERSON (SALESPERSONID INT, DSC VARCHAR(20), SALETERRITORY_DSC VARCHAR(50)) /*1.3 发货方式*/ CREATE TABLE DIM_SHIPMETHOD (SHIPMETHODID INT,DSC VARCHAR(20)) /*1.4 订单日期*/ CREATE TABLE DIM_DATE (TIME_CD VARCHAR(8), TIME_MONTH VARCHAR(6), TIME_YEAR VARCHAR(6), TINE_QUAUTER VARCHAR(8), TIME_WEEK VARCHAR(6), TIME_XUN VARCHAR(4)) /*1.5 客户*/ CREATE TABLE DIM_CUSTOMER (CUSTOMERID INT,
互联网大数据与传统数据仓库技术比较研究 韩路 1.Hadoop技术简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，是目前全世界最主流的大数据应用平台。以分布式文件系统（HDFS）和MapReduce为核心的Hadoop，目前已整合了其他重要组件如Hive、HBase、Spark，以及统一资源调度管理组件Yarn，形成了一个完成的Hadoop产品生态圈。 1.1.HDFS HDFS是一个分布式文件系统，可设计部署在低成本硬件上。它可以通过提供高吞吐率支持大量数据的批量处理，同时支持应用程序流式访问系统数据。 1.2.MapReduce MapReduce是一种编程模型，用于大规模数据机的并行运算。MapReduce可以将一个任务分发到Hadoop平台各个节点上并以一种可靠容错的方式并行处理大量数据集，实现Hadoop的并行任务处理功能。 1.3.Hive Hive是用于对Hadoop中文件进行数据整理、特殊查询和分析储存的工具。Hive提供了一种结构化数据的机制，支持类似传统结构化数据库中SQL元的查询语言，帮助熟悉SQL的用户查询HDFS中数据。 1.4.HBase HBase是一个分布式的、列式储存的开源数据库。HBase不同于传统关系型数据库，适合非结构化数据储存，同时可以为一个数据行定义不同的列。HBase 主要用于需要随机访问、实时读写的大数据。 1.5.Spark Spark是基于内存计算的分布式计算框架。Spark提出了RDD概念，弥补了MapReduce在并行计算各个阶段无法进行有效数据共享的缺陷。同时，Spark形成了自己的生态系统：SparkSQL、SparkStreaming、MLlib，并完全兼容Hadoop 生态系统。
数据仓库建设步骤 1.系统分析，确定主题 确定一下几个因素： 操作出现的频率，即业务部门每隔多长时间做一次查询分析。 在系统中需要保存多久的数据，是一年、两年还是五年、十年 用户查询数据的主要方式，如在时间维度上是按照自然年，还是财政年。 用户所能接受的响应时间是多长、是几秒钟，还是几小时。 2.选择满足数据仓库系统要求的软件平台 选择合适的软件平台，包括数据库、建模工具、分析工具等。有许多因素要考虑，如系统对数据量、响应时间、分析功能的要求等，以下是一些公认的选择标准： 厂商的背景和支持能力，能否提供全方位的技术支持和咨询服务。 数据库对大数据量（TB级）的支持能力。 数据库是否支持并行操作。 能否提供数据仓库的建模工具，是否支持对元数据的管理。 能否提供支持大数据量的数据加载、转换、传输工具（ETT）。 能否提供完整的决策支持工具集，满足数据仓库中各类用户的需要。 3.建立数据仓库的逻辑模型 具体步骤如下： 1)确定建立数据仓库逻辑模型的基本方法。 2)基于主题视图，把主题视图中的数据定义转到逻辑数据模型中。 3)识别主题之间的关系。 4)分解多对多的关系。 5)用范式理论检验逻辑数据模型。 6)由用户审核逻辑数据模型。 4.逻辑数据模型转化为数据仓库数据模型 具体步骤如下： 1)删除非战略性数据：数据仓库模型中不需要包含逻辑数据模型中的全部数据项，某些用于操作 处理的数据项要删除。 2)增加时间主键：数据仓库中的数据一定是时间的快照，因此必须增加时间主键。 3)增加派生数据：对于用户经常需要分析的数据，或者为了提高性能，可以增加派生数据。
4)加入不同级别粒度的汇总数据：数据粒度代表数据细化程度，粒度越大，数据的汇总程度越高。 粒度是数据仓库设计的一个重要因素，它直接影响到驻留在数据仓库中的数据量和可以执行的 查询类型。显然，粒度级别越低，则支持的查询越多；反之，能支持的查询就有限。 5.数据仓库数据模型优化 数据仓库设计时，性能是一项主要考虑因素。在数据仓库建成后，也需要经常对其性能进行监控，并随着需求和数据量的变更进行调整。 优化数据仓库设计的主要方法是： 合并不同的数据表。 通过增加汇总表避免数据的动态汇总。 通过冗余字段减少表连接的数量，不要超过3~5个。 用ID代码而不是描述信息作为键值。 对数据表做分区。 6.数据清洗转换和传输 由于业务系统所使用的软硬件平台不同，编码方法不同，业务系统中的数据在加载到数据仓库之前，必须进行数据的清洗和转换，保证数据仓库中数据的一致性。 在设计数据仓库的数据加载方案时，必须考虑以下几项要求： 加载方案必须能够支持访问不同的数据库和文件系统。 数据的清洗、转换和传输必须满足时间要求，能够在规定的时间范围内完成。 支持各种转换方法，各种转换方法可以构成一个工作流。 支持增量加载，只把自上一次加载以来变化的数据加载到数据仓库。 7.开发数据仓库的分析应用 建立数据仓库的最终目的是为业务部门提供决策支持能力，必须为业务部门选择合适的工具实现其对数据仓库中的数据进行分析的要求。 信息部门所选择的开发工具必须能够： 满足用户的全部分析功能要求。数据仓库中的用户包括了企业中各个业务部门，他们的业务不同，要求的分析功能也不同。如有的用户只是简单的分析报表，有些用户则要求做预 测和趋势分析。 提供灵活的表现方式。分析的结果必须能够以直观、灵活的方式表现，支持复杂的图表。 使用方式上，可以是客户机/服务器方式，也可以是浏览器方式。 事实上，没有一种工具能够满足数据仓库的全部分析功能需求，一个完整的数据仓库系统的功能可能是由多种工具来实现，因此必须考虑多个工具之间的接口和集成性问题，对于用户来说，希望看到的是一致的界面。 8.数据仓库的管理
３１３ 二 ○一一年第三十三期 华章 Magnificent Writing 数据仓库构建技术 王萌 （南京晓庄学院，江苏南京210000） ［摘要］该文从数据仓库的定义着手，结合数据仓库的通用体系结构，总结、探究了普通数据仓库和空间数据仓 库的构建方法、模型及关键要点。 ［关键词］普通数据仓库；空间数据仓库；构建；数据模型随着不同的管理信息系统（MIS ）在企业不同部门的大规模 应用及企业对数据管理不断提出新的要求，不仅要求能实现传统的联机事务处理，而且越来越多的要求是各种应用系统能够在企业不断积累的以及从企业外部获取的丰富信息资源的基础上，把这些分散的、不一致的、凌乱的信息资源加以利用，即更多地参与数据分析和决策支持，由此出现了一种用于数据分析处理和决策支持的数据存储和组织技术，即数据仓库技术。 1、什么是数据仓库 数据仓库是面向主题的、集成的、具有时间特征的、稳定的数据集合，用以支持经营管理中的决策制定过程。数据仓库提供用户用于决策支持的当前和历史数据，这些数据在传统的操作型数据库中很难或不能得到。 面向主题是指数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。集成的是指数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。 数据仓库的体系结构分数据源、数据转换、数据仓库、数据集市和用户几部分。数据源，包括企业内部的业务数据、遗留数据、其它业务系统数据及相关WEB 数据等；数据转换是数据仓库构建的重要环节，主要是对各种复杂的数据源进行抽取、转换、装载及其他处理，同时要实现数据质量跟踪监控以及元数据抽取与创建等工作；数据仓库主要实现对各种数据的组织、存储及管理等；数据集市是为不同业务而单独设计的数据仓库系统，即开发者为企业内部的不同用户群定制特殊的数据仓库子系统。用户部分，即具体面向使用者的应用部分，主要是指数据仓库存取与检索为用户提供了访问数据仓库或数据集市的功能，其中分析与报告为用户使用数据仓库提供了一组工具，用于帮助用户对数据仓库或数据集市进行联机分析或数据挖掘等。 2、数据仓库构建方法 2.1普通数据仓库构建方法。对于普通数据仓库的构建，企业在对整个系统的建设综合各种因素的基础上，将整个项目的实施分阶段、分步骤实施，可以在每一阶段建设的基础上分阶段纳入不同的业务系统，逐步建立起一个综合的、专题较为完善的、适合部门、子单位使用的完整的数据仓库系统，从而才能使投资尽快获得收益。 在数据仓库的构建过程中，利用模糊数学可实现数据仓库内数据的语义表示，丰富数据加工的手段，提高分析处理的能力。数据仓库的构建，一般采取先构建数据集市，最后将各个数据集市整合在一起形成数据仓库的渐进模式；通过概念层、逻辑层、物理层建模，确定相关主题域的数据集市并对其进行联机分析处理。构建数据仓库模型一般采用以下几种： 2.1.1星型模型：星型模型是最常用的数据仓库设计结构的实现模式。使数据仓库形成了一个集成系统，为用户提供分析服务对象。该模型的核心是事实表，围绕事实表的是维度表。通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。 2.1.2星系模型(也称雪花模型)：雪花模型对星型模型的维度表进一步标准化，对星型模型中的维度表进行了规范化处理。同时也是对星型模型的扩展，每一个维度都可以向外连接到多 个详细类别表。在实际应用中，用户的需求多种多样，数据来源可能为多个事实表，故可采用多个事实表共存，之间通过公用的维表相关联的星系模型，也称为事实星座。 2.1.3原子级数据模型和汇总级数据模型并存：坚持原子级数据模型和汇总级数据模型并存，而且要尽可能地细化原子级数据。 2.1.4设立代理键：代理键是维表中一些没有业务含义的字段，只是一个由数据仓库加载程序时建立的数字。 2.2空间数据仓库构建方法。随着GIS （地理信息系统）在各行业的广泛应用，最初面向事务处理为主的空间数据库信息系统已不能满足需要，信息系统开始从管理转向决策处理，空间数据仓库就是为满足这种新的需求而提出的空间信息集成系统。尤其是地理信息决策支持系统中，空间数据仓库系统显得尤为重要。 空间数据仓库具有普通数据仓库的普遍特征，但其本身有一些特殊性。并且空间数据仓也并不是空间数据库的简单集合。与空间数据库比，空间数据仓除支持数据库外，还支持数据文件、文本文件、应用程序等众多数据源；另外空间数据仓库中的数据有时间数据、空间数据、属性数据及异构数据等多种数据；其次空间数据仓库中还包括了数据处理规则、算法等；再次空间数据仓库的数据是对原始数据进行加工、处理、集成等转换，是对数据的增值和统一；空间数据库还引入了时间纵的概念，它是以时间为基准来管理数据，可以截取不同时间尺度上的信息，从瞬态到区段时间直到全体，空间数据仓库是依赖于时间维的数据结构，它可以根据不同的需要划分不同的时间粒度等级，以便进行各种复杂的趋势分析。当然，不言而喻，它还包含了空间维的方位数据。正因为空间数据仓库与普通数据仓库的不同，并且它以空间数据仓库完全不是相同的概念，一般空间数据仓库以如下体系结构分为四大功能模块，分别是源数据、数据变换工具、空间数据仓库、客户端分析工具。源数据它不仅指那些常见的空间数据库，还包括文件、网页、知识库、遗留系统等各种数据源。数据变换工具与具有普通数据仓库数据变换相同的提取转换功能，但它还包括了特有的空间变换等。空间数据仓库以立体、多维的方式来组织和显示数据。但最基本的空间维和时间维是其反映客观世界动态变化的基础，空间数据仓库技术最关键要点也就是时间维和空间维数据组织方式。目前空间数据仓库已成为国、内外GIS （地理信息系统）研究的热点并取得了较大进展。要把空间信息融合进企业现有的数据仓库中，在原有系统不作较大改动的前提下，一般采用三种模式构建企业空间数据仓库：（1）把空间信息作为多维模型中的空间维引入；（2）把空间信息作为研究主题引入；（3）在维和度量中都包含空间信息。因此，计算并存储所有空间度量是不现实的。一般使用空间索引树(如R —tree )在最细空间粒度上构建分组层次，作为空间维的分层，每个空间维需要建立一棵空间索引树。 3、结束语总之，数据仓库构建是数据仓库技术的关键，数据仓库技术是一项基于数据管理和利用的综合性技术和解决方案，尤其是现在空间数据仓库在GIS 中的广泛应用，它成为数据库市场的新一轮增长点，同时也成为下一代信息系统的重要组成部分。
一、数据仓库 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 1、数据仓库是面向主题的；操作型数据库的数据组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。 2、数据仓库是集成的，数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出数据仓库的核心工具来，进行加工与集成，统一与综合之后才能进入数据仓库； 数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。 数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。 数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到当前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。 3、数据仓库是不可更新的，数据仓库主要是为决策分析提供数据，所涉及的操作主要是数据的查询； 4、数据仓库是随时间而变化的，传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存，且不随时间改变。 5、汇总的。操作性数据映射成决策可用的格式。 6、大容量。时间序列数据集合通常都非常大。 7、非规范化的。Dw数据可以是而且经常是冗余的。 8、元数据。将描述数据的数据保存起来。 9、数据源。数据来自内部的和外部的非集成操作系统。 二、数据仓库的特点要求 数据仓库，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、为了决策需要而产生的，它并不是所谓的“大型数据库”。数据仓库的方案建设的目的，是为前端查询和分析作为基础，由于有较大的冗余，所以需要的存储也较大。为了更好地为前端应用服务，数据仓库往往有如下几点特点： 1. 效率足够高。 数据仓库的分析数据一般分为日、周、月、季、年等，可以看出，日为周期的数据要求的效率最高，要求24小时甚至12小时内，客户能看到昨天的数据分析。由于有的企业每日的数据量很大，设计不好的数据仓库经常会出问题，延迟1-3日才能给出数据，显然不行的。