数据仓库的基本架构

２００６年８月　第４期　江西科技师范学院学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｊｉａｎｇｘｉ　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ　Ａｕｇ．，２００６　Ｎｏ．４　

一种主动实时数据仓库的体系架构分析　

张磊，王备战　（厦门大学软件学院，福建３６１００５）　

摘要：传统数据仓库的主要目标是从不同的异构数据源中分析并提取商业战略信息，在传统的数据仓库中，数　据不能及时从源系统导入，成功地做出决策会有延时。主动实时数据仓库的提出用来零延时地获取数据和减少正　确做出商业决策的时间。本文讨论了主动实时数据仓库与传统数据仓库的区别并进行分析，最终介绍了一种改进　的主动实时数据仓库体系结构。　关键词：传统数据仓库；实时数据仓库；主动实时；体系结构　中圈分类号：ＴＰ３ｌ１　文献标识码：Ａ　文章编号：１００７—３５５８（２０ｏ６）ｏ４－ｏｌ１１一ｏ４　

１　引言　在信息化时代的今天，计算机发展日新月异。电　子信息数据已经以爆炸般的速度膨胀，存在于各行　各业的各个环节中。数据的丰富带来的是对强有力　的数据分析工具的需求。快速增长的海量数据被收　集、存放在大型和大量的数据库中。如没有强有力的　工具，理解它们已经远远超出了人的能力。此时。伴　随着海量存储容量的不断提升、ＣＰＵ运算速率的飞　跃发展以及分布集群技术的不断成熟。数据仓库技　术也开始作为计算机软件技术的重要分支登上了这　个时代的舞台。　数据仓库经过多年的发展，其技术也日趋成熟，　己在商务活动中发挥重要的作用。数据仓库不是为　了存储数据，而是为决策支持及更好地组织企业内　所有可能收集到的数据。据美国国际数据公司调查，　使用该技术的投资回报率平均超过４００％。然而随　着市场竞争的加剧。人们越来越关注信息的实时性，　“时间就是金钱”再次成为商业社会的至理名言。但　是当前的数据仓库系统通常只能分析历史数据，而　且数据抽取周期过长，极大地降低了企业的应变能　力。难以反映瞬息万变的市场变化，实时数据仓库的　出现改变了这个局面。　第一代数据仓库着眼于面向批处理的决策支持　能力，第二代带来了联机分析和数据挖掘【　１，下一代　数据仓库【２］。则是以加速信息循环周期、消除信息延　时．使不同水平的用户能更用效地利用及时信息而　出现的实时数据仓库。实时数据仓库是主动的、动态　的数据仓库，它整合了数据仓库和业务系统，提供随　需应变的业务。实时数据仓库为诸多企业业务处理　过程带来好处，例如：收益管理、反欺诈、商务活动监　控、业务流程管理等。根据Ｇａｒｔｎｅｒ的研究报告，实时　企业（ｒｅａｌ—ｔｉｍｅ　ｅｎｔｅｒｐｒｉｓｅ）己成为趋势，企业具备实　时决策的能力将成为市场竞争的最佳武器，目前，己　经没有企业不受此影响。而实时数据仓库将成为实　时企业不可或缺的基础。为此，我们有必要对主动实　时数据仓库的体系结构及构建技术进行探索和研　究。　２主动实时数据仓库概念及其体系架构　２．１基本概念　实时数据仓库ＲＴＤＷ（Ｒｅａｌ－Ｔｉｍｅ　Ｄａｔａ　Ｗａｒｅｈｏｕｓｅ），也就是所谓的“零延迟数据仓库环境”　的一部分Ｐ１．最早是Ｍｉｃｈａｅｍ　Ｈａｉｓｔｅｎ（一名ＢＩ专家）　提出的。他对实时数据仓库的分类和架构有详细的　描述【４】。　现在逐渐提出了实时数据仓库的概念，主要的　思想就是：在数据仓库中，将保存的数据分为两类，　

数据仓库的架构方式及其比较

数据仓库的架构方式及其比较

传统的关系数据库一般采用二维数表的形式来表示数据，一个维是行，另一个维是列，行和列的交叉处就是数据元素。关系数据的基础是关系数据库模型，通过标准的SQL语言来加以实现。

数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方式，但不管是哪一种架构，维度表、事实表和事实表中的量度都是必不可少的组成要素。下面解析由这些要素构成的数据仓库的架构方式。

1．星形架构

星形模型是最常用的数据仓库设计结构的实现模式，它使数据仓库形成了一个集成系统，为最终用户提供报表服务，为用户提供分析服务对象。星形模式通过 使用一个包含主题的事实表和多个包含事实的非正规化描述的维度表来支持各种决策查询。星形模型可以采用关系型数据库结构，模型的核心是事实表，围绕事实表 的是维度表。通过事实表将各种不同的维度表连接起来，各个维度表都连接到中央事实表。维度表中的对象通过事实表与另一维度表中的对象相关联这样就能建立各 个维度表对象之间的联系。每一个维度表通过一个主键与事实表进行连接，如图3-10所示。

图3-10 星形架构示意图

事实表主要包含了描述特定商业事件的数据，即某些特定商业事件的度量值。一般情况下，事实表中的数据不允许修改，新的数据只是简单地添加进事实表 中，维度表主要包含了存储在事实表中数据的特征数据。每一个维度表利用维度关键字通过事实表中的外键约束于事实表中的某一行，实现与事实表的关联，这就要

求事实表中的外键不能为空，这与一般数据库中外键允许为空是不同的。这种结构使用户能够很容易地从维度表中的数据分析开始，获得维度关键字，以便连接到中 心的事实表，进行查询，这样就可以减少在事实表中扫描的数据量，以提高查询性能。

在AdventureWorksDW数据仓库中，若以网络销售数据为事实表，把与网络销售相关的多个商业角度（如产品、时间、顾客、销售区域和促销 手段等）作为维度来衡量销售状况，则这些表在数据仓库中的构成如图3-11所示，可见这几个表在数据仓库中是以星形模型来架构的。

数据仓库的介绍（数据仓库和数据库的区别）

数据仓库的介绍

⼀、数据仓库的基本概念

数据仓库，英⽂名称为Data Warehouse，可简写为DW或DWH。数据仓库顾名思义，是⼀个很⼤的数据存储集合，出于企业的分析性报告

和决策⽀持⽬的⽽创建，对多样的业务数据进⾏筛选与整合。它为企业提供⼀定的BI（商业智能）能⼒，指导业务流程改进、监视时间、成

本、质量以及控制。

数据仓库的输⼊⽅是各种各样的数据源，最终的输出⽤于企业的数据分析、数据挖掘、数据报表等⽅向。

⼆、数据仓库的主要特征

数据仓库是⾯向主题的（Subject-Oriented ）、集成的（Integrated）、稳定的（Non-Volatile）和时变的（Time-Variant ）数据集合，⽤以

⽀持管理决策。

1.主题性

不同于传统数据库对应于某⼀个或多个项⽬，数据仓库根据使⽤者实际需求，将不同数据源的数据在⼀个较⾼的抽象层次上做整合，所有数

据都围绕某⼀主题来组织。

这⾥的主题怎么来理解呢？⽐如对于城市，“天⽓湿度分析”就是⼀个主题，对于淘宝，“⽤户点击⾏为分析”就是⼀个主题。

2.集成性

数据仓库中存储的数据是来源于多个数据源的集成，原始数据来⾃不同的数据源，存储⽅式各不相同。要整合成为最终的数据集合，需要从

数据源经过⼀系列抽取、清洗、转换的过程。

3.稳定性

数据仓库中保存的数据是⼀系列历史快照，不允许被修改。⽤户只能通过分析⼯具进⾏查询和分析。这⾥说明⼀点，数据仓库基本上是不许

允许⽤户进⾏修改，删除操作的。⼤多数的场景是⽤来查询分析数据。

4.时变性

数据仓库会定期接收新的集成数据，反应出最新的数据变化。这和稳定特点并不⽭盾。

三、数据仓库与数据库区别

1、数据库

数据库是⾯向交易的处理系统，它是针对具体业务在数据库联机的⽇常操作，通常对记录进⾏查询、修改。⽤户较为关⼼操作的响应时间、

数据的安全性、完整性和并发⽀持的⽤户数等问题。传统的数据库系统作为数据管理的主要⼿段，主要⽤于操作型处理，也被称为联机事务

第１０卷第４期　２０ｌ１年４月　Ｖ０１．１０ＮＯ．４　ＡＤｒ．２０ｌｌ　

基于数据仓库的商业银行反洗钱系统的架构　

汪　婷　

（上海建桥学院，上海２０１３１９）　

摘　要：主要阐述了银行搭建统一基础数据平台的必要性和深度挖掘“客户效益”所起的作用，对构建企业级数据仓　

库平台及实现银行反洗钱系统按层作了的详细的设计。　关键词：数据仓库；反洗钱；ＥＴＬ；Ｂｕｓｉｎｅｓｓ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　中图分类号：ＴＰ３０９　文献标识码：Ａ　文章编号：１６７２—７８００（２０１１）０４—０１６０—０３　

１反洗钱系统的构建　

１．１构建目标　构建商业银行企业级数据仓库系统的总体目标分为　

以下２点：①构建统一的数据平台；②集成现有的核心业　

务系统、外围业务系统、管理业务系统、前置系统等数据，　

并进行一致性和完整性整合处理，按主题进行数据重组和　

格式转换，为银行管理层提供一个真正涵盖全部业务的统　

一视图，从物理和逻辑上满足数据仓库的建设要求。　

构建统一的应用平台。通过完整的系统规划和设计，　

构造完善的系统体系结构和技术框架，保证系统的可扩充　

性和稳定性。按照用户的分析需求，使用报表、随机查询、　

多维分析和数据挖掘和门户集成等多种方式进行数据展　

现。　

１．２目标定位　商业银行反洗钱工作的主要目标定位在：通过检查确　

认银行在反洗钱内部控制制度的制定、执行等各个环节存　

在的缺陷，促进银行加强管理、降低经营风险；通过对银行　

交易数据的检查，发现洗钱等金融犯罪活动的线索，联合　

其他监管机构对此类范围活动进行打击，以维护公众利　

益，保障金融安全。　

反洗钱系统平台作为开展反洗钱信息监控报告工作　

的核心，并保证反洗钱系统的稳定性、可靠性、安全性及可　

扩展性。具备特点如下：①商业的全辖业务、反洗钱监控　

报告信息的ＥＴＬ；②本外币、大额与可疑交易的统一平　

台；③可疑交易量化模型；④集中的信息数据存储；⑤灵活　

的计算引擎；⑥可扩展的规则引擎；⑦自动化的流程引擎；