数据仓库的基本架构

２００６年８月　第４期　江西科技师范学院学报　Ｊｏｕｒｎａｌ　ｏｆ　Ｊｉａｎｇｘｉ　Ｓｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ　Ａｕｇ．，２００６　Ｎｏ．４　

一种主动实时数据仓库的体系架构分析　

张磊，王备战　（厦门大学软件学院，福建３６１００５）　

摘要：传统数据仓库的主要目标是从不同的异构数据源中分析并提取商业战略信息，在传统的数据仓库中，数　据不能及时从源系统导入，成功地做出决策会有延时。主动实时数据仓库的提出用来零延时地获取数据和减少正　确做出商业决策的时间。本文讨论了主动实时数据仓库与传统数据仓库的区别并进行分析，最终介绍了一种改进　的主动实时数据仓库体系结构。　关键词：传统数据仓库；实时数据仓库；主动实时；体系结构　中圈分类号：ＴＰ３ｌ１　文献标识码：Ａ　文章编号：１００７—３５５８（２０ｏ６）ｏ４－ｏｌ１１一ｏ４　

１　引言　在信息化时代的今天，计算机发展日新月异。电　子信息数据已经以爆炸般的速度膨胀，存在于各行　各业的各个环节中。数据的丰富带来的是对强有力　的数据分析工具的需求。快速增长的海量数据被收　集、存放在大型和大量的数据库中。如没有强有力的　工具，理解它们已经远远超出了人的能力。此时。伴　随着海量存储容量的不断提升、ＣＰＵ运算速率的飞　跃发展以及分布集群技术的不断成熟。数据仓库技　术也开始作为计算机软件技术的重要分支登上了这　个时代的舞台。　数据仓库经过多年的发展，其技术也日趋成熟，　己在商务活动中发挥重要的作用。数据仓库不是为　了存储数据，而是为决策支持及更好地组织企业内　所有可能收集到的数据。据美国国际数据公司调查，　使用该技术的投资回报率平均超过４００％。然而随　着市场竞争的加剧。人们越来越关注信息的实时性，　“时间就是金钱”再次成为商业社会的至理名言。但　是当前的数据仓库系统通常只能分析历史数据，而　且数据抽取周期过长，极大地降低了企业的应变能　力。难以反映瞬息万变的市场变化，实时数据仓库的　出现改变了这个局面。　第一代数据仓库着眼于面向批处理的决策支持　能力，第二代带来了联机分析和数据挖掘【　１，下一代　数据仓库【２］。则是以加速信息循环周期、消除信息延　时．使不同水平的用户能更用效地利用及时信息而　出现的实时数据仓库。实时数据仓库是主动的、动态　的数据仓库，它整合了数据仓库和业务系统，提供随　需应变的业务。实时数据仓库为诸多企业业务处理　过程带来好处，例如：收益管理、反欺诈、商务活动监　控、业务流程管理等。根据Ｇａｒｔｎｅｒ的研究报告，实时　企业（ｒｅａｌ—ｔｉｍｅ　ｅｎｔｅｒｐｒｉｓｅ）己成为趋势，企业具备实　时决策的能力将成为市场竞争的最佳武器，目前，己　经没有企业不受此影响。而实时数据仓库将成为实　时企业不可或缺的基础。为此，我们有必要对主动实　时数据仓库的体系结构及构建技术进行探索和研　究。　２主动实时数据仓库概念及其体系架构　２．１基本概念　实时数据仓库ＲＴＤＷ（Ｒｅａｌ－Ｔｉｍｅ　Ｄａｔａ　Ｗａｒｅｈｏｕｓｅ），也就是所谓的“零延迟数据仓库环境”　的一部分Ｐ１．最早是Ｍｉｃｈａｅｍ　Ｈａｉｓｔｅｎ（一名ＢＩ专家）　提出的。他对实时数据仓库的分类和架构有详细的　描述【４】。　现在逐渐提出了实时数据仓库的概念，主要的　思想就是：在数据仓库中，将保存的数据分为两类，　

第１０卷第４期　２０ｌ１年４月　Ｖ０１．１０ＮＯ．４　ＡＤｒ．２０ｌｌ　

基于数据仓库的商业银行反洗钱系统的架构　

汪　婷　

（上海建桥学院，上海２０１３１９）　

摘　要：主要阐述了银行搭建统一基础数据平台的必要性和深度挖掘“客户效益”所起的作用，对构建企业级数据仓　

库平台及实现银行反洗钱系统按层作了的详细的设计。　关键词：数据仓库；反洗钱；ＥＴＬ；Ｂｕｓｉｎｅｓｓ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　中图分类号：ＴＰ３０９　文献标识码：Ａ　文章编号：１６７２—７８００（２０１１）０４—０１６０—０３　

１反洗钱系统的构建　

１．１构建目标　构建商业银行企业级数据仓库系统的总体目标分为　

以下２点：①构建统一的数据平台；②集成现有的核心业　

务系统、外围业务系统、管理业务系统、前置系统等数据，　

并进行一致性和完整性整合处理，按主题进行数据重组和　

格式转换，为银行管理层提供一个真正涵盖全部业务的统　

一视图，从物理和逻辑上满足数据仓库的建设要求。　

构建统一的应用平台。通过完整的系统规划和设计，　

构造完善的系统体系结构和技术框架，保证系统的可扩充　

性和稳定性。按照用户的分析需求，使用报表、随机查询、　

多维分析和数据挖掘和门户集成等多种方式进行数据展　

现。　

１．２目标定位　商业银行反洗钱工作的主要目标定位在：通过检查确　

认银行在反洗钱内部控制制度的制定、执行等各个环节存　

在的缺陷，促进银行加强管理、降低经营风险；通过对银行　

交易数据的检查，发现洗钱等金融犯罪活动的线索，联合　

其他监管机构对此类范围活动进行打击，以维护公众利　

益，保障金融安全。　

反洗钱系统平台作为开展反洗钱信息监控报告工作　

的核心，并保证反洗钱系统的稳定性、可靠性、安全性及可　

扩展性。具备特点如下：①商业的全辖业务、反洗钱监控　

报告信息的ＥＴＬ；②本外币、大额与可疑交易的统一平　

台；③可疑交易量化模型；④集中的信息数据存储；⑤灵活　

的计算引擎；⑥可扩展的规则引擎；⑦自动化的流程引擎；　

深入浅出数据仓库平台统一架构　一文，蒋杰　作者简介：　蒋杰．支付宝ＢＩ首席架构　师，主要研究方向为分布　式数据库　行业数据建　模、高并发查询系统架构　设计　实时数据仓库。　个人博客ｈｔｔｐ：／／ｗｗｗ．　ｂｉｎｏｔｅｓ　ｎｅｔ。　

７４　程序员　随　塞　ＢＩ系统价值的反思　Ｂｌ系统作为企业基本信息系统之一，它的价　值是显而易见的。但在大多数情况下，建设部门　和业务部门的关注点不同。Ｂｌ建设部门（如数据　平台部）只关注数据仓库系统各种能力的建设、　改进和提高，这种能力恰恰是业务价值的基础。　业务部门则从业务价值角度考虑，以对ＢＩ实际工　作促进为目标，结果导致ＢＩ系统评价的偏差。　这个偏差也是很多数据仓库项目失败的根　本原因，其实业务需求是支撑ＢＩ系统建设最有效　的催化剂，而这种ＢＩ需求以前仅仅只是内部客户　（业务部门），而现在也有一直来自于外部客户　（如商户或者大客户）的数据查询、数据分析需　求，如何了解好业务的需求、弄清楚来自客户的　最大痛处，如何为客户提高效率、控制客户实施　风险，这是我们系统建设者和规则制定者在系统　建设前期必需下的工夫。　经过反思以后应该去关注的问题有：　・如何选用一个完整的解决方案来满足快速　增长的数据？　・如何选用高效的数据库来满足数据仓库的　应用？　・如何让基本价值和业务价值得到统一？　・如何规划ＢＩ系统的长期行进路线？　・如何建立廉价、高扩展性的系统架构？　・如何建立自有开发标准？　ＢＩ平台行业解决方案　经过几年Ｂｌ系统建设，我们慢慢摸索出了自　己的一套ＢＩ行业解决方案，来支持大型数据仓库　建设，经过归纳，Ｂｌ行业解决方案可以分为下面　八个部分。　・数据分发中心方案：Ｇａｅａ系统。　・底层的解决方案：混合数据仓库模式、自　定义ＳＱＬ标准。　・ＥＴＬ调度系统方案：Ｓｃｈｅｄｕｌｅ　Ｓｅｒｖｅｒ系统。　・数据模型设计方案：ＤＷ五层数据模型、　ＣＤＷ架构。　・统－－１＂３户方案：数据门户平台。　・元数据管理方案：元数据平台。　・监控和审计方案：监控和任务平台。　・用户帮助系统方案：知识库平台。　综上所述，只有八者合一，才能构成完整的　企业级行业解决方案。　数据分发中心　在大型企业环境下，因为不同业务应用系统　建设的时阃不同，乒斤采甩的数据库也不同，所以　对于数据仓库的数据来源也不同，这给我们进行　数据抽取和装载带来一定的困难。　下面来看一下支付宝数据来源情况。　・不同类型源数据获取：源数据库有　０ｒａｃｌｅ、ＳＱＬ　Ｓｅｒｖｅｒ、ＭｙＳＱＬ、ＰｏｓｔｇｒｅＳＱＬ　等，源文件有带分隔符文件、定长文件等外部文　件导入。　・每个数据库或者数据文件字符编码不同，

© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. 第增刊为句争拒脚亡”匆抬计算机工程年月软件技术与教据库文二号。盼刁冷刊司,同文公标识殊中日分类号实时数据仓库体系架构的研究张俊张忠住上海交通大学软件学院上海摘共传统数据仓库由数据仓库数据集市和工具组成实时数据仓库扩展了传统数据仓库的适用范围能给企业提供关于日常战术操作的技术支持该文讨论了实时数据仓库的几种体系实现并同传统数据仓库体系进行了比较和分析通过对偷求技术性能等方面的分析提出了比较可行的实时数据仓库体系结构关拍侧数据仓库传统数据仓库实时数据仓库数据集市数据挖掘一丫耐一留一、、一”的心团嘟峨叮协。,随着信息技术的不断发展海量数据不断捅现且数据还正以几何级数增长企业迫切需要高效精确科学的分析数据数据仓库能等技术不断发展给企业分析数据作出科学决策提供了支持传统数据仓库系统中通过对历史数据的聚合及分析可以为企业提供如明年将采用何种营销策略等战略型决策支持而客户需求的不断发展也对上述技术提出了挑战实时数据仓库这一在传统数据仓库上发展起来的新数据仓库体系架构也得到了广泛认可所谓实时即数据实时从下系统中载入数据仓库用户还可以实时获取客户信息从而支持如查询当前客户信息给客户灵活的定价和折扣等战术性决策本文将对传统数据仓库体系架构及实时数据仓库体系架构进行比较对需求技术性能等方面进行研究对实时数据仓库体系结构提出了一些自己的观点传统教据仓库体不架构传统数据仓库由洋数据仓库数据集市和工具组成操作型数据从系统中在晚间的批处理中载入然后将中的数据经过晚间的批处理通过分段传输和集中处理存入数据仓库数据仓库将数据提供给由部门或分析小组区分的数据集市工具在数据仓库或数据集市的基础上提供分析或报表及数据挖掘处理图显示了传统数据仓库的通用结构一种实时数据仓库体系架构现在一些实时数据仓库架构则提倡操作型数据在事件产生时即由系统直接载入到数据仓库而不是像传统数据仓库那样在晚间的批处理任务中将操作型数据由载入到这样就保证了数据仓库的实时更新而且可以省去这一中间区域一些人甚至建议不需要数据集市而直接在数据仓库上完成分析查询这也就是说实时数据仓库摒弃了前面的分布在不同系统上的数据仓库和数据集市体系呵将它们合并到一个大的数据数据仓库中所有满足不同部门和分析小组需要的战术查询和战略查询都直接在实时数据仓库土完成现有的工具提供了将实时数据从系统中抽取到数据仓库的可能而大型基于的硬件和数据库厂商也