异构数据库技术的研究与实践

ＴＥＣＨＮＯＬＯＧＹ　技术应用　基于中闻件的畀构数据库数据集成技术研究及实现　摘要：当前，所涉及到的各个级别部门之间，都会产生不同的数据库系统、数据分散等现　象，极大地影响到了数据的安全以及数据的共享，导致在一定程度上耗散了资源资金。本文主　要对数据库所产生的集成以及异构问题的需求，给予相应的ＸＭＬ中间件技术的集成模型．此模　型具体的构成部分为应用层、中间件层以及数据源层。并将基于中间件的异构数据库数据集成　技术研究及实现为基本点，进行详细的分析。　关键词：中间件；异构数据库；数据集成技术　一、中间件体系结构设计思想　ＸＭＬ为可扩展性标记语言，是开放的描述手段而形成的　数据结构，对数据内容进行表述的过程中，可以凸显结构的　描述状况，拥有着跨平台的特点，能够在系统与系统之间，　充分地交换异构的非结构化以及结构化数据，将ＸＭＬ定义为　数据交换当中的中间格式，可以将新型思路作用在异构数据　库集成当中。ＸＭＬ数据集成中间件，具体会呈现在集成平台　客户端以及异构数据源之问。向下，会将查询请求发送给各　个异构数据库中，同时正确的接受所查询出来的数据交换接　口；向上，对集成平台客户所发出的需求有所接受…。　异构数据源数据层属于完全在数据集成中参加的异构　数据库。其所具备的异构性具体包含：各异的数据库管理系　统，例如：Ｏｒａｃｌｅ、Ａｃｃｅｓｓ、ＳｑｌＳｅｒｖｅｒ等。相同形式下的数　据库管理系统在结构以及数据语义方面，有着不同的表示方　法，并且在地域分布和网络环境上也有着不同之处。平台客　户端应用层是集成数据库平台或者Ｗｅｂ浏览器的客户端，能　够将数据访问作用在统一形式下的全局数据模式中。中间件　逻辑层会将ＸＭＬ文档，当做异构数据源集成过程中的中间枢　纽，具体会接受对应用层中所进行的查询请求，同时通过中　间件的分解、解析之后，形成查询异构数据源的流程，接着　利用ＸＭＬ的特定格式进行数据结果的确定，在集成平台数据　库当中引入ＸｍｌＳｃｈｅｍａ的验证模式，最后让终端客户进行可　视化的观看　】。　二、基于中间件的异构数据库数据集成技术研　究及实现　１．建立映射字典和注册数据库资源。因为异构数据源拥　有着一定的特征，其自身会包含稳定的模式，也会拥有半结　构化以及非结构化的数据，想要针对不同的数据源开展系统　的处理模式，中间件需要创建映射字典，其中需要参照ＸＭＬ　文档格式进行创建，主要分析的是数据源中不同的数据。在　注册数据库资源方面，能够建立映射字典的准备阶段，注册　的步骤给予了不同数据库表的访问权力。进行注册数据库资　源的过程中，具体拥有两种不同的参与角色，分别为数据中　心集成人员、不同单位的数据库管理员。其中，不同单位的　◆李秉键　

计算机应用　Ｃｏｍｐｕｔｅｒ　Ａｐｐｌｉｃａｔｉｏｎｓ　《自动化技术与应用　２０１　１年第３　０卷第６期　据源一样简单．其中的关键技术是如何以一种统一的　数据模式描述各数据源中的数据，屏蔽它们的平台、数　据结构等异构性，实现数据的无缝集成，提供一个独立　于特定的数据库管理系统的统一编程界面。一般有２种　不同的异构数据库集成技术：　１）统一物理集成．把多个数据源的数据按主题或　多维方式建模并存储在数据仓库中，然后提供给用户一　个新的数据模式，用户可以直接对其进行查询、联机分　析处理（ＯＩ　ＡＰ）和数据挖掘．许多关系数据库厂商提供　了类似的数据移植功能，即抽取、转换和加载（Ｅｘｔｒａｃｔ、　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ、Ｌｏａｄｉｎｇ，ＥＴＬ）工具。这种集成方式可　以提供较高的查询效率，数据仓库系统是这种数据集成　方案的典型应用。　２）中间件方式。该方法并不需要改变原始数据的　存储和管理方式。中间件位于异构数据库系统（数据层）　和应用程序（应用层）之间，向下协调各数据库系统，向上　为访问集成数据的应用提供统一的数据模式和数据访　问的通用接口．各数据库仍完成各自的任务，中间件则　主要为异构数据源。提供一个高层次的检索服务。利用　中间件方式进行数据集成的研究目前有许多论述。　３高校异构数据集成所面临的问题［１］　从应用方面来说，数字校园的建设涉及到两个最　核心的问题，那就是应用的集成与数据的集成与交换　问题。应用的集成包括对现有的各种应用系统的集成　以形成应用的集成平台和在统一的开发集成平台上进　行旧系统的升级、新系统的开发等。而数据的集成与　交换则是数字校园建设中最为重要的问题。在高校各　部门之问实现数据共享与数据交换，有必要在校园网　上建立一套完善的基于校园网的数据集成交换平台，　通过这个平台一方面一个部门可以使用其它部门的数　据；另一方面也可以通过该平台提供的数据交换功能有　效地维护各部门问的数据一致性与完整性，以提高工　作效率。　３．１数据标准与规范　无校级统一数据标准，无法形成有效数据积累，给　领导辅助决策分析造成障碍。各个系统提供的统计数　据不完全准确，由于重复录入、录入时缺少差错审计和　统计标准不统一，无法通过现有的系统获取学校真实的　教学、科研等重要的统计数据。　３．２高校异构数据集成的特点　（１）　没有统一的信息系统架构。　（２）　横向纵向的数据交换和流程互通不畅通。　（３）　信息分散不统一，无法看到全貌，无法重复利用。　（４）　信息安全能力比较差。　（５）　数据源多样，数据质量差。　（６）　数据要求非严格同步。　（７）　各应用系统数据标准不统一。　（８）　异常产生频繁。　４　Ｏｒａｃｌｅ数据整合工具（ＯＤＩ）　４。１功能和用途［２　在基于信息的环境中，高校必需有能力快速地从分　散系统中整合巨量的数据，同时要求减少成本与提高效　率。ＯＤＩ（Ｏｒａｃｌｅ数据集成器企业版）满足了这种需求：在　所有平台之间以批量、实时、同步、异步模式实现高性　能的数据移动与转换。通过内置的连接，包括所有主要　的数据库、数据仓库、商业智能与面向服务架构平台，　ＯＤＩ提供了一个可扩展的架构，满足目前以及未来的集　成需求，并带来高生产力与最低的总体拥有成本ＴＣＯ　目前，很多高校有数据加载、转换，数据集成的需　求，而ＯＤＩ可以实现：　●实时数据仓库：运行大容量、高性能的数据装　载，支持数据仓库、数据集市、在线分析处理（ＯＬＡＰ）立　方体、和分析应用　●与应用做集成：调用外部服务实现数据集成，部　署数据和转换服务，无缝集成ＳＯ　Ａ基础架构　●主数据管理（ＭＤＭ）：为用户提供了完整的数据同　步基础架构，使得这些用户可以创建他们自己的数据　Ｈｕｂ，配合打包的ＭＤＭ解决方案　●移植：提供从已有系统到新系统的、高效的大宗　历史数据装载（包括复杂转换）能力。在两个系统并存期　问，它可以持续地、无缝地同步数据　４．２　ＯＤＩ的特性和优势［３］　１）传统ＥＴＬ工具的缺点　（１）　兼容性差　这里指的是用甲工具写出来的ＥＴＬ程序，很难、或　甚至不能与乙工具做出　的ＥＴＬ程序结合执行，导致每　引进一次新的ＥＴＬ　Ｅｎｇｉｎｅ，就有不少程序要改写。　（２）　效率黑箱　Ｔｅｃｈｎｉｑｕｅｓ　ｏｆ　Ａｕｔｏｍａｔｉｏｎ＆Ａｐｐｌｉｃａｔｉｏｎｓ　Ｉ

第２９卷　

Ｖ０１．２９　第２２期　

ＮＯ．２２　计算机工程与设计　

Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　ａｎｄ　Ｄｅｓｉｇｎ　２００８年１１月　

ＮＯＶ．２００８　

异构数据库集成中间件的研究与实现　

王蕤，　陈庆奎　

（上海理工大学计算机与电气工程学院，上海２０００９３）　

摘要：为了解决企业网络环境中异构数据库的数据集成和共享问题，重点研究了如何利用ＸＭＬ技术屏蔽数据库间的异构　

数据难题。提出了基于ＸＭＬ和中间件的集成异构数据库数据源的框架模型，该模型主要实现两部分的功能：数据库信息映　

射字典的生成和中间件系统查询的运行。中间件系统以ＸＭＬ作为数据交换的中介，提出了关系数据库数据与ＸＭＬ文档相　互转换的方法，实现了用户对异构数据库数据的透明化共享。该模型适合企业信息化建设的需要。　

关键词：异构数据库；数据集成；ＸＭＬ；中间件；映射字典　

中图法分类号：ＴＰ３ｌ１．１３３　文献标识码：Ａ　文章编号：１０００．７０２４（２００８）２２—５７３８—０３　

Ｒｅｓｅａｒｃｈ　ａｎｄ　ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｆｏｒ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ｄａｔａｂａｓｅ　ｉｎｔｅｇｒａｔｉｏｎ　

ＷＡＮＧ　Ｒｕｉ，　ＣＨＥＮ　Ｑｉｎｇ—ｋｕｉ　

（Ｓｃｈｏｏｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　ａｎｄ　Ｅｌｅｃｔｒｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｓｈａｎｇｈａｉ　ｆｏｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，　

Ｓｈａｎｇｈａｉ　２０００９３，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｉｎ　ｏｒｄｅｒ　ｔｏ　ｒｅｓｏｌｖｅ　ｄａｔａ　ｉｎｔｅｇｒａｔｅ　ａｎｄ　ｓｈａｒｉｎｇ　ａｍｏｎｇ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ｄａｔａｂａｓｅｓ　ｉｎ　ｔｈｅ　ｎｅｔｗｏｒｋ　ｏｆｅｎｔｅｒｐｒｉｓｅｓ，ｈｏｗ　ｔｏ　ｕｓｅ　ＸＭＬ　ｓｈｉｅｌｄｉｎｇ　ｔｈｅ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ｄａｔａ　ｐｒｏｂｌｅｍｓ　ｏｆｄａｔａｂａｓｅｓ　ｉｓ　ｒｅｓｅａｒｃｈｅｄ，ａｎｄ　ｃａｍｅ　ｕｐ　ａ　ｆｌａｍｅ　ｕｓｅｄ　ｆｏｒ　ｉｎｔｅｇｒａｔｉｎｇ　ｄａｔａ　ｆｒｏｍ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　

坪扔栅越肛　应用技术　２００８年６月１０日第６期　基于本体的异构数据库集成框架的研究和实现　■华南师范大学李元初　陈启买　摘要：为了解决基于中间件的异构数据库集成系统中模式的语义异构问题引入了本体，本　文从Ｍｅｄｉａｔｏｒ／Ｗｒａｐｐｅｒ的数据集成模型出发，使用混合本体的本体集成法和Ｉａｖａ　ＥＥ相关技术，　提出了在分布式环境下基于本体的异构数据库集成框架，分析了框架的层次结构以及实现该框　架的关键技术，包括本体建模、查询推理和消息服务，然后利用原型系统证明框架的可行性，并　给出该系统实现的总体结构。　关键词：数据库集成；异构性；消息服务；ＯＷＬ　一、引言　企业部门信息化建设的快速发展积累了大量　数据，但由于各部门数据源的模型异构、语义异构、　存储格式异构，造成无法有效地利用大量的数据资　源。数据集成的任务就是要对这些分布的自治数据　源进行一致的透明式访问，由于企业内数据库的普　遍使用，因此企业内部主要关注异构数据库的集　成。ＸＭＬ在语法一级解决了各数据源的异构性。由　于ＸＭＬ文档中缺少语义信息，无法有效消除模式　问的语义异构，使用纯ＸＭＬ方法定义映射方式，系　统必须写额外的定制代码扫描映射信息，降低了代　码重用性，增加了开发的难度。近年来语义Ｗｅｂ的　核心技术本体提供了丰富的语义表达，可以有效地　消除模式的语义异构。同时，基于一阶逻辑的本体　推理机大量涌现，简化了系统查询机制的实现，而　且本体本身语法形式也是ＸＭＬ，所以本体成为在中　间件集成系统中模式定义的首选方案。　二、基于本体的异构数据库集成框架　Ｍｅｄｉａｔｏｒ／Ｗｒａｐｐｅｒ模式的中间件集成系统首要　解决问题是全局模式与局部模式的映射，本文中，　局部模式由局部本体定义，用于关联数据源，并抽　象出数据源中的概念，避免因数据源模式改变影响　全局模式；全局模式由全局本体定义，它是各局部　本体的共享词汇集，是某一领域的共享可重用术　语，通过它可实现局部本体的互操作，通过全局本　体与局部本体的映射实现全局模式到局部模式的　映射，该方法在本体集成中称为混合本体方法。本　体解决了局部模式间以及全局模式与局部模式的　语义异构问题。使用混合本体法，立足于企业内部　的使用环境，采用消息服务机制作为系统内部数据　的传递机制，可使数据跨硬件平台、操作系统平台，　在一致的协议下传递。图１给　了基于本体的异构　数据库集成框架，该借鉴Ｍｅｄｉａｔｏｒ／Ｗｒａｐｐｅｒ体系结　构，结合混合本体法和消息服务机制设计而成，是　企业内部异构数据库集成的有效解决方案。该方案　的特点是可实现数据源的动态增长，真正实现数据　源的“即插即用”。　（一）模式语义异构的本体解决　模式的语义异构包括很多种，本文主要关注类　的命名异构、属性异构和类的外延异构。这些异构　可以在定义本体和本体间的映射时解决，本文采用　Ｗ３Ｃ的推荐本体描述语言ＯＷＬ刻画本体和本体　间的映射，使用ＯＷＬ语义表达解决语义异构问题。　语义异构的ＯＷＬ解决方案如下：　１．类的命名异构　（１）不同数据源使用不同术语表达同一概念，　可称为同义词。该类型异构可通过ＯＷＬ的语义表　达机制ｏｗ１：ｅｑｕｉｖａ１ｅｎｔｃ１ａｓｓ解决。　ｊｕＮ．１０，２００８　ＮＯ．