异构数据库集成中间件的设计与实现

多源异构数据融合与管理技术研究在当今的数字化时代，数据已经成为企业和机构中最重要的资产之一。

这些数据来自不同的数据源和类型，这些数据源通常是异构的。

这就需要对这些多源异构的数据进行融合和管理，从而提高数据的价值和有效性。

多源异构数据融合与管理技术，成为当前数据管理领域中的重要研究方向。

一、多源异构数据的概念与分类多源异构数据是指来自不同来源、类型和格式的数据，它们之间存在着数据差异和数据质量差异。

多源异构数据一般可以分为结构化数据和非结构化数据两大类。

1.结构化数据结构化数据一般指已经规范化和标准化的数据，其中每个数据元素都能够被确定的标识和分配。

结构化数据可以使用数据库存储，并能够使用SQL等数据库语言进行检索和操作。

2.非结构化数据非结构化数据是指没有预先定义好的数据格式和结构的数据，比如文本、图像、音频、视频等，这些数据需要进行处理和分析才能得到有意义的信息。

二、多源异构数据的融合技术多源异构数据的融合技术包括数据集成和数据合并两个方面。

1.数据集成数据集成是指将来自不同数据源的数据进行整合、修正、转换和清洗，从而形成一个统一的数据集，方便用户进行查询和分析。

数据集成有两种常见的技术方式：（1）传统方式：需要先对数据源进行分析和整理，再使用ETL工具进行导入和转换。

但这种方式需要额外的人力和资源进行处理。

（2）实时方式：通过数据中间件技术将来自不同数据源的数据进行整合，这样可以实现实时数据的更新和查询，同时也减少了数据处理的负担。

2.数据合并数据合并是指将来自多个数据源的数据并列进行比较和分析，从而得到数据的相关性和差异性，进而形成更为精确和全面的数据信息。

数据合并采用的方法有：（1）数据聚合：将来自不同数据源的数据进行统计和汇总，以得到更加全面和精确的数据结果。

（2）数据关联：将不同数据源中的数据进行关联和对比，以得到数据之间的相关性和差异性。

三、多源异构数据的管理技术多源异构数据的管理技术包括数据标准化和数据质量控制两个方面。

平台简介1应用背景：随着IT业的飞速发展、计算机技术的普及和深入，企业也在发展过程中不断的建立自己的计算机应用系统。

在这个过程中，企业积累了大量数据，并为存储和管理这些数据不断投资，其主要手段是使用数据库管理系统。

然而由于实施数据管理系统的阶段性、一技术性以及不同部门之间业务独立性，使得即使在同一单独企业中，不同的信息服务和管理系统所采用的数据库管理系统都大不相同，随着时间的推移，这些由不同技术构建的信息系统形成了一个个“信息孤岛”，而它们各自的数据构成了企业的异构数据源。

数据库的异构性主要体现在两方面:一方面是数据库管理系统的差异，不同的数据库管理系统，对数据的访问和管理方式是不同的;另一方面是语义的不同，包括数据库模式的差别及数据含义、类型上的冲突。

随着企业的发展，会突显出部门间协同合作的需求，这必然导致越来越多的新应用需要访问企业的异构数据源。

但是异构性严重阻碍了应用程序间的互相协同、对数据库资源的共享。

数据库集成成了企业进一步发展的需要，它的目标就是实现对各个异构数据源的数据共享，从而有效的利用已有资源。

现有的方案：异构数据库集成方法大概可以分为两种:数据仓库和虚拟视图法。

数据仓库一般用于数据分析，通常被称为只读集成。

而虚拟视图法则是语义层次上的集成，关注于数据库模式，在此基础上可以实现异构数据库间的互操作。

采用虚拟视图法集成异构数据库主要有两种体系结构，即联邦数据库系统和中介系统。

(1)数据仓库法该方法需要建立一个存储数据的仓库，由ETL (Extract, Transform and Load)工具定期从数据源过滤数据，然后装载到数据仓库，供用户查询，这种方法被称为Eage:方法。

相反的，采用虚拟视图法时，当用户提交查询请求时，系统根据命令操作数据源的数据，称之为Lazy 方法。

数据仓库的主要好处是查询处理性能高，缺点是创建数据仓库比较费时费力，通常需要6至18个月的时间，而且当有新数据源加入或己有数据源发生变化时对仓库的修改代价也比较高。

第２５卷第１期　２００８年１月　计算机应用研究　

Ａｐｐｌｉｃａｔｉｏｎ　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｃｏｍｐｕｔｅｒｓ　Ｖｏ１．２５，Ｎｏ．１　

Ｊａｎ．２００８　

多数据库中间件中分布异构数据缓冲区系统的实现木　赵洁　，张鹏　，齐德昱　（１．华南理工大学计算机科学与工程学院，广州５１０６４０；２．广东工业大学经济管理学院，广州５１０５２０）　

摘要：实现了多数据库中间件中分布异构数据缓冲区，该模型能够实现分布异构数据对象的数据双向同步／　异步更新机制；采用的全局数据对象存储模型和缓存管理使数据在缓冲区存储并被用户高效快捷地访问；实现　了全局事务管理策略，包括局部代理的设计、全局事务的并发控制、全局事务提交协议等。　关键词：多数据库中间件；分布异构数据缓冲区；对象缓存管理；全局数据对象模型；双向同步／异步更新　中图分类号：ＴＰ３１１．１３８　文献标志码：Ａ　文章编号：１００１．３６９５（２００８）０１—０２１５．０５　

Ｒｅａｌｉｚａｔｉｏｎ　ｏｆ　ｄｉｓｔｒｉｂｕｔｅｄ　ａｎｄ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ｄａｔａ　ｂｕｆｆｅｒ　ｓｙｓｔｅｍ　ｉｎ　ｍｕｌｔｉ—ｄａｔａｂａｓｅ　ｍｉｄｄｌｅｗａｒｅ　

ＺＨＡＯ　Ｊｉｅ　一，ＺＨＡＮＧ　Ｐｅｎｇ　，ＱＩ　Ｄｅ－ｙｕ　（１．Ｓｃｈｏｏｌ　ｏｆＣｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ，Ｓｏｕｔｈ　Ｃｈｉｎａ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆ　Ｔｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ　５１０６４０，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ　ｏｆＥｃｏｎｏｍｉｃｓ＆　Ｍａｎａｇｅｍｅｎｔ，Ｇｕａｎｇｄｏｎｇ　Ｕｎｉｖｅｒｓｉｔｙ　ｏｆＴｅｃｈｎｏｌｏｇｙ，Ｇｕａｎｇｚｈｏｕ　５１０５２０，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｔｈｅ　ｒｅａｌｉｚａｔｉｏｎ　ｏｆ　ｔｈｅ　ｍｏｄｅｌ　ｏｆ　ｄｉｓｔｒｉｂｕｔｅｄ　ａｎｄ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ｄａｔａ　ｂｕｆｆｅｒ（ＤＨＤＢ）ｅｎａｂｌｅｄ　ｂｉｄｉｒｅｃｔｉｏｎａｌ　ｓｙｎｃｈｒｏ—　ｎｏｕｓ／ａｓｙｎｃｈｒｏｎｏｕｓ　ｕｐｄａｔｅ　ｏｆ　ｄｉｓｔｒｉｂｕｔｅｄ　ａｎｄ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ｄａｔａ；ｔｈｅ　ｕｓｅ　ｏｆ　ｇｌｏｂａｌ　ｄａｔａ　ｏｂｊｅｃｔ　ｍｏｄｅｌ　ａｎｄ　ｄａｔａ　ｏｂｊｅｃｔ　ｃａｃｈｅ　ｍａｎａｇｅｍｅｎｔ　ｅｎａｂｌｅｄ　ｄａｔａ　ｓｔｏｒｅ　ｉｎ　ｔｈｅ　ｃａｃｈｅ　ａｎｄ　ａｓｓｅｓｓｅｄ　ｅｆｆｉｃｉｅｎｔｌｙ　ａｎｄ　ｑｕｉｃｋｌｙ；ｒｅａｌｉｚｅｄ　ｇｌｏｂａｌ　ｔｒａｎｓａｃｔｉｏｎ　ｍａｎａｇｅｍｅｎｔ，ｉｎ—　ｃｌｕｄｉｎｇ　ｄｅｓｉｇｎ　ｏｆ　ｌｏｃａｌ　ａｇｅｎｔ，ｇｌｏｂａｌ　ｔｒａｎｓａｃｔｉｏｎ　ｐａｒａｌｌｅｌ　ｃｏｎｔｒｏｌ　ａｎｄ　ｇｌｏｂａｌ　ｔｒａｎｓａｃｔｉｏｎ　ｃｏｍｍｉｔｍｅｎｔ　ｐｒｏｔｏｃｏ１．　Ｋｅｙ　ｗｏｒｄｓ：ｍｕｌｔｉ－ｄａｔａｂａｓｅ　ｍｉｄｄｌｅｗａｒｅ；ｄｉｓｔｒｉｂｕｔｅｄ　ａｎｄ　ｈｅｔｅｒｏｇｅｎｅｏｕｓ　ｄａｔａ　ｂｕｆｆｅｒ（ＤＨＤＢ）；ｄａｔａ　ｏｂｊｅｃｔ　ｃａｃｈｅ　ｍａｎａｇｅｍｅｎｔ；　ｇｌｏｂａｌ　ｄａｔａ　ｏｂｊｅｃｔ　ｍｏｄｅｌ；ｂｉｄｉｒｅｃｔｉｏｎａｌ　ｓｙｎｃｈｒｏｎｏｕｓ／ａｓｙｎｃｈｒｏｎｏｕｓ　ｕｐｄａｔｅ　ｏｆ　ｄａｔａ　

NATS中的数据库中间件设计
熊风光;韩燮
【期刊名称】《计算机工程》
【年(卷),期】2010(036)017
【摘要】在网络化自动测试系统(NATS)中,提出数据库管理系统和文件系统相结合的数据库模型,在此基础上,利用Java技术设计并实现NATS的数据库中间件.该中间件能为用户提供统一的应用程序接口,为客户端提供通用的CRUD功能和数据访问服务,并可增强NATS的扩展性和重用性,减轻其维护和升级的负担.
【总页数】3页(P74-76)
【作者】熊风光;韩燮
【作者单位】中北大学电子与计算机科学技术学院,太原,030051;中北大学电子与计算机科学技术学院,太原,030051
【正文语种】中文
【中图分类】TP311.132
【相关文献】
1.NGN业务系统中异构数据库中间件的设计和实现 [J], 宋述燕;尹建新;王助娟
2.电力EAM系统中数据库中间件的研究与设计 [J], 冉崇善;蒋中强
3.数据库中间件在高频地波雷达软件设计中的应用 [J], 宋婷;吴雄斌
4.科研项目及业绩管理系统中异构数据库中间件系统的设计与实现 [J], 刘座铭; 高长宇; 夏善磊; 赵昕
5.NAT仿真实验在Packet Tracer中的设计与实现 [J], 李雨江
因版权原因，仅展示原文概要，查看原文内容请购买。

中间件中间件（middleware）是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源，中间件位于客户机服务器的操作系统之上，管理计算资源和网络通信。

中间件（middleware）是基础软件的一大类，属于可复用软件的范畴。

顾名思义，中间件处于操作系统软件与用户的应用软件的中间。

中间件在操作系统、网络和数据库之上，应用软件的下层，总的作用是为处于自己上层的应用软件提供运行与开发的环境，帮助用户灵活、高效地开发和集成复杂的应用软件。

在中间件产生以前，应用软件直接使用操作系统、网络协议和数据库等开发，这些都是计算机最底层的东西，越底层越复杂，开发者不得不面临许多很棘手的问题，如操作系统的多样性，繁杂的网络程序设计、管理，复杂多变的网络环境，数据分散处理带来的不一致性问题、性能和效率、安全，等等。

这些与用户的业务没有直接关系，但又必须解决，耗费了大量有限的时间和精力。

于是，有人提出能不能将应用软件所要面临的共性问题进行提炼、抽象，在操作系统之上再形成一个可复用的部分，供成千上万的应用软件重复使用。

这一技术思想最终构成了中间件这类的软件。

为解决分布异构问题，人们提出了中间件(middleware)的概念。

中间件是位于平台(硬件和操作系统)和应用之间的通用服务，如图1所示，这些服务具有标准的程序接口和协议。

针对不同的操作系统和硬件平台，它们可以有符合接口和协议规范的多种实现。

图1 中间件也许很难给中间件一个严格的定义，但中间件应具有如下的一些特点：满足大量应用的需要运行于多种硬件和OS平台支持分布计算，提供跨网络、硬件和OS平台的透明性的应用或服务的交互支持标准的协议支持标准的接口由于标准接口对于可移植性和标准协议对于互操作性的重要性，中间件已成为许多标准化工作的主要部分。

对于应用软件开发，中间件远比操作系统和网络服务更为重要，中间件提供的程序接口定义了一个相对稳定的高层应用环境，不管底层的计算机硬件和系统软件怎样更新换代，只要将中间件升级更新，并保持中间件对外的接口定义不变，应用软件几乎不需任何修改，从而保护了企业在应用软件开发和维护中的重大投资。