异构数据库高效数据交换引擎设计
- 格式:pdf
- 大小:1.29 MB
- 文档页数:9
数据互换共享中心设计方案整合协同平台的重要功能是从其他子系统中提取共享数据,并对多来源渠道的、互相不一致的数据进行数据融合解决;基于数据字典对实时数据和历史数据进行组织,以保证数据间关系的对的性、可理解性并避免数据冗余;以多种形式提供数据服务,采用分层次的措施对各类顾客设立权限,使不同顾客既能获得各自所需要的数据,又能保证数据传播过程的安全性及共享数据的互操作性和互用性;维护基本信息、动态业务数据以及系统管理配备参数;支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。
整合协同平台根据功能可分为两个部分:第一部分,基本数据和共享数据的互换服务和路由流程管理,该部分是互换平台的基本,涉及:静态互换数据、动态互换数据、图形数据及表格、记录资料等属性数据。
第二部分,各子系统之间的接口实现,根据事先制定好的规范、原则,实现各子系统之间的数据共享和传播操作。
在接入中心平台时,应按系统集成规定设计系统构造,各类数据接口遵循系统集成规范。
第一章中心平台设计1.1 平台功能构造整合协同平台服务器是公共基本平台的核心部分,XMA整合协同平台提供一整套规范的、高效的、安全的数据互换机制。
XMA整合协同平台由部署在数据中心和各业务部门的数据互换服务器、数据接口系统共同构成,解决数据采集、更新、汇总、分发、一致性等数据互换问题,解决按需查询、公共数据存取控制等问题。
各业务子系统都要统一使用XMA整合协同平台进行数据互换。
数据中心统一管理和制定数据互换原则。
各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据,也通过XMA整合协同平台访问共享数据。
XMA整合协同平台的基本功能如下:共享数据库的数据采集、更新、维护。
业务资料库、公共服务数据库的数据采集。
提供安全可靠的共享数据服务。
业务部门之间的业务数据互换。
结合工作流的协调数据服务。
管理、控制、配置、传输管理、安全接口数据需方数据库应用数据层接口应用层接口数据转换传输管理接口适配共享交换数据供方数据库应用数据层接口应用层接口数据转换传输管理接口适配传输传输数据压缩加解密故障检测协议管理传输控制连接共享数据解析数据转换数据模板服务管理运行管理部署管理数据路由会话控制会话策略会话模式系统日志共享交换共享交换共享交换功能流程阐明:数据供需方的接口数据系统:为了满足应用层互换和数据层互换,互换代理必须有应用层和数据层的连接和接口适配功能,数据代理必须有数据格式的转换功能。
数据交换平台建设方案一、背景分析。
随着信息化时代的到来,各行各业都在积极推进数字化转型,数据交换平台作为信息化建设的重要组成部分,扮演着连接各个系统、实现数据互通共享的关键角色。
然而,目前我公司在数据交换方面存在着诸多问题,包括数据传输效率低、安全性不足、兼容性差等。
因此,为了提高数据交换的效率和安全性,我们有必要建设一套完善的数据交换平台。
二、建设目标。
1. 提高数据交换效率,通过建设数据交换平台,实现各个系统之间数据的快速、稳定、安全地交换,提高数据传输效率,降低数据交换成本。
2. 加强数据安全保障,建设具备完善的数据加密、防火墙、访问控制等安全机制,确保数据在传输过程中不被非法获取、篡改或破坏。
3. 提升系统兼容性,建设数据交换平台,实现不同系统之间的数据格式转换和兼容,确保各个系统之间能够互相交换数据。
4. 实现数据实时同步,建设数据交换平台,实现数据的实时同步,确保各个系统之间的数据能够及时更新,保持数据的一致性。
三、建设方案。
1. 技术选型,选择成熟稳定的数据交换平台软件,如MuleSoft、Talend、Dell Boomi等,根据实际需求进行技术评估和选型。
2. 网络架构设计,根据公司现有的网络环境和数据交换需求,设计合理的网络架构,包括内部网络、外部网络和云端网络的连接和通信方式。
3. 数据安全保障,建设数据交换平台时,加强数据加密、访问控制、身份认证等安全机制,确保数据在传输过程中的安全性。
4. 数据格式转换,建设数据交换平台时,考虑不同系统之间的数据格式差异,实现数据的格式转换和兼容,确保数据能够在不同系统之间流畅传输。
5. 实时同步机制,建设数据交换平台时,实现数据的实时同步,确保各个系统之间的数据能够及时更新,保持数据的一致性。
四、建设步骤。
1. 确定需求,明确公司各个系统之间的数据交换需求,包括数据类型、数据量、数据频率等。
2. 技术选型,根据实际需求进行技术评估和选型,选择合适的数据交换平台软件。
数据交换共享中心设计方案数据交换共享中心设计方案1. 引言在信息化时代,大量数据的产生和积累对于企业管理和决策起着重要作用。
为了实现数据的高效共享和利用,设计一个数据交换共享中心是必要的。
本文档旨在提供一个详细的设计方案,以指导数据交换共享中心的建设和运营。
2. 目标与需求分析2.1 目标- 实现不同系统之间的数据交换- 高效共享数据,提升决策效果- 提供稳定可靠的数据交换平台2.2 需求分析- 数据接入和采集需求分析- 数据质量和一致性的保证- 数据存储与管理需求分析- 安全与权限的管理需求分析3. 架构设计3.1 系统架构图在数据交换共享中心的设计中,采用分层架构,包括数据采集层、数据存储与管理层、数据应用与共享层。
3.2 数据采集层设计- 按照数据来源划分不同的数据采集接口- 设计数据采集任务调度和监控机制- 确保数据采集的可靠性和高效性3.3 数据存储与管理层设计- 设计数据存储和管理策略,包括数据模型设计、数据仓库设计等- 设计数据清洗、加工和集成等数据处理流程- 设计数据备份和恢复机制,保障数据安全性3.4 数据应用与共享层设计- 设计数据查询与分析工具- 设计数据共享与访问权限控制机制- 设计数据报表和发布机制4. 数据质量和一致性保障4.1 数据清洗和验证- 设计数据清洗和验证规则- 设计数据清洗和验证流程4.2 数据一致性保障- 设计数据同步和更新机制- 设计数据冲突解决机制5. 安全与权限管理5.1 安全管理- 设计数据交换的加密和传输机制- 设计用户身份认证和授权机制- 设计访问审计和安全监控机制5.2 权限管理- 设计数据访问权限控制策略- 设计角色和用户权限管理机制6. 系统可靠性和性能优化6.1 系统可靠性保障- 设计系统容错和自动恢复机制- 设计系统监控和报警机制6.2 性能优化- 设计数据存储和查询的优化策略- 设计系统资源的合理分配和利用策略附件:详细的系统架构图、数据模型设计图、系统实现方案等。
异构数据融合与集成的数据交换与共享一、引言随着当今信息技术的快速发展,各行各业的数据生成量不断增加,这些数据来源于不同的数据源,由于数据生成的时间、地点、形式、结构、语义等方面的异构性,导致了数据的融合与集成变得愈发困难。
然而,异构数据融合与集成对于实现数据交换与共享至关重要,它不仅能够提高数据的综合利用效率,还能够促进各领域之间的合作与创新。
因此,本文将重点探讨异构数据融合与集成的数据交换与共享。
二、异构数据融合与集成的概念和意义1. 异构数据融合与集成的概念异构数据融合与集成是指将不同地点、不同时间、不同形式、不同结构、不同语义的数据融合成一个统一的数据集,并提供一种统一的访问接口,以方便用户获取和利用数据的过程。
它涉及多个领域的数据融合与集成,包括数据库管理、数据挖掘、信息检索、人工智能等。
2. 异构数据融合与集成的意义异构数据融合与集成的意义在于将不同数据源的异构数据整合起来,提供了一种更加全面、全局的数据视角。
通过数据融合与集成,可以充分利用多样性的数据资源,实现数据的共享与交换,为决策提供更加全面和准确的信息支持。
此外,异构数据融合与集成还可以促进不同领域之间的合作与创新,推动产业升级和经济发展。
三、异构数据融合与集成的挑战与解决方案1. 异构数据融合与集成的挑战异构数据融合与集成面临着多个挑战,主要包括数据源的异构性、数据质量的差异、数据语义的不一致、数据安全与隐私等。
其中,数据源的异构性是最大的挑战,如何解决不同数据源之间的数据格式、数据结构、数据语义的差异,是关键问题之一。
2. 异构数据融合与集成的解决方案为了克服异构数据融合与集成的挑战,需要采取一系列的解决方案。
首先,可以使用数据转换和数据集成技术,将不同数据源的数据进行格式和结构的转换,以便于数据融合与集成。
其次,可以利用数据清洗和数据质量评估技术,对数据进行清洗和过滤,提高数据的质量和一致性。
同时,还可以利用自然语言处理和知识表示技术,解决数据语义的不一致问题。
数据交换共享中心设计方案数据交换共享中心设计方案1.引言1.1 目的本文档旨在提供一个数据交换共享中心的设计方案,以实现数据的高效、安全和可靠的交换与共享。
1.2 背景随着信息技术的发展,各个组织和机构积累了大量的数据,但这些数据往往分布在各个系统中,难以实现统一管理和共享。
为了提高数据的价值和利用率,建立一个数据交换共享中心成为了必要的需求。
2.系统概述2.1 功能描述数据交换共享中心将作为一个数据集中管理和共享的平台,主要包括以下功能:●数据收集:从各个系统中收集数据,并进行数据清洗和整理。
●数据存储:将清洗后的数据存储在中心数据库中,建立数据仓库。
●数据共享:通过提供标准化的接口,使得其他系统可以访问和共享中心的数据。
●数据交换:支持与外部系统的数据交换,包括数据导入和数据导出。
●安全管理:确保数据的安全和权限管理,包括访问控制和数据加密。
2.2 系统架构数据交换共享中心的系统架构包括以下组件:●数据采集模块:负责从各个源系统中采集数据,并进行预处理和清洗。
●数据存储模块:将清洗后的数据存储在中心数据库中,建立数据仓库。
●数据共享模块:提供标准化的接口,使得其他系统可以访问和共享中心的数据。
●数据交换模块:支持与外部系统的数据交换,包括数据导入和数据导出。
●安全管理模块:负责数据的安全和权限管理,包括访问控制和数据加密。
3.数据采集3.1 数据源识别识别并确定需要采集的数据源,包括各个系统和数据库。
3.2 数据采集方式根据数据源的不同,选择合适的数据采集方式,包括定时轮询、实时推送和批量导入等。
3.3 数据预处理对采集到的数据进行预处理和清洗,包括数据格式转换、数据校验和数据合并等。
4.数据存储4.1 数据仓库设计设计一个适应各种数据类型的数据仓库,包括数据表结构、索引和分区等。
4.2 数据库管理确保数据仓库的稳定和高性能运行,包括数据库备份、故障恢复和性能调优等。
5.数据共享5.1 接口设计设计并实现标准化的接口,使得其他系统可以通过接口访问和共享中心的数据。
数据交换共享中心设计方案数据交换共享中心设计方案1.引言1.1 项目背景在当前数字化时代,各个组织和企业之间需要进行大量的数据交换和共享,以实现信息的互通和提高工作效率。
数据交换共享中心是一种集中管理和控制数据交换的平台,旨在实现数据的快速、安全和可靠的交换。
1.2 项目目标本设计方案的目标是建立一个高效、安全、可扩展的数据交换共享中心,满足组织内外不同系统之间的数据交互需求。
具体目标包括:________●实现快速和准确的数据传输。
●提供灵活的数据交换方式,包括批量传输、实时传输等。
●实现数据的一致性和完整性。
●提供安全的数据传输和存储机制。
●提供易于管理和监控数据交换的功能。
2.需求分析2.1 功能需求在数据交换共享中心中,需要实现以下功能:________●数据接口管理:________管理所有与交换平台相关的接口,包括接口的注册、配置和监控。
●数据转换和校验:________对输入的数据进行格式转换和校验,确保数据的完整性和一致性。
●数据传输和存储:________提供可靠的数据传输通道和存储介质,确保数据的安全和可靠性。
●数据监控和报告:________实时监控数据交换过程,交换报告和异常报警。
●授权和权限管理:________对用户进行身份认证和权限管理,确保只有授权用户才能进行数据交换操作。
2.2 性能需求数据交换共享中心需要满足以下性能需求:________●数据传输速度:________能够支持大量数据的快速传输,保证数据的及时性。
●并发处理能力:________能够同时处理多个数据交换任务,保证系统的高可用性和稳定性。
●扩展性:________系统能够根据需求灵活扩展,支持更多的数据交换对象和接口。
●安全性:________提供安全的数据传输和存储机制,防止数据泄露和非法访问。
3.系统架构设计3.1 整体架构数据交换共享中心的整体架构分为三层:________接入层、业务层和存储层。
异构数据库技术的研究与实践异构数据库技术,是指不同类型、不同结构的数据库系统之间进行融合、整合、共享的技术。
它具有很高价值和实用性,近年来已得到广泛应用。
本文将从异构数据库技术的基本概念、应用场景、关键技术、发展趋势等方面进行论述,以期使读者对异构数据库技术有更加深入的了解。
一、异构数据库技术的基本概念异构数据库技术是多个不同型号、不同结构的数据库之间进行交互、共享、集成的技术。
异构数据库的实现需要解决如下问题:数据的语意(Semantic)和结构(Structure)的描述方法、异构数据的逻辑互操作能力、异构数据的物理互操作能力等问题。
异构数据库技术是解决异构数据集成问题的有效手段。
异构数据集成的大部分问题是由于不同组织机构、不同应用系统、不同数据库管理系统中所使用的数据模型、数据结构、数据语言不同所造成的,这些问题可以通过合理运用异构数据库的技术来解决。
二、异构数据库技术的应用场景异构数据库技术适用于以下应用领域:1、数据库整合异构数据库技术可以将多个类型、多个结构的数据库进行整合,从而形成一个大型的复合数据库。
通过异构数据库技术,可以实现异构数据库之间的数据共享和互通,减少了信息孤岛,提高了数据共享利用率。
2、异构数据的共享随着信息化进程的不断发展,数据库中的数据已经具有了很高的价值,而很多企事业单位内部的数据库多为异构数据库,无法进行互通和共享。
通过异构数据库技术,可以将分散在不同数据库之中的数据整合起来进行管理和查询,提高了数据的共享利用率。
3、数据挖掘数据挖掘是从大量的数据中发现有价值的知识和信息的过程。
异构数据库中存储了大量的数据,通过异构数据库技术,可以将这些数据矿藏挖掘出来,获取更多的商业价值和决策支持信息。
4、数据集成异构数据库技术可以将不同数据源的数据进行集成,从而形成一个统一的数据源。
通过数据集成,可以最大限度地充分利用各个数据源的有用信息,进而为决策者提供更为准确的决策支持信息。
基于XML的质量信息数据交换技术摘要:文章针对制造车间质量信息规范化需求,研究了基于xml 的异构数据库的数据交换及其实现方法,具体针对oracle数据与xml数据交换的几种实现技术和原理进行了分析。
关键词:xml;质量信息规范化;数据交换;oracle数据库中图分类号:tp311 文献标识码:a 文章编号:1007-9599 (2013) 04-0000-021 引言在发动机产品关键零部件快速响应制造过程中,产生大量质量信息,并且信息在不断增加与积累,目前,针对质量信息的交换与处理仍然缺乏统一的规范与标准,制造过程中各应用系统之间信息的异构性导致信息的一致性差。
质量信息管理系统在快速响应制造车间中不是一个孤立的应用系统,需要与其它系统进行信息集成与交换,因此如何规范存储、组织和共享质量信息,直接影响制造过程信息集成及质量信息的高效利用。
xml是一种标准可扩展标记性语言,它是w3c创建的一组规范,xml的可扩展性、自描述性、分离性以及支持模式校验等特点,使之成为表示各种数据理想的公共格式。
因此本文采用基于xml的异构数据库的数据交换技术实现信息的集成与转换。
2 基于xml的异构数据库的数据交换及其实现方法在快速响应制造车间,不同应用系统其数据库类型可能不同,如:工艺设计系统采用sqlsever数据库系统,车间生产管理系统采用oracle数据库系统,数据存储是异构的。
采用xml文件做中间转换,实现基于网络的数据传输及数据库间数据交换,如图1所示,从数据库a中提取数据,通过数据转换,形成xml文件,在数据库b系统中,应用数据库读入工具,将xml 文件携带的数据信息导入数据库b中。
完成数据库a到数据库b的数据映射。
实现异构数据库系统的数据信息集成。
本文主要对数据库信息与xml文件转换的方法开展研究。
2.1 在pl/sql环境下实现从oracle数据库读取数据并生成xml 文件pl/sql环境下实现读取数据并生成xml文件关键在于创建一个新dom文档对像,将数据表中一行记录转换为元素并插入到dom文档对像根结点下。
通信网络技术DOI:10.19399/j.cnki.tpt.2023.04.050数据交换共享平台设计与实现池永波,付芳洁(中国电信集团数据中心,北京100032)摘要:随着电信集团业务飞速发展,异构数据库类型越来越多,传统点对点数据同步工具已经不能满足数据交换的需求,多环境之间数据交换已经成为电信内部不可缺少的基础需求。
传统点对点数据同步工具需要在每个源端和目标端间单独部署、单独运维,已经不能适应一对多、多对多的数据交换场景。
研究设计一种新型的数据交换共享平台,能够集中完成多源与多目标数据库间的数据同步,将大幅提高电信集团数据交换服务质量,具有一定的应用价值。
关键词:异构数据库;多环境;数据同步;数据交换Design and Implementation of Data Exchange Sharing PlatformCHI Yongbo, FU Fangjie(China Telecom Group Data Center, Beijing 100032, China)Abstract: With the rapid development of telecom group business, there are more and more types of heterogeneous databases. The traditional point-to-point data synchronization tools can no longer meet the needs of data exchange.Data exchange between multiple environments has become an indispensable basic requirement within telecom.Traditional point-to-point data synchronization tools need to be deployed and operated separately between each source end and target end, and can no longer adapt to one-to-many and many-to-many data exchange scenarios. Research and design a new data exchange and sharing platform, which can centralize the data synchronization between multi-source and multi-target databases, will greatly improve the quality of data exchange services of telecom groups, and has certain application value.Keywords: heterogeneous database; multi-environment; data synchronization; data exchange0 引 言电信业务中具有大量的数据,随着电信业务的升级和国产数据库的崛起,电信内部新老数据库和新老环境间等数据交换场景越来越多,数据作为电信业务的核心资产,如何保障数据资产的高效稳定传输越来越重要。
异构系统之间进行信息交互的方法
随着信息技术的不断发展,各种异构系统的出现使得信息交互变得更加复杂。
异构系统之间的信息交互是指不同类型、不同结构、不同平台的系统之间进行数据交换和通信的过程。
为了实现异构系统之间的信息交互,需要采用一些特定的方法。
1. 数据格式转换
不同的系统之间可能采用不同的数据格式,这就需要进行数据格式转换。
数据格式转换可以通过编写转换程序或使用中间件来实现。
编写转换程序需要对不同系统的数据格式有深入的了解,而使用中间件则可以简化这个过程。
2. 接口协议
不同的系统之间需要进行通信,就需要制定接口协议。
接口协议是指不同系统之间进行通信时所遵循的规则和标准。
常见的接口协议有SOAP、REST等。
通过制定接口协议,可以使得不同系统之间的通信更加规范和高效。
3. 中间件
中间件是指位于不同系统之间的软件,可以实现不同系统之间的数据交换和通信。
中间件可以将不同系统之间的数据格式进行转换,同时也可以实现接口协议的制定和实现。
常见的中间件有消息队列、
ESB等。
4. 数据库同步
不同系统之间可能需要共享数据,这就需要进行数据库同步。
数据库同步可以通过编写同步程序或使用数据库同步工具来实现。
编写同步程序需要对不同系统的数据库有深入的了解,而使用数据库同步工具则可以简化这个过程。
异构系统之间进行信息交互是一项复杂的任务,需要采用一些特定的方法来实现。
这些方法包括数据格式转换、接口协议、中间件和数据库同步等。
通过这些方法,可以使得不同系统之间的数据交换和通信更加规范和高效。
基于XML的异构数据库集成设计与实现摘要作为上海市科委专项基金资助项目之一,同济大学和上海体育学院联合承担了中国乒乓球队知识交互平台的研发,该项目中需要将前期开发的技战术分析系统中得到的宝贵的数据集成到平台中并加以应用。
本文依托于该项目,主要探讨已知数据库结构的异构数据集成,结合xml技术,讨论该技术在不同数据库信息交换中的积极作用,并给出理论原型加以论证,提出基于xml的综合异构数据集成解决方案。
关键词 xml;异构数据;数据集成;信息交换中图分类号tp311 文献标识码a 文章编号 1674-6708(2013)86-0176-020 引言在信息技术发展日新月异的今天,随着互联网技术的不断更新,给人们的生活和工作带来了极大方便,但也正是由于技术的更新换代以及技术研发人员和平台的更迭,数据库系统的局限性也随之产生,基于不同数据库开发的系统则在资源的互操作性上存在问题形成数据孤岛,因此在不影响已有系统的情况下,整合各个数据库就成为迫切的需要。
与此同时,这些数据库在许多情况下为完成一项数据查询任务,均需要同步来共享数据。
以利用中间数据源来管理各个分散的数据库,从而实现异构数据库的集成,是一个行之有效的方法。
在实际项目当中,往往会遇到以上问题,本文研究内容基于“中国乒乓球队知识交互平台”,它是以乒乓球项目为例,综合运用现代信息技术、管理科学以及运动训练理论开发而成的知识交互平台系统。
在具体操作当中,遇到异构数据库集成问题,因此需要建立一个基于“中国乒乓球队知识交互平台”的异构数据集成方案,以实现知识平台中心数据库整合其他异构数据库中的资源,以及对异构数据库变化的捕捉与更新,对这些分布、异构、自治的数据源实现跨平台访问。
1 关键技术研究1.1 异构数据库异构数据库系统是相关的多个数据库系统的集合,可以实现数据的共享和透明访问,每个数据库系统在加入异构数据库系统之前本身就已经存在,拥有自己的dmbs。
异构数据库的各个组成部分具有自身的自治性,实现数据共享的同时,每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。
第39卷 第9期西南师范大学学报(自然科学版)2014年9月
Vol.39 No.9 Journal of Southwest China Normal University(Natural Science Edition)Sep.2014
DOI:10.13718/j.cnki.xsxb.2014.09.018
异构数据库高效数据交换引擎设计①
黄学彬1, 赵 春2, 郑 伟1
1.四川大学锦城学院教务部,成都611731;2.四川大学锦城学院计算机科学系,成都611731摘要:针对异构数据库之间数据交换软件的数据交换不规范、网状数据不通畅、数据同步无保证等问题,设计了一个通用安全高效的数据交换引擎.该设计采用影子表法获取数据,利用文本差异比较得出变化的数据量,并运用差异分析算法解析出数据变化结果集.设计中的数据交换规则与数据更新结果存储均采用了XML文件格式作为媒介,为了保证数据的安全性与可靠性,设计要求对需要传输的数据进行加密处理,并采用可靠的TCP作为数据传输协议的载体.实验表明,该文设计的异构数据库交换引擎可以高效率地完成异构数据库之间可靠、安全的数据交换.
关 键 词:异构数据库;高效数据交换;XML;差异分析;
影子表法
中图分类号:TP391 文献标志码:A 文章编号:1000-5471(2014)9-0100-09
在信息化不断发展的过程中,企业用户的应用也在不断扩充,企业自己的新应用也在不断增加,进而都会面临不同软硬件平台、不同类型的数据库之间的数据交换问题[1].不同软硬件平台、不同语义设计、不同网络环境等多种模式的并存造成了不同数据库之间的数据交换不规范、数据同步与数据安全无保证等问题,并由此产生了“信息孤岛”的现象[2].
现有的软件已经很难解决这种异构数据库之间的数据交换难题[3].数据库管理系统(DBMS,Database
Management System)为了最大程度地解决这个难题,一般都提供了相应的数据交换工具,但因与具体的
DBMS耦合性太强,以至于失去了通用性[4];中间件技术虽然可以很好地解决这个难题,但是中间件技术由于本身比较复杂,不容易实现,而且还需要昂贵的软硬件资源[5-6],对于一般的企业来说负担太重,
从而
很难实现普及;中间数据法采用一种公共的数据格式作为媒介进行数据交换,通过双方既定的协议完成最终的功能,该方法成本较低,可扩展性强[7-8],但是实现中必须考虑网络环境、
运行效率以及数据的安全
性[9-10].本文将采用中间数据法设计一个灵活高效、简洁透明的异构数据交换系统,该异构数据库数据交
换引擎(HDEDEE,Heterogeneous Database Efficient Data Exchange Engine)
只需要简单的配置即可准时
性地完成异构数据库之间数据安全可靠的互相访问.
为了设计出简单易用、成本低廉、并且通用的数据库交换引擎,我们有必要对其进行适当的分析,从而了解其基本特性,以找出合适的解决方案.
1
异构数据库系统分析
异构数据库系统是对分布式数据库系统的集成和发展[10],
它们最根本的区别是分布式数据库系统拥
有自己单独的逻辑数据库,只有一个DBMS
,该DBNS为其整个系统提供一致的插入、查询、删除、更新等
①收稿日期:2014-02-29
基金项目:四川省应用基础项目“基于互联网应用的企业智能消息系统EIMS研究与实现”资助(10JC0335).
作者简介:黄学彬(1968-),男,四川蒲江人,博士,副研究员,主要从事计算机软件及互联网应用研究.操作;而异构数据库系统则是由多个自主的数据库系统通过适当程度的集成而构成的一个数据库系统.
异构数据库系统物理分布整体上可以概括为以下2种情况:同一个局域网内以及在不同的局域网内.
无论异构数据库系统是处于同一个局域网内还是在不同的局域网内,都具有分布性、异构性、自主性等3
个主要的特征.
1.1
分布性
异构数据库系统的各个组成部分并不在同一个地理位置,而是分布在不同的地理位置,它们通过各式各样的网络建立连接.数据保存在各个数据库系统中,这些数据可以以各种不同的方式保存,没有严格的逻辑要求.
1.2
异构性
1)不同的计算机体系结构:独立的数据库系统可以运行在大型机、工作站、微机等系统中.2)不同的计算机操作系统:独立的数据库系统可以被安装在不同的操作系统中,如Unix,Windows等.3)不同的DBMS:独立的数据库系统可以是MySQL,Oracle,SQLServer等,也可以是Redis、Monogdb等.4)不同的语义:数据库设计人员对数据定义、描述的二义性,会造成命名、数据存储类型、关系表达
等的二义性.
1.3
自主性
各个子系统都拥有自身系统内对应资源的使用权,包括增加、删除、修改、查询等,同时拥有与系统内其他子系统交互的权利,包括加入、退出、提供服务等.
从上面的分析可以看出,异构数据库系统中各子系统情况相当复杂,各子系统之间的数据共享会遇到各种各样的困难,针对这个难题,本文设计了一个数据交换引擎,用于同步多个同构或者异构的数据库之间相关的数据,该引擎具有通用性,并且操作简单易用.
图1 异构数据库数据交换网络2
高效数据交换引擎设计与实现
由于系统运行在网络环境下,所以文件格式的通用性、数据的安全性以及数据传输的高效性就成为了设计必须要考虑的前提.为此,本文提出的设计方案遵循如下原则:采用通用的数据存储格式存储数据;采用差量分析法分析数据;对差量数据进行加密传输;并且对大数据采用多线程断点续传来保证数据传输的高效性.
2.1
总体设计方案
如图1所示,有多个异构的数据库,它们之间彼此需要获取对方的数据,DBMS的差异和不同局域网内数
据库之间网络线路不通的问题,使得彼此之间无法正常完成交换数据的功能.因此,要完成彼此之间的这种数据交换必须依靠第三方的应用程序来完成.本文设计的数据交换引擎就可以很好地实现这个功能.
如图1所示,局域网LAN-1中有4个数据库系统,分别为DB1
,DB2,DB3,DB4,局域网LAN-2中也同样有
4个数据库系统,分别为DB5,DB6,DB7,DB8.DB1要与DB2,DB4交换数据;DB3也要与DB2,DB4交换数据;DB5要与DB6,DB8交换数据;DB7也要与DB7,DB8交换数据;另外,有些交换关系图上并未画出,如DB1要与DB5
,DB6等交换数据.由图1可以看出,它们之
间数据交换的关系错综复杂,需要一个良好的中间媒介来辅助完成这种交换功能.
本文设计的HDEDEE就是要充当这个良好的中间媒介.HDEDEE的部署及其使用相当简单,数据库
101第9期 黄学彬,等:异构数据库高效数据交换引擎设计图2 数据控制流程设计维护人员只需要简单地配置彼此之间需要交换的数据规则,然后将HDEDEE部署在与交换数据双方数据库相关的服务器上即可,HDEDEE会根据配置文件以及数据
规则,运行对应的客户端程序或者服务器程序,完成彼此之间数据的推送与更新功能.如图2所示,数据控制流程设计,概括来说有以下几个步骤:1)数据的获取:客户端读取本地配置文件,根据配
置文件从响应的数据库中获取当前时刻既定规则的数据;2)数据差异分析:分析当前时刻的数据与前一个时
刻获取的数据,获得这2个时间段内的数据差量,对差量进行进一步的分析,进而得出新增数据集、删除数据集以及更新数据集,差异分析法的使用,使得只有变化的数据才会被传输,从而可以很好地保证数据传输的高效性与数据的一致性;3)数据加密:为了增强网络数据传输的安全性,对新增数据集、删除数据集以及更新数据集进行加密
处理;4)数据传输:包括数据发送与数据传输,即将新增数据集、删除数据集以及更新数据集分别传输至指
定的目的服务器上;5)数据解密:对加密的数据,必须解密后才能由目的服务器上的HDEDEE服务器程序对其进行操作,将数据更新至对应的数据库中;6)数据更新:HDEDEE服务器程序解密后的数据集,根据配置文件的既定规则,将数据集更新至指定的目的数据库.
已经实现的加密解密算法有很多,在本设计的实验中,采用了DES算法;数据发送与接收采用TCP/IP协议,使用socket套接字进行网络编程,实现了数据的传输功能.加解密算法与网络传输已经十分普遍,不再作为本文的重点.本文重点集中在数据获取方案的设计、差异比较算法的设计以及数据更新算法的设计上,并详细介绍了获取当前数据设计方案、变化结果集设计方案以及数据更新方案的方法.
2.2
数据获取方案设计
需要获取什么数据都是预先设定的,本小节的目的就是设计如何设定待获取数据的方案.
程序需要的所有限制都记录在XML文件中,程序从XML配置文件读取信息,根据信息指示完成预定的功能.由于程序需要支持各种各样的异构数据库,而不同的DBMS有着不同的驱动接口,所以程序需要知道数据库类型,当然连接数据库所需的基本信息也必不可少.程序根据数据库类型调用不同的驱动接口,然后再依次读取XML配置文件中需要执行的查询命令,并将执行结果存储在XML配置中指定的文件内.另外,为了获得数据需要发送的目的地,还需要配置服务器所在的主机IP与端口.
HDEDEE客户端基本配置格式如图3所示.从这个配置文件设计可以得出,该客户端会将从数据库中获取的变化数据,发送至2个不同的服务器上,供2个服务器上的服务程序使用,从而将这些数据更新至服务程序所指定的数据库中.
2.3
变化结果集获取方案设计
如图4所示,首先对比当前时刻获取的影子表数据与前一个时刻获取的影子表数据,获取差异数据,并将差异数据写入2个差异文件;然后利用差异分析算法对差异文件进行分析,从而获取3种不同类型的变化结果集,并将这3类变化结果集分别存储在对应的文件中.
201西南师范大学学报(自然科学版) http://xbbjb.swu.cn 第39卷