当前位置:文档之家› 基于PI_API的PI数据库访问技术的研究

基于PI_API的PI数据库访问技术的研究

基于PI_API的PI数据库访问技术的研究
基于PI_API的PI数据库访问技术的研究

oracle数据库实时同步技术解决方案研究

oracle数据库实时同步技术解决方案研究 近幾年,容灾及高可用已经成为信息数据中心建设的热门课题。本文在对oracle数据库同步技术的初步研究的基础上,根据大庆油田数据中心的实际情况,提出以goldengate和dataguard这两种技术为主的同步解决方案。通过对两种技术的对比研究,根据不同的应用需求选择适合的技术,强调了数据实时同步作为数据库容灾的重要手段,通过实时的数据同步提供高可用的业务分离的应用环境,大大降低主库的压力,保证数据的安全性和高可用性。 标签:数据库同步;goldengate;dataguard;容灾;高可用 一、数据库同步技术 数据库同步是在两个以上的数据库之间进行数据交换,以使得任何一个数据库的改变,会以同样的方式出现在另一个数据库里。数据库同步可以是单向的,也可以是双向的。单向同步也叫主从同步。只有主数据库的改变可以被复制到从数据库里去,从数据库是被动的。双向同步顾名思义就是任何一端的数据变化都要同步到另一端,因为这种同步对应用的要求很高,成功的案例并不多,现实中,应用最为广泛的是单向同步。使用数据库同步技术,用户可以将一份数据发布到多台服务器上,也可以从多台服务器到一台服务器上,从而使不同的服务器用户都可以在权限的许可的范围内共享这份数据。同步技术可以确保分布在不同地点的数据自动同步更新,从而保证数据的一致性。 二、Oracle提供的数据同步方案 从实现机制来分的话,Oracle的数据同步主要分为两大类: (一)运用Oracle数据库内部的机制来实现 1、触发器/Job+DBLINK的方式,可同步和定时刷新。 这种方式主要用于单个数据表,数据量较小的情况。这种方式对网络要求较高,如果两个数据库之间的网络中断,那么主库那边就会报错,而且如果表数多或数据量大的话对数据库性能影响很大,所以这种方式现在很少被采用了。 2、物化视图刷新的方式,有增量刷新和完全刷新两种模式,定时刷新。 物化视图的方式的缺点与触发器方式的缺点基本一致,所以要慎重使用。 3、高级复制,分为多主复制和物化视图复制两种模式。其中多主复制能进行双向同步复制和异步复制,物化视图用于单向复制,定时刷新,高级复制也是基于触发器(trigger)原理,因此高级复制只能到表一级,而且只能是单向复制,否则会冲突,高级复制同样对数据库性能影响很大。

数据库实时同步技术解决方案

数据库实时同步技术解决方案 一、前言 随着企业的不断发展,企业信息化的不断深入,企业内部存在着各种各样的异构软、硬件平台,形成了分布式异构数据源。当企业各应用系统间需要进行数据交流时,其效率及准确性、及时性必然受到影响。为了便于信息资源的统一管理及综合利用,保障各业务部门的业务需求及协调工作,常常涉及到相关数据库数据实时同步处理。基于数据库的各类应用系统层出不穷,可能涉及到包括ACCESS、SQLSERVER、ORACLE、DB2、MYSQL等数据库。目前国内外几家大型的数据库厂商提出的异构数据库复制方案主要有:Oracle的透明网关技术,IBM的CCD表(一致变化数据表)方案,微软公司的出版者/订阅等方案。但由于上述系统致力于解决异构数据库间复杂的交互操作,过于大而全而且费用较高,并不符合一些中小企业的实际需求。 本文结合企业的实际应用实践经验,根据不同的应用类型,给出了相应的数据库实时同步应用的具体解决方案,主要包括: (1) SQLSERVER 到SQLSERVER 同步方案 (2) ORACLE 到SQLSERVER 同步方案 (3) ACCESS 到SQLSERVER/ORACLE 同步方案

二、异构数据库 异构数据库系统是相关的多个数据库系统的集合,可以实现数据的共享和透明访问,每个数据库系统在加入异构数据库系统之前本身就已经存在,拥有自己的DMBS。异构数据库的各个组成部分具有自身的自治性,实现数据共享的同时,每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。异构数据库的异构性主要体现在以下几个方面: 1、计算机体系结构的异构 各数据库可以分别运行在大型机、小型机、工作站、PC嵌入式系统中。 2、基础操作系统的异构 各个数据库系统的基础操作系统可以是Unix、Windows NT、Linux等。 3、DMBS本身的异构 可以是同为关系型数据库系统的Oracle、SQL Server等,也可以是不同数据模型的数据库,如关系、模式、层次、网络、面向对象,函数型数据库共同组成一个异构数据库系统。 三、数据库同步技术

分布式数据库数据同步技术研究

分布式数据库数据同步技术研究 由于分析式数据库同步技术应用越来越广泛,因此相关的研究也备受人们关注。本文主要是从分布式数据库同步技术的流程,以及数据同步的方法来对其进行阐述,以供大家参考。 标签:分布式数据库同步技术研究 一、前言 经济逐步发展,企业的数量和规模都在不断增多,每个企业在各地都有自己的子公司,为了能够使不同的公司运用相同的数据,就要采取数据库同步技术来解决。但是,因为其操作复杂,对网络以及系统的依赖性比较高,其运用时经常出现各种问题。 二、分布式数据库同步技术概述 1.分布式数据库的定义以及特征 分布式数据库又称DDB,其是Distributed Database的英文简称,它是一个数据库的集合,该集合包括计算机网络当中的每一个场地以及节点上面的数据库。分布式数据库有两大特点,即分布性和逻辑的协调性相统一。分布性是指所有的数据不是仅仅存放在单个的计算机的储存器上,而是根据整体的需要,将数据进行划分,形成具有一定结构的数据子集,然后将其储存在各个场所中;逻辑协调性就是指分布在不同场所的数据子集,其相互之间互相制约,使其形成一个逻辑上的整体。 2.数据同步技术 数据同步技术利用的是分布式数据库,使数据库中位于不同场所的数据实现同步更新,从而实现数据库的分布式处理应用。该项技术可以大大地提高用户使用和处理数据的透明程度,使每一个站点的自治性也有所提高。 三、技术同步的过程 根据数据同步流程,按照典型的三步数据同步过程,采用基于XML与.NET Removing的分布式数据同步模型,该数据同步模型采用松散一致性的单向数据同步方式,同步时由源端以推式方式进行。数据同步系统由三个部分组成,分别是更新差异数据模块、捕获差异数据模块以及分发差异数据。 该模型主要适用的是具有触发器功能的数据库管理系统,其是在https://www.doczj.com/doc/e13594742.html,平台上面构建而成的,它通过触发器来讲源数据库中的数据变化情况进行捕获,其数据变化的差异称作为差异数据,差异数据会在源端进行储存,

基于WEB的数据库访问技术

基于WEB的数据库访问技术 【摘要】基于WEB的数据库访问技术,在各具体业务应用与底层用户数据库间建立一种可扩展、可移植,具有较强伸缩性的统一的对外接口,以有效地支撑业务网络应用。 【关键词】WEB;数据库访问技术 1.引言 在三层C/S中应用程序访问数据库服务器都需要一定的数据访问技术的支持。从总体上数据访问技术可以分为数据访问接口和数据访问对象两部分,两者之间的关系如图1所示。 图1 数据访问技术关系图 数据访问接口:提供一组标准化接口(数据库引擎),允许应用程序访问不同类型的数据库管理系统。如ODBC,JDBC,OLE DB等;数据访问对象:提供用于通过数据库访问接口访问数据库管理系统的通用标准对象,不受应用程序开发语言的限制,实现对数据库的连接、增加、删除和查询等操作。如常见的有DAO,RDO,ADO,https://www.doczj.com/doc/e13594742.html,等对象模型。在数据访问技术研究初期,不同的数据库厂商都会提供不同的数据访问接口,开发人员需要针对不同的数据库管理系统(DBMS)学习不同的专用数据库访问技术,比如DB2系统的CLI Library、Oracle 的OCI Library等。这对开发人员造成了极大的困惑,使得数据库应用程序的开发很困难,影响开发进度;而且所开发的应用程序局限性很大,严重依赖于数据库平台,不利于应用程序的跨数据库平台移植。 2.通用基于WEB数据库访问技术 信息化时代,网络和信息管理高速发展,数据库技术日臻成熟,功能日趋完善,而网络和数据库之间的关联与应用日益紧密,用户对信息的要求随之也要达到高标准的实时性与交互性,因此WEB服务器与数据库技术的结合显得格外重要。数据库访问中间件技术出现一改传统两层结构,采取C/S三层结构,充分发挥了WEB技术和数据库技术二者结合的综合优势与潜力,提高了性能、访问效率和安全性。常见的基于WEB的数据库访问技术分为以下几种: 2.1 CGI技术 CGI即通用网关接口,是Web服务器与应用程序交互传递信息的一种标准接口。CGI的工作原理是客户端浏览器通过URL向Web服务器提出请求,服务器的守护进程将此请求传给相应CGI程序进行处理,然后CGI将处理结果返回客户端浏览器。CGI优点:通用性强,基本支持所有HTTP服务器,交互能力强,跨平台性能极佳,操作简单灵活。CGI缺点:应用程序通常独立执行,客户共享

数据中心同步平台建设方案

数据中心同步平台建设方案 第一章概述 1.1 平台建设背景 当前政府、企业的信息化的状况是,各政府和企业一般都设计和建设了属于机构、业务本身的应用、流程以及数据的信息处理系统,独立、异构、涵盖各自业务内容的信息处理系统,系统设计建设的时期不同、业务模式不同,信息化建设缺乏有效的总体规划,重复建设;缺乏统一的设计标准,大多数系统都是由不同的厂商在不同的平台上,使用不同的语言进行开发的,信息交互共享困难,存在大量的信息孤岛和流程孤岛。为了有效整合分散异构的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平。宇思公司要开发的数据共享交换平台,主要目的是有效整合分散异构系统的信息资源,消除“信息孤岛”现象,提高政府和企业的信息化水平,灵活实现不同系统间的信息交换、信息共享与业务协同,加强信息资源管理,开展数据和应用整合,进一步发挥信息资源和应用系统的效能,提升信息化建设对业务和管理的支撑作用。 要求新构建的数据共享交换平台要遵循标准的、面向服务架构(SOA)的方式,基于先进的企业服务总线ESB技术,遵循先进技术标准和规范,为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的互连互通提供包含提取、转换、传输和加密等操作的数据交换服务,实现扩展性良好的“松耦合”结构的应用和数据集成;同时

要求数据共享交换平台,能够通过分布式部署和集中式管理架构,可以有效解决各节点之间数据的及时、高效地上传下达,在安全、方便、快捷、顺畅的进行信息交换的同时精准的保证数据的一致性和准确性,实现数据的一次 数据共享交换平台-设计方案 采集、多系统共享;要求数据交换平台节点服务器适配器的可视化配置功能,可以有效解决数据交换平台的“最后一公里”问题,快速实现不同机构、不同应用系统、不同数据库之间基于不同传输协议的数据交换与信息共享,为各种应用和决策支持提供良好的数据环境。要求数据共享交换平台能够把各种纷繁复杂的数据系统集成在一起完成特定业务,提供同构数据、异构数据之间的数据抽取、格式转换、内容过滤、内容转换、同异步传输、动态部署、可视化管理监控等方面功能,支持的数据包括各主流数据库(如Oracle、SQL Server、MySQL等)、地理空间数据(如卫星影像、矢量数据)、常规文件(word、excel、pdf)等各种格式,并可以根据用户需求定制开发特定业务服务。 1.2 应用场景 场景一:中国科学院电子学研究所的信息交换需求 实现各个数据中心间的数据库层面的数据共享交换,各中心之间是双向的、实时的数据交换,各数据节点的数据库是同构的数据库系统(即Oracle),数据的类型是基于数据库表格的规则数据,字段类型包含BLOB字段类型。目前各数据节点的数据结构(表)是相同的,主要是一表对一表的数据交换,数据抽取和过滤需求比较简单。目前数据共享交换是通过Oracle GoldenGate数据库同步工具来

数据库同步技术解决方案.doc

数据库同步技术解决方案 ----数据库发布订阅SqlServer数据库同步是项目中常用到的环节,若一个项目中的数据同时存在于不同的数据库服务器中,而这些数据库需要被多个不同的网域调用时,配置SqlServer数据库同步是个比较好的解决方案。SqlServer数据库同步的配置比较烦锁,下面对其配置详细步骤进行介绍: 一、数据复制前提条件 1. 数据库故障还原模型必需为完全还原模型。 2. 所有被同步的数据表都必须要用主键。 3. 发布服务器、分发服务器和订阅服务器必须使用计算机名称来进行SQLSERVER服务器的注册。 4. SQLSERVER必需启动代理服务,且代理服务必需以本地计算机的帐号运行。 二、解决前提条件实施步骤 1. 将数据库故障还原模型调整为完全还原模型。具体步骤如下: 打开SQLSERVER企业管理器>选择对应的数据库>单击右键选择属性.>选择”选项”>恢复模式选‘完整’。 2. 所有被同步的数据表都必须要有主键。(主要指事务复制)如果没有主键的数据表,增加一个字段名称为id,类型为int 型,标识为自增1的字段。 3. 发布服务器、分发服务器和订阅服务器必须使用计算机名称来进行SQLSERVER服务器的注册。 在企业管理器里面注册的服务器,如果需要用作发布服务器、分发服务器和订阅服务器,都必需以服务器名称进行注册。不得使用IP地址以及别名进行注册,比如LOCAL, “.”以及LOCALHOST等。

4.如果非同一网段或者远程服务器,需要将其对应关系加到本地系统网络配置文件中。文件的具体位置在%systemroot%\system32\drivers\etc\hosts 配置方式: 用记事本打开hosts文件,在文件的最下方添加IP地址和主机名的对应关系。如图:

基于Oracale数据库实时同步技术的研究与分析

龙源期刊网 https://www.doczj.com/doc/e13594742.html, 基于Oracale数据库实时同步技术的研究与分析 作者:李旭董争鸣 来源:《信息安全与技术》2014年第02期 【摘要】本文首先对数据库实时同步技术的发展背景做了个简单介绍,接着着重介绍了一下Oracale数据库实时同步技术的几种常见的方法。通过对不同方法的原理以及优缺点的介绍让你对Oracale数据库同步技术的几种主要的方法有一个详细的了解。 【关键词】 Oracale;实时同步技术;数据库 To Explore the Interactive Animation Programming Based on Flash Li Xu Dong Zheng-ming (Zhejiang Police College ZhejiangHangzhou 310053) 【 Abstract 】 Firstly,the paper does a simple introduction to backgrand of database synchronization technology developmenta.Then it introduces several common methods about Oracle database real time synchronization. By the principle of various methods and the advantages and disadvantages of several main methods on your Oracale database synchronization technology to have a detailed understanding of. 【 Keywords 】 oracle; real time synchronization technology; databace 1 前言 随着信息时代的飞速发展,数据已经成为企业创造商业价值的主要生产资料之一,数据库和企业密切相关。随着数据越来越庞大、复杂,给数据库系统用户和开发者带来不少问题。比如当数据库中出现各种各样的硬件平台以及异构的软、硬件平台时,当企业各个应用系统之间用需要进行数据交流时,就会严重影响数据的传输的准确性、及时性以及工作效率。这就需要数据库开发人员不断的维护程序,为满足不断增长的数据库统计分析功能,需要不停的书写繁琐的SQL语句,使得效率越来越低。另外,数据库在网络升级、硬件升级、数据库升级上面也是费时费力,数据库对机器的要求越来越高,这就把用户带入了高成本的漩涡中。再者,如果数据高度集中,当出现突然停电、意外死亡、或者人为破坏,都会给企业带来毁灭性的灾难。 2 数据库同步技术

数据库同步技术分析

数据实时同步或抽取上收的技术分析(社保、电力营销、财政、税务征管、公安警务等地市数据省级大集中应用/异地灾备) 收藏 1 实现数据集中的技术手段分析比较 根据业界提供数据同步或抽取的解决方案来看,主要包括以下几大类: l 存储复制技术 l 数据库复制技术 l ETL抽取技术 1.1 存储复制技术 实现原理 存储复制技术主要由磁盘阵列复制技术、主机卷复制技术以及一些文件复制技术。 存储复制方案的技术核心是利用存储阵列自身的盘阵对盘阵的数据块复制技术实现对生产数据的远程拷贝,从而实现生产数据的灾难保护。在主数据中心发生灾难时,可以利用灾备中心的数据在灾备中心建立运营支撑环境,为业务继续运营提供IT支持。同时,也可以利用灾备中心的数据恢复主数据中心的业务系统,从而能够让企业的业务运营快速回复到灾难发生前的正常运营状态。 基于存储的复制方案有两种方式:同步方式和异步方式,说明如下:同步方式,可以做到主/备中心磁盘阵列同步地进行数据更新,应用系统的I/O写入主磁盘阵列后(写入Cache中),主磁盘阵列将利用自身的机制(如EMC的SRDF/S)同时将写I/O写入后备磁盘阵列,后备磁盘阵列确认后,主中心磁盘阵列才返回应用的写操作完成信息。异步方式,是在应用系统的I/O写入主磁盘阵列后(写入Cache中),主磁盘阵列立即返回给主机应用系统“写完成”信息,主机应用可以继续进行读、写I/O操作。同时,主中心磁盘阵列将利用自身的机制(如EMC的SRDF/A)将写I/O写入后备磁盘阵列,实现数据保护。采用同步方式,使得后备磁盘阵列中的数据总是与生产系统数据同步,因此当生产数据中心发生灾难事件时,不会造成数据丢失。为避免对生产系统性能的影响,同步方式通常在近距离范围内(FC连接通常是200KM范围内,实际用户部署多在35KM左右)。而采用异步方式应用程序不必等待远程更新的完成,因此远程数据备份的性能的影响通常较小,所以一般可以到100KM左右。 采用基于存储数据复制技术建设复制方案的必要前提是: l 通常必须采用同一厂家的存储平台,通常也必须是同一系列的存储产品,给用户的存储平台选择带来一定的限制。 l 复制中心的主机平台也需要和生产中心为相同类型。 l 采用同步方式可能对生产系统性能产生影响,而且对通信链路要求较

相关主题
文本预览
相关文档 最新文档