达梦数据同步软件DMHS技术白皮书V2.0
- 格式：pdf
- 大小：854.62 KB
- 文档页数：10
达梦数据同步软件DMHS技术白皮书达梦数据库有限公司DM DATABASE CO.,LTD目录1.概述 (2)2.DMHS产品特点 (3)体系结构高可扩展 (3)确保业务系统高可用 (3)高效的数据实时同步 (3)高可靠的数据传输 (4)可读写的备机系统 (4)数据同步内容可定制 (5)轻量级设计实现快捷部署 (5)跨平台软硬件支持 (5)3.DMHS典型应用场景 (5)应急灾备系统 (6)提高资源利用率，实现多业务中心 (7)提供实时异构资源信息整合新方案 (8)改进数据仓库架构 (9)数据迁移、滚动升级 (10)1.概述达梦数据同步软件(DMHS:Heterogeneous database Synchronization for DM)是达梦公司推出的新一代支持异构环境的高性能、高可靠、高可扩展数据库实时同步系统。
该产品基于成熟的关系数据模型和标准接口，跨越多种软硬件平台，支持强大而灵活的拓扑结构，能以极少的系统开支实现秒级数据实时同步，可广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、订阅分发、多业务中心等业务领域。
随着信息化建设的高速发展，信息系统已经成为企业维持业务运转的关键，企业迫切需要提高信息系统的可用性，保证业务的连续性，最大限度地减少因灾难或故障所带来的损失。
另一方面，多样化的业务类型导致数据访问需求的日趋复杂化，数据量的急剧攀升也导致数据库服务器不堪重负，企业同样迫切需要提高信息系统的运行效率。
达梦数据同步软件DMHS，通过秒级数据实时同步可以有效避免传统备份系统导致的无法完全满足企业对于信息系统不中断服务的问题；通过变化日志捕捉可以有效降低传统ETL工具因创建触发器、影子表等对业务系统带来的性能影响；通过可读写的备机数据库系统可以解决传统备机系统仅作为后备而无法对外提供数据服务的问题。
DMHS的技术原理图如图1所示。
图1 DMHS技术原理示意图2.DMHS产品特点体系结构高可扩展DMHS的开放式体系结构使其能够适应各种异构数据平台。
系统安装部署简单但功能强大，可以根据用户需求采用非常灵活的方式配置出各种拓扑结构，包括一对一同步、一对多广播型同步、多对一聚合型同步、多对多同步以及级联同步等多种数据同步形式，满足用户的各种复杂数据同步需求。
确保业务系统高可用DMHS采用基于日志的结构化数据同步技术，实时数据同步不依赖主机上源数据库的触发器或者规则，对主机源数据库系统几乎无影响。
DMHS提供业务连续性支持，备机数据库系统始终出于活动状态。
在非计划性停机导致主机业务系统无法工作时，可在DMHS的备机数据库系统上及时接管业务，实现业务系统快速切换和恢复，保持业务连续并使数据损失最小化。
高效的数据实时同步DMHS采用并行处理体系，能够实时读取主机源数据库日志，以较低的资源占用实现大批量的数据实时同步。
在源端，DMHS采用优化的日志扫描算法实现目标数据的快速抽取。
在目的端，DMHS使用数据库本地ODBC接口访问备机数据库系统，同时可以通过事务重组、分批加载等技术加快数据装载的速度和效率，降低备机数据库系统的资源占用。
传输过程中，DMHS直接通过TCP/IP进行网络传输，无需依赖于数据库自身的传递方式，通过对传输对数据进行筛选和压缩，还可以进一步降低带宽需求。
高可靠的数据传输DMHS的数据同步以源数据库的事务为单位，严格按照主机业务系统事务顺序实施数据同步，保障备机数据库与主机数据库的事务级完整性和一致性，确保备机数据库符合主机业务系统事务逻辑。
通过这种事务级粒度的数据一致性维护，使得备机数据库系统分担主机数据库系统上的业务负载成为可能。
数据在传输过程中可能因为网络故障而导致传输中止。
为保障数据传输的无丢失，DMHS使用检查点机制实现断点续传。
断点包括两个部分，即DMHS前置的变化数据捕捉模块数据抽取位置检查点和DMHS主程序的数据装载模块的已装载位置检查点。
DMHS的前置模块与主程序模块采取完备的消息应答机制来保障数据传输的可靠性和数据完整性。
前置模块只有在得到确认消息后才认为数据传输完成，否则将自动重新传输数据。
可读写的备机系统与传统仅作为后备而无法对外提供数据服务的备机系统不同，DMHS的备机数据库系统是一套独立的可读写数据库系统。
通过高可靠的数据传输，DMHS备机数据库系统中的数据可以在业务处理逻辑上与主机系统完全保持一致。
应用系统通过简单配置，就可以使用DMHS的备机系统分担主机业务系统上的负载，提高业务系统效率。
同时，根据实际业务需要，还通过DMHS的备机系统还可以实现生产型业务与分析型业务的完全隔离双业务中心，提高应用系统整体性能。
数据同步内容可定制DMHS支持同步数据可筛选、数据过滤和简单的数据转换，实现满足业务需求的按需同步，有效的降低网络通信代价和存储成本。
DMHS数据筛选通过用户在需要同步的表上定义过滤和转换规则来实现。
未来DMHS还将和DMETL结合，实现更为复杂的数据清洗。
DMHS还支持传输数据压缩和加密，在进一步降低网络传输代价的同时，提高传输安全性，防止数据库数据在传输过程中被非法窃取。
轻量级设计实现快捷部署DMHS采用轻量级框架设计，能够方便项目实施人员快速部署并极大的减少系统管理员工作压力和负担。
同时DMHS支持初次数据装载全同步功能，能够在不中断业务的情况下，将主机数据库中的当前数据平滑的装载到备机数据库中。
跨平台软硬件支持DMHS面对日趋复杂的计算机环境具有极好的适应性，能够在目前流行的各种软硬件平台和数据库环境下传输数据，在同一解决方案架构下，实现企业不同平台上的多个信息系统的统一同步的支持。
目前主机源数据库支持DM6、DM7、Oracle9i、Oracle10g、Oracle11g。
备机目的数据库支持可通过ODBC接口连接的各种主流关系数据库管理系统。
3.DMHS典型应用场景应急灾备系统传统的数据备份系统、集群系统、磁盘阵列、DataGuard技术等往往无法完全满足企业对于信息系统不中断服务的要求。
对于传统备份系统，在两次数据备份之间若服务器出问题时则资料将会遗失，而且利用备份还原通常需花费较长的时间（TB级数据的还原时间需要数小时）；集群系统无法达到异地备份目的，且成本昂贵；磁盘阵列无法应付操作系统或应用程序造成的宕机，并且无法立即恢复服务；Oracle DataGuard等产品是单一数据库解决方案，备机必须与主机同构，使用相同的数据库版本，整个备机数据库只能以只读方式访问，也无法实现数据整合和数据分发，另外，通过这类产品实现的应急灾备系统由于其同构特征，仍然容易受到二次攻击。
DMHS可以有效满足这些可用性要求极高的关键性应用，协助企业以最经济的方式达到系统的高可用性容灾，保证业务的连续性，最大限度地减少因灾难或故障所带来的损失。
图2 DMHS典型应急灾备系统架构示意图DMHS高效的数据同步可以以秒级的速度保持异构的备机数据库系统与主机系统的数据一致性，并且符合实际的业务处理逻辑。
当主机生产系统无法提供服务时，可在DMHS的异构备机数据库系统上及时接管业务，实现生产系统快速切换和恢复，保持业务连续并使数据损失最小化。
DMHS的异构特点可以进一步降低后续攻击行为对生产系统造成破坏的可能。
DMHS采用从外部分析日志的方式，使得数据同步不需要对主机数据库进行复杂配置，对主机数据库系统几乎无影响，从而可以有效避免传统应急灾备系统对生产系统带来的性能影响。
提高资源利用率，实现多业务中心传统的主备系统中，备机往往只作为后备使用，仅当主机系统出现非计划停机时，才会切换并启用备机。
因此备机上的计算资源必然长时间被闲置。
DMHS的备机数据库系统是一套独立的可读写数据库系统。
通过高可靠的数据传输，DMHS备机数据库系统中的数据可以在业务处理逻辑上与主机生产系统完全保持一致。
DMHS的备机数据库系统始终处于启用状态，随时可提供数据库服务。
应用系统通过简单配置，就可以使用DMHS的备机系统分担主机生产系统上的负载。
因此DMHS可以在提高生产系统效率的同时，也可以有效的利用企业的闲置计算资源，充分发挥其价值。
另外，生产系统中一些常用的数据查询、报表等功能也可以部署到DMHS 的备机系统上，实现交易性业务与分析型业务的分离，形成双业务甚至多业务中心，提升企业信息系统整体的运行效率。
应用系统可以在DMHS备机数据库上根据业务特点进行调整和优化，可以完全不受主机生产系统的限制。
同时，业务上的分离也使得包括实时报表在内的一些因为性能原因无法应用到生产系统数据库上的企业资产能够获得部署和应用。
图3 DMHS典型多业务中心架构示意图提供实时异构资源信息整合新方案传统的异构资源信息整合需要借助于DTS、ETL等专用工具提供的强大数据抽取、转换、清洗和装载能力。
但这些工具都需要在生产系统数据库中建立触发器、影子表等，对系统性能和稳定性有较大影响。
为降低对生产系统的影响，ETL 这类工具往往通过计划性任务调度在业务系统负载较轻时开始工作，这显然是以牺牲整合为代价。
DMHS集成了DMETL、DMDTS的技术优点，实现了轻量级的数据转换和清洗。
用户在使用DMHS实现秒级异构同步的同时，通过功能强大的清洗转换规则、高可扩展的部署拓扑结构，即可获得传统ETL的异构数据整合能力，同时，还可有效减少企业IT资源的投入。
DMHS DMHS图4 DMHS配置复杂的数据集成方案示意图改进数据仓库架构数据仓库为了满足OLAP的分析需要，必须从生产系统数据库中获取基础性数据。
在传统的数据仓库架构中，这种数据的转移往往都是通过ETL完成抽取工作，考虑到对生产系统性能的影响，抽取的时机、抽取数据的规模都必须进行细致的安排。
这些都势必对数据仓库分析性应用中数据的时效性、分析结果的有效性都带来一定的影响。
而为了提高市场竞争力，提高客户满意度，企业需要更复杂的、更灵活的业务统计报告、需要深入的数据挖掘、需要实时的客户查询。
而这些大量的统计、查询业务受到现有系统架构的制约，不得不降低效率标准、推迟报告时间、从而导致客户服务质量降低、业务发展情况报告迟缓，业务发展情况不明等问题。
通过DMHS的实时数据同步，可以在极小影响生产系统的条件下，实现生产系统数据库的实时同步。
这样，数据仓库的ETL就不再需要直接从生产系统数据库中抽取所需数据，转而可以从DMHS的备机数据库中抽取，数据抽取的时机、数据规模都不再受到限制。
因此，通过DMHS可以改变传统的数据仓库基础架构，提高分析数据的时效性和分析结果的有效性，实现商务智能和信息分析能力的提升，实现实时可用的数据仓库。
图5 改进后的数据仓库架构方案示意图数据迁移、滚动升级数据迁移、系统升级等生产系统所必须的维护工作往往以牺牲系统服务连续性为代价。
