一种基于T-ETL架构的多源异构数据集成方案

专利名称：一种异构多源数据的动态集成方法专利类型：发明专利
发明人：冯坚波,税仲炜
申请号：CN201911350737.5
申请日：20191224
公开号：CN111126963A
公开日：
20200508
专利内容由知识产权出版社提供
摘要：本发明公开了一种异构多源数据的动态集成方法，包括控制器和测试平台，控制器内包括主板、数据采集模块、数据库、数据分析模块、数据传输模块、数据存储模块、数据处理模块和数据发布模块，数据采集模块、数据库、数据分析模块、数据传输模块、数据存储模块、数据处理模块和数据发布模块均连接主板，数据传输模块的输出端连接数据库和数据储存模块的输入端，数据储存模块连接数据库。

本发明采用智能的方式操作，更加方便快捷；准确性高，通过测试平台测试，出错率得到降低；更加高效快捷，能够快速进行动态集成。

申请人：微创(上海)网络技术股份有限公司
地址：201100 上海市闵行区东川路555号戊楼4层4077室
国籍：CN
代理机构：深圳市卓科知识产权代理有限公司
更多信息请下载全文后查看。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910503881.1(22)申请日 2019.06.11(71)申请人 重庆工商大学融智学院地址 401320 重庆市巴南区龙洲湾尚文大道906号(72)发明人 曾波　李川　周文浩　(74)专利代理机构 北京卓恒知识产权代理事务所(特殊普通合伙) 11394代理人 李迪(51)Int.Cl.G06F 16/25(2019.01)G06F 16/28(2019.01)G06F 16/29(2019.01)(54)发明名称一种多源异构生态空间数据的集成方法(57)摘要本发明公开了一种多源异构生态空间数据的集成方法，属于地球物理数据信息技术领域，该方法包括以下步骤：空间数据采集：将空间数据、图件和属性数据，根据关键字段依次进行数据的录入和检查，保证录入数据的准确、可靠；空间数据的转换：在相同的空间参考基准下进行成图，将不同坐标体系下的坐标进行坐标换算转换为地理坐标系经纬度坐标；空间数据检查：包括去重、合并、删除数据经纬度坐标检查、文件格式转换等，以及数据正确性、完整性、一致性检查等；空间数据的集成：根据统一要求和标准汇集成数据信息；通过本发明，将分散异构的数据源进行集成，实现煤矿地质数据一体化存储，提高存储效率的集成技术。

权利要求书2页 说明书6页 附图2页CN 110347734 A 2019.10.18C N 110347734A1.一种多源异构生态空间数据的集成方法，其特征在于，包括以下步骤：(1)空间数据采集：将空间数据、图件和属性数据，根据关键字段依次进行数据的录入和检查，保证录入数据的准确、可靠；(2)空间数据的转换：在相同的空间参考基准下进行成图，将不同坐标体系下的坐标进行坐标换算转换为地理坐标系经纬度坐标；(3)空间数据检查：包括去重、合并、删除数据经纬度坐标检查、文件格式转换等，以及数据正确性、完整性、一致性检查等；(4)空间数据的集成：根据统一要求和标准汇集成数据信息。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910193469.4(22)申请日 2019.03.14(71)申请人 捷翊信息科技（上海）有限公司地址 200120 上海市浦东新区泥城镇云汉路979号2楼(72)发明人 曹志强　(74)专利代理机构 上海宏京知识产权代理事务所(普通合伙) 31297代理人 邓文武(51)Int.Cl.H04L 29/06(2006.01)H04L 29/08(2006.01)(54)发明名称一种多源异构数据集成系统及方法(57)摘要本发明属于数据处理技术领域，具体涉及一种多源异构数据集成系统及方法。

所述系统包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器和数据加密服务器；所述数据加密服务器，对所有涉及到传输的数据进行加密；所述数据源管理服务器，提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；解决当前信息集成系统需要对数据集成功能进行重复开发，以及现有数据集成系统不能满足信息系统需求，以及不灵活、可扩展性差的问题，推动数据集成的应用和发展。

权利要求书2页 说明书5页 附图1页CN 111698194 A 2020.09.22C N 111698194A1.一种多源异构数据集成系统，其特征在于，所述系统包括：数据源管理服务器、数据交换服务器、数据流建模服务器、数据流执行管理服务器和数据加密服务器；所述数据加密服务器，对所有涉及到传输的数据进行加密；所述数据源管理服务器，提供与外部异构数据源的接口，实现数据源的注册，提供数据源的地址、局部模式、数据源连接属性，并接收外部异构数据源输出的待集成数据，并将这些数据传送到数据交换服务器；所述数据交换服务器，接收数据源管理服务器传送的采集数据，管理各异构数据源提供的局部模式和由此生成的全局模式，以及存储局部模式和全局模式之间的映射规则，并根据映射规则实现数据集成任务涉及的全局模式和局部模式之间的映射，以及对数据源管理服务器输入的采集数据实现由局部模式到全局模式的映射，对数据流执行管理服务器输入的参数实现由全局模式到局部模式的映射；所述数据流建模服务器，根据数据交换服务器提供的基于全局统一视图的应用类型进行数据流过程的定义，生成数据流模型存储到模型库中；所述数据流执行管理服务器，连接数据交换服务器，负责与外部应用系统的连接、创建流程使数据流模型实例化、启动数据流流程、数据流执行启动解释、打开活动和提交活动给数据交换服务器，并将数据流流程结果返回给外部应用系统。

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202110078550.5(22)申请日 2021.01.21(66)本国优先权数据202011454364.9 2020.12.10 CN(71)申请人 太极计算机股份有限公司地址 100102 北京市朝阳区容达路7号中国电科太极信息产业园(72)发明人 吕翊　黄海峰　韩国权　李佳忆　(74)专利代理机构 北京智桥联合知识产权代理事务所(普通合伙) 11560代理人 金光恩(51)Int.Cl.G06F 16/215(2019.01)G06F 16/25(2019.01)G06F 16/22(2019.01)G06F 11/14(2006.01) (54)发明名称一种异构多源数据融合系统(57)摘要本发明公开了一种异构多源数据融合系统，包括：数据源装置，数据集成装置，数据存储与处理装置及统一资源服务装置；其中通过数据集成装置对于多源数据的清理和转换，数据存储处理模块中对于查询和索引模块中对索引数据的保存，对副本的备份和访问时间的设置等，有效地提高了异构多源数据系统的可靠性，同时通过负载迁移的设置和自动恢复模块等在保障异构多源数据融合系统被可靠访问的同时，满足了用户快速访问的需求。

权利要求书1页 说明书7页 附图2页CN 112395281 A 2021.02.23C N 112395281A1.一种异构多源数据融合系统，其特征在于，所述系统包括：数据源装置，数据集成装置，数据存储与处理装置及统一资源服务装置，所述装置，通过通信线路相互连接；所述数据源装置，用于对数据进行采集，通过系统日志和网络数据采集获取结构化和非结构化的多源数据；所述数据源装置包括数据校验模块，所述数据校验模块，对接收数据和发送数据做一致性的校验；所述数据集成装置，用于对数据源装置的多源数据进行预处理，从中抽取具有价值的数据，并对采集数据进行清洗转换，以适应数据的存储要求；所述数据存储与处理装置，用于大数据存储与管理，并进行数据调用；对数据类型按照数据热度分为在线，近线，离线数据三种类型，对于近线数据响应时间设置在100ms以内，对于在线数据的响应时间设置在30ms以内，对于离线数据响应时间设置在1s以内；所述数据存储与处理装置，包括分布式索引和查询单元，所述分布式索引和查询单元，用于将索引数据切分后，采用hash函数的映射的方式，将数据分布到不同的存储节点；所述数据存储与处理装置，将同一存储节点的数据以2个副本的形式保存到不同的节点上，一个副本在同机架的其他节点上，另外一个副本在其他机架的节点上，其中一个副本仅起数据备份作用，不接受查询请求；所述统一资源服务装置，用于为用户使用数据提供不同的应用接口，以与各种应用的需求对接。

一种电网多源异构数据集成方法的研究和设计发布时间：2021-11-08T02:35:21.515Z 来源：《中国科技信息》2021年10月下30期作者：魏俊锋，张春梅，郑嘉欣[导读] 在电力信息化飞速发展的过程中，在不同阶段采用不同的技术建设了各种应用管理系统，企业的管理效率得到了大幅提升，同时积累了丰富多样而又相互独立的数据资源。

为了实现对电网多源异构数据的高效利用，采用了基于ETL的数据集成方法，快速高效地对数据进行抽取、转换、加载，按统一标准化的数据规范存储，形成分析型数据，为提高电网生产智慧监控指挥水平奠定数据基础。

广东电网有限责任公司中山供电局魏俊锋，张春梅，郑嘉欣中山市 528400摘要：在电力信息化飞速发展的过程中，在不同阶段采用不同的技术建设了各种应用管理系统，企业的管理效率得到了大幅提升，同时积累了丰富多样而又相互独立的数据资源。

为了实现对电网多源异构数据的高效利用，采用了基于ETL的数据集成方法，快速高效地对数据进行抽取、转换、加载，按统一标准化的数据规范存储，形成分析型数据，为提高电网生产智慧监控指挥水平奠定数据基础。

关键词：数据集成；多源异构；电网1 引言近年来，随着电力信息化的长足发展，特别是“高度信息化、自动化、互动化”智能电网的全面建设，电力数据资源急剧增长，电网生产管理中每时每刻都在产生类型繁多、体量巨大的数据。

数据是企业的资产与财富，也是信息化的基础，更是发展的资源[1-2]。

如何将各类独立的业务和站端智能应用系统数据进行整合及提炼，从而实现各应用系统间的联动，优化调整业务流程，创新生产管理模式，提升设备运维管控力和管理分析穿透力，提高生产指挥体系运转效率，实现智慧化运行成为电网生产领域的生产智慧监控指挥亟需解决的问题。

这些多源异构数据交换存在缺乏一致的数据标准、缺乏一致的交换系统、缺乏一致的管理以及增长迅猛等问题,要高效利用起来，采用基于ETL（Extract-Transform-Load）的多源异构数据集成是行之有效的方法。

基于 ETL 的多源异构空间数据集成技术研究刘文军;吴俐民;方源敏【摘要】This paper analyzed the source of geospatial data ’s multi-source and heterogeneity In-depth,and stated the principle of ETL .For the purpose of extracting the spatial data from basic geographic information database and framework database massively and complexly about industry application .This paper tries to combines the ETL and GIS technologies , and carried out the test of data extraction ,cleansing ,conversion ,and finally loaded into a framework database with differentsources,scale,type,organization and software support platform .This test completed at the environment of the extraction rules and transformation rules predefined .At last,this paper achieves the goal for spatial data sharing and integration .%深入分析了地理空间数据的多源性和异构性的来源以及ETL技术的原理。

基于从海量的、复杂的基础地理信息数据和框架数据中提取行业相关应用的空间数据的目的，尝试将ETL技术和GIS技术结合的方法，对不同来源、尺度、类型、组织方式及软件支撑平台的基础地理空间数据，在预先定义好的抽取规则和转换规则基础上，通过数据的抽取、清洗、转换，最后装载到框架数据库的实验。