基于多源数据的分布式实时数据库迁移技术

第39卷第6期

2017年6月华电技术Huadian TechnologyVol. 39 No. 6

Jun.2017

基于多源数据的分布式实时数据库迁移技术

王瑾1,刘洋2,曾坚永2，邓大为2,仲卫1

(1.国电南瑞科技股份有限公司，南京211106; 2.广东电网有限责任公司电力调度控制中心，广州510600)

摘要:随着调度自动化系统的发展，各级调度横向集成、纵向贯通的力度不断加大，上下级模型、数据按需共享的需求 不断涌现。而传统模型拼接的模型，信息共享方式操作繁琐，且对于过期模型的清理涉及商用库的操作,存在影响运行 系统模型的风险。提出了基于多源数据的分布式实时数据库迁移技术，高效便捷，可有效规避上述风险。分析了目前电 网调度自动化系统实时数据库迁移方式的优缺点，介绍了相关的关键技术，该技术在广东中调0CS中成功应用，提高了

模型维护效率，保障了模型安全，提升了调度系统一体化运行水平，为省、地级智能电网建设提供了有力的技术支持。 关键词:实时数据库;多源数据;数据映射;数据迁移中图分类号:TM 76 文献标志码：A 文章编号：1674 -1951(2017)06 -0010 -04

〇引言

电力系统规模的发展对调度系统提出了更高的

需求[1]，国家电网公司提出的“大运行”体系[2-3]， 南方电网公司提出的0S2标准化体系[4]，使得各级

调度横向集成、纵向贯通的力度不断加大，上下级模

型、数据按需共享的需求不断涌现，实时数据库作为

自动化系统的底层核心模块[，承担了大部分实

时处理工作，实时数据库系统对横向集成、纵向贯通

的支撑能力，很大程度上决定了智能调度系统之间

的数据共享和交互能力。

传统上通过模型拼接等手段，借助商用关系数

据库和时间序列数据库的支持[7_8]，来实现多级调

度系统之间模型、信息共享的需求[9]，这种方式一

方面存在着信息共享流程复杂、操作繁琐的不足，另

一方面，对过期模型的清理涉及商用库的操作，存在

影响运行系统模型的风险。本文提出了一种基于多

源数据的分布式实时数据库迁移技术，能够有效地

解决上述问题，提升上下级调度信息共享与交互

能力。

在现有技术方面，文献[1 ]研究了一种基于公 共信息模型/可扩展标志语言（CIM/XML)文件的电

网模型互操作方法;文献[11]介绍了一种基于变电 站配置描述（SCD)文件的变电站系统建模方法;文

献[12 ]介绍了一种SCD文件向公共信息模型/E语

言（CIM/E)文件的转换方法，这些方法或者必须依

托于商用数据库进行模型信息转换、共享，或者处理

的数据来源较为单一，本文所述基于多源数据的分

布式实时数据库迁移技术，主要体现在可以脱离商

收稿日期:2017 - 04 - 07;修回日期:2017 -05 -22用库和多源数据处理支持上，因此，上述技术与本文

介绍的技术存在明显差别。

本文在分析现有电网调度自动化系统实时数据

库系统功能和数据迁移方式的基础上，梳理各级调

度自动化系统目前各种实时数据来源，研究了基于

多源数据的分布式实时数据库迁移相关技术，并给

出实现方案，展望了应用前景。

1共享数据来源

实时数据库主要用来存储2类数据:一是电力

系统设备模型，二是电力系统运行时产生的实时数

据。目前，电网调度自动化系统主要有以下几种数

据来源。(1) CIM/XML文件。国际电工委员会（IEC

布的:IEC 61970 CIM[13]提供了电力系统设备模型相

关的若干个包与类，并且可以描述类之间的关系。 在智能电网调度技术支持系统CIM/E规范形成之

前，调度系统之间通常使用XML格式文件作为CIM

的载体，通过CIM/XML文件来实现调度系统之间

的模型交换和数据迁移。

(2) CIM/E文件。电网通用模型描述规

CIM/E语言规范是在IC 61970 - 301电力系统

CIM的基础上，针对CIM以XML方式进行描述时

的效率缺陷所发展起来的一种新型高效的电力系统 数据标记语言。CIM/E语言与CIM/XML均一致地

遵循CIM基础对象类，以XML语言描述的电力系

统模型与以CIM/E语言描述的电力系统模型支持

系统可以相互转换。目前，智能电网调度技术之间 使用CIM/E文件进行模型数据交换和数据迁移。

(3) SCD文件。SCD文件[14-15]是符合变电

智能电子设备配置语言SCL (substation configure la

-第6期王瑾，等:基于多源数据的分布式实时数据库迁移技术• 11 •

nguage)规范的文件，是变电站监控系统之间数据交

换的标准语言，⑶文件和CIM/E文件可以通过多

种方式实现转换。目前，来自于智能变电站系统的 数据通常使用SCD文件通过模型拼接的方式迁移

到上级调度系统。

2原有的二次迁移方法

目前，实时数据迁移方式通常是一个以商用库

为中间存储载体的二次迁移方式。以调度自动化系

统为例，在智能电网调度技术支持系统中，电网设备 模型的来源是CIM/E文件，首先通过模型拼接或模

型导人，将模型数据迁移到商用关系型数据库中，再

利用实时数据下装，通过模式定制和数据定制，将模 型数据迁移到实时数据库中。从源头CIM/E文件

到最终使用者，实时数据库经过一个二次迁移的过

程，如图1所示。

图1 CIM/E到实时数据库的二次迁移

该方法是调度自动化系统和变电站自动化系统

常用的实时数据迁移方法。优点是可同时处理系统

内部和外部的模型数据来源，以关系数据库作为数

据来源与实时数据库的中间存储载体，可以利用商

用关系库成熟的建模、约束等机制。缺点是信息共

享方式操作繁琐，且对于过期模型的清理涉及商用

库的操作，存在影响运行系统模型的风险，扩展度

低，迁移效率低，在线迁移时可能会给系统运行带来

影响。

3多源实时数据迁移的需求

目前，电网调度自动化系统存在着不同的电网

设备模型来源文件，有离线来源和在线来源，其中离 线来源主要是上述提到的CIM/XML文件、CIM/E

文件、SCD文件等。多源实时数据迁移需要提供基

于离线来源的迁移方式，提供从CIM/XML文件、

CIM/E文件、SCD文件迁移到实时数据库的技术手

段。目前，各级调度系统都已具有调度技术支持系

统并已投人使用，这些系统中已经保存有目前的电

网设备模型及参数，即在线来源，在线来源通常是商用数据库。多源实时数据迁移需要提供基于在线来

源的迁移方式，提供从商用库迁移到实时数据库的

技术手段。在线来源还有一个重要的来源，即实时

数据库本身。基于实时数据库的数据迁移既有从商

用库迁移到实时数据库的优点，又可弥补从商用库

迁移效率低、在线迁移稳定性低的缺点。因此，多源 实时数据迁移需要提供基于从实时数据库迁移到实

时数据库的迁移手段。

随着调度自动化系统的发展，同一领域不同级

别系统之间、不同领域系统之间的数据交互越来越

多，实时数据迁移需要提供跨领域的、分布式的数据

迁移手段，提供对多态、多应用的支持手段，实现面

向分布式来源的全景实时数据迁移方法，为多级系

统之间的数据交互提供技术和数据支撑。

4多源分布式实时数据迁移关键技术

4.1基于中间文件的实时数据迁移方法

针对现有实时数据迁移方法数据依赖于商用

库，操作繁琐、来源单一、扩展度低，并有可能给在线

系统带来运行影响的情况，需要设计一种可满足不

同级别调度自动化系统、不同数据来源的分布式实

时数据迁移方法。其特征在于，可选择关系数据库、

实时数据库、数据文件等不同的模型数据来源，从这

些来源中获取生成实时数据库需要的结构信息、模

型数据与实时数据，将这些信息首先生成与数据源

无关的中间文件，再由中间文件迁移到实时数据库，

完成多源数据实时库的数据迁移。基于中间文件的 实时数据迁移方法如图2所示。

图2基于中间文件的实时数据迁移方法

由于采用了多源模式，相比使用商用库的生成

途径更加高效;可提供对结构、数据完整性和一致性

的校验，确保了实时数据库迁移的安全性;中间文件

形式与格式与数据源文件无关，支持对多数据源的

扩展。另一方面，首先生成的中间文件数据不在实

时系统之内，不参与实时计算，对新增加的模型数据

可以选择先校验再迁移到实时数据库的方法，保证

数据的正确性和有效性。42多源属性映射技术

属性是实时库表模式重要的组成部分，

不同的• 12 •华电技术第39卷

数据来源包含不同的数据属性，这些数据属性一部

分是独立的，一部分是重合的。对于独立的部分，在

模式生成时只需创建对应属性即可，而重合的部分

主要是指同一实际属性在不同数据来源中可能存在

差异，但本质是相同的属性。多源属性映射技术需

要建立一种不同数据来源文件中属性的映射关系，

建立多对一的映射，在实时数据模式生成中合并相

同的属性，去除冗余。在实现上，本文选择CIM/E文件作为基准，目

前CIM/E已成为国际标准，以CIM/E文件作为基

础加以扩展，成为映射基准文件。具体实现方式是

将其他类型的数据或文件通过属性映射的方式形成 CIM/E文件，再通过CIM/E文件迁移到实时数据

库中。4.3在线迁移安全技术

实时数据迁移的数据接收端是系统的实时数据

库，在目前电网各个领域运行的自动化系统中，多数

应用直接依赖于实时库运行。传统的基于商用库的

数据迁移在系统离线情况下具有较高的安全性和可

靠性，但在系统在线运行情况下，这种迁移方式有可

能给正在运行的系统带来影响，主要表现在：（1)模

式迁移需要重新创建实时库表实体，造成一段时间 内实时库不可用；（2)由于商用库读写效率较低，部

分频繁变动的实时数据在商用数据库中并不存储实

际值，在数据迁移后某段时间内造成实时数据的不 正确性;（3)从商用库迁移数据效率较低，在迁移过

程完成之前，实时库数据的完整性、一致性、正确性

受到影响。

因此，需要研究安全的在线迁移技术，消除目前

基于商用库的数据迁移给在线系统带来的影响。在

实现上，多源数据迁移依赖于数据源文件产生的中

间文件和实时数据库自身，在在线迁移过程中不考

虑模式的改变，在数据迁移过程中将中间文件中的

静态信息和实时数据库自身的动态信息通过对比和

整合，迁移后的数据具有数据完整性和一致性，在数

据处理上采用数据修改的方式取代原有的清空插人

方式，保障在线迁移过程中实时数据库的安全性和 可用性。

4.4实时数据库模式迁移技术

目前，基于商用数据库的实时库迁移方法采用

在商用库构建表结构再连同结构和数据一起迁移到

实时数据库的方法，优点是利用了商用库中成熟的

模式创建功能。基于多源的实时数据迁移方法同样

需要考虑创建实时库模式的功能，做法是在中间文

件中存放各个模型表结构相关信息，如表基本属性、

表中域的基本属性、实时库索引基本属性和相关约束信息等，在通过中间文件迁移到实时数据库的过

程中创建实时库表结构，同时创建各类型索引，索引

通常独立于数据实体[1]。实时数据库模式生成过 程如图3所示。

中间文件解析

表结构信息域信息索引信息

表生成索引生成

(实时数据^(实时数据Ak库表实体UL库表索引U

图3实时数据库模式生成 4.5多态实时数据迁移技术

实时数据库需要支持多态模式，不同态下的实

时数据库互相独立，分别满足实时运行类、事故反演

类、测试类、未来规划类应用的需求。不同态下的实