大数据集成与分析技术研究

特别策划

配用电典型场景大数据需求分析及集成技术

田世明S

卜凡鹏\时志雄2,苏运2

(1.中国电力科学研究院，北京

100192; 2.国网上海市电力公司，上海

200122)

摘要：随着智能电网建设的逐步推进，电网企业安装了大量智能量测设备，形成了大量历史数据；分布式

计算、高性能计算、非关系数据库系统等先进信息技术在电力公司也得到初步应用。文章以电网企业实例数

据为基础展开研究，首先分析配用电大数据典型应用，接着详细分析配用电典型应用大数据需求、数据特

性、关联关系，然后分析配用电典型场景大数据应用数据集成技术，以期为大数据在电网企业中的应用提供

参考。

关键词：配电；用电；大数据；数据需求；数据分析

中图分类号：TM

76 文献标志码：A

DOI

： 10.19421/j

.cnki

. 1006-6357.2017.06.002

0引言

配电网是直接面向用户的供电系统末端，量大面

广，供电可靠性、经济性要求高。安全可靠、优质高

效、灵活互动是配用电的发展方向和重要特征。智能配

用电业务大数据应用场景众多，配电系统节电、负荷预

测、配电网规划、错峰谰度业务应用近年来备受学术界

和电网企业高度关注。

国内外学术界对配用电的节电分析主要从配电和用

电2个方面开展研究。在配电侧，主要研究通过无功优

化、最优潮流、网络重构、分布式电源接入等方法降低

配电网络损耗达到节电目的。在计算最优潮流时将大量

从配电网中采集到的数据储存到云平台上，再采用多目

标的模糊算法求解最优潮流[1_2]。在用电侧，则主要研

究通过需求侧管理、电价等手段达到节电目的[w]。

近年来，数据挖掘技术在用电预测领域已经幵展了

广泛的研究和应用。国内外研究主要集中在预测数据预

处理、影响因素属性约简、构建用电预测模型等方面，

如负荷时间序列的短期负荷预测方法等[5_6]。

国内外对配电网规划问题已有较多研究考虑分布式

基金项目：国家高技术研究发展计划（

863计划）

大数据技术在文化产业中的应用及其研究进展

近年来，随着信息技术的飞速发展，大数据技术也逐渐成为了各个领域的新宠。在文化产业这个领域中，大数据技术的应用无疑是火热的话题。

一、大数据技术在文化产业中的应用

1.1 数据分析与消费者行为预测

随着大数据技术的不断发展，文化产业中的数据分析和消费者行为预测也变得越来越精准。通过对海量数据的收集和分析，我们可以更好地了解消费者的需求和偏好，进而进行产品设计和策划。比如，某音乐平台通过收集用户的歌单列表和播放记录等数据，可以为用户推送更符合其喜好的曲目，提高用户的粘性和满意度。

1.2 营销推广与品牌塑造

大数据技术还可以用于文化产业的营销推广和品牌塑造。比如，通过对某个明星的粉丝关注度和观众反馈等数据进行分析，我们可以了解到该明星在哪些方面有较高的优势和潜力，并在此基础上制定相应的营销策略和品牌定位。

1.3 创新设计与内容开发

大数据技术还可以为文化产业的创新设计和内容开发提供有力的支持。通过对文化产业数据进行分析和挖掘，我们可以了解到哪些元素和主题在市场上具有热度，并在此基础上进行创新设计和内容开发。比如，某个动画片的主题曲在社交媒体上获得了大量的点赞和分享，而该动画的其他内容则鲜有人关注，这时我们就可以考虑制作类似风格的动画片，以吸引更多的受众。

二、大数据技术在文化产业中的研究进展

随着大数据技术在文化产业中的应用不断深入，研究者也在不断探索其更深层次的应用和研究方法。

2.1 数据挖掘与情感分析

数据挖掘和情感分析是大数据技术在文化产业中的两个重要研究方向。数据挖掘可以帮助我们从海量的文化产业数据中发掘出有价值的信息和趋势，而情感分析则可以帮助我们了解消费者对文化产品的情感反应和评价，以及分析这些反应和评价的原因和影响因素。

2.2 社交网络分析与影响力研究

社交网络分析和影响力研究也是大数据技术在文化产业中的重要研究方向。社交网络分析可以帮助我们了解文化产业的信息传播和影响力扩散机制，以及找到最优的传播途径和渠道。而影响力研究则可以帮助我们深入了解文化产品的价值和影响力，以及其对消费者的态度和行为的影响。

多源异构数据融合的大数据分析技术研究

随着互联网的发展和智能化设备的广泛普及，数据量呈现爆发式增长，尤其在移动互联网、物联网、社交网络和电子商务等领域，各类数据源不断涌现，因此多源异构数据融合成为了大数据分析技术中一个非常重要的环节。

多源异构数据融合指的是将来自不同类型、不同结构和不同来源的数据进行集成和融合，增强数据的完整性、一致性和可靠性，进而为大数据分析提供更加全面准确的数据基础。在实际应用中,数据融合通常涉及数据清洗、数据转换、数据集成和数据质量控制等多个环节,需要在数据管理、算法设计等方面综合考虑。

一般而言，多源异构数据融合存在以下几个挑战：

一是数据的异构性。不同来源的数据可能存在不同的数据规范、数据结构和数据格式，存在数据类型和语义的差异，进而对数据的融合、转换和集成提出更高的要求。

二是数据的复杂性。数据集成和融合往往涉及较多的数据元素和目标数据定义，从而在算法设计、计算效率、存储器容量等方面存在复杂性和难度。

三是数据的可靠性。数据融合必须保证数据的一致性、准确性和可靠性，对于来自不同来源、不同时间点和不同质量保证的数据如何有效的集成和清洗是一个非常关键的问题。

为了应对这些挑战，研究者们提出了多种多源异构数据融合的方法和技术。

一种常见的方法是将数据融合模型分解为多个子模型，并对每个子模型进行独立的数据转换和集成，在保证算法精度和效率的同时，提高了模型的可解释性和稳定性。 另一种常见的技术是基于数据挖掘和机器学习的方法，在分析数据特征和规律的基础上，构建数据预测模型以及数据关联模型，进而将数据进行统一的融合和集成，提高数据的一致性和可靠性。

此外，还有一些技术可以被应用于多源异构数据融合中，例如，大数据关联挖掘、数据融合的网络连通性算法、动态数据多源融合等等。这些技术具体包括了大数据环境下数据处理的分布式计算、数据抽取和预处理、集群计算和监测等技术，使得数据的高效和准确融合成为可能。

大数据环境下的数据融合与分析技术研究

随着信息技术的不断发展，大数据时代已经到来。大数据作为一种新型信息技术，其优势在于处理海量数据的能力。然而，海量数据的收集、处理和分析是一个庞大的系统工程，需要运用各种技术手段。其中，数据融合与分析技术是建立在大数据基础之上的重要应用领域。

一、数据融合技术

数据融合技术是指将来自不同数据源的信息集成到一个统一的数据集中，并将其处理成一个可被更好利用的形式。数据融合技术可以分为以下几种：

1. 传统融合方法

传统融合方法主要是指人工融合和数据挖掘（data mining）。人工融合是指通过人工方式将来自不同数据源的信息进行整合和处理。该方法耗时、耗力，而且易出错，适用范围较小。数据挖掘是指通过一定的算法和技术从数据集中提取出有用的信息和模式。该方法需要较强的技术和算法支持，但是处理效率相对较高。

2. 新兴融合方法

新兴融合方法主要包括自适应融合、基于知识的融合、多模式融合等。这些方法主要是基于机器学习、人工智能等技术，具有自动化、高效率、高准确性等优势。

不同的数据融合方法适用于不同的数据源和应用场景。随着大数据技术的发展，数据融合技术将成为一个越来越重要的应用领域。

二、数据分析技术

数据分析技术是指运用各种技术和算法对数据进行分析和挖掘，从而得到有用的信息和模式。数据分析技术可以分为以下几种：

1. 描述性分析 描述性分析是指从数据集中提取出有用的描述性统计信息，如平均值、标准差、中位数等，从而了解数据的分布和特征。描述性分析主要用于数据的初步了解和探索。

2. 探索性分析

探索性分析是指通过可视化、多维统计、聚类等技术，深入挖掘数据内部的关联和规律。探索性分析主要用于寻找数据的隐藏模式和异常点，为后续分析提供基础。

3. 预测分析

预测分析是指基于历史数据和模型，预测未来数据的走势和趋势。预测分析主要运用于金融、运输、医疗等领域，可为决策提供科学依据。