大数据的技术架构和应用场景

智能配电网大数据应用需求和场景分析研究

随着智能配电网大数据应用的不断发展，配电网中的数据处理与计算工作具有更大的挑战性，目前大数据在我国电力系统中的智能配电网应用越来越多，本文就对智能配电网大数据的应用需求和配电网典型大数据场景进行了分析，同时探讨了大数据在智能配电网的应用前景。

标签：智能配电网；大数据；应用需求；场景分析

1、智能配电网大数据应用需求分析

在我国智能配电网大数据的整体应用需求分析中，电力系统的正常运行工作、用电策略的营销工作，以及社会互联网信息的数据管理，都可以产生许多的应用需求，从而促进新技术手段的产生，还可以优化电力系统的运行方式，进而降低了电力系统管理的成本，对提升电力企业的经济效益具有重要意义，同时还能够有效地提高电力系统的综合服务性水平。智能配电网大数据应用中主要包括了配电网的运营以及整体规划服务，并且对客户的用电进行了相应的服务和管理，这些对大数据的应用需求必须要涵盖各电力系统运营环节中的信息数据，还有客户的用电数据以及电力营销数据的信息等，综合管理智能配电网中供电环节的所有数据，可以在最大程度上发挥大数据的价值。电力系统和用电用户都是重要的组成部分，电力系统内部要不断地提高综合管理水平，加强对用电客户的服务性水平，通过对用电数据的总结可以让政府了解到当地的经济发展情况，从而为电力系统发展提供更多的政策扶持，对电力系统进行合理的规划发展，加强分布式电源的接入，对充电设备进行合理的布局规划等。

2、配电网典型大数据场景分析

2.1面向有源配电网规划的负荷预测

随着配电网信息化的快速发展和电力需求影响因素的逐渐增多，用电预测的大数据特征日益凸显，传统的用电预测方法已经不再适用。由于智能预测方法具备良好的非线性拟合能力，因此近年来用电预测领域出现了大量的研究成果，遗传算法、粒子群算法、支持向量机和人工神经网络等智能预测算法开始广泛地应用于用电预测中。传统的用负荷预测，受限于较窄的数据采集渠道或较低的数据集成、存储和处理能力，使得研究人员难以从其中挖掘出更有价值的信息。通过将体量更大、类型更多的电力大数据作为分析样本可以实现对电力负荷的时间分布和空间分布预测，为规划设计、电网运行调度提供依据，提升决策的准确性和有效性。

大数据平台架构技术选型与场景运用

导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。

讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类，数据源分类维度的不同决定最后的技术选型。讲师还对数据源分类的定义及选型方式进行详细讲解，最终联系到大数据的应用场景，让数据应用方式更加直观。

一、大数据平台

大数据在工作中的应用有三种：

与业务相关，比如用户画像、风险控制等；

与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；

与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。

数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。

大数据平台第一个要素就是数据源，我们要处理的数据源往往是在业务系统上，数据分析的时候可能不会直接对业务的数据源进行处理，而是先经过数据采集、数据存储，之后才是数据分析和数据处理。

从整个大的生态圈可以看出，要完成数据工程需要大量的资源；数据量很大需要集群；要控制和协调这些资源需要监控和协调分派；面对大规模的数据怎样部署更方便更容易；还牵扯到日志、安全、还可能要和云端结合起来，这些都是大数据圈的边缘，同样都很重要。

二、数据源的特点

数据源的特点决定数据采集与数据存储的技术选型，我根据数据源的特点将其分为四大类：

第一类：从来源来看分为内部数据和外部数据；

第二类：从结构来看分为非结构化数据和结构化数据；

第三类：从可变性来看分为不可变可添加数据和可修改删除数据；

第四类，从规模来看分为大量数据和小量数据。

内部数据

来自企业内部系统，可以采用主动写入技术(push)，从而保证变更数据及时被采集。

软件应用

 19大数据技术的应用和发展 李继伟、张 鹏 （河南省财经学校 河南 郑州 450012） 摘要：在二十一世纪信息化时代飞速发展的当今，大数据的应用非常广泛。大数据就是我们在谁用计算机软件的时候，在固定时间范围内所产生的数据集合，大数据本身是没有任何意义的，它的意义在于我们能够通过对数大数据的分析与处理，等到具有规律性的结论知道我们的行为和决策。在国家政策和历史发展机遇之下，大数据技术的发展必将一日千里。 关键词：大数据、数据挖掘、价值密度 在二十一世纪信息化时代飞速发展的当今，信息技术已经深入到了千家万户，在不是不觉中潜移默化的改善这我们的生活。大数据这个词相信广大人民群众已经不再陌生，大数据就是我们在谁用计算机软件的时候，在固定时间范围内所产生的数据集合，大数据本身是没有任何意义的，它的意义在于我们能够通过对数大数据的分析与处理，等到具有规律性的结论知道我们的行为和决策。这就是我们日常生活中必不可少的大数据。在二十一世纪的今天，由于支付宝、微博、微信等APP的广泛应用，数据正在以前所未见的最快速度惊醒膨胀，大数据的时代已经到来了。 一、大数据的特点 大数据因为其重要的意义所以具备了数据的量大、数据的类型非常繁多、数据价值密度不高以及速度高时效快的特点。首先就是数据的体量十分巨大。数据的类型非常繁多也是大数据的一个重要特点。因为系统在采集大数据时要全面，要包罗万象，所以在这种要求下，数据的类型也是各种各样，有文本、日志、视频、音频、图片等等，而各种类型的文件也包含了多种的类型，例如视频就有MP4、MKV、FLV、RMVB、AVI等等。如此多的数据类型要求系统在处理数据的时候的处理能力异常的强大。在互联网大背景下数据如此之多，就造成了一个不可忽视的难题，就是有用的信息太少，所以信息价值密度低也是大数据的一个显著特点。在大数据时代已经到来的大前提下如何对大数据进行有用的数据筛选就成了必须要解决的重大难题。大数据和数据挖掘的传统技术区别就在于处理数据的速度高以及实效性强。可以直接说，在二十一世界信息时代下的企业和单位必须全面掌握大数据的采集和应用，只有完全驾驭了大数据这个时代赐予我们的礼物，才能立于时代的最高峰。 大数据技术这种为大量数据做快速搜集与深度挖掘的技术，能够对市场和企业的实施情况做出最符合逻辑的分析与判断，未解决核心问题和重大需求提供正确决策所要求的理论基础，为企业和单位带来了创新和发展不可多得的机遇。企业和政府可以通过建立庞大的数据资源中心，对各种类型的海量数据进行及时处理和判断，给正确的核心决策提供不容辩驳的科学基础，能够显著控制企业和社会的风险，提高应变的速度和带来显著的改变。 二、大数据的安全保障 在如此大量的数据资源之下，如何保障数据的安全也是我们需要头等关注的。我们可以通过对硬件设备的物理上进行隔离和软件设置上对用户权限进行控制，保证数据资源的安全性。还可以通过信息加密技术，对硬件设备上的数据资源进行加密处理，进一步加强数据的安全性。还可以让数据资源分别存储在云端与硬盘上，让数据分开保存，合并使用。最后就是法律手段。这样一来相信数据的安全性就能得到全面保障。 三、大数据技术的应用 在现今流行的大数据这个概念性的词语出年之前，广大网络个人用户的数据几乎全部被忽略了，单位和企业的数据资源被谈及最多的。一个大型企业或者单位的内部数据资源是有一定的逻辑结构的，这些有结构的数据多多少少被使用着，就是火边整个互联网的数据挖掘最早的样子。互联网技术已经高速发展的今天，企业和个人的数据都已经多到爆炸，如微信、微博、支付宝等等这些社交应用都是产生数据的集中力量。之前的传统计算机设备在新的互联网时代已经力不从心，处理不了如此复杂有序的巨大的数据资源。我可以肯定的是如此巨大的数据资源来有价值得，但是如何发现其中的巨大价值是难上加难的问题，没有价值这个东西存在话也就成了数据与数据的无序叠加。因此，从海量数据资源中发有价值的信息成为了企业和个人迫在眉睫的任务。越来越多的计算机应用程序带动了大数据的发展，采集数据的问题已经解决，最难的就是对数据资源你的价值尽心提取来知道决策。这么多的数据，计算机一旦处理起来困难之大是可想而知的。在互联网技术日新月异的今天，连接着更多的手机、电脑、平板的的物联网已经运行，这将是对大数据技术发展最好的动力。 大数据其实就是网络用户在网络上所有使用数据的总和，它真实地存在于日常生活的各行各业以及电脑和手机应用的操作数据里，虽然对这些巨大的数据资源进行处理和分析提取有价值的核心信息比较困难，但是一旦提取出来，对各行各业的改革与发展却是具有决定性意义的。在公司和单位的管理与经营之中，如果使用大数据技术分析进行决策指导，能够将管理中的粗放式慢慢地变为精细式管理，大大提高工作的效率，也能够在经营销售中根据顾客的相关信息尽可能准确地向顾客推荐他所需要的相关物品，在提高顾客满意度的同时提高自己得销售业绩。在学校的教学实训中，如果使用大数据分析进行决策指导，这能够根据每一个学生的兴趣爱好和特点特长更加有针对性的安排教学资源，真真正正地做到因材施教，物尽其用。在企业的生产之中，如果使用大数据分析进行决策指导，就能够对生产的各个环节进行优化改革，大大提高工作的流程的效率，节省掉在生产环节中不必要的成本和支出，增加企业的核心竞争力。 随着时代的发展，在不久的将来，大数据技术肯定会直接体现在国家的综合国力，对国家的安全和发展起到决定性的总用。在这一点，美国已经在一二年的时候启动了规模巨大的“大数据研究与开发计划”，走在了世界的最前列。在我国，虽然与大数据相关联的技术与产业刚刚开始发展，在国家政策和历史发展机遇之下，大数据技术必将一日千里，飞速发展。 参考文献 [1]陈明奇，等.大数据时代的美国信息网络安全新战略分析.第27次全国计算机安全学术交流会论文集，2012（8）. [2]陈如明.大数据时代的挑战、价值与应对策略.中国国际信息通信展专刊，2012. [3]张光茫.大数据时代的思考与启示———读涂子沛《大数据》[J].水利天地，2012（09）. （上接第18页）施对变频器的自动化控制了。运用这种手段，我们可以使变频器在启停环节更具可控性，预先设置变频器的频率。其数字量输入端子的数量通常是同固定频率成正比的。 3.2.2 通过DP通信协议实施自动化控制 我们可以分别将S7-300 PLC产品同G120变频器产品设置为主站与从站。故而其运行指令的传送也就遵循从S7-300 PLC到G120的顺序。并对于由G120变频器产品所反馈的关于运行情况、故障警报等相关信号进行接收工作。通信协议乃变频器现场总线控制系统的之核心。在自动化控制目标的实施上，DP通信协议是一种行之有效的手段。在数据电报的结构上，DP通信协议分别由网络数据、协议层及电报头组成。PPO为网络数据，由参数值PKW与过程数据PZD组成。其中，参数值PKW为G120变频器赖以运行的功能码，过程数据PZD则为变频器运作环节里分别输出与输入的速度反馈值，频率给定值等各种数据值。对于DP通信协议来说，其网络PPO分别由不带PKW的而带有2至6个字的PZD，与PKW及2至6个字的PZD兼有的PZD组成。采取这样的方式来定义网络数据，我们就可以让PKW与PZD这两者之间的传输工作处于相互独立的状态，这样两者之间彼此不会带来什么干扰，让变频器的运行更加稳定可靠，以便于让各自的工作任务都能顺利得到完成，让变频器时刻处于上一级自动化系统的指令下进行工作。 4、结语 PLC自动控制技术在我国的诞生与快速发展，使我国的工业在很短的时间内实现了自动化。“PLC自动控制技术在变频器中的应用”这个课题也就具有越来越重要的研究意义。为此，我们需要不断对这个课题进行深究，以推动我国工业的发展。

第３５卷第２期２０１５年１月２０日中国电机工程学报ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＣＳＥＥ、，ｏＩ．３５Ｎｏ．２Ｊａｎ．２０，２０１５◎２０１５Ｃｈｉｎ．Ｓｏｃ．ｆｏｒＥｌｅｃ．Ｅｎｇ．２８７

ＤｏＩ：１０．１３３３４／ｊ．０２５８．８０１３．ｐｃｓｅｅ．２０１５．０２．００４文章编号：０２５８—８０１３（２０１５）０２－０２８７—０７中图分类号：ＴＭ７ｌ

智能配电网大数据应用需求和场景分析研究

刘科研，盛万兴，张东霞，贾东梨，胡丽娟，何开元

（中国电力科学研究院，北京市海淀区１００１９２）

ＢｉｇＤａｔａＡｐｐｌｉｃａｔｉｏｎＲｅｑｕｉｒｅｍｅｎｔｓａｎｄＳｃｅｎａｒｉｏＡｎａｌｙｓｉｓｉｎＳｍａｒｔＤｉｓｔｒｉｂｕｔｉｏｎＮｅｔｗｏｒｋ

ＬＩＵＫｅｙａｎ，ＳＨＥＮＧＷａｎｘｉｎｇ，ｚＨＡＮＧＤｏｎｇｘｉａ，ＪＩＡＤｏｎｇｌｉ，ＨｕＬｉｊｕａｎ，ＨＥＫａｉｙｕａｎ（ＣｈｉｎａＥｌｅｃｔｒｉｃＰｏｗｅｒＲｅｓｅａｒｃｈＩｎｓｔｉｔＩｌｔｅ，ＨａｉｄｉａｎＤｉｓｔｒｉｃｔ，Ｂｅｉｊｉｎｇ１００１９２，Ｃｈｉｎａ）

ＡＢＳ’Ｉ’ＲＡＣＴ．１啊ｅｒｅａｒｅａｌｏｔｏｆｍｕｌｔｉ—ｓｏｕｒｃｅｈｅｔｅｒｏｇｅｎｅｏｕｓｄａ切．ｉｎｓｍａｎｄｉｓ仃ｉｂｍｉｏｎｎｅＭｏｒｋ（ＳＤＮ），柚ｄｔｈｅｓｃａｌｅａＩｌｄｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｓｅｄａｔａｉｎａｃｃｏｒｄａｎｃｅｗｉｔｈｍｅａｉｌ诧ａｍｒｅｓｏｆｔｈｅｂｉｇｄａ饥Ｆｉｒｓｔｌｙ’ｔｈｅｓｏｕｒｃｅａｎｄｃｈａｍｃｔｅｒｉｓｔｉｃｓｏｆｂｉｇｄａｔａｉｎｄｉｓｔｒｉｂｕｔｉｏｎｎｅ附ｏｒｋ（ＤＮ）ｗｅｒｅｓｕｍｍ撕ｚｅｄ．Ｔｈｅｎ，

ｌｏａｄｓｆｏｒｅｃａｓｔｉｎｇｏｆＤＮ，ｏｐｅｍｔｉｏｎｅｖａｌｕａｔｉｏｎａｎｄｗ枷ｉｎｇｉｎ

ＤＮ，ａｎｄｐｏｗｅｒｑｕａｌｉｔｙｍｏｎｉｔｏｒｉｎｇａｎｄａｓｓｅｓｓｍｅｎｔｗｅｒｅａｎａｌｙｚｅｄ行ｏｍｔｈｅｐｅｒｓｐｅｃｔｉｖｅｏｆＳＤＮ印ｐｌｉｃａｔｉｏｎｓｃｅｎａｒｉｏ．Ｂａｄｄａｔａｉｄｅｎｔｉｆｉｃａｔｉｏｎｉｎｍｕｌｔｉ．ｓｏｕｒｃｅｄａｔａｍｓｉｏｎｗａｓｉｎｖｅｓｔｉｇａｔｅｄｆｒｏｍｄｉｆｆｂｒｅｎｔａｐｐｌｉｃａｔｉｏｎｓｙｓｔｅｍａｎｄｄｉｆｆｅｒｅｎｔｄａｔａｓｔｍｃｔｕｒｅｐｅｒｓｐｅｃｔｉｖｅｓ．Ｉｎａｄｄｉｔｉｏｎ，ｔｈｅｍｏｄｅｌｉｎｇｍｅｔｈｏｄｏｆｄａｔａａｓｓｏｃｉａｔｉｏｎａｎｄ锄ａｌ”ｉｃａｌａｐｐｒｏａｃｈｏｆＤＮｄａｔａｗｅｒｅ