基于大数据技术的营配调数据智能匹配和识别方案研究
- 格式:pdf
- 大小:1.67 MB
- 文档页数:3
May. 25,2019,Vol. 36 No. 5 Telecom Power Technology· 161 ·2019年5月25日第36卷第5期
设计应用doi:10.19399/j.cnki.tpt.2019.05.060
基于大数据技术的营配调数据智能匹配和识别方案研究黄文思,陈 婧,谷 峪(国网信通亿力科技有限责任公司,福建 福州 350003)
摘要:简单介绍了基于大数据技术的营配调数据智能匹配和识别方案的应用算法流程后,提出了运用相关性分析算法
和TF-IDF算法自动识别线变、台户关系错误数据,不仅可以实现精准定位线损异常的用户,同时还能减少基层单位工作人员的工作量,值得继续推广和使用。关键词:大数据技术;营配调数据;智能匹配
Research on Intelligent Data Matching and Recognition Scheme Based on Big Data TechnologyHUANG Wen-si,CHEN Jing,GU Yu(State Grid Xintong Yili Technology Co.,Ltd.,Fuzhou 350003,China)
Abstract:In brief camp with adjustable data based on the technology of large data intelligent matching and recognition process,the application of the algorithm is proposed using the correlation analysis algorithm and TF-IDF automatic identification line change,the error of data in relation to households,not only can realize accurate positioning line loss anomalies of users,at the same time also can reduce the basic unit the workload of staff,and is worth popularizing in the future work to continue to use.Key words:big data technology;battalion allocation data;intelligent matching
0 引 言在同期线损管理系统全面建设的推动下,传统同期线损管理工作中存在的弊端不断突显,对运检、调度以及营销等专业数据也提出了更高质量要求。因此,快速实现与现行营配数据相符的匹配方案和识别方案,已成为供电企业发展的必由之路。此外,随着市场经济体制的不断完善,供电行业所面临的市场竞争机制也在不断完善,优胜劣汰已成为供电企业普遍面临的发展难题,而基于大数据技术的营配调数据智能匹配和识别方案的运用,能够实现在确保供电系统正常运行的同时,降低生产经营成本,能提高供电企业市场竞争能力和盈利能力[1]。
1 基于大数据技术的营配调数据应用算法流程基于大数据技术的营配调数据智能匹配和识别方案主要包含Person相关系数、BP神经网络-时间序列及TF-IDF等应用。其中,Person相关系数的相关算法流程为:开始计算→得出Person相关系数→分析两变量之间的关系→获取计算结果。BP神经网络-时间序列的算法流程为:开始计算→神经网络初始化→输入历史供电量及影响因素数据→训练神经网络时间序列预测模式→输出预测结果→判断计算误差是否达到可接受范围;若达到可接受范围,则获取计算结果,若达不到可接受范围,系统则会返回训练神经网络时间序列预测模式重新开始计算,直至误差达到可接受范围。TF-IDF算法流程为:开始计算→计算词频TF→
计算逆文件IDF→计算TF-IDF的乘积→获取计算结果。2 算法验证2.1 实验数据本文采用的数据主要来源于阳泉市区、国网阳泉、阳泉郊区、阳泉平定、阳泉大户以及阳泉盂县等供电公司,选取数据的时间为2015年5月至2017年7月,数据类型为电网运行状态下的数据,主要包含了各供电公司的供电量、售电量、线损量以及线损率等,采集数据的频率为1天/次。2.1.1 实验过程与分析
随着公司管理水平提高、网架结构和电力设备的改善,电网线损率也有了较明显的下降,但还有其他一些非可控的因素影响线损率统计。因此,定量地分析各区域供电公司每日供电量、售电量以及线损波动等指标之间的相关性,将表现异常的数据筛选出来,并在营配调系统中智能识别线变和台户异常挂载,为电网的管理、评估以及决策提供真实可靠的参考依据。(1)数据预处理靠站数据挖掘工作前,需要对所收集的数据进行预处理,便于将原始数据进行必要的清洗集成、转化、离散以及规约,使其达到挖掘算法、获取信息所制定的最低标准和规范[2]。此外,对原始数据进行预处理,
还可以完善残缺的数据,对数据中存在的错误信息进行及时纠正,将所需要的数据挑选出来进行数据集成,同时把不适应的数据格式转化为系统所要求的格式,最终实现数据类型和格式相同的处理目的。经过预处理的数据,能够满足实验所需要的样本数据,并提升实验结果的可靠性与真实性。(2)供电量与售电量的差值模型在分析比较系统供电量和售电量的差值时,可以事先判断出某一区域发生线损异常的大致情况。同时设置一个阈值,将其与供电量与售电量的差值进
收稿日期:2019-02-28
基金项目:国家电网公司总部科技项目“面向同期线损管理的
多专业数据治理技术与挖掘应用研究”。作者简介:黄文思(1981-),男,福建南安人,本科,高级工
程师,主要研究方向为电网信息化研究和管理工作。 2019年5月25日第36卷第5期May. 25,2019,Vol. 36 No. 5 Telecom Power Technology
· 162 ·行对比,当差值大于所设置的阈值时,则可提示该区域存在线损异常的情况。然后运用TF-IDF算法对该区域的台户关系及线变关系的异常挂载情况等进行筛选,从而锁定异常用户的局地位置。当售电量与供电量的差值小于所设置阈值时,则需要进一步分析用户电量和线损电量的相关性,从而判断该区域是否存在线损异常情况。(3)线损电量和供电量的相关性线损电量和用户电量的Pearson相关系数的计算,有助于确定是否对数据进行直接校验。当两者之间的相关性较强时,可以直接对其进行校验;当两者的相关性较弱时,需要通过继续预测线损率的方式决定是否使用TF-IDF分析电力设备的异常挂载情况。(4)线损电量预测如果线损电量和供电量不存在强相关关系,则对线损电量进行预测,预测线损电量和实际线损电量之间的差值,当差值大于实验设定的阈值时,模型认为统计的线损电量出现异常,需要继续进行TF-IDF筛选电力设备的异常挂载[3]。本文采用BP神经网络结合
时间序列的方式预测售电量,同时将预测结果作为计算线损电量的依据,达到预测线损电率的目的。如果预测线损率和实际线损率超过阈值,可以判断该区域存在线损异常的情况,需使用TF-IDF算法找出异常挂载的电力设备。
(5)TF-IDF筛查电力设备异常挂载为准确搜集引起线损出现异常计算结果的原因,文章使用TF-IDF算法判断出电力设备地址和异常挂载情况。例如,线路、变压器、台区及用户关系等出现异常挂载,从而实现准确锁定线损异常位置、提升处理线损异常情况的质量和效率等目的。(6)校验将通过该模型得到的线损异常区域以及定位的异常挂载的电力设备通知电网工作人员,工作人员对实验结果进行实地考察和认证,以验证结果的准确性。如果结果误差较大,则调整模型及模型中的参数再次进行实验,以保证本文模型的准确性和可靠性。2.2 实 验2.2.1 相关性分析结果
对阳泉市区及周边县城的电网中供电量和线损数据进行Pearson相关系数的计算,得出在前5个地区中供电量与线损电量之间存在着加强的相关性,而孟县供电公司的相关系数r却仅有0.154 6,因此可以判断孟县供电公司所覆盖的供电区域极有可能存在线损异常的情况,需要对孟县的线损电量进行预测。(1)线损电量预测本文主要运用预测售电量的方式实现线损电量的预测,所以将售电量数据作为预测模型中的样本数据,表1为预测盂县售电量的样本数据。
表1 预测盂县售电量样本数据日期最高温度最低温度节假日类型售电量供电量x1x2x3x4yz2015/5/127911 853 9991 884 1882015/5/2231001 855 6681 853 2302015/5/325801 605 8691 660 824………………………………2016/5/29241301 365 8421 434 1862016/5/30271301 330 1471 406 3442016/5/31321601 395 5771 400 244
节假日类型中,1表示为节假日,0表示为工作日。神经网络-时间序列模型的输入层为售电量预测模型,把影响售电量的因素经过对策反复训练后,将均方差控制为0.002。将成熟的模型运用于孟县售电量的预测,结果显示售电量与实际数据之间存在较大的差距,超过了事先设定的阈值,因此需要运用TF-IDF算法确定孟县的供电量,从而判断该区域是否存在电力设备异常挂载的情况。(2)TF-IDF筛查电力设备异常挂载结果第一,电力设备无异常挂载。对仙人台区的所有用户地址进行TF-IDF分析后,结果显示山西省、阳泉市、盂县及仙人等用户地址的词频TF值均为0.83,说明山西省、阳泉市、盂县及仙人等4个词语的TF值相等,即上述4个台区中所有用户地址的出现频率是相同的,不存在词语出现频率偏低的情况,因此可以得出该台区无异常用户的结论。
第二,电力设备出现异常挂载。对李家庄台区的所有用户地址进行TF-IDF分析后,得出山西省、阳泉市、盂县以及李家庄潘等用户地址的词频TF值分别为0.071、0.069、0.072以及0.004 7,其中潘的TF值明显低于其他区域,因此可以判断该地区远远小于其他词语,说明李家庄台区带有潘的用户有可能不属于该台区。为再一次验证结果的准确性,对东杜台区所有用户地址的所有用户地址进行TF-IDF分析,结果显示、阳泉市、盂县、东杜及一变等词频的TF值分别为0.067、0.066、0.066及0.000 9。对东杜台区内的所有
用户地址进行统计分析后,得出地址为山西省阳泉市盂县路家村镇东杜村的有73户,而地址为山西省阳泉市盂县西潘乡的仅有1户,即该用户有可能存在异常挂载的情况,工作人员进行现场确认后,进一步落实了该用户确实不属于这一台区,需要在营配调系统中修改挂载关系。 (下转第164页)