新息图法电力系统不良数据检测与辨识

第5卷　第3期2007年9月南京工程学院学报(自然科学版)Journal of Nanjing I nstitute of Technol ogy (Natural Science Editi on )Vol .5,No .3Sep.,2007 文章编号:1672-2558(2007)03-0028-06间隙统计在电力系统不良数据辨识中的应用吴京秋1,杨　伟2(1.南京工程学院工程基础实验与训练中心,江苏　南京,211167;2.南京理工大学动力工程学院,江苏　南京,210094)摘　要:将基于间隙统计(gap statistic )聚类算法的数据挖掘技术应用于电力系统不良数据的辨识中.将聚类内围绕聚类均值的欧氏平方距离和的对数与相应的参考值的数学期望做比较,对量测数据进行聚类个数的确定.仿真结果表明,与传统的状态估计方法相比,此方法可避免残差污染和残差淹没.关键词:间隙统计;数据挖掘;不良数据辨识;聚类分析中图分类号:T M712 文献标识码:AAppli ca ti on of Gap St a tisti c i n I den ti fy i n g Bad Da ta of Power System sWU J ing 2qiu 1,Y ANG W ei 2(1.Experi m ent and Training Center for Engineering Funda mentals,Nanjing I nstituteof Technol ogy,Nanjing 211167,China;2.School of Power Engineering,Nanjing University of Science &Technol ogy,Nanjing 210094,China )Abstract:The technol ogy of data m ining based on clustering 2algorith m gap statistic was app lied t o the identificati on of bad data in power syste m s .By comparing the l ogarith m of Euclidean square distances ar ound means clustering with mathe mati 2cal expectati on of corres ponding reference values,the op ti m al nu mber of clusters was accordingly deter m ined .The si m ula 2ti on results indicated that gap statistic is superi or t o traditi onal state esti m ati on as t o p reventing residual conta m inati on and m isidentificati on .Key words:gap statistic;data m ining;identificati on of bad data;cluster analysis收稿日期:2007-08-02;修回日期:2007-09-01作者简介:吴京秋(1964-),女,硕士,讲师,主要从事电气自动化方面的研究.E 2ma il:wujq@njit .edu .cn 现代电力系统中,数据质量直接影响电力系统的安全、稳定运行.电力系统不良数据的检测与辨识一直以来是电力系统状态估计的重要功能之一.传统的不良数据检测与辨识研究主要集中在输电系统,常用的方法有:残差搜索法、非二次准则法、零残差法、估计辨识法等.这类方法的缺点是可能会出现残差污染和残差淹没现象,从而造成漏检或误检,影响辨识效果[1-3].本文将间隙统计技术与神经网络技术[4-5]相结合,首先将原始数据通过已训练好的BP 神经网络进行处理,然后将所得出的输入输出的差的平方进行聚类分析,其中通过计算相对于聚类个数的间隙(gap )值确定最佳的聚类个数[6],从而将正常数据和不良数据分别聚类,进而对不良数据进行正确的辨识.间隙统计的方法可以不依赖于人为指定的阈值自动高效地查找辨识不良数据.第5卷第3期吴京秋,等:间隙统计在电力系统不良数据辨识中的应用1　基于间隙统计的数据挖掘111　数据挖掘技术[7-8] 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程.一般,数据挖掘方法可分为几种模式:(1)预测模式;(2)聚类分析;(3)分类分析;(4)在线分析;(5)数据可视化.尽管这些模式之间界限分明,各种模式都有自己独特的特点,但是为达到挖掘目的,提供给用户更多有用的信息,一个复杂的数据挖掘过程一般会用到一个到几个分析模式来解决具体问题.本文使用预测模式与聚类分析相结合的数据挖掘模式.也就是利用人工神经网络的预测模式方面的优势和间隙统计在聚类分析中的特点,这种混合算法可以提高人工神经网络辨识不良数据的能力,提高电力系统的可靠性.较之以往传统的状态估计方法,这种方法在计算量方面也有一定的优势.112　算法结构人工神经网络具有处理非线性输入、输出关系的能力.一旦神经网络模型通过训练,它能很快给出一个鉴别绝大多数种类的测量误差的结果.因此,当输入一组原始量测数据时,神经网络可以得出相应的估计值[5],这时量测误差可表示为网络输入、输出差的平方(o i -z i )2.间隙统计法(gap statistic )可以嵌套在神经网络模块里进行工作,目的是提高神经网络检测和辨识不良数据的能力.间隙统计法是一种基于聚类分析的算法,可以从一组数据中很好地确定最合适的聚类个数.即使在聚类个数为1的情况下它的表现依然不受影响,这是以往确定聚类个数的各种方法很难做到的,而这种能力对聚类分析应用于电力系统不良数据辨识非常重要.首先对神经网络处理后的数据可以采用任何聚类方法,计算得出对应于聚类个数k 的聚类离散度W (k )的自然对数ln W (k ),将它与参考数据集的聚类离散度的自然对数进行比较,观察其中差值的变化以确定最合适的聚类个数,下面将对间隙统计的概念和算法做具体的介绍.假设有一组样本{x i },x i 代表第i 个样本,假设样本集被聚类成k 个聚类G 1,G 2,…,G k ,对于任何聚类G a ,聚类内每个样本围绕聚类均值的距离平方和D a 为[7,9]D a =∑x i ∈G a (x a -c a )2(1)式中c a 是聚类G a 的中心.对应于聚类个数k 的聚类离散度W (k )为W (k )=∑ka =1D a (2)间隙统计法的核心,就是将聚类离散度的自然对数与一个参考值进行比较,进而确定最佳的聚类个数.注意到间隙统计法使用自然对数对聚类离散度进行处理目的是让离散度曲线更加线性化,变化更为平缓,这样样本聚类和参考数据聚类之间的间隙值就更容易被确定.这里定义gap (k )=E ln [W ref ,j (k )]-ln [W (k )](3)式中:E 为参考数据的数学期望,随着k 的变化,gap (k )的值最大时,k 就被认为是最合适的聚类个数[6].间隙统计法的关键问题就是寻找合适的参考数据集了.方法之一就是在被聚类的数据(o i -z i )2的分布范围内,产生均匀分布的数据集作为参考数据.92南京工程学院学报(自然科学版)2007年9月113　计算步骤[1014]基于间隙统计的主要计算步骤描述如下:(1)经神经网络测试　对每个原始量测值z i 都有一个输出值o i ,则可得到(o i -z i )2,此数据作为下一步分析的输入.(2)输入数据进行聚类　对上步的输入数据进行k -均值聚类,然后按式(2)计算聚类离散度.为与参考数据相区别,聚类离散度用W (k )表示.(3)参考数据进行聚类　作为被比较的对象,参考数据按均匀分布方式产生.对于每个W (k ),产生p 组参考数据,聚类离散度记为W ref ,j (k )(j =1,2,…,p ).(4)确定合适的聚类个数　按式(3)计算gap (k )的值,其中E ln [W ref ,j (k )]=1p ∑p j =1ln [Wref ,j (k )](4)确定最小的k,使之满足式(5).此时的k 就是最佳的聚类个数.gap (k )≥gap (k +1)-s k +1(5)式中s k +1为考虑参考样本分布而引入的因素,s k +1=1+1/p [σref (k )]2,其中:(1+1/p )为考虑E ln [W ref ,j (k )]随机模拟误差;[σref (k )]2=E [ln (W ref ,j(k ))]2-E 2ln [W ref ,j (k )].(5)检测和辨识不良数据　如果最佳的聚类个数为1,则表示所有的量测数据都是正常数据,否则就表示存在不良数据.接着计算每个聚类内数据的平均值.具有最小平均值的聚类被认为是正常数据的聚类,其余的都被认为是不良数据组成的聚类,这样不良数据就可以被对应地检测和辨识出来.间隙统计法用于电力系统不良数据辨识的程序流程图如图1所示.算法中,聚类个数k 首先被设为1,然后逐次增加k 值直到最合适的聚类个数得到确定.2　仿真与结果分析采用江苏省电网实际运行的部分量测数据进行计算分析,数据采自谏壁发电厂、官塘变电站和丁卯变电站组成的局部电网实时运行数据.共有60个量测值,包括6个母线电压,8对发电机的出力,4对变压03第5卷第3期吴京秋,等:间隙统计在电力系统不良数据辨识中的应用器功率,4对联络线潮流以及11对负荷潮流.211　正常情况表1　正常情况下聚类聚类个数k gap (k )s k k =1012015801065798k =2012790701115380 正常情况下量测数据经神经网络得出的输入、输出差的平方如图2所示.当聚类个数运行到2的时候,式(5)得到满足,最佳聚类数为1,计算得到的间隙值见表1.212　单个不良数据情况[13]假设第17号量测数据(谏壁电厂2556号负荷有功)超过正常值20%(原值为11052),得到的神经网络测试结果如图3所示.聚类情况见表2.图4和图5分别描述了gap (k )/s k 以及ln [W (k )]/E ln [W ref ,j (k )]曲线.表2　单个不良数据情况下聚类聚类个数kgap (k )s k k =121013701081979k =261801801113130k =351225701127180由图4可知,当k 值计算到3的时候,不等式(5)得到满足,表明最佳聚类个数为2.进一步计算两个聚13南京工程学院学报(自然科学版)2007年9月类内元素的平均值,得到较大平均值聚类内的元素为17号数据,对应的量测值为112624.可见仿真结果很好地验证了算法的准确性和有效性,有效地避免了残差污染现象.213　多个不良数据情况电力系统中不良数据出现的机率是比较小的,一般约为0127%;多个不良数据同时出现的可能性则更小.这种情况常规状态估计方法难以解决.因为在多个不良数据相互作用的影响下,可能导致在部分甚至全部数据点上的残差接近于正常残差,这样不良数据点不呈现残差特性,从而出现残差淹没现象,造成漏检.而间隙统计法由于采用自动聚类分析,寻找数据间的相似关系来自动查找不良数据,可有效地避开残差淹没现象.假设量测数据中共出现7个不良数据,编号分别是7、15、20、23、36、42和58,其值与正常值之间的差别在15%～30%之间,得到的神经网络测试结果如图6所示.聚类情况见表3.图7和图8分别描述了gap (k )/s k 以及ln [W (k )]/E ln [W ref ,j (k )]曲线.表3　多不良数据情况下聚类情况聚类个数kgap (k )s k k =1013544701083042k =2219016*********k =3110933001117030 由图7可知,当k 值计算到3的时候,不等式(5)得到满足(219016≥110933-0111703),表明最佳23第5卷第3期吴京秋,等:间隙统计在电力系统不良数据辨识中的应用33聚类个数为2.进一步计算两个聚类内元素的平均值,得到较大平均值聚类内的元素为7个数据,分别对应假设的不良数据编号.仿真结果很好地验证了算法的准确性和有效性,说明该方法可以有效避免残差淹没现象,正确辨识不良数据.3　结　语本文将一种新的不良数据辨识方法:基于间隙统计的数据挖掘方法应用于电力系统不良数据辨识中.与传统的状态估计方法相比,该方法不受标准残差或加权残差的影响,可以很好地避免残差污染和残差淹没现象.另外对于大系统,数据量巨大的情况下,此方法避开了残差灵敏度矩阵的计算,在计算时间上有一定的优势.对江苏局部电网实时数据的单个不良数据和多不良数据情况分别进行了仿真分析,仿真结果表明,不良数据和良好数据被很好地聚类、正确地区分,克服了残差污染和残差淹没现象.参考文献:[1]　于尔铿.电力系统状态估计[M].北京:水利电力出版社,1985.[2]　张海波,李林川.电力系统状态估计的混合不良数据检测方法[J].电网技术,2001,25(10):17-20.[3]　王力哲,王心丰,范正刚,等.电力系统中厂站/全网双层状态估计[J].电网技术,2001,25(2):6-9.[4]　S OUZ A J C,SI L VA A P.Data visualizati on and identificati on of anomalies in power system state esti m ati on using artificial neural net w orks[J].Eng Gen Trans m D ist,1997,44(9):445-455.[5]　S ALEHF AR H,Z HAO R.A neural net w ork p reesti m ati on filter for bad2data detecti on and identificati on in power syste m state esti m ati on[J].Electric Power Syste m Research,1995,34(8):127-134.[6]　TI B SH I R I N I R,WALTHER G,HASTI E T.Esti m ating the Number of Cluster in a Dataset V ia the Gap Statistic[M].Unpublished TechnicalReport:Stanford University,2000:1-18.[7]　于之虹,郭志忠.数据挖掘与电力系统[J].电网技术,2001,25(8):58-62.[8]　路广,张伯明,孙宏斌.数据仓库与数据挖掘技术在电力系统中的应用[J].电网技术,2001,25(8),54-57.[9]　王成山,曹旌,陈光远.基于聚类分析的电力系统暂态稳定故障筛选[J].电网技术,2005,29(15):18-22.[10]　HUANG S J,L I N J M.A rtificial neural net w ork enhanced by gap statistic algorithm app lied for bad data detecti on of a power system[C]//Trans m issi on and D istributi on Conference and Exhibiti on,2002:764-768.[11]　HUANG S J,L I N J M.Enhance ment of power syste m data debugging using GS A2based data2m ining technique[J].I EEE Transacti ons onPower Syste m,2002,17(11):1022-1029.[12]　张斌.基于GS A的数据挖掘在电力系统不良数据辨识中的应用[D].南京:南京理工大学,2003.[13]　葛成.基于GS A的电力系统不良数据辨识方法研究[D].南京:南京理工大学,2005.[14]　吴军基,杨伟,葛成,等.基于GS A的肘形判据用于电力系统不良数据辨识[J].中国电机工程学报,2006,26(22):23-28.。

基于改进模糊聚类分析的电力系统不良数据辨识高金兰;康迪;雷星宇;朱佳丽【摘要】针对当前电力系统不良数据检测辨识方法的缺点,提出一种基于增强型万有引力搜索-模糊C均值算法(EGSA-FCM)的电力系统不良数据辨识新方法.通过提出的增强型万有引力搜索算法(EGSA)对SCADA系统上传的量测数据进行搜索,获得较好的初始解,再运用FCM算法获得良性数据和不良数据的分类,最后通过COS 聚类有效性判定指标判断最优聚类数目,得到最佳聚类结果和不良数据.将方法应用于IEEE14节点电力系统和大庆某区域电网中,结果表明能有效避免误检和漏检的发生,检测结果更加准确.【期刊名称】《电气自动化》【年(卷),期】2018(040)005【总页数】5页(P30-33,50)【关键词】电力系统;不良数据辨识;模糊聚类;增强型万有引力搜索算法(EGSA);最优聚类【作者】高金兰;康迪;雷星宇;朱佳丽【作者单位】东北石油大学电气工程学院,黑龙江大庆 163318;东北石油大学电气工程学院,黑龙江大庆 163318;东北石油大学电气工程学院,黑龙江大庆 163318;东北石油大学电气工程学院,黑龙江大庆 163318【正文语种】中文【中图分类】TM710 引言电力系统不良数据的检测与辨识是电力系统状态估计的重要功能之一，它能够排除量测采样数据中偶然出现的少量不良数据，提高状态估计的可靠性，确保电力系统正常稳定的运行。

目前，不良数据检测与辨识的方法主要是基于状态估计的方法，包括目标函数极值检测法、加权或标准化残差检测法和量测量突变检测法等方法[1]。

这些方法的缺点是很可能出现残差污染和残差淹没现象，从而引起不良数据的误检和漏检。

近年来，越来越多的新理论、新方法被应用到了电力系统不良数据检测辨识当中。

文献[2]提出了利用模糊数学中的ISODATA方法和隶属度概念来判定不良数据，一定程度上克服了残差污染和残差淹没现象。

文献[3]引入基于贝叶斯数据处理策略的扩展卡尔曼滤波算法及局部加权投影回归策略对电网参数进行在线检测辨识，该方法具有较高的精度。

62006年第5期抗差估计法应用于状态估计中不良数据的检测和辨识刘兰,黄彦全,李云飞,绍明(西南交通大学电气工程学院,四川成都610031)浙江电力Z HEJI ANG ELECTRIC POWER0引言电力系统状态估计是EMS 和DMS 管理系统的重要组成部分。

在实际运行的电网自动化系统中,由于估计器的输入信号大部分为现场的测量数据,因此,测量数据中不可避免地含有量测噪声,当偏离量测期望的距离不大时,量测噪声对估计结果的影响不大,但当量测数据中含有一些远离量测期望的样本时(通常这些样本数据被称为不良数据、粗差或野值),如果不加处理地使用这些数据或仅在估计器中加入一定的技术措施,则不良数据有可能扭曲估计结果。

不良数据的检测是电力系统状态估计的重要功能之一,它能够排除量测采样数据中偶然出现的少数不良数据,提高状态估计的可靠性。

不良数据的检测,一般是把量测数据划分为可靠数据和可疑数据两个数据集,然后剔除可疑数据中的不良数据以保证估计结果的可靠性。

传统的不良数据的检测方法大体可分为两类:量测量残差检测和量测量突变检测[1]。

这类方法简单,直观,但有其缺陷。

前者检测的不良数据的可靠性不强,存在误检(即可靠数据被检测为不良数据)和漏检(即有的不良数据没有被查出)的问题,文献[2]将其与状态预估结合起来以克服其缺点;后者可靠的前提是相摘要:电力系统状态估计是电能管理系统(EMS)的重要组成部分,然而在实际运行的电网自动化系统中,量测数据中不可避免含有不良数据,从而影响状态估计的结果。

不良数据的检测是电力系统状态估计的重要功能之一,它能够排除量测采样数据中偶然出现的少数不良数据,提高状态估计的可靠性。

文章采用突变检测和抗差估计相结合的方法,并在IEEE118节点网络上进行了验证,结果证明该方法检测辨识的有效性和可靠性。

关键词:抗差估计;不良数据;突变;检测;辨识Abstract:The state estimation is an im p ortant p art of EM S in p ower s y stems.But the existence of bad da ta in measurement data in Electrical Network Automation can 't be avoided,and th e y will influence the es timation results.Bad data detection is an important function of state estimation in power systems,it can e liminate little bad data while a pp ear in measure sam p lin g data b y chance,for en hancin g the reliabilit y of state estimation.The p a p er u ses a wa y while is combined b y saltation detection and huber estimation,and validates it on p ower s y stems of IEEE118.The result shows availabilit y and reliabilit y of the wa y in detec tion and identification.K e y wo rds:huber estimation ;bad data ;saltation ;detection ;identification.中图分类号:TM711文献标识码:A文章编号:1007-1881(2006)05-0006-03Huber Estimation A pp lied to Detect and Identif yBad Data in State Eestimation2006年第5期7浙江电力(4)邻采样时刻电力网络结构不变,且前一时刻的量测数据可靠,文献[3]将上两种方法结合起来在不同的情况下选择相应的检测方法。

配电网线损异常数据的辨识与修正方法
夏懿;丁坤;马慧莲;王鹏;张铄
【期刊名称】《机械与电子》
【年(卷),期】2023(41)2
【摘要】提出一种针对配电网线损异常数据问题的多级辨识与修正方法。

首先,运用基于DBSCAN-新息序列算法做初级辨识,识别出异常数据和可疑数据,进而根据线损数据的时间惯性对可疑数据进行二次辨识以减少误判率;然后,采用改进的LSTM算法对异常数据进行修正;最后,在IEEE-69节点配电系统中应用甘肃临夏某配电台区的实际线损数据验证了所提方法的有效性。

【总页数】5页(P13-17)
【作者】夏懿;丁坤;马慧莲;王鹏;张铄
【作者单位】国网甘肃省电力公司临夏供电公司;兰州理工大学电气工程与信息工程学院
【正文语种】中文
【中图分类】TM726
【相关文献】
1.计量自动化系统数据定位配电网线损异常方法
2.计量自动化系统数据定位配电网线损异常方法
3.计量自动化系统数据定位配电网线损异常方法
4.对计量自动化系统数据定位配电网线损异常方法研究
5.“双减”背景下中小学德育存在的问题及其突破路径
因版权原因，仅展示原文概要，查看原文内容请购买。