基于Storm框架的电网电力设备监测大数据并行诊断方法

【摘要】：随着智能电网的快速发展,电力行业已经进入了“大数据时代”,在智能电网的逐步建设中,数据处理的实时性和可靠性需进一步提高。近年来云计算技术迅速发展,各种分布式处理平台应运而生,为海量数据的处理提供了切实可行的计算架构。Storm为分布式实时处理框架,其实时响应能力强、可靠性高、可扩展性好,得到广泛应用,为海量电网设备特征向量数据的实时故障诊断提供了新的研究思路。本文以变压器油中溶解气体DGA数据为例,分别用下面两种诊断模型测试其准确率和性能。建立了一种基于极限学习机的流数据处理模型,在Storm平台下实现了数据流的并行分类诊断。同时,为了应对极限学习机对流数据分类时产生的概念漂移现象,在故障诊断模块的基础上增加了在线学习模块,两个模块通过内存数据库Redis衔接,故障诊断模块以并行化方式运作。通过测试其分类准确率,结果满足实际应用要求,通过测试集群数据的吞吐量和处理延迟,实验表明合理设置组件的并行度及其他相关配置可以提高流计算的吞吐量,降低数据处理延迟。提出了一种基于模糊c均值算法为主体的混合聚类算法(HCBOF),在Storm平台上部署此算法,首先通过数据接入模块实现数据流的接收和分组,对分组后的数据进行归一化处理,通过减法聚类选择合适的初始聚类中心,K-means算法获得此初始聚类中心后不断迭代,得到较优的平均聚类中心,FCM接收此聚类中心进行聚类,实现特征向量数据的并行故障诊断。结果表明此种方法诊断的准确性满足故障诊断需求,通过实验对比不同数据规模下几种方法的执行时间,表明本文提出的混合聚类算法性能较好。