收藏本站
《华北电力大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于云计算的智能电网状态监测数据存储与分析研究

吕琛靖  
【摘要】:随着智能电网研究和建设的不断推进,电网智能化和数字化水平越来越高,对其环境下的电力设备进行状态监测的深度和力度也越来越大,收集到的电力设备状态监测数据呈现指数级增长,如何高效地存储海量的状态监测数据并对其进行有效地分析处理以便对电力设备进行准确地状态评估已成为热点研究问题。而传统的单机环境面临着存储和计算资源不足的问题,无法满足状态监测数据的处理要求。本文将云计算技术引入到智能电网状态监测领域中,通过引入分布式文件系统和对传统的密度聚类算法进行改进和并行化设计等改进措施,有效地解决了状态监测大数据的存储和聚类划分问题,为云计算在状态监测领域的应用提供了一个可行的方法。本文主要做了以下几方面的工作:1)首先分析了目前智能电网状态监测数据处理方面面临的问题,研究了目前状态监测数据处理的思路和方法,根据状态监测数据的特点选择合适的算法进行针对性改进;2)针对电力设备状态监测数据规模越来越大,传统的存储方式无法满足状态监测大数据存储的问题,设计了基于云平台的状态监测数据存储系统。利用分布式文件系统HDFS和Hbase数据库存储状态监测数据,为下一步进行状态监测数据的分析与评估做好准备;3)针对传统的密度聚类算法的缺点,设计了基于密度簇结构的聚类算法DBCLustering,该算法首先构建了存储数据节点核心可达关系的索引结构CR-Tree,然后从中提取出关于数据可达关系的排序线性表,最后根据线性表的结果输出聚类结果。为解决单机版算法计算能力不足的问题,提出一种基于Spark的状态监测数据聚类算法—RDD-DBClustering算法。该算法在Spark平台下实现DBClustering算法的并行化应用,提高算法处理大规模数据的能力;4)最后在实验室搭建了9个节点组成的Spark集群,利用在实验室采集的绝缘子泄漏电流数据集,对第五章提出的RDD-DBClustering并行算法进行了聚类划分实验。实验结果表明,并行算法在处理效率上优于单机版,算法具有良好的并行性,适合于对状态监测大数据进行聚类分析。
【学位授予单位】:华北电力大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.13;TM76

【参考文献】
中国期刊全文数据库 前10条
1 薛禹胜;赖业宁;;大能源思维与大数据思维的融合(一)大数据与电力大数据[J];电力系统自动化;2016年01期
2 李璐明;蒋新华;廖律超;;基于弹性分布数据集的海量空间数据密度聚类[J];湖南大学学报(自然科学版);2015年08期
3 于彦伟;王欢;王沁;赵金东;;面向海量数据流的基于密度的簇结构挖掘算法[J];软件学报;2015年05期
4 胡俊;胡贤德;程家兴;;基于Spark的大数据混合计算模型[J];计算机系统应用;2015年04期
5 周国亮;朱永利;王桂兰;宋亚奇;;实时大数据处理技术在状态监测领域中的应用[J];电工技术学报;2014年S1期
6 陈虹君;;基于Hadoop平台的Spark框架研究[J];电脑知识与技术;2014年35期
7 苗鹏超;徐志钮;;输电线路绝缘子泄漏电流特征量提取综述[J];高压电器;2014年08期
8 顾煜炯;宋磊;徐天金;雷启龙;;变工况条件下的风电机组齿轮箱故障预警方法[J];中国机械工程;2014年10期
9 赵世华;蒋兴良;张志劲;胡建林;;染污玻璃绝缘子泄漏电流特性及其闪络电压预测[J];电网技术;2014年02期
10 周国亮;宋亚奇;王桂兰;朱永利;;状态监测大数据存储及聚类划分研究[J];电工技术学报;2013年S2期
中国硕士学位论文全文数据库 前6条
1 杨志伟;基于Spark平台推荐系统研究[D];中国科学技术大学;2015年
2 梁彦;基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D];中山大学;2014年
3 唐振坤;基于Spark的机器学习平台设计与实现[D];厦门大学;2014年
4 蒋玉柱;基于Hadoop的电力设备状态监测数据处理与分析的研究[D];华北电力大学;2014年
5 高勇宽;绝缘子泄漏电流数据特征量提取算法的研究[D];华北电力大学;2013年
6 夏祎;Hadoop平台下的作业调度算法研究与改进[D];华南理工大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 李洁珊;赵志勤;;基于OpenStack的输电线路数据云平台架构设计[J];机电工程;2018年01期
2 孙继旋;;基于关联规则的舰船故障数据定位挖掘算法[J];舰船科学技术;2017年24期
3 涂莹;刘强;王庆娟;陈烨洪;;基于协同过滤算法的电能替代潜力用户挖掘模型研究[J];电力信息与通信技术;2017年12期
4 黄彦浩;;基于数据认知的电网仿真数据智能分析系统架构研究[J];电力信息与通信技术;2017年12期
5 迟翕幻;;决策树多元分类模型预测森林植被覆盖[J];电子制作;2017年24期
6 李晓宇;李书芳;李文启;田世明;;基于堆稀疏自编码神经网络的电网安全预判[J];北京邮电大学学报;2017年06期
7 黄道春;熊紫腾;张虎;阮江军;万小东;邓永清;;污秽中CaSO_4对典型瓷、复合绝缘子交流污闪特性影响对比分析[J];高电压技术;2017年11期
8 马新娜;盖相庚;;基于Hadoop的轴承监测海量数据的存储与管理[J];信息技术;2017年11期
9 许洪强;姚建国;南贵林;於益军;杨胜春;翟明玉;;未来电网调度控制系统应用功能的新特征[J];电力系统自动化;2018年01期
10 王庆娟;张维;吕诗宁;;出租房客户定位分析及电费回收策略[J];电力需求侧管理;2017年06期
中国硕士学位论文全文数据库 前10条
1 石少东;基于计算机视觉的安全检测技术研究与应用[D];南京邮电大学;2017年
2 张生杰;基于深度学习的感性词向量及情感分类方法的研究[D];西安理工大学;2017年
3 李凤;基于Spark的粒子群算法并行编程及其在水库调度中的应用[D];西安理工大学;2017年
4 王姗;警务大数据系统与犯罪预测软件研究开发[D];西安理工大学;2017年
5 王辉;基于云计算和机器学习的短期风电功率预测研究[D];华北电力大学;2017年
6 牛锐;基于云计算和机器学习算法的微电网负荷预测[D];华北电力大学;2017年
7 吕琛靖;基于云计算的智能电网状态监测数据存储与分析研究[D];华北电力大学;2017年
8 武传明;基于Spark的电影推荐系统设计与实现[D];北京邮电大学;2017年
9 刘彩云;基于Spark的改进SA-SVR短时交通预测研究[D];东华理工大学;2017年
10 孟真;基于Spark的高考推荐系统设计与实现[D];山东师范大学;2017年
【二级参考文献】
中国期刊全文数据库 前10条
1 余贻鑫;刘艳丽;;智能电网的挑战性问题[J];电力系统自动化;2015年02期
2 董朝阳;赵俊华;文福拴;薛禹胜;;从智能电网到能源互联网:基本概念与研究框架[J];电力系统自动化;2014年15期
3 孙大为;张广艳;郑纬民;;大数据流式计算:关键技术及系统实例[J];软件学报;2014年04期
4 冯登国;张敏;李昊;;大数据安全与隐私保护[J];计算机学报;2014年01期
5 周国亮;宋亚奇;王桂兰;朱永利;;状态监测大数据存储及聚类划分研究[J];电工技术学报;2013年S2期
6 梅飞;梅军;郑建勇;张思宇;朱克东;;粒子群优化的KFCM及SVM诊断模型在断路器故障诊断中的应用[J];中国电机工程学报;2013年36期
7 庄雪吟;张力;翁晓奇;李虎斌;刘英博;;复杂装备状态监测实时流数据处理框架[J];计算机集成制造系统;2013年12期
8 张东霞;姚良忠;马文媛;;中外智能电网发展战略[J];中国电机工程学报;2013年31期
9 金培权;郝行军;岳丽华;;面向新型存储的大数据存储架构与核心算法综述[J];计算机工程与科学;2013年10期
10 李建中;刘显敏;;大数据的一个重要方面:数据可用性[J];计算机研究与发展;2013年06期
中国硕士学位论文全文数据库 前10条
1 梁彦;基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D];中山大学;2014年
2 邱荣财;基于Spark平台的CURE算法并行化设计与应用[D];华南理工大学;2014年
3 冯琳;集群计算引擎Spark中的内存优化研究与实现[D];清华大学;2013年
4 林云飞;基于小波分析的超声波透射法基桩检测信号处理[D];长沙理工大学;2011年
5 薛磊;基于改进的EMD算法的绝缘子泄漏电流数据分析[D];华北电力大学;2011年
6 霍树民;基于Hadoop的海量影像数据管理关键技术研究[D];国防科学技术大学;2010年
7 徐照胜;地震动传感器的目标检测和识别算法研究[D];安徽大学;2010年
8 程登峰;不同型式绝缘子污秽特性的研究[D];合肥工业大学;2010年
9 方海英;基于时空折衷算法的Word文档破解研究[D];杭州电子科技大学;2009年
10 陈勇;基于Hadoop平台的通信数据分布式查询算法的设计与实现[D];北京交通大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 刘琦琳;;智能电网的现实演义[J];互联网周刊;2008年07期
2 ;美国政府正式启动智能电网项目[J];电气技术;2009年06期
3 ;澳大利亚斥资1亿澳元建造智能电网[J];华东电力;2009年06期
4 ;关于建成统一的“坚强智能电网” 华东电网有限公司董事长、党组书记帅军庆6月1 6日接受东方早报记者独家采访[J];华东电力;2009年06期
5 张征容;;智能电网浅述[J];云南电力技术;2009年03期
6 方廷;白丹;;智能电网特点及发展趋势[J];云南电业;2009年07期
7 ;国外智能电网研究与应用[J];国家电网;2009年06期
8 ;第一届智能电网研究学术论坛召开[J];供用电;2009年04期
9 苗新;张逸飞;刘津;;智能电网的中国之路[J];国家电网;2009年07期
10 ;中国科学院电工研究所“智能电网研究中心”成立[J];电气技术;2009年09期
中国重要会议论文全文数据库 前10条
1 王益民;;坚强智能电网的探索与实践[A];2010年电力系统自动化学术研讨会论文集[C];2010年
2 卢强;何光宇;;智能电网及其工程实现[A];2010年电力系统自动化学术研讨会论文集[C];2010年
3 余贻鑫;赵金利;;中国智能电网概况——2010年3月3日于东京智能电网研讨会[A];2010年电力系统自动化学术研讨会论文集[C];2010年
4 赵丙镇;;日本智能电网的现状及发展[A];2010年电力系统自动化学术研讨会论文集[C];2010年
5 贺勋;;智能电网之初探[A];战略性新兴产业的培育和发展——首届云南省科协学术年会论文集[C];2011年
6 金之俭;;国家能源智能电网研发中心建设简介[A];2010电工测试技术学术交流会论文集[C];2010年
7 刘俊;;智能电网统计指标研究[A];2010电工测试技术学术交流会论文集[C];2010年
8 王锐;谢兰;吴文凯;杨昆;;智能电网及其发展态势分析[A];2010年西南三省一市自动化与仪器仪表学术年会论文集[C];2010年
9 张熹;;智能电网配用电通信技术的现在时与将来时[A];2011电力通信管理暨智能电网通信技术论坛论文集[C];2011年
10 魏林;李博;李杨;;智能电网发展现状及探讨[A];重庆市电机工程学会2010年学术会议论文集[C];2010年
中国重要报纸全文数据库 前10条
1 潘昊;发展“智能电网”需要统筹兼顾[N];中国电力报;2009年
2 楚新;美国正式启动智能电网项目[N];中国经济导报;2009年
3 早报记者 李晓辉;“智能电网不只是电网公司的事,电信等行业同样 面临很大机遇”[N];东方早报;2009年
4 本报记者 吴生锋;智能电网:工业转型新“推手”[N];扬州日报;2009年
5 广东技术师范学院经济学教授 张锐;智能电网:全球经济的未来动力与引擎[N];国际商报;2009年
6 本报记者 曾静婕;美国81亿美元打造智能电网“盛宴”[N];中国商报;2009年
7 本报记者 陈颖晖;一个小岛的智能电网图景[N];21世纪经济报道;2009年
8 徐炜旋;智能电网:看上去很美[N];21世纪经济报道;2009年
9 本报记者 唐烨 本报实习生 王文清;智能电网:一块被争夺的经济“蛋糕”[N];解放日报;2010年
10 黄晓华;《智能电网知识读本》《智能电网技术》出版发行[N];国家电网报;2010年
中国博士学位论文全文数据库 前10条
1 孔伟伟;车载智能电网[D];清华大学;2014年
2 马若飞;智能电网中异构通信网络的共存问题研究[D];哈尔滨工业大学;2014年
3 任鹏;智能电网中通信及控制关键技术研究[D];西安电子科技大学;2014年
4 于君;智能电网无线传感监测及负荷预测方法研究[D];太原理工大学;2015年
5 赵良;适应智能电网发展的电网规划评价模型与方法[D];华北电力大学(北京);2016年
6 陈乐;智能电网通信中隐私保护问题的研究[D];上海交通大学;2015年
7 杨超;复杂智能电网的分布式控制与故障辨识研究[D];华中科技大学;2016年
8 周黎莎;智能电网低碳效益关键指标选取与评价模型研究[D];华北电力大学;2013年
9 马同涛;智能电网利益链风险元传递模型及其信息系统研究[D];华北电力大学;2015年
10 黄立新;智能电网条件下输电检修优化模式与实施方案研究[D];华北电力大学;2013年
中国硕士学位论文全文数据库 前10条
1 吕琛靖;基于云计算的智能电网状态监测数据存储与分析研究[D];华北电力大学;2017年
2 施超;智能电网大数据相关应用问题研究[D];华南理工大学;2015年
3 潘维;智能电网保护控制信息流建模仿真研究[D];华南理工大学;2015年
4 张晔;基于云计算的配电网络系统设计与研究[D];苏州大学;2015年
5 印禹;智能电网负荷预测与定价的研究[D];南京师范大学;2015年
6 朱信弢;LN软件公司智能电网业务竞争战略研究[D];山东大学;2015年
7 林清明;智能电网分时电价的定价与优化[D];上海交通大学;2015年
8 王晖;城市智能配网平台研究[D];山东大学;2015年
9 毛祺琦;图像处理技术在智能电网中的应用[D];电子科技大学;2015年
10 俞磊;智能电网中储能技术的服务形式及其价值评估[D];华北电力大学;2015年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026