收藏本站
《中国科学院大学(中国科学院沈阳计算技术研究所)》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于流计算的调度数据网监测平台的研究与实现

吴奔  
【摘要】:由于电力调度数据网出现任何网络故障都可能发生极度严重的事故,因此具有极高的可靠性及安全性的要求。与此同时随着电力大数据时代的到来,当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求。因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成。本文结合调度数据网网络的特点以及监测准确性及实时性的需求,研究了流计算相关的主要关键技术和实现网络监测的主要方法。主要成果是构建出一个基于流计算的数据处理分析平台,设计和实现了平台的整体框架和数据网异常监测模型,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成监测应用,构建基于机器学习的网络异常检测模型,提出基于DBSCAN聚类算法的网络异常划分和基于SVM分类算法的网络异常识别来对模型进行实现。通过实验测试和分析,结果证明了平台的可用性,同时通过实验与传统云计算和批量计算等传统计算方式对比,实验验证了平台具有较好的吞吐量和实时性,数据网监测模型具有较高的准确率,能够有效实现网络监测,保障调度数据网安全运行。
【学位授予单位】:中国科学院大学(中国科学院沈阳计算技术研究所)
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TM734

【参考文献】
中国期刊全文数据库 前9条
1 方金云;刘羽;姚晓;陈翠婷;张梦菲;肖茁建;张广发;;基于Spark的空间数据实时访存技术的研究[J];地理信息世界;2015年06期
2 王震;陈亮;;基于Kafka消息队列的电网设备准实时数据接入方法研究[J];山东电力技术;2015年06期
3 胡俊;胡贤德;程家兴;;基于Spark的大数据混合计算模型[J];计算机系统应用;2015年04期
4 李芹;卢长燕;霍雪松;胡婷;何晓阳;黄鑫;;电力调度数据网测试模型[J];电力系统自动化;2015年01期
5 马发勇;厉启鹏;马志斌;叶飞;米为民;李军良;王恒;;电力调度SCADA系统中历史数据压缩及存储策略[J];电网技术;2014年04期
6 柏骏;夏靖波;吴吉祥;任高明;赵小欢;;实时网络流量分类研究综述[J];计算机科学;2013年09期
7 李高望;鞠文云;段献忠;石东源;;电力调度数据网传输特性分析[J];中国电机工程学报;2012年22期
8 胡娟;李智欢;段献忠;;电力调度数据网结构特性分析[J];中国电机工程学报;2009年04期
9 皮建勇;刘心松;廖东颖;吴艾;;基于VPN的电力调度数据网络安全方案[J];电力系统自动化;2007年14期
中国博士学位论文全文数据库 前1条
1 乔媛媛;基于Hadoop的网络流量分析系统的研究与应用[D];北京邮电大学;2014年
中国硕士学位论文全文数据库 前10条
1 陈润;面向铁路运维的大数据流式处理技术的研究与应用[D];北京交通大学;2017年
2 郭成林;基于Spark平台的恶意流量监测分析系统[D];北京交通大学;2016年
3 曹鹏;基于Spark平台的聚类算法的优化与实现[D];北京交通大学;2016年
4 王楠;木马和僵尸网络监测平台设计与实现[D];天津大学;2016年
5 张帆;基于权限分析与流量监控的恶意软件检测与防护机制研究[D];北京交通大学;2016年
6 曾文静;Storm在电力大数据分析平台中的研究与应用[D];华北电力大学(北京);2016年
7 梁彦;基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D];中山大学;2014年
8 王海凤;工业控制网络的异常检测与防御资源分配研究[D];浙江大学;2014年
9 孙朝华;基于Storm的数据分析系统设计与实现[D];北京邮电大学;2014年
10 顾伟;分布式流数据实时计算框架的研究和开发[D];浙江理工大学;2013年
【共引文献】
中国期刊全文数据库 前10条
1 张志东;杨挺;;基于复杂网络的电力通信骨干网络关键点甄别[J];电力信息与通信技术;2015年12期
2 刘彤;;海量非线性网络流量数据分类模型的仿真分析[J];计算机仿真;2015年12期
3 刘涤尘;冀星沛;王波;唐飞;;基于复杂网络理论的电力通信网拓扑脆弱性分析及对策[J];电网技术;2015年12期
4 汤奕;韩啸;吴英俊;鞠勇;周霞;倪明;;考虑通信系统影响的电力系统综合脆弱性评估[J];中国电机工程学报;2015年23期
5 占震滨;杨博;;电网调度自动化系统前置集群虚拟网关设计及应用[J];电力系统自动化;2015年22期
6 秦雁;郑洪飞;;浅析加强电力系统调度自动化的管理[J];科技创新与应用;2015年32期
7 黄国兵;蔺元;金勇;;基于现场适应性策略的自动抄表任务调度算法[J];计算机与现代化;2015年11期
8 潘红芳;张瑜;;智能分级存储系统在内蒙古电力的应用[J];电力信息与通信技术;2015年11期
9 刘科研;张剑;陶顺;贾东梨;盛万兴;;基于多源多时空信息的配电网SCADA系统电压数据质量检测与评估方法[J];电网技术;2015年11期
10 张南;;电力调度对SCADA系统的实践运用[J];中国新通信;2015年21期
中国硕士学位论文全文数据库 前10条
1 王群峰;基于分布式Kafka队列和流计算集群的铁道供电监控实时处理研究[D];华东交通大学;2018年
2 姜如霞;基于YARN框架下决策树算法的并行化研究[D];南昌大学;2018年
3 吴奔;基于流计算的调度数据网监测平台的研究与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
4 廖俊杰;基于Spark的大数据人员信息智能管理系统[D];广东工业大学;2018年
5 刘亚丽;电网工控系统安全防护中流量异常检测的研究与应用[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
6 臧兆杰;基于Spark的K-medoids聚类算法的研究[D];大连大学;2018年
7 刘东佶;基于SPARK的空间数据挖掘聚类算法并行化研究[D];江西理工大学;2018年
8 王少辉;基于云平台的智能燃气数据流处理系统设计[D];山东大学;2018年
9 潘东宁;基于Storm改进的KNN日志处理研究[D];天津师范大学;2018年
10 胡荣辉;基于大数据技术的粮仓智能通风策略研究[D];河南工业大学;2018年
【二级参考文献】
中国期刊全文数据库 前10条
1 周升;金文德;李炜;王志强;;实时/历史数据新平台的数据接入方法[J];浙江电力;2014年02期
2 周升;李树斌;郑纲;;实时/历史数据平台统一应用技术架构研究[J];电力信息与通信技术;2014年01期
3 宋亚奇;周国亮;朱永利;;智能电网大数据处理技术现状与挑战[J];电网技术;2013年04期
4 周升;陶敏;;实时/历史数据库平台通用访问方法研究[J];浙江电力;2012年12期
5 周静;吕天光;陈希;殷树刚;;省级电力调度数据网带宽分析与容量规划研究[J];电网技术;2012年05期
6 陶敏;郭宁;;PI实时/历史数据库系统平台架构优化[J];浙江电力;2011年08期
7 安磊;杨晓华;管金胜;夏家盛;;基于实时/历史数据库(PI)系统构建智能电网信息化基础平台[J];华东电力;2011年08期
8 王广辉;李保卫;胡泽春;宋永华;;未来智能电网控制中心面临的挑战和形态演变[J];电网技术;2011年08期
9 鲁刚;张宏莉;叶麟;;P2P流量识别[J];软件学报;2011年06期
10 张剑;钱宗珏;寿国础;胡怡红;;在线聚类的网络流量识别[J];北京邮电大学学报;2011年01期
中国硕士学位论文全文数据库 前10条
1 赵鸿斌;安卓系统网络数据流量的监测分析与研究[D];大连理工大学;2014年
2 白洋;面向大数据的电力设备状态监测信息聚合研究[D];昆明理工大学;2014年
3 肖慧璠;基于语义相似度计算及Twitter Storm平台的微博检索研究[D];武汉理工大学;2014年
4 孙继旋;基于Android平台的手机资费流量统计系统的设计与实现[D];电子科技大学;2014年
5 李钊;云环境下的实时流计算平台研究[D];北京邮电大学;2014年
6 蒋玉柱;基于Hadoop的电力设备状态监测数据处理与分析的研究[D];华北电力大学;2014年
7 马瑞;基于Storm的短信诈骗拦截提示系统的设计与实现[D];北京邮电大学;2014年
8 黄馥浩;基于Storm的微博互动平台的设计与实现[D];中山大学;2013年
9 刘树仁;基于Hadoop的电力设备状态监测数据存储与访问研究[D];华北电力大学;2013年
10 李琳;基于RFID的物联网运维管理系统的设计与实现研究[D];华中师范大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 龙立波;袁文;刘立恩;;构建地市供电公司调度数据网管理机制[J];大众用电;2018年07期
2 欧阳文华;杨浩;林楠;章玲玲;肖勇才;;新能源电站接入调度数据网风险分析及防护研究[J];江西电力;2017年10期
3 王卫华;;电力调度数据网解决方案[J];数字通信世界;2017年09期
4 吴一帆;;调度数据网承载网瓶颈解决方案[J];农村电气化;2014年02期
5 范少伟;刘胜文;;地区调度数据网的改造及优化[J];广西电力;2014年04期
6 陈泽旺;;分析电厂侧调度数据网的安全防护设计[J];企业技术开发;2013年21期
7 卢绍年;;调度数据网在地区电网的实践及改造建议[J];广西电力;2013年01期
8 郭杰;王娜;;浅谈电力调度自动化系统与调度数据网安全[J];企业导报;2011年18期
9 李明;;新疆电力公司调度数据网之浅见[J];新疆电力技术;2010年03期
10 潘江灏;;电网调度数据网网络安全管理策略分析[J];中国新通信;2017年23期
中国重要会议论文全文数据库 前10条
1 杨晨;杜家寅;沈洪涛;;调度数据网在济南电网的设计及应用[A];山东电机工程学会2012年度学术年会论文集[C];2012年
2 匡淮;;调度数据网第二平面在电网中的作用[A];全国火电300MW级机组能效对标及竞赛第四十二届年会论文集[C];2013年
3 陈文刚;;调度数据网在地调SCADA系统中的应用[A];2005中国电机工程学会电力系统自动化专委会全国供用电管理自动化学术交流暨供用电管理自动化学科组第二届年会论文集[C];2005年
4 邱冬;周小燕;;以交换式网络扩展地区调度数据网的探讨[A];2006电力系统自动化学术交流研讨大会论文集[C];2006年
5 李文金;;调度数据网在龙开口电厂的应用[A];中国水力发电工程学会信息化专委会、水电控制设备专委会2015年学术交流会论文集[C];2015年
6 张志林;钱俊丽;;普渡河六级(鲁基厂)水电站调度数据网及2M专线建设方案[A];中国水力发电工程学会信息化专委会、水电控制设备专委会2015年学术交流会论文集[C];2015年
7 蒋亚坤;;电能量计量系统之间数据交换技术方案探讨[A];2007云南电力技术论坛论文集[C];2007年
8 苏国彬;王立刚;;大亚湾、岭澳核电站调度数据网建设[A];2009电力行业信息化年会论文集[C];2009年
9 颜丙胜;李浩;;论调度自动化系统及调度数据网安全策略[A];第二届世纪之星创新教育论坛论文集[C];2015年
10 陆蔚琳;;500kV某某变电站省级调度数据网改造[A];2012年云南电力技术论坛论文集(文摘部分)[C];2012年
中国重要报纸全文数据库 前7条
1 杨庆吉 李婷;吉林地区启动城市电网调度数据网[N];东北电力报;2009年
2 龚光军;乌鲁木齐电网实现调度数据网全覆盖[N];国家电网报;2014年
3 段锟 杨立波;河北南网架通通信“高速路”[N];国家电网报;2015年
4 ;电力行业安全解决方案[N];中国计算机报;2006年
5 燕艳 柯敏;精益 创新 融合[N];华中电力报;2011年
6 栾士岩;国网河北电力完成“大运行”体系两项试点[N];国家电网报;2014年
7 通讯员 刘小莲;南昌县供电2600万元提升农网可靠性[N];中国电力报;2011年
中国博士学位论文全文数据库 前1条
1 李高望;含电动汽车的电力系统运行问题研究[D];华中科技大学;2013年
中国硕士学位论文全文数据库 前10条
1 吴奔;基于流计算的调度数据网监测平台的研究与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
2 张利金;包头地区智能电力调度系统研究[D];长春工业大学;2016年
3 文志刚;内蒙古电网调度数据网建设分析与研究[D];华北电力大学(北京);2007年
4 杨晨;电力调度数据网在济南电网的应用与研究[D];山东大学;2011年
5 张帆;基于IPv6的电力数据专网应用研究[D];华南理工大学;2011年
6 赵佳;电力调度数据网在呼和浩特的应用[D];天津大学;2017年
7 齐聪;鹰潭地区电力调度数据网组网分析及规划[D];南昌大学;2012年
8 高云;南昌地区电力调度数据网组网研究与提升设计[D];南昌大学;2015年
9 杨文祺;电力二次系统主体通信网络的优化设计[D];华南理工大学;2013年
10 崔子倜;应急灾备电网调度系统改造的设计与实现[D];内蒙古大学;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026