收藏本站
《中国科学院大学(中国科学院沈阳计算技术研究所)》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于流计算的调度数据网监测平台的研究与实现

吴奔  
【摘要】:由于电力调度数据网出现任何网络故障都可能发生极度严重的事故,因此具有极高的可靠性及安全性的要求。与此同时随着电力大数据时代的到来,当前传统的网络监测系统在面对大数据量时,其实时处理能力和扩展能力都无法满足需求。因此对实时产生的大规模各类型数据的分析处理则需要一种专门的实时数据分析平台完成。本文结合调度数据网网络的特点以及监测准确性及实时性的需求,研究了流计算相关的主要关键技术和实现网络监测的主要方法。主要成果是构建出一个基于流计算的数据处理分析平台,设计和实现了平台的整体框架和数据网异常监测模型,以Apache Spark中的Spark Streaming为代表的开源流计算框架,加入如Kafka分布式消息队列、Redis内存数据库等组件,为数据分析平台提供稳定高效的数据来源和数据服务接口,从而实现适用于电力调度网的各类海量数据的实时分析处理完成监测应用,构建基于机器学习的网络异常检测模型,提出基于DBSCAN聚类算法的网络异常划分和基于SVM分类算法的网络异常识别来对模型进行实现。通过实验测试和分析,结果证明了平台的可用性,同时通过实验与传统云计算和批量计算等传统计算方式对比,实验验证了平台具有较好的吞吐量和实时性,数据网监测模型具有较高的准确率,能够有效实现网络监测,保障调度数据网安全运行。
【学位授予单位】:中国科学院大学(中国科学院沈阳计算技术研究所)
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TM734

【参考文献】
中国期刊全文数据库 前10条
1 朱子龙;李玲娟;;基于Spark的密度聚类算法并行化研究[J];计算机技术与发展;2018年06期
2 赵文芳;刘旭林;;Spark Streaming框架下的气象自动站数据实时处理系统[J];计算机应用;2018年01期
3 赵瑞君;;电力调度自动化系统中的人工智能技术应用[J];现代工业经济和信息化;2017年21期
4 郭大可;;自动化系统在电力调度中的应用现状和发展[J];电子技术与软件工程;2017年22期
5 何剑峰;罗豫;李俊娥;刘剑;袁凯;吴亦贝;彭弼君;王宇飞;;电力调度数据网仿真建模及路由协议攻击影响[J];武汉大学学报(理学版);2017年02期
6 罗乐;刘轶;钱德沛;;内存计算技术研究综述[J];软件学报;2016年08期
7 马可;李玲娟;;分布式实时流数据聚类算法及其基于Storm的实现[J];南京邮电大学学报(自然科学版);2016年02期
8 杨晨光;马永征;;基于Spark的大规模网络流量准实时分类方法[J];科研信息化技术与应用;2016年02期
9 孟建良;刘德超;;一种基于Spark和聚类分析的辨识电力系统不良数据新方法[J];电力系统保护与控制;2016年03期
10 方金云;刘羽;姚晓;陈翠婷;张梦菲;肖茁建;张广发;;基于Spark的空间数据实时访存技术的研究[J];地理信息世界;2015年06期
中国博士学位论文全文数据库 前1条
1 乔媛媛;基于Hadoop的网络流量分析系统的研究与应用[D];北京邮电大学;2014年
中国硕士学位论文全文数据库 前10条
1 陈润;面向铁路运维的大数据流式处理技术的研究与应用[D];北京交通大学;2017年
2 郭成林;基于Spark平台的恶意流量监测分析系统[D];北京交通大学;2016年
3 曹鹏;基于Spark平台的聚类算法的优化与实现[D];北京交通大学;2016年
4 王楠;木马和僵尸网络监测平台设计与实现[D];天津大学;2016年
5 张帆;基于权限分析与流量监控的恶意软件检测与防护机制研究[D];北京交通大学;2016年
6 曾文静;Storm在电力大数据分析平台中的研究与应用[D];华北电力大学(北京);2016年
7 梁彦;基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D];中山大学;2014年
8 王海凤;工业控制网络的异常检测与防御资源分配研究[D];浙江大学;2014年
9 孙朝华;基于Storm的数据分析系统设计与实现[D];北京邮电大学;2014年
10 顾伟;分布式流数据实时计算框架的研究和开发[D];浙江理工大学;2013年
【共引文献】
中国期刊全文数据库 前10条
1 朱丽萍;王建东;李洪奇;赵艳红;;Spark框架下地震属性处理方法研究[J];计算机与数字工程;2018年08期
2 李世明;卢建刚;王茜;王彬;张超;颜伟;;外网扩展电压源支路Ward等值模型及其在状态估计中的应用[J];电力系统保护与控制;2018年15期
3 郝勇生;殷捷;王培红;赵刚;;改进的煤气发电锅炉耗差分析模型[J];热力发电;2018年08期
4 吴奔;李喜旺;周心圆;;基于流计算的电力调度网络流量监测平台[J];计算机系统应用;2018年07期
5 龙婧;刘伟;殷胜;;基于机器学习的电网设备档案数据异常诊断研究[J];电力信息与通信技术;2018年07期
6 闵陶;冷晟;王展;戴志强;阳祥贵;;面向智能制造的车间大数据关键技术[J];航空制造技术;2018年12期
7 马巍巍;殷凤梅;张江;;大数据背景下机器学习并行算法研究[J];电子技术与软件工程;2018年11期
8 孙江山;刘敏;邓磊;应丽云;李泽滔;;基于自适应无迹卡尔曼滤波的配电网状态估计[J];电力系统保护与控制;2018年11期
9 牛丽媛;张桂芸;;基于Storm的分布式实时数据流密度聚类算法[J];天津师范大学学报(自然科学版);2018年03期
10 朵向阳;;电力调度自动化系统中的人工智能技术应用[J];时代农机;2018年05期
中国硕士学位论文全文数据库 前10条
1 王群峰;基于分布式Kafka队列和流计算集群的铁道供电监控实时处理研究[D];华东交通大学;2018年
2 吴奔;基于流计算的调度数据网监测平台的研究与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
3 臧兆杰;基于Spark的K-medoids聚类算法的研究[D];大连大学;2018年
4 刘东佶;基于SPARK的空间数据挖掘聚类算法并行化研究[D];江西理工大学;2018年
5 王少辉;基于云平台的智能燃气数据流处理系统设计[D];山东大学;2018年
6 胡荣辉;基于大数据技术的粮仓智能通风策略研究[D];河南工业大学;2018年
7 王磊;基于大数据分析的螺栓拧紧工艺质量评价方法研究[D];山东大学;2018年
8 刘妍;基于实时计算和离线挖掘的多手段数据融合系统的设计与实现[D];北京邮电大学;2018年
9 王裕辰;基于ELK Stack的实时日志分析系统的设计与实现[D];北京邮电大学;2018年
10 谭淼;分布式环境下基于机器学习的DDoS攻击检测的研究与实现[D];北京邮电大学;2018年
【二级参考文献】
中国期刊全文数据库 前10条
1 曾沁;李永生;;基于分布式计算框架的风暴三维追踪方法[J];计算机应用;2017年04期
2 李帅;吴斌;杜修明;陈玉峰;;基于Spark的BIRCH算法并行化的设计与实现[J];计算机工程与科学;2017年01期
3 宋亚奇;周国亮;朱永利;李莉;王德文;;云平台下并行总体经验模态分解局部放电信号去噪方法[J];电工技术学报;2015年18期
4 胡莹;;电力调度中心中智能电网信息标准化的应用分析[J];科技展望;2015年18期
5 熊安元;赵芳;王颖;张小缨;高峰;邓莉;谭小华;马强;;全国综合气象信息共享系统的设计与实现[J];应用气象学报;2015年04期
6 高志远;姚建国;郭昆亚;曹阳;宋宁希;李强;孙芊;;智能电网对智慧城市的支撑作用研究[J];电力系统保护与控制;2015年11期
7 王建华;张国钢;耿英三;宋政湘;;智能电器最新技术研究及应用发展前景[J];电工技术学报;2015年09期
8 牛聪;申晓留;;云计算在智能电力调度中的运用[J];科技创新与应用;2015年09期
9 王丽婕;冬雷;高爽;;基于多位置NWP与主成分分析的风电功率短期预测[J];电工技术学报;2015年05期
10 朱倩雯;叶林;赵永宁;郎燕生;宋旭日;;风电场输出功率异常数据识别与重构方法研究[J];电力系统保护与控制;2015年03期
中国硕士学位论文全文数据库 前10条
1 赵鸿斌;安卓系统网络数据流量的监测分析与研究[D];大连理工大学;2014年
2 白洋;面向大数据的电力设备状态监测信息聚合研究[D];昆明理工大学;2014年
3 肖慧璠;基于语义相似度计算及Twitter Storm平台的微博检索研究[D];武汉理工大学;2014年
4 孙继旋;基于Android平台的手机资费流量统计系统的设计与实现[D];电子科技大学;2014年
5 李钊;云环境下的实时流计算平台研究[D];北京邮电大学;2014年
6 蒋玉柱;基于Hadoop的电力设备状态监测数据处理与分析的研究[D];华北电力大学;2014年
7 马瑞;基于Storm的短信诈骗拦截提示系统的设计与实现[D];北京邮电大学;2014年
8 黄馥浩;基于Storm的微博互动平台的设计与实现[D];中山大学;2013年
9 刘树仁;基于Hadoop的电力设备状态监测数据存储与访问研究[D];华北电力大学;2013年
10 李琳;基于RFID的物联网运维管理系统的设计与实现研究[D];华中师范大学;2012年
【相似文献】
中国期刊全文数据库 前10条
1 龙立波;袁文;刘立恩;;构建地市供电公司调度数据网管理机制[J];大众用电;2018年07期
2 欧阳文华;杨浩;林楠;章玲玲;肖勇才;;新能源电站接入调度数据网风险分析及防护研究[J];江西电力;2017年10期
3 王卫华;;电力调度数据网解决方案[J];数字通信世界;2017年09期
4 吴一帆;;调度数据网承载网瓶颈解决方案[J];农村电气化;2014年02期
5 范少伟;刘胜文;;地区调度数据网的改造及优化[J];广西电力;2014年04期
6 朱贵芝;;浅谈县级调度数据网建设[J];电子制作;2013年19期
7 陈泽旺;;分析电厂侧调度数据网的安全防护设计[J];企业技术开发;2013年21期
8 卢绍年;;调度数据网在地区电网的实践及改造建议[J];广西电力;2013年01期
9 郭杰;王娜;;浅谈电力调度自动化系统与调度数据网安全[J];企业导报;2011年18期
10 李明;;新疆电力公司调度数据网之浅见[J];新疆电力技术;2010年03期
中国重要会议论文全文数据库 前10条
1 杨晨;杜家寅;沈洪涛;;调度数据网在济南电网的设计及应用[A];山东电机工程学会2012年度学术年会论文集[C];2012年
2 匡淮;;调度数据网第二平面在电网中的作用[A];全国火电300MW级机组能效对标及竞赛第四十二届年会论文集[C];2013年
3 陈文刚;;调度数据网在地调SCADA系统中的应用[A];2005中国电机工程学会电力系统自动化专委会全国供用电管理自动化学术交流暨供用电管理自动化学科组第二届年会论文集[C];2005年
4 邱冬;周小燕;;以交换式网络扩展地区调度数据网的探讨[A];2006电力系统自动化学术交流研讨大会论文集[C];2006年
5 李文金;;调度数据网在龙开口电厂的应用[A];中国水力发电工程学会信息化专委会、水电控制设备专委会2015年学术交流会论文集[C];2015年
6 张志林;钱俊丽;;普渡河六级(鲁基厂)水电站调度数据网及2M专线建设方案[A];中国水力发电工程学会信息化专委会、水电控制设备专委会2015年学术交流会论文集[C];2015年
7 蒋亚坤;;电能量计量系统之间数据交换技术方案探讨[A];2007云南电力技术论坛论文集[C];2007年
8 苏国彬;王立刚;;大亚湾、岭澳核电站调度数据网建设[A];2009电力行业信息化年会论文集[C];2009年
9 颜丙胜;李浩;;论调度自动化系统及调度数据网安全策略[A];第二届世纪之星创新教育论坛论文集[C];2015年
10 陆蔚琳;;500kV某某变电站省级调度数据网改造[A];2012年云南电力技术论坛论文集(文摘部分)[C];2012年
中国重要报纸全文数据库 前7条
1 杨庆吉 李婷;吉林地区启动城市电网调度数据网[N];东北电力报;2009年
2 龚光军;乌鲁木齐电网实现调度数据网全覆盖[N];国家电网报;2014年
3 段锟 杨立波;河北南网架通通信“高速路”[N];国家电网报;2015年
4 ;电力行业安全解决方案[N];中国计算机报;2006年
5 燕艳 柯敏;精益 创新 融合[N];华中电力报;2011年
6 栾士岩;国网河北电力完成“大运行”体系两项试点[N];国家电网报;2014年
7 通讯员 刘小莲;南昌县供电2600万元提升农网可靠性[N];中国电力报;2011年
中国博士学位论文全文数据库 前1条
1 李高望;含电动汽车的电力系统运行问题研究[D];华中科技大学;2013年
中国硕士学位论文全文数据库 前10条
1 吴奔;基于流计算的调度数据网监测平台的研究与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
2 张利金;包头地区智能电力调度系统研究[D];长春工业大学;2016年
3 文志刚;内蒙古电网调度数据网建设分析与研究[D];华北电力大学(北京);2007年
4 杨晨;电力调度数据网在济南电网的应用与研究[D];山东大学;2011年
5 张帆;基于IPv6的电力数据专网应用研究[D];华南理工大学;2011年
6 赵佳;电力调度数据网在呼和浩特的应用[D];天津大学;2017年
7 齐聪;鹰潭地区电力调度数据网组网分析及规划[D];南昌大学;2012年
8 高云;南昌地区电力调度数据网组网研究与提升设计[D];南昌大学;2015年
9 杨文祺;电力二次系统主体通信网络的优化设计[D];华南理工大学;2013年
10 崔子倜;应急灾备电网调度系统改造的设计与实现[D];内蒙古大学;2012年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026