收藏本站
《成都理工大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark的网络入侵实时检测算法研究

王欣颖  
【摘要】:现代互联网的高速发展,使得网络中产生规模巨大的网络数据,各种隐私信息也掺杂其中。针对网络系统的攻击从未断绝,攻击手法繁复多样,且攻击范围日渐扩大。网络入侵是现今异常入侵类型中最为普遍的一种入侵方式。计算机网络本身存在一些漏洞,再加之操作系统在早期忽略了安全问题,过于注重功能等原因,导致人们在使用网络时也不可避免的受到网络异常入侵的威胁。作为一种动态的网络安防手段,入侵检测技术因此应运而生,与静态安防技术相辅相成,共同构成网络安全防线。入侵检测对计算机内部未经授权的举动或是外部的入侵行为进行监控和检测,并及时响应。目前针对网络入侵的检测技术已经有所发展,但在面临新的网络环境,即分析处理海量、高速的网络数据时,难以实现网络入侵实时检测并作出有效的应对措施,这将大大降低入侵检测的质量及速度。本文基于网络在大数据系统运营的前提与入侵检测技术智能化的发展趋势,提出了一种基于Spark的网络入侵实时检测模型NRIDS。该模型以Spark Streaming流处理模块来实时地接收、处理和返回由Kafka收集到的数据,并且利用Spark的机器学习模块在线训练网络入侵检测模型,从而实现网络入侵检测在面对海量网络数据时,能够实时、快速、可靠的检测出入侵攻击,并及时作出应对。本文的工作主要包括以下几个方面:(1)根据网络异常检测的部署模式和一般模型,结合通用的入侵检测模型以及分布式处理大量网络数据的需求,提出基于分布式计算平台Spark的网络入侵实时检测模型NRIDS模型。该模型利用Spark中的流处理模块和机器学习模块来共同完成大数据的实时检测任务。(2)优化了实时K-means聚类算法根据Spark中的机器学习模块中各个算法的适用场景,选择聚类算法来训练入侵检测模型,以实现检测未知攻击的需要。通过对标准的K-Means聚类算法和实时K-Means聚类算法的原理、缺陷和聚类评估标准的分析研究,对结合Spark与聚类分析的KMeans实时聚类算法进行了必要的研究和改进。并使用KMeans实时聚类算法作为NRIDS模型的检测模型训练算法,以实现对大规模网络数据的实时检测。(3)网络入侵实时监测模型的详细实现与测试根据NRIDS模型的技术架构职能和整体流程的划分,详细设计和实现该入侵检测模型的各个模块。最后使用KDD CUP 99数据集进行仿真测试,通过对聚类结果和测试结果的分析,对基于Spark的网络入侵实时检测算法的检测效果进行评估与验证。测试结果表明本文设计的基于Spark的网络入侵实时检测模型能够应对大规模网络数据的检测,实现检测的实时性。同时,对比未经优化的实时KMeans聚类算法和经过PSO最优算法优化的实时KMeans聚类算法的检测结果,算法的优化提高了检测的准确率。
【学位授予单位】:成都理工大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP393.08

【参考文献】
中国期刊全文数据库 前10条
1 王金永;董玉民;;改进粒子群算法在数据聚类中的应用[J];长春工业大学学报;2015年06期
2 吴韶鸿;;大数据开源技术发展研究[J];现代电信科技;2014年08期
3 马利;梁红杰;;计算机网络安全中的防火墙技术应用研究[J];电脑知识与技术;2014年16期
4 李彦广;;网络攻防仿真系统终端子系统的设计与实现[J];计算机与现代化;2014年03期
5 严霄凤;张德馨;;大数据研究[J];计算机技术与发展;2013年04期
6 陈小全;张继红;;基于改进粒子群算法的聚类算法[J];计算机研究与发展;2012年S1期
7 孙吉贵;刘杰;赵连宇;;聚类算法研究[J];软件学报;2008年01期
8 李永森;杨善林;马溪骏;胡笑旋;陈增明;;空间聚类算法中的K值优化问题研究[J];系统仿真学报;2006年03期
9 杨善林;李永森;胡笑旋;潘若愚;;K-MEANS算法中的K值优化问题研究[J];系统工程理论与实践;2006年02期
10 李庆华,童健华,孟中楼,张薇;基于数据挖掘的入侵特征建模[J];计算机工程;2004年08期
中国博士学位论文全文数据库 前1条
1 郭春;基于数据挖掘的网络入侵检测关键技术研究[D];北京邮电大学;2014年
中国硕士学位论文全文数据库 前6条
1 马志亨;基于Spark的日志分析工具的设计与实现[D];西安电子科技大学;2017年
2 宁永恒;基于Spark的若干数据挖掘技术研究[D];中国计量学院;2015年
3 孙科;基于Spark的机器学习应用框架研究与实现[D];上海交通大学;2015年
4 唐振坤;基于Spark的机器学习平台设计与实现[D];厦门大学;2014年
5 薛京花;K-means聚类算法在网络入侵检测中的应用研究[D];中南林业科技大学;2012年
6 刘丽丽;基于智能算法的网络入侵检测技术研究[D];江南大学;2009年
【共引文献】
中国期刊全文数据库 前10条
1 余冬华;郭茂祖;刘扬;任世军;刘晓燕;刘国军;;基于距离不等式的K-medoids聚类算法[J];软件学报;2017年12期
2 栗国保;韩青菊;;一种改进K-means聚类算法的MapReduce并行化实现[J];数字技术与应用;2016年12期
3 张莹;;计算机网络安全中虚拟网络技术的应用研究[J];电脑知识与技术;2015年35期
4 陈皓;;市场化取向改革中客户分档标准制定方法[J];中国烟草学报;2015年S1期
5 苟胜难;;网络防火墙技术在计算机网络安全中的应用探析[J];电脑知识与技术;2015年22期
6 苑津莎;张利伟;李中;张英慧;;基于互补免疫算法的变压器故障诊断[J];电工技术学报;2015年24期
7 王楠;钟智;顾昆;温海标;;基于谱聚类的医学图像分割方法[J];广西师范学院学报(自然科学版);2015年04期
8 张莉莉;;国企高管人力资本优势度评析方法及应用[J];运筹与管理;2015年06期
9 常青;严小文;陶晓峰;付峰;;基于大数据技术的智能电表运行状态分析系统研究[J];自动化与仪器仪表;2015年12期
10 樊搏;姜玉国;;基于数据挖掘的贫困生认定辅助系统设计[J];软件导刊;2015年12期
中国博士学位论文全文数据库 前1条
1 贾斌;基于机器学习和统计分析的DDoS攻击检测技术研究[D];北京邮电大学;2017年
中国硕士学位论文全文数据库 前10条
1 盛勇;基于GPS轨迹数据的居民出行行为特征分析[D];江西理工大学;2018年
2 肖泽力;SQL注入攻击检测方法研究[D];东北师范大学;2018年
3 王培培;基于Spark的融合通信大数据分析关键技术的设计与实现[D];中国科学院大学(中国科学院沈阳计算技术研究所);2018年
4 孙伟鹏;基于密度峰值聚类算法的研究与实现[D];江南大学;2018年
5 刘博;社保领域智能问答系统的研究与应用[D];吉林大学;2018年
6 臧兆杰;基于Spark的K-medoids聚类算法的研究[D];大连大学;2018年
7 籍姣荣;基于仿射变换的时序数据信息处理方法研究[D];黑龙江大学;2018年
8 张薇;基于不完整视图的多核谱聚类算法及分布式实现[D];西南交通大学;2018年
9 王欣颖;基于Spark的网络入侵实时检测算法研究[D];成都理工大学;2018年
10 胡荣辉;基于大数据技术的粮仓智能通风策略研究[D];河南工业大学;2018年
【二级参考文献】
中国期刊全文数据库 前10条
1 肖玉梅;苏红艳;;试析当前计算机网络安全中的防火墙技术[J];数字技术与应用;2013年05期
2 高翔;祝跃飞;刘胜利;;应用三角模糊矩阵博弈的网络安全评估研究[J];西安交通大学学报;2013年08期
3 李庆朋;王布宏;王晓东;张春明;;基于最优攻击路径的网络安全增强策略研究[J];计算机科学;2013年04期
4 姜可;;浅谈防火墙技术在计算机网络信息安全中的应用及研究[J];计算机光盘软件与应用;2013年04期
5 黄太安;生佳根;徐红洋;黄泽峰;;一种改进的简化粒子群算法[J];计算机仿真;2013年02期
6 梁海军;;人工蜂群优化支持向量机算法在网络安全中的应用[J];微电子学与计算机;2013年02期
7 董辉;马建;;基于虚拟蜜网的网络攻防实验平台的构建[J];齐齐哈尔大学学报(自然科学版);2012年02期
8 张辉;赵郁亮;徐江;孙伟华;;基于Oracle数据库海量数据的查询优化研究[J];计算机技术与发展;2012年02期
9 陈亮;潘惠勇;;网络安全风险评估的云决策[J];计算机应用;2012年02期
10 戴锐;;探析防火墙技术在计算机网络安全中的应用[J];信息与电脑(理论版);2011年11期
中国博士学位论文全文数据库 前1条
1 朱永宣;基于模式识别的入侵检测关键技术研究[D];北京邮电大学;2006年
中国硕士学位论文全文数据库 前10条
1 张贤德;基于Spark平台的实时流计算推荐系统的研究与实现[D];江苏大学;2016年
2 刘鹏;基于Spark的数据管理平台的设计与实现[D];浙江大学;2016年
3 张彬;基于Spark大数据平台日志审计系统的设计与实现[D];山东大学;2015年
4 吴雯祺;Spark性能数据收集分析系统的设计与实现[D];哈尔滨工业大学;2015年
5 刘季函(Liu,Chi Han);基于Spark的网络日志分析系统的设计与实现[D];南京大学;2014年
6 刘晓东;基于组合策略的随机森林方法研究[D];大连理工大学;2013年
7 胡善杰;在云环境下的数据挖掘算法的并行化研究[D];电子科技大学;2013年
8 宋爱青;基于Hadoop的日志分析系统的设计与实现[D];中国地质大学(北京);2012年
9 王全才;随机森林特征选择[D];大连理工大学;2011年
10 郝娟;基于模糊关联规则的入侵检测系统研究[D];河北工程大学;2011年
【相似文献】
中国期刊全文数据库 前10条
1 毛凤翔;;云计算中移动网络入侵信息轨迹预测仿真[J];计算机仿真;2018年08期
2 殷守军;;大规模网络入侵下病毒扩散方向预测模型仿真[J];计算机仿真;2016年12期
3 柳善文;符传谊;;模糊化疑似网络入侵中行为确定的方法与设计[J];湘潭大学自然科学学报;2017年03期
4 张生财;;基于协议分析和数据挖掘的网络入侵取证系统设计[J];警察技术;2016年02期
5 王槐源;;波段性网络入侵差异化特征的有效提取模型仿真[J];科技通报;2015年02期
6 王璐菲;;美军开发人工智能驱动的网络免疫系统技术[J];防务视点;2017年09期
7 陶国武;胡琳;;网络入侵手段与网络入侵技术[J];数码世界;2017年10期
8 左毅;陈勇;游华;;网络入侵应急模型快速响应方法研究与仿真[J];计算机仿真;2014年02期
9 仇阳;;网络入侵检测技术研究[J];信息与电脑(理论版);2014年04期
10 唐鑫;;网络入侵攻击黑色产业链分析[J];网络安全技术与应用;2014年06期
中国重要会议论文全文数据库 前10条
1 钱桂琼;许榕生;;网络入侵取证审计数据分析技术的研究[A];第十七次全国计算机安全学术交流会暨电子政务安全研讨会论文集[C];2002年
2 钟华;陶妍丹;;基于攻击聚类的计算机网络入侵预警研究[A];2007北京地区高校研究生学术交流会通信与信息技术会议论文集(上册)[C];2008年
3 白亚男;任广伟;;一种基于孤立点挖掘的网络入侵系统[A];2009全国计算机网络与通信学术会议论文集[C];2009年
4 王娟;舒敏;傅翀;吴跃;;基于数据融合的宏观网络入侵感知[A];全国网络与信息安全技术研讨会论文集(上册)[C];2007年
5 范晓岚;姜建国;曾启铭;;BO网络入侵的实时检测[A];中国工程物理研究院科技年报(1999)[C];1999年
6 黄举荣;;网络入侵检测技术研究[A];《IT时代周刊》论文专版(第317期)[C];2015年
7 梁俊华;白荣建;;云计算中的信息安全[A];中国新闻技术工作者联合会2012年学术年会、五届四次理事会暨第六届“王选新闻科学技术奖”的“人才奖”和“优秀论文奖”颁奖大会论文集[C];2012年
8 杨明欣;郭文东;;IDS与IPS的网络入侵防御作用研究[A];全国第八届工业工程与企业信息化学术会议论文集[C];2004年
9 ;2017年7月十大重要安全漏洞分析[A];第32次全国计算机安全学术交流会论文集[C];2017年
10 毛俐旻;王晓程;;基于Multi-SVM的网络入侵检测技术研究[A];全国计算机安全学术交流会论文集(第二十三卷)[C];2008年
中国重要报纸全文数据库 前10条
1 栾絮洁;勒索病毒敲响网络治理安全警钟[N];团结报;2017年
2 高吉;美陆军使用行为分析法侦测网络入侵[N];中国航空报;2017年
3 苏恩泽;网络入侵预警[N];解放军报;2002年
4 ;企业如何部署McAfee网络入侵防护解决方案[N];中国计算机报;2003年
5 张磊 马振贵;当网络入侵开始利欲化[N];中国电脑教育报;2005年
6 高愉;网络入侵防护成鸡肋[N];中国计算机报;2003年
7 刘;AI网络入侵业务市场份额最大[N];中国计算机报;2004年
8 首席记者 刘敏 实习生 孙洁;网络入侵“家庭裂变” 如何弥补伤痕?[N];重庆商报;2012年
9 张琦;网络入侵证据的收集分析[N];中国计算机报;2005年
10 ;中科网威天眼网络入侵侦测系统[N];中国计算机报;2004年
中国硕士学位论文全文数据库 前10条
1 周棒棒;基于ELM的入侵与恶意代码分类技术研究[D];湖南师范大学;2018年
2 王欣颖;基于Spark的网络入侵实时检测算法研究[D];成都理工大学;2018年
3 王昊;网络入侵异常检测的统计方法研究[D];华中师范大学;2011年
4 马锐锋;基于免疫的网络入侵察觉系统设计与实现[D];郑州大学;2014年
5 许涛;网络入侵诱控中动态配置技术的研究与实现[D];青岛大学;2006年
6 朱颖靓;网络入侵诱控技术的研究与实现[D];青岛大学;2005年
7 顾广聚;网络入侵源主动追踪机制研究[D];吉林大学;2007年
8 张德祥;网络入侵诱控中虚拟路由技术的研究与实现[D];青岛大学;2006年
9 丁杰;基于协议分析的网络入侵取证系统的研究与设计[D];华北电力大学(河北);2005年
10 郭传俊;网络入侵异常检测与识别问题研究[D];南昌大学;2012年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026