收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

网络用户异常行为数据挖掘方法研究

陈雄  
【摘要】:随着大数据、物联网等技术的迅速发展,用户访问信息也呈现出快速的增长。然而,社会各界在享受巨大技术红利的同时,也面临着信息安全所带来的问题。对用户访问日志数据进行异常检测分析是学术界的研究热点之一。但传统针对大规模分布式数据的异常检测方法存在一些缺点。第一,收集到Web日志数据集具有时效性,而在传统异常检测算法中却很少关注;第二,对已有的历史正常用户访问数据进行训练需要大量成本,而且异常检测效率低;第三,大数据时代网络流量呈现数据量大,特征属性维度高,而且属性之间的相关性大等特点,利用传统异常检测方法,会出现检测效率低,检测时间长的问题。因此,如何快速和高效率地对大数据平台收集到的大规模网络用户行为数据进行异常检测已经成为一个巨大的挑战。针对以上问题,本文分析了各类异常检测方法的优缺点,提出了两种基于数据挖掘的异常检测方法,实现了高效率的异常检测,最后并设计与实现了系统。本文的主要贡献如下:(1)针对正常用户访问模式的训练和更新需要大量成本,当Web日志数据量较大时,提取正常用户访问模式时具有时间效率低、检测率低和误报率高等问题,提出了一种基于序列模式挖掘异常的方法。利用基于改进的分布式最大频繁序列提取算法提取正常用户访问模式,通过模拟包含攻击的用户序列与正常用户访问规则库进行序列比对,检测和定位出异常情况;(2)针对网络流量数据量大,数据维度高等特性,提出一种改进GRU的异常检测方法。首先,利用主成分分析对大规模网络流量数据集进行降维,提取有效的属性;然后,对处理过的训练数据集用来训练GRU-SVDD分类器模型;最后,将要检测的实际流量输入到GRU-SVDD比较器,检测出流量中的异常。(3)针对大数据平台上面收集到的网络用户行为数据集,构建从应用层和网络层的多层保护模型。可以有效地保护大数据平台的安全,并在本项目系统中设计与实现了相应的算法。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 向模军;;基于互联网+数据挖掘的农业数据平台设计[J];西南师范大学学报(自然科学版);2019年09期
2 董义维;孟维峰;;基于数据挖掘的系统入侵报警识别技术[J];网络安全技术与应用;2015年02期
3 王振武;;基于阿里云大数据平台的“数据挖掘”课程实验教学方法探讨[J];实验室研究与探索;2018年06期
4 刘降珍;;异常数据挖掘中几种常用方法的比较[J];现代计算机(专业版);2012年34期
5 王程华;江峰;;粗糙集理论中基于距离的异常检测[J];烟台大学学报(自然科学与工程版);2010年01期
6 赵文文;吴坚;陈波;;数据挖掘中的频繁模式发现[J];萍乡高等专科学校学报;2005年04期
7 马艳;;战术导弹数据挖掘平台设计及其关键技术[J];计算机测量与控制;2017年11期
8 罗敏霞;;数据挖掘与知识发现的技术方法及应用(下)[J];运城学院学报;2005年05期
9 高轶;王鹏;;一种基于数据挖掘的目标行为规律分析算法[J];无线电工程;2018年12期
10 ;第3届中国数据挖掘会议(CCDM 2009)征文通知[J];计算机研究与发展;2009年01期
11 ;第三届中国数据挖掘会议(CCDM 2009)征文通知[J];小型微型计算机系统;2009年01期
12 ;第三届中国数据挖掘会议(CCDM 2009)征文通知[J];小型微型计算机系统;2009年02期
13 ;第3届中国数据挖掘会议(CCDM 2009)征文通知[J];计算机研究与发展;2009年02期
14 ;第三届中国数据挖掘会议(CCDM 2009)征文通知[J];小型微型计算机系统;2008年12期
15 ;第3届中国数据挖掘会议(CCDM 2009)征文通知[J];计算机研究与发展;2008年12期
16 ;第3届中国数据挖掘会议(CCDM 2009)征文通知[J];计算机研究与发展;2008年03期
17 ;第3届中国数据挖掘会议(CCDM 2009)征文通知[J];计算机研究与发展;2008年04期
18 ;第3届中国数据挖掘会议(CCDM 2009)征文通知[J];计算机研究与发展;2008年05期
19 ;第3届中国数据挖掘会议(CCDM 2009)征文通知[J];计算机研究与发展;2008年06期
20 ;第3届中国数据挖掘会议(CCDM 2009)征文通知[J];计算机研究与发展;2008年07期
中国重要会议论文全文数据库 前20条
1 严勤;何莎;;基于大数据挖掘客户服务需求的营销服务质量提升策略研究[A];用电与能效专题讲座暨智能用电及能效管理技术研讨会论文集[C];2019年
2 李涛;任利利;;港口水域生态环境数据挖掘与应用[A];2020中国环境科学学会科学技术年会论文集(第四卷)[C];2020年
3 谢真;;关于数据挖掘的学校教育管理决策研究[A];2020年基础教育发展研究高峰论坛论文集[C];2020年
4 熊小舟;赖韵臻;;企业数据的价值体现[A];全国第四届“智能电网”会议论文集[C];2019年
5 姜洪雨;;大数据挖掘在高职院校智慧校园建设中的运用[A];2019年南国博览学术研讨会论文集(四)[C];2019年
6 王杰飞;郝巧玲;李辉;丁萁琦;李鹏;;基于大数据技术的水电站自动化设备运行数据挖掘策略研究[A];中国水力发电工程学会继电保护专委会2019年年会暨继电保护专业精益化管理研讨会论文集[C];2019年
7 胡远樟;温川飙;;一种糖尿病中医数据挖掘中的数据预处理方法[A];第五届中国中医药信息大会——大数据标准化与智慧中医药论文集[C];2018年
8 王德辰;;近15年数据挖掘在中医药领域的研究进展[A];第五届中国中医药信息大会——大数据标准化与智慧中医药论文集[C];2018年
9 刘红杏;;中医药方剂数据挖掘及分析应用概述[A];第五届中国中医药信息大会——大数据标准化与智慧中医药论文集[C];2018年
10 汤莉;张书华;何丽;;大数据时代生态环境监控与数据挖掘路径研究——以空气质量为例[A];天津市社会科学界第十五届学术年会优秀论文集:壮丽七十年 辉煌新天津(下)[C];2019年
11 欧阳建平;陈桂明;;基于数据挖掘的武器装备寿命周期费用分析[A];寿命周期费用理论与可持续发展[C];2006年
12 孔德洋;夏渠红;顾纯;;基于数据挖掘的充电设施P-中值选址模型[A];2020中国汽车工程学会年会论文集(2)[C];2020年
13 马钰超;;浅析大数据和数据挖掘及其在烟草行业中的应用[A];中国烟草学会2015年度优秀论文汇编[C];2015年
14 唐杰;梅俏竹;;数据挖掘学科发展研究[A];2012-2013控制科学与工程学科发展报告[C];2014年
15 王时光;;大数据时代规划数据挖掘的创新思考[A];新常态:传承与变革——2015中国城市规划年会论文集(04城市规划新技术应用)[C];2015年
16 史东辉;蔡庆生;张春阳;;一种新的数据挖掘多策略方法研究[A];第十七届全国数据库学术会议论文集(研究报告篇)[C];2000年
17 谢中;邱玉辉;;面向商务网站有效性的数据挖掘方法[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
18 许珂;姜山;;数据挖掘方法在科技产出分布可视化研究中的运用[A];第二届中国科技哲学及交叉学科研究生论坛论文集(硕士卷)[C];2008年
19 雷宇;;论行业信息资源的数据挖掘[A];中国烟草行业信息化研讨会论文集[C];2004年
20 吴以凡;吴铁军;欧阳树生;;面向生产过程质量控制的动态数据挖掘方法[A];05'中国自动化产业高峰会议暨中国企业自动化和信息化建设论坛论文集[C];2005年
中国博士学位论文全文数据库 前20条
1 吴少智;时间序列数据挖掘在生物医学中的应用研究[D];电子科技大学;2010年
2 曾立元;基于数据挖掘的岭南罗氏妇科代表性传承人崩漏诊治规律研究[D];广州中医药大学;2019年
3 姜彦;正则化方法在数据挖掘中的应用与研究[D];湖南大学;2015年
4 马昱欣;结合可视化与数据挖掘的数据分析方法探究[D];浙江大学;2017年
5 李雄;单核苷酸多态性数据挖掘方法及其应用研究[D];湖南大学;2015年
6 董瑶;基于统计分析与数据挖掘的智能优化预测研究及应用[D];兰州大学;2015年
7 黄柏文;基于数据挖掘的徐力教授治疗晚期肺癌经验总结及常用药对实验研究[D];南京中医药大学;2019年
8 杨虎;序列数据挖掘的模型和算法研究[D];重庆大学;2003年
9 余小高;电子商务环境中分布式数据挖掘的研究[D];武汉理工大学;2007年
10 吴贤;社会化数据挖掘中的若干问题研究[D];上海交通大学;2015年
11 李国旗;本体辅助的先验知识融入生物信息数据挖掘的方法研究[D];上海交通大学;2007年
12 宋余庆;医学图像数据挖掘若干技术研究[D];东南大学;2005年
13 刘城霞;柔性逻辑在数据挖掘中的应用研究[D];北京邮电大学;2016年
14 杨善升;基于数据挖掘的若干化工过程优化和化合物构效关系研究[D];上海大学;2008年
15 胡俊;数据挖掘可视化模型及其应用研究[D];北京交通大学;2009年
16 杨厚群;半结构化数据频繁模式挖掘相关技术研究[D];重庆大学;2010年
17 阮幼林;频繁模式挖掘算法及在入侵检测中的应用研究[D];华中科技大学;2004年
18 王健;基于隐私保护的数据挖掘若干关键技术研究[D];东华大学;2011年
19 俞书浩;功能基因组学和化学信息学协同的药物研发数据挖掘方法[D];上海交通大学;2013年
20 马海兵;频繁模式挖掘相关技术研究[D];复旦大学;2005年
中国硕士学位论文全文数据库 前20条
1 陈雄;网络用户异常行为数据挖掘方法研究[D];福建师范大学;2019年
2 谢佳恒;面向校园大数据的行为数据挖掘与分析系统[D];浙江工商大学;2019年
3 石超然;文本与数据挖掘在著作权法上的性质研究[D];西南政法大学;2019年
4 陈喜华;数据挖掘在学生成绩分析中的应用研究[D];华南农业大学;2017年
5 赖国鸿;面向数据挖掘的招生迎新信息系统的设计与实现[D];华南农业大学;2018年
6 崔春林;基于数据挖掘的信用卡反欺诈系统研究[D];重庆大学;2019年
7 宋歌;基于模糊神经网络的勘探资源数据挖掘方法研究与实现[D];中国石油大学(北京);2018年
8 曹琦;基于数据挖掘的录井剖面归位解释处理方法研究[D];东北石油大学;2019年
9 顾玥;烟厂预期效益分析系统的设计与实现[D];华北电力大学;2019年
10 李卡;基于数据挖掘的锅炉氮氧化物预测及控制研究[D];华中科技大学;2019年
11 龙欢;数据挖掘在中央空调运行策略中的优化研究[D];电子科技大学;2019年
12 孙梦竹;舰船轨迹数据挖掘与可视化方法研究[D];云南师范大学;2019年
13 王炳文;基于数据挖掘的中央空调冷源系统运行参数优化研究[D];华南理工大学;2019年
14 冯雪妍;基于数据挖掘的痄腮证治规律研究[D];山东中医药大学;2018年
15 赵博智;基于数据挖掘的柳成刚教授治疗失眠症经验研究[D];黑龙江中医药大学;2019年
16 童智峰;位置轨迹数据挖掘在公安工作中的应用[D];上海交通大学;2016年
17 肖晖;基于数据挖掘的物流监管分析系统的研究与实现[D];上海交通大学;2016年
18 谢鹏;基于数据挖掘的反恐信息系统设计与实现[D];上海交通大学;2016年
19 冯家峰;基于数据挖掘的全网信息作战平台的设计与实现[D];上海交通大学;2016年
20 李媛;基于数据挖掘的异常用户预测与识别[D];华中科技大学;2019年
中国重要报纸全文数据库 前20条
1 记者 张潇;打造数据挖掘领域的“响尾蛇模式”[N];西安日报;2018年
2 王祥;数据挖掘须严守“合法”底线[N];中国城乡金融报;2019年
3 本报记者 彭科峰;数据挖掘,如何改变世界?[N];中国科学报;2018年
4 张亮;数据湖 数据挖掘新维度[N];中国城乡金融报;2020年
5 姚晓丹 编译;数据挖掘提升研究水平[N];中国社会科学报;2020年
6 张燕;大数据挖掘要“以用为主”[N];重庆日报;2020年
7 陆天歌 王兆亮;数据挖掘:帮你读懂未来战争[N];解放军报;2018年
8 本报记者 戴丽昕;在人才工作中展现数据挖掘力量[N];上海科技报;2019年
9 本报记者 林丽鹂;用大数据挖掘市场“金矿”[N];人民日报;2019年
10 本报记者 张佳星;把扎克伯格拉下水,大数据挖掘犯错了吗[N];科技日报;2018年
11 本报记者 张佳星;数据挖掘大战 机器怎么做到“见信如面”[N];科技日报;2018年
12 上海市浦东卫生发展研究院 孙雪松 王晓丽;数据挖掘在医学大数据研究中的应用[N];中国信息化周报;2018年
13 本报记者 叶曜坤;全国人大代表邓晓辉:推翻阻碍数据挖掘的“三座大山”[N];人民邮电;2017年
14 本报记者 牛福莲;贵州争夺“大数据挖掘”制高点[N];中国经济时报;2017年
15 南方日报记者 彭颖;日化巨头借力大数据挖掘线下市场[N];南方日报;2017年
16 舒圣祥;“像打击酒驾一样打击假货”,该出招了[N];检察日报;2017年
17 本报记者 肖祯;“开启财务数据挖掘时代”[N];中国会计报;2017年
18 本报记者 夏旭田 实习生 李祺祺;商务部:社区零售业步入“黄金发展期” 大数据挖掘正当时[N];21世纪经济报道;2017年
19 中国出版传媒商报记者 陆云;英国数字出版从大数据挖掘商机[N];中国出版传媒商报;2017年
20 卢安迪;“海创”已成社会“智力动车组”[N];中国妇女报;2017年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978