收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于ELK的WEB日志安全分析平台实现及分析

高伟伟  
【摘要】:本文主要围绕日志采集处理技术和分布式数据处理技术这两个大数据处理技术进行分析,在此基础上搭建了安全日志分析平台,专门用来处理海量网络日志数据。并对服务器端获取到的网络安全日志进行了数据处理、导入、分析,展示,将安全日志中的网络攻击信息通过Kibana进行可视化分析、展示,为用户提供了一种高效率、易使用的网络安全日志分析的解决措施。本文的主要内容如下:1、设计ELK分布式平台。在深入研究了ELK技术的基础之上,总体设计了ELK平台,对于平台需要满足的要求和目标进行分析,在此基础上规划与设计了平台的整体结构和模块。2、ELK分布式平台的详细设计与实现。基于ELK,搭建起完善的日志分析平台,其中实现了分布式数据存储模块、采集模块、日志攻击数据处理分析模块、日志原始数据处理模块等模块。3、基于ELK分布式平台的网络安全日志分析。在日志数据处理阶段,已将日志根据攻击规则进行了匹配分析,将结果数据储存于分布式数据存储模块Elasticsearch,通过Kibana可视化分析模块,运用聚合、过滤等技术对网络安全日志进行分析、统计和可视化展示,得出网络安全日志的分析结果,发现系统的潜在漏洞,并给出了合理化的建议。


知网文化
【相似文献】
中国期刊全文数据库 前19条
1 李剑;陈俊杰;郑金帆;;应用ELK构建图书馆日志统一管理分析平台[J];情报探索;2020年03期
2 姚姜虹;;基于ELK企业级日志采集分析平台搭建方案研究[J];信息系统工程;2020年10期
3 ;利用WEB日志判断服务器的安全性[J];计算机与网络;2013年08期
4 吴海燕;朱靖君;程志锐;戚丽;;Web日志集中管理系统的研究与实现[J];实验技术与管理;2008年07期
5 郝郁;徐炜民;;可扩展的Web日志采集框架的设计与实现[J];计算机应用与软件;2008年01期
6 付博;赵世奇;刘挺;;Web查询日志研究综述[J];电子学报;2013年09期
7 吴瑛;王秋生;;用于挖掘Web日志的数据仓库系统实现[J];计算机与信息技术;2007年09期
8 张川,肖金升,周振,胡运发;具有访问时间完整性的Web日志方法[J];计算机应用与软件;2004年02期
9 潘钧;;面向Web日志的语义聚类算法[J];计算机应用研究;2007年07期
10 康海燕;李昊;;基于Web日志的性格预测与群体画像方法研究[J];郑州大学学报(理学版);2020年01期
11 苏玉召;牛晓太;赵妍;;提高个性化推荐精度的定制Web日志方法[J];图书与情报;2011年05期
12 李沁蕾;朱丹;王贵智;;Web日志中安全风险的大数据分析[J];中国金融电脑;2015年09期
13 张治斌;姜亚南;;基于WEB日志的数据挖掘研究[J];电脑与信息技术;2009年06期
14 崔蕾,董辉,吴晓波;基于WEB日志的OLAP[J];烟台教育学院学报;2004年03期
15 曾丽芳;朱征宇;陈烨;;基于web日志和网页特征内容的用户兴趣度计算[J];微处理机;2010年04期
16 阮晓龙;张浩林;;基于ELK的Apache日志实时分析系统探索与分析模型研究[J];电脑与信息技术;2020年01期
17 施金妹;章欣;;WEB日志下数据挖掘的行为分析[J];网络安全技术与应用;2017年01期
18 张建东;;基于XML的Web日志预处理[J];许昌学院学报;2008年02期
19 俞金松;高建华;;基于用户分类的web日志统计测试研究[J];计算机工程与设计;2012年12期
中国重要会议论文全文数据库 前20条
1 郭新涛;梁敏;阮备军;朱扬勇;;挖掘Web日志降低信息搜寻的时间费用[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
2 黄猛;张凤珍;胡世安;;基于混合日志的内存数据库恢复技术[A];第七届全国信号和智能信息处理与应用学术会议会刊[C];2013年
3 程洪涛;李晋峰;;Web环境下数据访问的安全设置和策略[A];信息技术在气象领域的开发应用论文集(一)[C];2005年
4 聂茹;田森平;;Web数据挖掘及其在电子商务中的应用[A];中南六省(区)自动化学会第24届学术年会会议论文集[C];2006年
5 郭佳豪;乔秀全;;基于Web的目标检测神经网络协同计算方法的研究与实现[A];2019中国信息通信大会论文集(CICC 2019)[C];2019年
6 万志利;单爽;;基于Web服务的单点登录研究与实现[A];全国冶金自动化信息网2016年会论文集[C];2016年
7 刘丽;方兰;李远玲;崔益民;;基于故障矩阵的Web服务故障诊断框架[A];中国通信学会第六届学术年会论文集(上)[C];2009年
8 唐章蔚;;基于网络的Web虚拟实验室建构理论探索[A];计算机与教育:应用促进学与教创新——全国计算机辅助教育学会第十三届学术年会论文集[C];2008年
9 章国英;叶春阳;邓秋军;;试论远程网络教学及其Web页面设计[A];计算机与教育:迎接21世纪教育信息化的挑战——全国计算机辅助教育学会第九届学术年会[C];1999年
10 杨青;;基于Web的远程测试系统的设计探讨[A];计算机与教育——全国计算机辅助教育学会第十届学术年会论文集[C];2001年
11 李树岩;潘学标;;人体舒适度“气候指数”Web评价系统的建立与应用[A];第26届中国气象学会年会气候环境变化与人体健康分会场论文集[C];2009年
12 王斌;刘大成;;Web性能测试中认识误区的分析与研究[A];2008年中国高校通信类院系学术研讨会论文集(下册)[C];2009年
13 杨弘曧;;基于Web的基层航标站综合管理信息系统的构建研究[A];中国航海学会航标专业委员会沿海航标学组、无线电导航学组、内河航标学组年会暨学术交流会论文集[C];2009年
14 王昇;何新贵;;面向对象数据库主动机制在WEB中的应用[A];第十八届全国数据库学术会议论文集(技术报告篇)[C];2001年
15 段江娇;黄震华;陈昕;;基于Web的数据仓库集成环境研究[A];第二十一届中国数据库学术会议论文集(技术报告篇)[C];2004年
16 贺琪;吴爱华;袁红春;;基于多级服务属性的Web服务替换策略研究[A];第二十五届中国数据库学术会议论文集(一)[C];2008年
17 黄建波;丁扬;方芳;;基于代理服务器的Web加速的实现[A];2010通信理论与技术新发展——第十五届全国青年通信学术会议论文集(上册)[C];2010年
18 张德;冒志鸿;董逸生;;Web上半结构化数据的管理[A];第十五届全国数据库学术会议论文集[C];1998年
19 唐常杰;张天庆;于中华;宋晓梅;;基于时态数据库的Web数据周期性的发现[A];第十五届全国数据库学术会议论文集[C];1998年
20 张柏礼;吕建华;姚蓓;胡新平;张志政;;Web代理服务器缓存置换算法研究[A];NDBC2010第27届中国数据库学术会议论文集A辑二[C];2010年
中国博士学位论文全文数据库 前20条
1 杨瑞朋;日志异常检测与诊断关键技术研究[D];战略支援部队信息工程大学;2020年
2 ;[D];;年
3 余骞;Web社区推荐方法与系统研究[D];武汉大学;2015年
4 马奇辰;Web舆情事件因果知识流模型及用户行为分析方法[D];上海大学;2018年
5 张量;基于语义Web服务的虚拟物流企业组建关键技术研究[D];大连海事大学;2009年
6 刘振鹏;基于对等网络的Web服务选择机制研究[D];天津大学;2009年
7 刘柏嵩;基于Web的通用本体学习研究[D];浙江大学;2007年
8 刘玲霞;Web服务容错关键技术研究[D];国防科学技术大学;2006年
9 杨钤雯;序列模式挖掘方法及Web使用挖掘研究[D];天津大学;2010年
10 孙慧峰;基于协同过滤的个性化Web推荐[D];北京邮电大学;2012年
11 刘莉平;动态Web服务组合关键技术研究[D];中南大学;2011年
12 毛军;Web信息服务中受控语言研究[D];中国科学院研究生院(文献情报中心);2002年
13 胡勤友;Web上的多主体系统若干关键技术研究[D];复旦大学;2003年
14 龚晓庆;基于Web服务的分布式工作流管理系统研究[D];西北大学;2004年
15 吴泽彬;基于Web服务的分布式仿真关键技术研究[D];南京理工大学;2007年
16 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年
17 马德新;基于Web的物联网体系结构和感知域关键技术研究[D];北京邮电大学;2014年
18 葛艳;基于Web服务的服装供应链快速响应系统研究[D];东华大学;2013年
19 刘安;Web服务驱动的业务流程的容错性研究[D];中国科学技术大学;2008年
20 张杨;语义Web服务组合的可信性度量研究[D];重庆大学;2011年
中国硕士学位论文全文数据库 前20条
1 高伟伟;基于ELK的WEB日志安全分析平台实现及分析[D];兰州大学;2020年
2 张天生;日志采集与分析在Web网站中的设计与实现[D];上海交通大学;2015年
3 李浩杰;基于Web日志的异常检测分析研究[D];陕西师范大学;2015年
4 于静;基于Web应用的日志采集与分析系统的设计与实现[D];北京交通大学;2016年
5 凌晓琴;基于Web日志的用户挖掘研究与实现[D];南京理工大学;2011年
6 岳宝;基于Web日志的个性化推荐系统的设计与实现[D];哈尔滨工业大学;2012年
7 荣臻;基于用户浏览兴趣的Web日志聚类研究[D];西南大学;2013年
8 周志杰;基于企业代理日志的Web使用挖掘研究[D];华南理工大学;2010年
9 曾丽芳;基于Web日志和网页特征内容的个性化信息推荐[D];重庆大学;2010年
10 肖俊良;基于云计算的WEB日志分析系统的设计与实现[D];电子科技大学;2014年
11 吕景山;基于云计算的Web日志安全事件挖掘[D];北京邮电大学;2014年
12 武晋南;基于Web日志的测试集生成方法设计与研究[D];上海师范大学;2009年
13 刘永增;基于Hadoop/Hive的海量web日志处理系统的设计与实现[D];大连理工大学;2011年
14 付伟;基于Hadoop的Web日志的分析平台的设计与实现[D];北京邮电大学;2015年
15 王鑫;基于执行日志的Web服务QoS获取方法[D];东北大学;2009年
16 周秋彤;实时分布式Web日志分析系统的设计与实现[D];电子科技大学;2015年
17 付国瑜;基于Web日志的数据挖掘研究[D];重庆大学;2007年
18 宋园园;基于Hadoop的Web日志存储及预处理优化研究[D];河北工程大学;2016年
19 范春荣;基于Web日志的入侵检测系统设计与实现[D];河北科技大学;2012年
20 刘立坤;基于Hadoop平台的Web日志聚类分析算法研究[D];西北大学;2016年
中国重要报纸全文数据库 前20条
1 本报记者 魏丽;民情日志里的帮扶情[N];平凉日报;2020年
2 张玥;民情日志是一种真情检验[N];天津日报;2019年
3 湖北日报全媒记者 陈春保 通讯员 黄桂红 陆新刚;一个村支书的朋友圈日志[N];湖北日报;2020年
4 本报记者 胡殿芳;日志见初心[N];新乡日报;2019年
5 江文;读懂扶贫日志中的情怀和担当[N];兵团日报(汉);2019年
6 本报记者 金可;“社区民情日志”记录减负新变化[N];北京日报;2019年
7 本报记者 陈嵩 周福志;写在大地上的“扶贫日志”[N];团结报;2019年
8 本报记者 李峰;38年的“值班日志”[N];宁夏日报;2019年
9 通讯员 李直;市政协首次向委员发放《履职日志》[N];池州日报;2019年
10 李东星 徐振 本报特约记者 李亮;任务日志,给学习加点“料”[N];解放军报;2018年
11 本报通讯员 蒋友亲;台州路桥:“共享日志”让警心凝聚力量迸发[N];人民公安报;2018年
12 本报记者 周凯;有相同经历的医生网友热捧《白领日志》[N];中国青年报;2007年
13 本报记者 王春 本报通讯员 蒋友亲;台州路桥全警网上写日志[N];法制日报;2018年
14 本报记者 苗武军 本报通讯员 田文杰 张森林;一本小日志 一座连心桥[N];山西日报;2016年
15 记者 陈典宏 通讯员 文皎;“践诺日志”缩短承诺兑现周期[N];解放军报;2016年
16 记者 赵博超;马来西亚将公开失踪客机通信日志[N];新华每日电讯;2014年
17 本报记者 马毓鋆 通讯员 孔令轩 王雷;“村务日志”为群众排忧解难[N];洛阳日报;2014年
18 记者 殷尚清;肃南干部《民情日志》为民排忧[N];甘肃日报;2005年
19 本报一线行采访团;城区:网上日志“晒”出好作风[N];长治日报;2010年
20 爱莲;查看Windows 2003日志的简单办法[N];电脑报;2004年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978