收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的云安全日志分析技术研究

陆勰  
【摘要】:随着互联网+时代的来临,网络安全事件层出不穷,尤其是在大数据时代,网络安全性显得格外重要,日志数据作为大数据中一个重要的分支,记录设备运行状态的重要途径,通过分析日志作为可事前防护、事后追责的安全审计手段,可以实时掌握网络安全态势,制定一系列切实可行的安全防御方案,提高网络安全性。日志挖掘的技术层出不穷,随着网络的不断发展,在面对新型或无先验规则的攻击模式下,聚类分析在数据挖掘中应用的更为广泛,因此,基于聚类的日志分析方法在面对瞬息万变的网络环境有着重要的研究价值与意义,此外,安全日志作为记录网络安全设备运行的审计手段,越来越得到人们的重视,甚至被称为“暗数据”,其蕴藏的价值不言而喻,单机模式下的日志分析在处理小数据集时较有优势,可是当面对每日以PB级增长的数据量时,显得捉襟见肘。为此,如何存储与分析海量安全日志成了当下日志分析的研究重点。针对以上存在的问题,本文基于Hadoop环境下对海量安全日志分析技术做了深入的研究,依托现有的研究背景与现状,优化了聚类经典算法K-Means,并将其实现了并行化,实现了海量日志的并行化分析,最后设计了一个日志分析追责系统,并对其相关性能进行了测试。本文具体的工作内容如下:1.通过对目前网络安全中,日志分析的重要性及现状,本文阐述了基于Hadoop的日志聚类分析的研究背景与意义,通过对前人相关工作的总结,给出了论文的结构和本文的主要工作及创新点。2.详细介绍了基于Hadoop的海量安全日志存储与分析中的关键技术。主要包括日志分析的基础、日志挖掘的流程、技术以及Hadoop中重要的核心组件HDFS及Map/Reduce。3.针对传统K-Means在寻找初始聚类中心时存在的缺陷,本文对这一算法进行了改进,克服了寻找初始聚类中心点时随机性的缺陷。主要思想是最大最小距离及均值相结合的方法。4.针对改进的K-Means聚类算法在存在迭代计算繁多,影响聚类效率,尤其是面对海量安全日志时存在低效的问题,实现了改进的K-Means算法并行化,主要经过两次Map/Reduce的并行化实现,极大的提高了聚类的效率。5.在前面研究的基础上,结合日志大数据环境的背景,研究并设计了一个基于Hadoop的日志分析追责原型系统,立足需求分析,从研究路线出发,设计了核心功能模块,主要包括日志的采集、存储、聚类关联分析、展示等功能,用户通过web界面能够查看异常日志,根据生成的证据链能够实现事前监管事后追责的安全管控。6.通过关键性能评价指标对日志分析追责系统进行测试,主要包括集群与单机的性能、加速比以及日志的采集处理能力等方面进行测试,保障系统的正常运行。最后,以本文研究为基础,围绕在本文中涉及到的关键技术点进行深入的分析与总结,并提出了对其中存在的问题改进的方向及展望下一步的工作计划。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 ;用NTP确保安全日志时间精确[J];每周电脑报;2006年13期
2 赵志远;章继刚;季莹;孙楠楠;;从日志中找线索[J];网络安全和信息化;2017年06期
3 林辉玉;;云方案的安全日志收集[J];网络安全和信息化;2016年06期
4 天涯衰草;;借用安全日志处理助手代替手工查杀[J];电脑迷;2011年10期
5 董伟;;员工安全日志防护法[J];中国电力企业管理;2008年20期
6 范忠勇;;基于可信计算的安全日志[J];计算机光盘软件与应用;2012年02期
7 朱宏;;安全日志统一收集平台的数据架构设计与实现[J];计算机安全;2010年10期
8 胡翔;张晓敏;;基于大数据审计的信息安全日志分析方法[J];金融电子化;2015年09期
9 胡雅娟,韩臻,刘吉强;构建安全日志服务器的密钥管理系统[J];计算机应用研究;2004年12期
10 赵建勇;张军平;陈晓英;;国道211线的“安全日志”[J];中国公路;2013年16期
11 牛兴群;;善用《班级安全日志》 消除校园安全隐患[J];现代阅读(教育版);2013年10期
12 王震宇,尤晋元;GNU/Linux环境下的安全日志系统的构建[J];计算机工程;2005年04期
13 瓮俊昊;;基于改进Apriori算法的多源安全日志关联分析[J];现代计算机(专业版);2019年09期
14 蒋宏宇;吴亚东;孙蒙新;王笑;张雨薇;;多源网络安全日志数据融合与可视分析方法研究[J];西南科技大学学报;2017年01期
15 吴建蓉;巧妙收集入侵Windows系统的证据[J];信息化建设;2005年09期
16 李佳蕾;Windows下基于主机的安全日志服务器[J];网络安全技术与应用;2005年07期
17 特别的人;Win2000故障解决一览[J];电脑;2000年11期
18 王永剑;金波;董健;;支持完整性检测的安全日志[J];清华大学学报(自然科学版);2016年03期
中国重要会议论文全文数据库 前4条
1 姜学峰;李威;;基于安全日志的网络状态分析技术研究[A];中国烟草学会2014年学术年会入选论文摘要汇编[C];2014年
2 郑礼良;胡晓明;吴国凤;江竹青;吕瑞;林杰华;;一种提高网络安全日志审计模型功效的研究[A];全国第21届计算机技术与应用学术会议(CACIS·2010)暨全国第2届安全关键技术与应用学术会议论文集[C];2010年
3 朱赵辉;郑东健;包腾飞;盛军;;基于灰色关联分析的大坝安全日志子系统研究[A];2007'仪表,自动化及先进集成技术大会论文集(二)[C];2007年
4 许天舒;杨怀颖;;数据网云平台的安全实现方案[A];2013全国无线及移动通信学术大会论文集(下)[C];2013年
中国硕士学位论文全文数据库 前10条
1 陆勰;基于Hadoop的云安全日志分析技术研究[D];北京邮电大学;2019年
2 张凡;安全日志的关联规则挖掘方法研究[D];武汉理工大学;2018年
3 李扬;基于安全日志的攻击模式挖掘技术研究[D];北京邮电大学;2017年
4 桑柏嵩;Agent的网络安全日志收集系统设计与实现[D];北京邮电大学;2015年
5 曾恒;基于ELK的网络安全日志管理分析系统的设计与实现[D];北京邮电大学;2017年
6 张萌;基于hadoop的网络安全日志审计系统关键技术研究[D];哈尔滨工程大学;2013年
7 苏蓉;基于Hadoop平台的安全日志聚类挖掘算法研究与应用[D];西北大学;2015年
8 唐新宇;网络安全日志可视化取证分析系统设计与实现[D];哈尔滨工程大学;2017年
9 胡美新;基于审计跟踪技术的信息安全研究[D];中南大学;2008年
10 吉磊;基于数据挖掘的入侵检测技术研究[D];上海交通大学;2007年
中国重要报纸全文数据库 前10条
1 ;面向未来IT治理的“三字经”[N];中国信息化周报;2017年
2 通讯员 王崇燕;安全日志:让隐患无处藏身[N];中国铁道建筑报;2008年
3 李林霞;中小学要记“安全日志”[N];山西日报;2007年
4 本报记者 王谦;查缺补漏 尤须加力[N];中国安全生产报;2006年
5 四川 邹茂均;全面实战……Win XP防火墙[N];电脑报;2001年
6 孟海江;在Win2000中妙用系统审核[N];中国计算机报;2002年
7 shotgun;入侵检测初步(上)[N];电脑报;2001年
8 通讯员蒋晓芬 郎远平;安全生产25年零事故[N];中国铁道建筑报;2009年
9 本报评论员;爱岗敬业 忘我工作[N];平顶山日报;2009年
10 电脑报评测实验室;谁是最坚固的防线[N];电脑报;2002年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978