收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于海量日志的大规模软件系统异常检测平台的研究与实现

路洁  
【摘要】:随着云计算技术的日益普及,由成百上千个软件组件组成的大规模系统集中运行在数以千计的计算节点上,在这些大型分布式系统的开发、维护和性能优化过程中,进行异常检测非常重要。大规模软件系统的运行时数据通常被持续地收集并且存储在日志文件中,因而这些软件产生的日志打印语句是完成异常诊断和故障排除的重要资源。然而,系统日志数量和复杂度的飞速增长,导致难以手动分析系统日志来进行异常检测。因此,实现基于海量日志的自动化异常检测方法势在必行。针对以上问题,本文实现了大规模软件系统的异常检测平台,该平台解决了海量日志文件的管理问题,更解决了高复杂度系统中快速检测和定位异常的问题。该平台包含仪表盘、日志管理、应用管理、日志检索和异常检测五个模块,其中异常检测为本文的核心模块。在异常检测模块,我们提出了一种自动化的通用方法,通过解析系统源码和挖掘日志信息进行系统异常检测,使用实验环境下的小规模CloudStack系统和生产环境下的Hadoop系统进行实验,并且和现有的主成分分析法、采样算法和聚类算法这三种算法进行对比,实验结果表明我们的方法能够有效进行异常检测并且优于现有的三种算法。该异常检测算法的实现主要包含以下四个部分:1.源代码分析。该步骤将系统源代码作为输入,使用抽象语法树提取源码中的可用信息,获得源码的控制流图和日志模板集,其中日志模板为对日志打印语句的结构化定义。其次根据源码的控制流图,可得日志模板之间的可达关系。2.日志解析。首先,对标准化的日志消息进行建模,其信息包含日志行号、级别、时间戳以及日志模板信息等;其次,对原始的日志语句进行有效信息提取和日志模板匹配,得到对应的完整的日志消息。3.执行轨迹抽取。该步骤的目的是将由日志消息组成的消息集合分割成若干的执行轨迹片段。为了解决这一问题,本文提出一种执行轨迹抽取算法进行片段切分。首先,结合步骤二解析得到的日志消息集合,基于日志模板可达关系进行日志执行轨迹提取;其次,对日志执行轨迹进行处理,定义相似度标准,将基本片段部分相同但重复度不同的片段处理为同一类型的日志执行片段。4.异常检测。在该步骤中,提出了一种基于异常概率树的新算法实现异常检测。首先,对执行轨迹的异常指数进行定义;其次,将执行轨迹当做数据序列,根据序列与整个网络之间的相似度来判断序列数据中是否存在异常,结合日志执行轨迹的拓扑图结构和出现次数进行异常指数的计算。


知网文化
【相似文献】
中国期刊全文数据库 前18条
1 李莉;;日志易 利用人工智能从日志分析中寻求机会[J];创业邦;2018年01期
2 李静;施勇;薛质;;基于蜜罐日志分析的主动防御研究[J];信息安全与通信保密;2009年03期
3 王二暖;康李;;Oracle中使用LogMiner进行日志分析[J];电脑开发与应用;2007年09期
4 王逸兮;冯浩;刘芬;;大规模查询日志分析模型构建机制[J];数字通信世界;2017年11期
5 钱卫;袁瑞冬;;集中管理服务日志[J];网络安全和信息化;2017年06期
6 胡沐创;;大数据日志分析平台应用探索与实践[J];金融科技时代;2018年01期
7 王立柱;朱茜;;实时日志分析系统在河南气象信息化中的应用[J];气象水文海洋仪器;2018年03期
8 ;SITEVIEW DeepLOG深度日志分析[J];网络安全和信息化;2016年05期
9 周航;毕永军;;日志分析技术在IT运维管理中的应用[J];金融电子化;2017年03期
10 邓海川;方旭升;;日志分析系统的任务调度体系结构研究[J];科技信息;2013年05期
11 王参参;姜青云;李彤;;基于大数据的日志分析平台在银行中的研究与实现[J];网络安全技术与应用;2018年05期
12 黄晓斌;邱明辉;;日志分析法在数字图书馆可用性评价中的应用[J];情报理论与实践;2011年03期
13 文娟,薛永生,段江娇,王劲波;基于关联规则的日志分析系统的设计与实现[J];厦门大学学报(自然科学版);2005年S1期
14 李刚;陈怡潇;黄沛烁;李洋;阎立;薛泓林;;基于日志分析的信息通信网络安全预警研究[J];电力信息与通信技术;2018年12期
15 蒋鸿城;陈可;耿继朴;戚伟强;沈志豪;;海量日志分析在浙江电力的应用与实践[J];浙江电力;2017年12期
16 张建东;;基于大数据技术的日志分析体系结构的研究[J];现代计算机(专业版);2018年09期
17 侯丽敏;;大数据时代,日志搜索唯快不破 专访日志易创始人陈军[J];信息化建设;2018年01期
18 李亚红;胡前忠;;分布式网络日志分析系统的设计与实现[J];信息与电脑(理论版);2018年21期
中国重要会议论文全文数据库 前10条
1 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年
2 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
3 马勇;赵学明;孙波;;基于Aprior算法的Web日志分析方法[A];第27次全国计算机安全学术交流会论文集[C];2012年
4 魏晨辉;张展;向琳;王书婷;左德承;;一种基于高端容错计算机故障日志分析系统的设计与实现[A];第十四届全国容错计算学术会议(CFTC'2011)论文集[C];2011年
5 付伟;白永超;辛阳;;一种基于Hadoop和K-means的Web日志分析方案的设计[A];第十九届全国青年通信学术年会论文集[C];2014年
6 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
7 胡双双;武斌;;基于攻击图的蜜网日志分析[A];第十九届全国青年通信学术年会论文集[C];2014年
8 许丹青;刘奕群;岑荣伟;马少平;茹立云;杨磊;;基于日志分析的中文输入法用户行为研究[A];第五届全国青年计算语言学研讨会论文集[C];2010年
9 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
10 朱江;詹微;林勇;梁翰中;;MOTOROLA BSC多元维模式[A];四川省通信学会2007年学术年会论文集[C];2007年
中国博士学位论文全文数据库 前1条
1 李志强;基于网络日志的用户行为分析[D];北京理工大学;2016年
中国硕士学位论文全文数据库 前10条
1 路洁;基于海量日志的大规模软件系统异常检测平台的研究与实现[D];西安电子科技大学;2017年
2 吴亚锋;基于事件日志的跨组织复杂业务过程挖掘研究[D];南京航空航天大学;2018年
3 李晓缘;鼠动脉粥样硬化易损斑块模型的初步探索[D];北京协和医学院;2018年
4 张景滔;基于深度学习的路标检测与识别方法研究[D];西安电子科技大学;2018年
5 何嘉仪;基于数据挖掘的网络日志检测与实现[D];湖南大学;2014年
6 张兴富;首钢矿业公司网络交换机日志收集与分析系统的设计与实现[D];东北大学;2015年
7 孟令童;面向流程结构重塑的数据库日志分析系统设计与实现[D];山东大学;2018年
8 邵芬芬;基于核聚类算法的日志分析系统的设计与实现[D];山东师范大学;2018年
9 潘建梁;支持流程建模的工作流重复任务识别和噪声日志检测方法[D];杭州电子科技大学;2018年
10 潘东宁;基于Storm改进的KNN日志处理研究[D];天津师范大学;2018年
中国重要报纸全文数据库 前10条
1 ;日志分析中的五个误区[N];网络世界;2004年
2 本报记者 赵明;新一代日志分析系统为企业运维减负[N];中国计算机报;2016年
3 中科院计算所 李洋;使用Webalizer进行网络流量日志分析[N];计算机世界;2006年
4 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年
5 ;Docker支持更深人的容器日志分析[N];中国信息化周报;2016年
6 IBM大数据专家 James Kobielus 范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年
7 王婷;IDC增值服务:网站日志分析[N];计算机世界;2001年
8 重庆 航行者;IIS的安全[N];电脑报;2002年
9 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年
10 记者 闻丹岩;Cisco与世纪互联让利用户[N];中国计算机报;2001年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978