收藏本站
《南京大学》 2014年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Django的日志分析系统的设计与实现

潘宇轩  
【摘要】:在信息化飞速的发展今天,电子商务因为其方便、快捷受到越来越多人的喜爱。eBay (www.ebay.com)就是其中之一的购物网站。由于eBay在全球有着大量的用户,用户的每一次访问,每一次操作都会有日志进行记录,因此网站后台系统每天会产生大量的日志,约1GB/天。这些日志对公司来说是非常珍贵的数据,从中可以提取出丰富的有用信息。然而对日志包含的信息进行提取、筛选、统计是一个十分复杂的过程,这通常需要大量的存储空间和运行开销。而如何将分析出的结果展现给用户也是一个复杂的问题。因此为了对日志进行快速分析并获得数据,并将统计结果友好地展现给用户,我们开发了一个供公司内部使用的日志分析系统一—Logstash。Logstash日志分析系统基于B/S模式,用户通过浏览器获得想要的数据,方便快捷。同时使用了基于MVC模式的Django框架,使系统的职能分工明确,降低了模块间的耦合度。在存储部分,该项目采用了分布式存储,很好地解决了数据量大的问题,提供了高性能、高可靠、可扩展的后台存储功能。在搜索部分,该项目使用了Elasticsaerch开源分布式搜索引擎,从而实现了搜索的实时性、稳定、可靠和易于使用。在前端展现部分,采用了开源的Bootstrap前端框架,使页面布局合理清晰,同时使用了Ajax、jQuery等先进的前端技术进行图表的展现,实现了很好的人机交互。公司的日志分为很多种类,涵盖的不同的领域,每种类型的日志都有其独特的格式。因此,Logstash日志分析系统提供了可扩展的通用接口,方便用户对日志的种类和日志查询的条目进行添加和修改。并且将数据进行一定的统计,通过友好的图表界面展现给公司内部用户,方便用户进行数据分析和故障查询。
【学位授予单位】:南京大学
【学位级别】:硕士
【学位授予年份】:2014
【分类号】:TP311.52

手机知网App
【参考文献】
中国期刊全文数据库 前1条
1 柯昌正;黄厚宽;;Ajax技术的原理与应用[J];铁路计算机应用;2007年01期
【共引文献】
中国期刊全文数据库 前10条
1 李素;李知楷;杨宇博;;基于Google Maps的奥运服务网站的建设[J];北京工商大学学报(自然科学版);2009年02期
2 陈鹏翔;盛建东;武红旗;蒋平安;;AJAX技术及其在农业WebGIS中的应用[J];测绘科学;2010年06期
3 袁媛;;Ajax技术在台风信息系统中的应用研究[J];电脑知识与技术;2011年04期
4 牛学军;;Ajax技术在教学论坛制作中的应用[J];电脑与电信;2009年05期
5 陈超成;叶进;张红梅;张向利;;基于GPRS的无线抄表监控系统[J];桂林电子科技大学学报;2013年05期
6 杨建业;耿建平;;基于HTML5的实时Web数据监测系统[J];桂林电子科技大学学报;2015年02期
7 栗娜;马照瑞;沈高峰;;AJAX在Web中的异步交互应用[J];河南教育学院学报(自然科学版);2008年03期
8 陈源源;张学平;陈晖;和立永;;Ajax技术原理及其在选课系统中的应用[J];计算机与信息技术;2008年05期
9 沈高峰;栗娜;钱慎一;;AJAX在Web系统中的应用实践[J];科技信息;2008年26期
10 岳宗杰;阴小建;;AJAX技术在电子商务系统中的研究及应用[J];科技信息;2009年22期
中国博士学位论文全文数据库 前1条
1 邓春燕;基于RIA的全景虚拟野外地质信息系统[D];吉林大学;2010年
中国硕士学位论文全文数据库 前10条
1 岳海鸥;基于Ajax和Soap Service的应用框架及实现方法研究[D];山东科技大学;2010年
2 宋哲清;基于AJAX模式的过滤引擎研究与实现[D];昆明理工大学;2008年
3 雷皓;基于SCORM规范的网络教学资源管理系统研究[D];中南大学;2011年
4 张城;基于Web模式的推技术框架研究与应用[D];中南大学;2010年
5 陈月强;基于人职匹配模型的卫生人力资源信息服务网站的研究与设计[D];华北煤炭医学院;2009年
6 毛海波;基于Ajax技术的在线考试系统的研究与应用[D];中国石油大学;2011年
7 张学林;基于WCF和Silverlight的Web应用框架技术研究[D];国防科学技术大学;2011年
8 郭锋;小区物业智能化管理系统的设计与实现[D];黑龙江大学;2011年
9 范学亮;基于AJAX框架的物料平台系统的设计与实现[D];电子科技大学;2011年
10 伊新;基于Web的番茄栽培专家系统研究与实现[D];复旦大学;2011年
【相似文献】
中国期刊全文数据库 前10条
1 姜良华;崔建明;;Serv-U FTP服务器日志分析系统设计与实现[J];电脑知识与技术;2010年28期
2 李玉荣;杨树强;贾焰;周斌;樊宇;;分布式日志服务关键技术研究[J];计算机工程与应用;2006年07期
3 李哲;李先国;;基于关联规则的日志分析系统的研究与设计[J];微型电脑应用;2009年03期
4 陈文;邓韵东;钏涛;;电网网络系统运行日志分析[J];云南电力技术;2011年05期
5 李燕南;刘新;蒋伟宏;赵群;;主机日志分析与研究[J];中国高新技术企业;2010年04期
6 李先捷;汤艳君;;基于日志的提取已修改计算机系统时间的方法[J];信息网络安全;2013年05期
7 刘虎球;马超;白家驹;;面向驱动配置的自动日志插入方法研究[J];计算机学报;2013年10期
8 方航锋,汪海航;日志提取分析系统的设计和实现[J];计算机工程;2004年14期
9 陈海宇;曾德胜;;基于日志的异常软件使用模式检测[J];淮海工学院学报(自然科学版);2011年01期
10 袁佳;郭燕慧;;基于rabbitmq的海量日志的分布式处理[J];软件;2013年07期
中国重要会议论文全文数据库 前10条
1 马辰;武斌;;一种基于攻击事件图的蜜网日志分析方法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集(下册)[C];2013年
2 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年
3 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
4 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年
5 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
6 闫龙川;王怀宇;李枫;毛一凡;;基于Hadoop的邮件日志分析与研究[A];2012电力行业信息化年会论文集[C];2012年
7 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
8 王振亚;武斌;;基于MFI-WT算法的蜜网日志分析方法[A];第十七届全国青年通信学术年会论文集[C];2012年
9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
10 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
中国重要报纸全文数据库 前10条
1 中航工业南方航空工业集团(有限)公司科技与信息部 邹沪湘;分析日志识别暴力破解[N];计算机世界;2013年
2 ;日志分析中的五个误区[N];网络世界;2004年
3 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年
4 IBM大数据专家 James Kobielus 范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年
5 《网络世界》评测实验室 于洋;用好Web日志[N];网络世界;2004年
6 重庆 航行者;IIS的安全[N];电脑报;2002年
7 河南工业职业技术学院 邱建新;监测Squid日志的五种方法[N];计算机世界;2005年
8 shotgun;入侵检测初步(上)[N];电脑报;2001年
9 朱闵;浅谈企业核心应用的安全审计(下)[N];网络世界;2008年
10 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年
中国博士学位论文全文数据库 前3条
1 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年
2 曹志波;基于日志的任务建模及调度优化的研究[D];华南理工大学;2014年
3 胡蓉;WEB日志和子空间聚类挖掘算法研究[D];华中科技大学;2008年
中国硕士学位论文全文数据库 前10条
1 王潇博;基于挖掘算法的日志分析系统设计与实现[D];北京交通大学;2008年
2 孙寅林;基于分布式计算平台的海量日志分析系统的设计与实现[D];西安电子科技大学;2012年
3 邓海川;日志分析系统的任务调度方法研究[D];南京航空航天大学;2013年
4 宋浩;综合审计平台之后台日志处理服务的设计与实现[D];山东大学;2008年
5 冯绿音;网络信息系统日志分析与审计技术研究[D];上海交通大学;2007年
6 杨书思;一种可配置的网络报警日志匿名工具的设计与实现[D];广州大学;2009年
7 吴静;面向异构数据源的内网综合日志审计技术研究[D];中国工程物理研究院;2010年
8 黄静宾;面向增量数据检测的日志分析技术的研究[D];暨南大学;2011年
9 李海峰;网络日志分析技术研究与实现[D];北京化工大学;2005年
10 朱宝金;面向云计算系统的日志过滤系统的设计与实现[D];杭州电子科技大学;2014年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026