收藏本站
《山东师范大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

聚类算法及其在日志数据处理中的应用研究

张珠玉  
【摘要】:随着科学技术飞速进步,我国计算机网络事业得到极大发展和普及。网络对我们工作、生活和学习的影响无处不在,给我们带来了无比的方便与快捷。然而,计算机网络在给我们带来便利的同时,也引起了各种计算机网络安全问题。在应对这些安全问题时,基于日志数据处理的各种方法与技术成为大家研究的共识。其中,以日志数据为研究对象的数据挖掘方法——聚类算法在日志规模压缩方面是一个很有发挥空间的应用方法。 由于传统聚类算法不能直接应用于日志数据领域,本文首先对聚类算法进行了深入的研究。探讨了聚类算法的定义、产生历程以及聚类算法的数据类型,对传统聚类算法的几个分支:划分聚类、层次聚类、基于密度的聚类、基于网格的聚类和基于模型的聚类分别做了概括性描述。总结和分析了聚类算法当前存在的问题和有待改进的方面。针对以上问题,并结合网络日志与系统日志的特点,本文所做的主要工作包括: 1.设计并提出了一种基于网格的网络日志二次聚类算法 对多协议网络日志数据划分网格,网格内外分别作两次聚类,生成聚类后的簇记录。该算法不需预设类簇个数k,可自主决定类簇个数。该算法处理实际的动态数据,实现增量式聚类,可以删除已聚类数据,处理新来网络日志。实验证明,该算法对日志规模压缩效果显著,而且不破坏网络日志的完整性和可靠性,并且不影响用户的正常网络访问。 2.设计并提出了一种基于事件映射的系统日志聚类算法 对操作系统日志、安全日志和应用程序日志,设计统一的聚类算法对其做共同处理,产生统一的用户操作行为概化描述。通过考察日志记录与事件之间的映射关系,设计并提出基于事件映射关系的系统日志聚类算法。参考事件关联的思想,通过实验总结,建立起日志记录与事件之间的映射关系。该算法充分利用操作系统日志、安全日志和应用程序日志的先验知识,简化了聚类算法的复杂度,易于实现,速度快,时间复杂度低,聚类生成的事件信息描述准确、完整,易于理解和识别,成为后期安全研究的高质量数据源。
【学位授予单位】:

知网文化
【相似文献】
中国期刊全文数据库 前20条
1 宋爱波,庄晓青,何洁月,业宁,董逸生;图书馆大规模日志数据的快速聚类[J];应用科学学报;2003年03期
2 何维 ,霍岳军 ,王鹏;网上银行安全日志数据在安全防范中的应用[J];中国金融电脑;2005年04期
3 刘明晶;利用客户访问日志数据研究客户需求和服务设计[J];华南金融电脑;2001年12期
4 刘经纬;季振洲;王洁;;一个实用硬件防火墙日志审计系统的设计[J];哈尔滨商业大学学报(自然科学版);2007年04期
5 蔡景蕊;;电子商务网站营销数据分析技术初探[J];环渤海经济瞭望;2008年01期
6 柏兆朋;;关注“绿色IT” 实现ATM日志无纸化[J];中国金融电脑;2009年12期
7 金可仲;;基于关键属性约束的关联规则挖掘在日志分析中的应用[J];温州大学学报(自然科学版);2008年01期
8 赵树枫;龚宇花;;分布式入侵检测日志分析系统[J];科技信息(科学教研);2008年13期
9 雷成健;孟嗣仪;温晓军;;智能化无线网关安全审计系统[J];计算机安全;2006年08期
10 雷成健;孟嗣仪;温晓军;;智能化无线网关安全审计系统的设计与实现[J];重庆工学院学报;2006年08期
11 朱思良;王志兰;;用Excel 2000实现CIMplicity HMI 6.1数据报表[J];工业控制计算机;2006年08期
12 黎龙;陈龙;王国胤;马永波;;基于特征融合的安全审计分析[J];重庆邮电学院学报(自然科学版);2006年05期
13 王彦博;王慧强;王秀锋;于鸣;;面向网络态势感知的多源异构日志传感器设计[J];传感器与微系统;2010年03期
14 ;看重服务[J];信息系统工程;2004年04期
15 王利军;谢立;;一种基于Paxos算法的容错机制[J];计算机应用与软件;2011年06期
16 刘合富;;SYSLOG日志数据采集实现[J];中国教育网络;2007年08期
17 琚生根;陈黎;骆学春;王东方;;基于角色的个性化WEB日志挖掘模型研究[J];四川大学学报(自然科学版);2008年02期
18 刘必雄;许榕生;杨泽明;;基于多agent与proxy技术的日志提取分析系统设计[J];计算机应用研究;2008年02期
19 田稷;张冬梅;;Web日志数据库数据挖掘对采访决策的意义[J];图书馆杂志;2001年11期
20 张娥,冯耕中,郑斐峰;Web用户访问日志数据挖掘研究[J];情报杂志;2003年09期
中国重要会议论文全文数据库 前10条
1 黄东;;工厂信息化日志的存储及管理[A];中国计量协会冶金分会2011年会论文集[C];2011年
2 湛文韬;李战怀;王彦龙;郑然;;远程数据备份系统中的日志延迟保护机制研究[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
3 方奇;刘奕群;张敏;茹立云;马少平;;基于群体智慧的Web访问日志会话主题划分研究[A];第六届全国信息检索学术会议论文集[C];2010年
4 张文涛;Wlodek Kulesza;;基于BP神经网络的防火墙流量预测[A];第三届全国信息检索与内容安全学术会议论文集[C];2007年
5 谭伟坚;;南宁海关人力资源优化管理系统的设计与实现[A];广西计算机学会2004年学术年会论文集[C];2004年
6 齐法制;王彦明;崔涛;安德海;;网络日志信息采集与分析系统的设计与实现[A];第十五届全国核电子学与核探测技术学术年会论文集[C];2010年
7 赵艳;许榕生;;信息安全综合审计系统的研究综述[A];第十三届全国核电子学与核探测技术学术年会论文集(下册)[C];2006年
8 郭新涛;梁敏;阮备军;朱扬勇;;挖掘Web日志降低信息搜寻的时间费用[A];第二十一届中国数据库学术会议论文集(研究报告篇)[C];2004年
9 沈军;田华;吴强;张延华;;基于NANDFlash的日志存储与查询功能设计[A];2008通信理论与技术新进展——第十三届全国青年通信学术会议论文集(上)[C];2008年
10 刘超;徐国胜;钟尚勤;;基于Ice的安全审计事件分发模块的设计与实现[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
中国重要报纸全文数据库 前10条
1 洪蕾;让日志管理“智能化”[N];中国计算机报;2005年
2 记者 吴晓伟;日志管理设备厂商进入中国[N];计算机世界;2005年
3 沈建苗;日志管理迎接法规遵从时代[N];计算机世界;2007年
4 ;SIM让安全管理自动化[N];网络世界;2005年
5 曾;RSA发布enVision解决方案[N];电脑商报;2007年
6 沈生;要安全也要盘算[N];中国计算机报;2004年
7 王力朱立智;网络审计监管急需统一框架[N];计算机世界;2007年
8 ;网管创新起新潮[N];网络世界;2006年
9 沈建;谨防安全策略的五大基本错误[N];计算机世界;2008年
10 王培森;从Web挖到竞争情报[N];中国计算机报;2003年
中国博士学位论文全文数据库 前10条
1 刘雪梅;服务器端软件性能分析和诊断方法研究[D];哈尔滨工程大学;2010年
2 孙建涛;Web挖掘中的降维和分类方法研究[D];清华大学;2005年
3 朱鲲鹏;基于Web日志挖掘的智能信息检索研究[D];哈尔滨工业大学;2009年
4 岳银亮;存储系统低能耗数据布局技术研究[D];华中科技大学;2010年
5 廖振;基于查询点击核心图的查询推荐问题研究[D];南开大学;2013年
6 马海平;基于概率生成模型的相似度建模技术研究及应用[D];中国科学技术大学;2013年
7 史佩昌;云服务的高效传递技术研究[D];国防科学技术大学;2012年
8 郁雪;基于协同过滤技术的推荐方法研究[D];天津大学;2009年
9 刘慧君;用户浏览模式挖掘方法与应用研究[D];重庆大学;2010年
10 郭陟;可视化入侵检测研究[D];清华大学;2004年
中国硕士学位论文全文数据库 前10条
1 杨士红;分布式防火墙日志的入侵检测方法研究[D];湖北工业大学;2008年
2 宋宇轩;基于搜索日志和点击日志的同义词挖掘的研究和实现[D];北京交通大学;2011年
3 苏政;基于日志数据的域名访问源多尺度分析[D];南京师范大学;2013年
4 张双;应用代理防火墙中央日志审计子系统的设计与实现[D];中国科学院软件研究所;2001年
5 张鸣;网游用户行为数据分析与挖掘[D];华南理工大学;2010年
6 王维铎;基于日志数据的网络舆情分析与研究[D];北京邮电大学;2011年
7 王兆永;面向大规模批量日志数据存储方法的研究[D];电子科技大学;2011年
8 王振东;铁路调度指挥系统中日志数据库的设计与优化[D];中国铁道科学研究院;2011年
9 曹旭;Hadoop平台下海量日志数据处理模型的研究及改进[D];浙江理工大学;2013年
10 王高垒;爬虫日志数据信息抽取与统计系统设计与实现[D];北京邮电大学;2012年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978