收藏本站
《东北师范大学》 2011年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Map/Reduce框架的分布式日志分析系统的研究及应用

刘燕  
【摘要】:本论文研究了云计算集群中基于Hadoop框架的分布式日志分析系统,利用Map Reduce计算模型进行分布式计算,并结合HDFS进行分布式存储,利用分而治之的策略去分析企业云计算平台中产生海量数据,监控云计算集群中服务器的运行状态,并从海量数据中挖掘有价值的资源。 本系统首先在被监控的集群上使用RandomAccess类收集包括各个节点上的系统日志、线程池中产生的日志等数据。然后,使用SSH工具将这些收集的日志数据传输到负责分析数据的集群中去,在这个过程中,使用一些聚类的方法将数据重新组织。之后,在负责分析数据的集群上,我们在Hadoop平台上,分别实现了MapReduce框架中的map模块和reduce模块,以此达到分布式分析日志的功能,并根据用户自定义的配置,实现定制化的日志分析。最后,导入生成的分析报告到Excel VBA,将图形化的分析报告呈现给用户。 另外,我们将该分布式日志分析系统应用在Hadoop基准测试中,进行了大量的实验和数据分析,描述了在不同底层IO软件(主要包括IO调度器和文件系统)的选择上IO密集型基准测试的性能比较,方便Hadoop用户选择这些底层软件。并通过调节这些底层软件层的参数,对Hadoop上运行的MapReduce程序提供了优化方案。我们比较了TeraSort基准测试在几种不同IO调度算法和几大代表性的文件系统上的测试性能,并使用之前研究的分布式日志分析工具对其进行数据的收集与分析。 之后,我们通过对最终结果进行优化,比如改进IO调度算法和调节文件系统参数,进一步优化了Hadoop IO密集型基准测试的性能。
【学位授予单位】:东北师范大学
【学位级别】:硕士
【学位授予年份】:2011
【分类号】:TP311.52

手机知网App
【参考文献】
中国硕士学位论文全文数据库 前7条
1 付文娟;InstLink系统的安全技术研究与实现[D];西安电子科技大学;2009年
2 吴鹏冲;非默认端口网络协议识别系统的研究与实现[D];北京邮电大学;2009年
3 邓自立;云计算中的网络拓扑设计和Hadoop平台研究[D];中国科学技术大学;2009年
4 高勋;基于云计算的Web结构挖掘算法研究[D];北京交通大学;2010年
5 郭亨亨;海量RDF数据的分布式存储研究[D];西安建筑科技大学;2010年
6 刘义军;基于云计算平台的个人信息融合系统的研究与实现[D];北京邮电大学;2010年
7 夏祎;Hadoop平台下的作业调度算法研究与改进[D];华南理工大学;2010年
【共引文献】
中国期刊全文数据库 前10条
1 杨武;崔英志;胡爽;;基于连续多媒体的磁盘调度[J];四川兵工学报;2010年07期
2 李洪波;;高校数字化校园云计算应用探讨[J];电脑知识与技术;2011年17期
3 李冬;;一种支持SATA磁盘访问服务质量的调度算法[J];高职论丛;2009年03期
4 邓小云;刘宏志;;基于云计算的食品安全监理研究[J];北京工商大学学报(自然科学版);2012年04期
5 陈玉云;柳先辉;赵晓东;;基于Hadoop平台资源调度策略的研究[J];电脑知识与技术;2012年19期
6 郑广成;;一种SOA云服务平台架构研究与应用[J];计算机应用与软件;2011年12期
7 张建;耿焕同;路有兵;;一种基于Hadoop的云运维监控模型设计与实现[J];计算机与现代化;2012年06期
8 肖洋;张芝龙;;采用GAE技术实现数据的虚拟存储[J];科技信息;2012年08期
9 遆鸣;陈俊杰;强彦;;基于模拟退火的Map Reduce调度算法[J];计算机工程;2012年19期
10 张顺;陈兴蜀;杜敏;谭骏;毛灵;;基于免疫粒子群的P2P协议识别方法[J];计算机工程与设计;2011年10期
中国重要会议论文全文数据库 前1条
1 赵炳;胥光辉;柳旭;李慧冬;;基于Hadoop平台的软件系统的测试研究[A];第十七届全国青年通信学术年会论文集[C];2012年
中国博士学位论文全文数据库 前9条
1 陆正武;VBR流媒体分块与I/O调度研究[D];华中科技大学;2011年
2 钱迎进;大规模Lustre集群文件系统关键技术的研究[D];国防科学技术大学;2011年
3 方雷;基于云计算的土地资源服务高效处理平台关键技术探索与研究[D];浙江大学;2011年
4 陈旭毅;基于索引云的企业搜索引擎实现研究[D];武汉大学;2011年
5 李彭军;医学影像云服务平台基础架构研究与实践[D];南方医科大学;2011年
6 陈晗斐;实时操作系统的若干关键问题研究[D];浙江大学;2004年
7 刘劲松;关于存储系统性能的测试、仿真与评价的研究[D];华中科技大学;2004年
8 覃灵军;基于对象的主动存储关键技术研究[D];华中科技大学;2006年
9 刘艺;应急云环境下任务导向的应急组织敏捷协作机制研究[D];暨南大学;2012年
中国硕士学位论文全文数据库 前10条
1 苏伟兵;个性化Web商务信息融合关键技术研究[D];浙江大学;2010年
2 申志强;基于云计算的IPv6协议应用研究[D];东北财经大学;2010年
3 贺鹏;云计算的开发云的研究与实现[D];电子科技大学;2011年
4 赵黎斌;面向云存储的分布式文件系统关键技术研究[D];西安电子科技大学;2011年
5 程西;数字油田中非结构化数据管理系统的设计与实现[D];西北大学;2011年
6 杨柳;基于云计算的GIS应用模式研究[D];河南大学;2011年
7 贾文娟;基于hive分布式计算与数据挖掘的关联性营销的设计与实现[D];北京交通大学;2011年
8 李芳芳;个人数据空间管理系统中数据抽取及语义关联构建[D];北京交通大学;2011年
9 徐忠明;基于Hadoop的网络验证平台的研究[D];广东工业大学;2011年
10 任萱萱;基于Hadoop平台的作业调度研究[D];天津师范大学;2011年
【二级参考文献】
中国期刊全文数据库 前10条
1 姚玉坤;刘合武;;基于H.323协议的VoIP安全问题探讨[J];电信工程技术与标准化;2007年09期
2 王嘉佳;张前进;;基于SASL的LDAP认证机制研究[J];电子科技;2006年11期
3 范慧萍;宣蕾;陈曙晖;黄高平;;基于正则表达式的应用层协议识别加速[J];计算机研究与发展;2008年S1期
4 朱绍军;兰帆;黄明和;;Web结构挖掘算法研究[J];计算机与信息技术;2009年04期
5 张宁,贾自艳,史忠植;数据仓库中ETL技术的研究[J];计算机工程与应用;2002年24期
6 陈亮;龚俭;徐选;;基于特征串的应用层协议识别[J];计算机工程与应用;2006年24期
7 林士敏;田凤占;陆玉昌;;贝叶斯学习、贝叶斯网络与数据采掘[J];计算机科学;2000年10期
8 王柏;吴巍;徐超群;吴斌;;复杂网络可视化研究综述[J];计算机科学;2007年04期
9 陈全;邓倩妮;;云计算及其关键技术[J];计算机应用;2009年09期
10 高增荣;;存储区域网络IP SAN与FC SAN技术[J];甘肃科技纵横;2007年06期
中国硕士学位论文全文数据库 前10条
1 张剑飞;贝叶斯网络学习方法和算法研究[D];东北师范大学;2005年
2 蒋建洪;基于分布式的搜索引擎框架研究和实现[D];西北工业大学;2007年
3 马爱红;服务价值测度与服务科学研究[D];武汉理工大学;2007年
4 冯斌;基于Lucene小型搜索引擎的研究与实现[D];武汉理工大学;2008年
5 吴宝贵;搜索引擎中索引技术研究与实现[D];西安电子科技大学;2008年
6 朱珠;基于Hadoop的海量数据处理模型研究和应用[D];北京邮电大学;2008年
7 段瑞珍;基于网格技术的企业异构数据集成研究[D];哈尔滨理工大学;2008年
8 黄芬;基于SaaS模式的主动服务实现技术[D];武汉理工大学;2009年
9 赵春燕;云环境下作业调度算法研究与实现[D];北京交通大学;2009年
10 杨瑾;基于DDS和XML的数据集成模型的设计和实现[D];北京邮电大学;2009年
【相似文献】
中国期刊全文数据库 前10条
1 史兴键,李伟华,王文奇;基于优化聚类算法的安全审计模型[J];计算机工程与应用;2005年17期
2 刘静,郭秀丽;基于Webalizer的Web服务器日志分析[J];山东电子;2004年02期
3 徐腾;;探析电子证据在计算机犯罪中的取证研究[J];自动化与仪器仪表;2011年04期
4 费宗莲;;Fortinet提供网络安全新产品 集中式日志分析报表系统[J];计算机安全;2006年04期
5 周颖;;如何利用AWStats对VSFTP日志进行分析、统计[J];科技信息;2006年04期
6 梁晓雪;王锋;;基于聚类的日志分析技术综述与展望[J];云南大学学报(自然科学版);2009年S1期
7 陈庭平;沈丽娟;曾鹏;;日志服务器建设和应用[J];网络安全技术与应用;2010年09期
8 姜良华;崔建明;;Serv-U FTP服务器日志分析系统设计与实现[J];电脑知识与技术;2010年28期
9 段生林;基于防病毒软件的日志分析系统的设计与实现[J];华南金融电脑;2004年12期
10 金花;黄明;梁旭;;基于Frame页面过滤的Web日志挖掘中的数据预处理方法[J];大连铁道学院学报;2006年02期
中国重要会议论文全文数据库 前10条
1 查达仁;荆继武;高能;;一种基于文件系统的计算机取证方法[A];全国计算机安全学术交流会论文集(第二十二卷)[C];2007年
2 田世春;;从信息保护谈UNIX操作系统的安全性[A];第六次全国计算机安全技术交流会论文集[C];1991年
3 宇振全;李松辉;张天亮;;HP OpenView OmniBack Ⅱ网络数据备份软件开发应用[A];第六届全国计算机应用联合学术会议论文集[C];2002年
4 欧庆于;张昌宏;吴晓平;;线性嵌入式文件系统的设计与实现[A];舰船电子装备维修理论与应用——中国造船工程学会电子修理学组第四届年会暨信息装备保障研讨会论文集[C];2005年
5 赵新明;张杭;王大平;;基于嵌入式Linux的通信管理机的研制[A];第一届电器装备及其智能化学术会议论文集[C];2007年
6 周晓俊;王旭;杜中平;;基于文件系统过滤驱动的文件访问控制技术研究[A];全国计算机安全学术交流会论文集(第二十三卷)[C];2008年
7 汪黎;章文嵩;杨学军;;Cfslight:一个新型的轻量级对象存储集群文件系统[A];2006年全国开放式分布与并行计算学术会议论文集(一)[C];2006年
8 齐慧玲;赵旭东;;基于Windows NT内核的文件加解密设计与实现[A];2008年中国西部青年通信学术会议论文集[C];2008年
9 王维;朱东;彭开原;;从文件系统向数据库系统的应用软件自动转换方法和实践[A];第十届全国数据库学术会议论文集[C];1992年
10 敖一峰;邹恒明;;磁盘级的ZFS数据跟踪技术与分析[A];2010年第16届全国信息存储技术大会(IST2010)论文集[C];2010年
中国重要报纸全文数据库 前10条
1 李勇军;西南油气田公司电子文件系统全面覆盖[N];中国石油报;2007年
2 乐天编译;近距离观看Snow Leopard Server[N];计算机世界;2008年
3 ;CDP:适用于恢复而非容灾[N];网络世界;2006年
4 郭涛;StorNext:管好海量多媒体文件[N];中国计算机报;2007年
5 记者 杨婧瀚;管道公司召开电子文件系统启动视频会[N];石油管道报;2007年
6 本报记者 张峰;快照 快速备份显奇效[N];网络世界;2005年
7 XiaoTao;文件系统自由转换高级应用[N];电脑报;2001年
8 中南林大理学院 旷岭 国防科大计算机学院 李永进 刘军;版本文件系统的虚拟存储策略[N];中国计算机报;2006年
9 中国传媒大学计算机学院 朱立谷柳昊 孙志伟 郅斌;非结构化数据的归档术[N];中国计算机报;2007年
10 ;如何为Linux下的硬盘减负[N];中国计算机报;2008年
中国博士学位论文全文数据库 前10条
1 夏鹏;文件系统语义分析技术研究[D];华中科技大学;2011年
2 徐虎;基于SAN的安全单映像Cluster文件系统关键技术的研究[D];国防科学技术大学;2003年
3 刘立坤;海量文件系统元数据查询方法与技术[D];清华大学;2011年
4 王玲;网络服务系统日志安全分析技术研究[D];中国科学院研究生院(计算技术研究所);2006年
5 卢军;高性能网络存储技术研究[D];电子科技大学;2002年
6 王洪体;数字地震仪网络化与智能化技术研究[D];中国地震局地球物理研究所;2006年
7 董晓明;对象属性控制的存储策略研究[D];华中科技大学;2006年
8 张立群;支持业务流程建模的块结构流程挖掘技术的研究[D];山东大学;2010年
9 刘朝斌;虚拟网络存储系统关键技术研究及其性能评价[D];华中科技大学;2004年
10 李庆虎;基于P2P架构的网格文件系统研究[D];清华大学;2004年
中国硕士学位论文全文数据库 前10条
1 刘燕;基于Map/Reduce框架的分布式日志分析系统的研究及应用[D];东北师范大学;2011年
2 宋爱青;基于Hadoop的日志分析系统的设计与实现[D];中国地质大学(北京);2012年
3 杨华;可视化日志分析系统的研究与实现[D];西安电子科技大学;2010年
4 苏鹏;基于智能卡的闪存文件系统的研究[D];武汉科技大学;2010年
5 金霞;EXT3文件系统结构研究及入侵检测的实现[D];解放军信息工程大学;2004年
6 潘光晖;嵌入式文件系统的设计与实现[D];电子科技大学;2003年
7 刘媛;个人云存储技术研究[D];电子科技大学;2010年
8 吴纪锋;蓝天数控系统中文件系统可靠性的研究与实现[D];中国科学院研究生院(沈阳计算技术研究所);2012年
9 张敏;基于对象存储文件系统研究[D];电子科技大学;2012年
10 何英;一种嵌入式文件系统的设计与实现[D];电子科技大学;2001年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026