收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hive的日志分析系统的实现与优化

王建辉  
【摘要】:移动智能终端的快速普及促进了移动互联网的发展,人们对移动端应用和服务的需求也越来越多,互联网公司、电商平台以及传统服务业都积极将业务重心转向移动端,以满足用户对相关服务日益增长的需求。同时,这些服务提供商收集到了海量的用户行为日志,对这些日志进行分析,可以获取用户信息、用户行为轨迹,进而掌握用户特征、喜好等信息,能够更有针对性地为不同特征的用户提供个性化服务,提升用户体验,最终提高其市场占有率。面对日益增长的TB甚至PB级的用户行为日志,传统数据处理技术已经无法满足海量数据存储和处理的需求,Hadoop分布式系统的出现成功解决了这个难题。论文针对某移动互联网公司的海量日志分析需求,以Hadoop分布式系统为基础,结合传统的数据处理技术,深入研究了基于Hive的日志分析系统的海量数据处理方案,并根据业务需求对系统进行优化。本文首先介绍了大数据背景下海量日志分析系统中的关键技术,包括Hadoop分布式文件系统HDFS、分布式计算框架MapReduce和Spark、数据仓库Hive和数据迁移工具Sqoop等,以及常见的大数据平台的系统架构及其优势。其次,根据实际业务需求,对基于Hive的日志分析系统进行研究,并分析了海量日志处理流程和系统性能,以找到系统的性能瓶颈,针对系统架构、业务需求和数据特点,从系统架构、数据集成、数据存储和数据处理等方面对系统进行优化。最后,探讨了系统优化方案,并测试系统优化后的性能,验证了系统优化设计的可行性和有效性。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 文娟,薛永生,段江娇,王劲波;基于关联规则的日志分析系统的设计与实现[J];厦门大学学报(自然科学版);2005年S1期
2 张晓刚;潘久辉;;MS SQL Server 2000日志分析方法的研究与实现[J];计算机工程与设计;2006年19期
3 李春林;周根鸿;张文体;;重视日志审计确保数据安全[J];医学信息;2007年10期
4 梁晓雪;王锋;;基于聚类的日志分析技术综述与展望[J];云南大学学报(自然科学版);2009年S1期
5 黄海隆;陈赛娉;;计算机日志分析与管理方法的研究[J];大众科技;2006年07期
6 郑毅;;基于日志分析的网络IDS研究[J];襄樊学院学报;2008年11期
7 陈庭平;沈丽娟;曾鹏;;日志服务器建设和应用[J];网络安全技术与应用;2010年09期
8 邹先霞;贾维嘉;潘久辉;;基于数据库日志的变化数据捕获研究[J];小型微型计算机系统;2012年03期
9 罗新;;防火墙日志分析系统的设计与实现[J];计算机时代;2012年02期
10 姜良华;崔建明;;Serv-U FTP服务器日志分析系统设计与实现[J];电脑知识与技术;2010年28期
11 李玉荣;杨树强;贾焰;周斌;樊宇;;分布式日志服务关键技术研究[J];计算机工程与应用;2006年07期
12 李哲;李先国;;基于关联规则的日志分析系统的研究与设计[J];微型电脑应用;2009年03期
13 陈文;邓韵东;钏涛;;电网网络系统运行日志分析[J];云南电力技术;2011年05期
14 李燕南;刘新;蒋伟宏;赵群;;主机日志分析与研究[J];中国高新技术企业;2010年04期
15 李先捷;汤艳君;;基于日志的提取已修改计算机系统时间的方法[J];信息网络安全;2013年05期
16 刘虎球;马超;白家驹;;面向驱动配置的自动日志插入方法研究[J];计算机学报;2013年10期
17 方航锋,汪海航;日志提取分析系统的设计和实现[J];计算机工程;2004年14期
18 陈海宇;曾德胜;;基于日志的异常软件使用模式检测[J];淮海工学院学报(自然科学版);2011年01期
19 袁佳;郭燕慧;;基于rabbitmq的海量日志的分布式处理[J];软件;2013年07期
20 涂频;;服务器日志分析在网站改进中的应用[J];九江学院学报(自然科学版);2010年04期
中国重要会议论文全文数据库 前10条
1 马辰;武斌;;一种基于攻击事件图的蜜网日志分析方法[A];虚拟运营与云计算——第十八届全国青年通信学术年会论文集(下册)[C];2013年
2 周涛;;基于数据挖掘的入侵检测日志分析技术研究[A];第二届中国科学院博士后学术年会暨高新技术前沿与发展学术会议程序册[C];2010年
3 陈晨;郑康锋;;一种基于支持向量机的蜜网系统日志分析方法[A];2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集[C];2011年
4 刘莉;;基于多协议技术的日志集中管理安全方案[A];2008年中国通信学会无线及移动通信委员会学术年会论文集[C];2008年
5 耿涛;;Web日志分析在电子数据取证中的应用[A];第二十一次全国计算机安全学术交流会论文集[C];2006年
6 闫龙川;王怀宇;李枫;毛一凡;;基于Hadoop的邮件日志分析与研究[A];2012电力行业信息化年会论文集[C];2012年
7 陈庆章;王磊;毛科技;戴国勇;;基于防火墙日志的在线攻击侦查系统的设计与实现(英文)[A];全国第19届计算机技术与应用(CACIS)学术会议论文集(下册)[C];2008年
8 王振亚;武斌;;基于MFI-WT算法的蜜网日志分析方法[A];第十七届全国青年通信学术年会论文集[C];2012年
9 金松昌;方滨兴;杨树强;贾焰;;基于Hadoop的网络安全日志分析系统的设计与实现[A];全国计算机安全学术交流会论文集·第二十五卷[C];2010年
10 朱金清;王建新;陈志泊;;基于APRIORI的层次化聚类算法及其在IDS日志分析中的应用[A];第二十四届中国数据库学术会议论文集(研究报告篇)[C];2007年
中国博士学位论文全文数据库 前3条
1 饶翔;基于日志的大规模分布式软件系统可信保障技术研究[D];国防科学技术大学;2011年
2 曹志波;基于日志的任务建模及调度优化的研究[D];华南理工大学;2014年
3 胡蓉;WEB日志和子空间聚类挖掘算法研究[D];华中科技大学;2008年
中国硕士学位论文全文数据库 前10条
1 王建辉;基于Hive的日志分析系统的实现与优化[D];南京邮电大学;2017年
2 张天生;日志采集与分析在Web网站中的设计与实现[D];上海交通大学;2015年
3 周海靖;日志大数据分析平台技术研究[D];山东大学;2015年
4 赖特;网络安全设备日志融合技术研究[D];电子科技大学;2015年
5 董妍妍;基于Hadoop的Teradata数据仓库日志分析系统的设计与实现[D];南京大学;2014年
6 李名弈;IPTVQOS日志分析方法研究[D];复旦大学;2013年
7 刘季函(Liu,Chi Han);基于Spark的网络日志分析系统的设计与实现[D];南京大学;2014年
8 李荣荣;基于Hadoop平台的日志分析系统[D];复旦大学;2013年
9 周云斌;基于主机的日志大数椐分析及安全性检查[D];大连理工大学;2015年
10 张迪;基于NoSQL的大规模Web日志分析系统的设计与实现[D];复旦大学;2013年
中国重要报纸全文数据库 前10条
1 中航工业南方航空工业集团(有限)公司科技与信息部 邹沪湘;分析日志识别暴力破解[N];计算机世界;2013年
2 ;日志分析中的五个误区[N];网络世界;2004年
3 陈代寿;网管的四两拨千斤[N];中国计算机报;2004年
4 IBM大数据专家 James Kobielus 范范 编译;大数据日志分析借机器学习腾飞[N];网络世界;2014年
5 《网络世界》评测实验室 于洋;用好Web日志[N];网络世界;2004年
6 重庆 航行者;IIS的安全[N];电脑报;2002年
7 河南工业职业技术学院 邱建新;监测Squid日志的五种方法[N];计算机世界;2005年
8 shotgun;入侵检测初步(上)[N];电脑报;2001年
9 朱闵;浅谈企业核心应用的安全审计(下)[N];网络世界;2008年
10 覃进文;在Windows 2000&&2003下快速安装Webalizer[N];中国电脑教育报;2003年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978