收藏本站
《吉林大学》 2017年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Kafka的日志处理平台的研究

费秀宏  
【摘要】:现如今,大数据已与我们的工作生活密不可分。从商业价值上看,大数据技术在统计分析用户行为,挖掘潜在商业价值上已有非常广泛的应用。而要做后续的统计分析工作则需要将数据传送到统计分析的平台中。数据源,在用户行为分析中主要是指移动端日志和web日志。如今收集日志的方式多种多样,数据源已经存在了。那么,将收集到的日志接入到统计分析平台,并且保证数据接入系统的稳定性、高效性都是至关重要的,因为这些都将直接影响着后续数据分析、挖掘的质量。本文工作以“网易乐得数据分析统计平台”为背景,介绍一种新型的处理日志的架构。现如今,对数据的分析常常是包括两个方面,即离线数据的分析和在线实时数据的分析。不同的应用场景适合不同的分析策略。而无论是做哪种类型的分析,都需要将数据源接入到统计分析平台中。本文基于Kafka0.10.0.0提供的Conncetor接口,实现了一个FHDFSConnector可以做到将收集到的日志消息实时地存储到HDFS分布式文件系统中,为后续的离线统计、分析、挖掘,预测提供数据支持。同时文章中提出了一种新型的大数据处理架构,这种架构较传统的架构不同,它可以同时支持离线计算和实时计算。并且它更具有扩展性,也具有较高的吞吐量。此外,这种处理架构简化了系统中组件的数量,可维护性也更好。本文的主要工作,首先,设计整个日志处理平台的各个模块。其次,将介绍FHDFSConnector的设计与代码实现。最后,设计一种新型的日志处理架构,并进行了实验与对比分析。
【学位授予单位】:吉林大学
【学位级别】:硕士
【学位授予年份】:2017
【分类号】:TP311.13

手机知网App
【参考文献】
中国期刊全文数据库 前8条
1 林权;卢军;严雄伟;;基于大数据的运营商精准营销系统应用研究[J];电子测试;2016年Z1期
2 李祥池;;基于ELK和Spark Streaming的日志分析系统设计与实现[J];电子科学技术;2015年06期
3 ;深入理解Spark Streaming执行模型[J];电脑编程技巧与维护;2015年20期
4 薛瑞;朱晓民;;基于Spark Streaming的实时日志处理平台设计与实现[J];电信工程技术与标准化;2015年09期
5 杨锋英;刘会超;;基于Hadoop的在线网络日志分析系统研究[J];计算机应用与软件;2014年08期
6 郝璇;;基于Apache Flume的分布式日志收集系统设计与实现[J];软件导刊;2014年07期
7 刘智慧;张泉灵;;大数据技术研究综述[J];浙江大学学报(工学版);2014年06期
8 汤珊红;许儒红;侯勤;;大数据:信息时代大国技术竞争新领域——美国大数据研发[J];国防;2013年02期
中国硕士学位论文全文数据库 前6条
1 邵明路;大规模网站日志的并行分析技术研究[D];东南大学;2016年
2 王电轻;基于hadoop的网站用户行为分析系统设计与实现[D];中国科学院大学(工程管理与信息技术学院);2016年
3 周秋彤;实时分布式Web日志分析系统的设计与实现[D];电子科技大学;2015年
4 刘季函(Liu,Chi Han);基于Spark的网络日志分析系统的设计与实现[D];南京大学;2014年
5 章伟星;基于Hadoop的海量广告日志分析系统的设计与实现[D];哈尔滨工业大学;2013年
6 童明;基于HDFS的分布式存储研究与应用[D];华中科技大学;2012年
【共引文献】
中国期刊全文数据库 前10条
1 李宁;庄丽华;石林;刘锁兰;徐守坤;;大数据云计算时代软件测试所面临的挑战[J];教育教学论坛;2017年51期
2 许金;;智慧矿山架构体系研究[J];能源与环保;2017年11期
3 姜迪清;张丽娜;;基于云计算和物联网的网络大数据技术研究[J];计算机测量与控制;2017年11期
4 韩健;;基于Hadoop技术的银行大数据平台架构设计[J];电子世界;2017年22期
5 王庆娟;张维;吕诗宁;;出租房客户定位分析及电费回收策略[J];电力需求侧管理;2017年06期
6 朱金山;;基于敏感词分析的高校舆情监控系统设计与实现[J];集宁师范学院学报;2017年06期
7 陈有为;郭建峰;温景岗;李言;;基于大数据的网络金融风险管理体系研究[J];经济研究导刊;2017年32期
8 刘芬;廖荣涛;余铮;;Hadoop下的在线网络日志分析系统设计[J];电子技术与软件工程;2017年22期
9 高录军;刘玲;张积慧;郝毫刚;李晓平;唐军;刘雨;赵丽丹;;兽药大数据平台的应用架构研究[J];中国兽药杂志;2017年10期
10 孙远芳;段翠华;张培颖;;大数据驱动的未来网络:体系架构与应用场景[J];中国电子科学研究院学报;2017年05期
中国硕士学位论文全文数据库 前10条
1 于方萍;高考数据分布式存储优化的设计与实现[D];山东师范大学;2017年
2 陈雯雯;基于云存储的软件测试管理系统的研究[D];吉林建筑大学;2017年
3 王真真;云产品数据多维分析系统的设计与实现[D];北京交通大学;2017年
4 郗超;校园无线网络日志大数据分析平台的研究与实现[D];内蒙古农业大学;2017年
5 袁春晓;汽车产业链服务平台监视模块的设计与实现[D];西南交通大学;2017年
6 费秀宏;基于Kafka的日志处理平台的研究[D];吉林大学;2017年
7 马冬旸;通信行为分析的大数据处理策略的研究[D];吉林大学;2017年
8 孙旭;基于Hadoop和C4.5算法的车联网数据处理系统[D];江苏大学;2017年
9 徐昱;面向大数据的基于top-k的服务排序优化方法研究[D];南京邮电大学;2016年
10 陈茂军;基于云平台下的数据挖掘研究[D];华东交通大学;2016年
【二级参考文献】
中国期刊全文数据库 前10条
1 杨倩倩;生佳根;赵海田;;K-means聚类算法在民航客户细分中的应用[J];电子设计工程;2015年12期
2 胡俊;胡贤德;程家兴;;基于Spark的大数据混合计算模型[J];计算机系统应用;2015年04期
3 柯美君;;利用大数据优势摆脱“管道”困境[J];通信世界;2013年22期
4 严霄凤;张德馨;;大数据研究[J];计算机技术与发展;2013年04期
5 于艳华;宋美娜;;大数据[J];中兴通讯技术;2013年01期
6 孟小峰;慈祥;;大数据管理:概念、技术与挑战[J];计算机研究与发展;2013年01期
7 黄哲学;曹付元;李俊杰;陈小军;;面向大数据的海云数据系统关键技术研究[J];网络新媒体技术;2012年06期
8 李国杰;程学旗;;大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J];中国科学院院刊;2012年06期
9 张榆;马友忠;孟小峰;;一种基于HBase的高效空间关键字查询策略[J];小型微型计算机系统;2012年10期
10 陈如明;;大数据时代的挑战、价值与应对策略[J];移动通信;2012年17期
中国硕士学位论文全文数据库 前10条
1 梁彦;基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D];中山大学;2014年
2 车斌;基于Hadoop海量数据处理关键技术研究[D];电子科技大学;2013年
3 陈娜;基于Hadoop平台的海量数据处理应用[D];吉林大学;2012年
4 宋爱青;基于Hadoop的日志分析系统的设计与实现[D];中国地质大学(北京);2012年
5 吴金虎;基于Hadoop的大型网站海量数据的统计与应用[D];南京大学;2012年
6 孙寅林;基于分布式计算平台的海量日志分析系统的设计与实现[D];西安电子科技大学;2012年
7 刘永增;基于Hadoop/Hive的海量web日志处理系统的设计与实现[D];大连理工大学;2011年
8 曾浩;云计算在电信行业经营分析系统中对海量数据处理的研究[D];湖南大学;2011年
9 吴庆响;分布式存储系统中并行下载相关技术研究[D];中国科学技术大学;2011年
10 徐婧;云存储环境下副本策略研究[D];中国科学技术大学;2011年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026