收藏本站
《南京邮电大学》 2016年
收藏 | 手机打开
二维码
手机客户端打开本文

基于Hadoop的用户行为分析方法的应用研究

陈姗姗  
【摘要】:随着互联网技术的快速发展与成熟,每天都有大量的用户行为数据产生并存储在网站服务器之上,如何挖掘潜藏在其中的用户价值和潜在利益已经成为当今互联网企业研究的重点。海量用户行为数据对传统的数据存储方式和数据挖掘算法都是一个挑战,而Hadoop正是为解决海量数据分析问题而诞生的。本文主要研究基于Hadoop的用户行为分析方法,在分别对Hadoop框架、Web日志挖掘以及聚类算法技术进行分析研究后,提出了一种基于Canopy的K-means聚类方法,改进后的算法解决了K-means算法在初始聚类中心的选定、异常点的处理以及分析数据的局限性问题。然后利用该算法设计了相应的用户行为分析系统,对存储在HDFS分布式存储系统上的网站Web日志进行数据挖掘,利用MapReduce分布式计算模型,实现了对传统聚类方法Canopy算法和K-means算法的并行化执行,完成了对Web日志中用户行为信息的聚类分析。本文通过搜狗实验室的用户查询日志的真实数据进行了单机对比实验和集群加速比实验,实验结果验证了本文提供的基于Canopy的K-means聚类方法无论在单机还是集群都有较好的效果和性能,使得能够同时保证算法执行的效率和聚类的准确度。故本文提出的基于Hadoop的用户行为分析方法采用分布式架构,执行效率高,适用范围广。
【学位授予单位】:南京邮电大学
【学位级别】:硕士
【学位授予年份】:2016
【分类号】:TP311.13

手机知网App
【相似文献】
中国期刊全文数据库 前10条
1 马维亮;;用户行为分析系统在宽带网络中的应用[J];科技信息(科学教研);2008年23期
2 乔志伟;;基于用户行为的3G业务分析与探讨[J];移动通信;2010年12期
3 龚尚福;姜晓旭;;基于用户行为分析的广告欺诈点击检测[J];计算机应用与软件;2011年04期
4 陶彩霞;谢晓军;陈康;郭利荣;刘春;;基于云计算的移动互联网大数据用户行为分析引擎设计[J];电信科学;2013年03期
5 毛承洁;张龙;庞川;陈洁敏;;社会网络服务及其用户行为分析[J];华南师范大学学报(自然科学版);2013年02期
6 雒江涛;胡燕清;徐孝娜;周进艳;;基于CDMA2000 1x EVDO网络的用户行为分析模型设计[J];电视技术;2013年07期
7 许春玲;范志刚;郑小盈;李明齐;;有线电视用户行为分析实践[J];网络新媒体技术;2014年01期
8 李朝阳;谢传中;;一种移动互联网用户行为分析系统的顶层设计[J];江西通信科技;2014年01期
9 刘英梅;;大数据时代的信息用户行为分析[J];科技情报开发与经济;2014年05期
10 陆群峰;;宽带上网用户行为分析[J];有线电视技术;2006年02期
中国重要会议论文全文数据库 前7条
1 赵勇;;移动互联网用户行为分析系统技术架构浅析[A];2012全国无线及移动通信学术大会论文集(下)[C];2012年
2 冯铭;王保进;蔡建宇;;基于云计算的可重构移动互联网用户行为分析系统的设计[A];CCF NCSC 2011——第二届中国计算机学会服务计算学术会议论文集[C];2011年
3 岑荣伟;刘奕群;张敏;茹立云;马少平;;网络搜索引擎用户行为分析和研究[A];第五届全国信息检索学术会议论文集[C];2009年
4 赵艳梅;朱晓燕;;转变运维模式,迎接移动互联网新挑战[A];中国通信学会信息通信网络技术委员会2011年年会论文集(上册)[C];2011年
5 刘奕群;张敏;马少平;;用户行为分析在网络信息检索中的应用概述[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
6 毛翔博;齐观德;李石坚;潘纲;;基于位置轨迹加权网络图的用户行为分析识别算法[A];第六届和谐人机环境联合学术会议(HHME2010)、第19届全国多媒体学术会议(NCMT2010)、第6届全国人机交互学术会议(CHCI2010)、第5届全国普适计算学术会议(PCC2010)论文集[C];2010年
7 尔古打机;苏小龙;朱征;;基于用户行为分析的移动终端偏好模型研究[A];第八届(2013)中国管理学年会——商务智能分会场论文集[C];2013年
中国重要报纸全文数据库 前3条
1 谭景华杨国良;IP网络用户行为分析方法的探讨[N];人民邮电;2007年
2 本报记者 逄丹;建设用户行为分析智慧模型[N];通信产业报;2010年
3 李中朝通讯员 黄伟;重庆电信建成宽带用户行为分析系统[N];人民邮电;2007年
中国博士学位论文全文数据库 前6条
1 王琪;新媒体系统中用户行为分析与系统设计[D];复旦大学;2014年
2 罗海艳;移动用户网络行为分析与预测方法研究[D];沈阳农业大学;2015年
3 刘鹏;网络用户行为分析的若干问题研究[D];北京邮电大学;2010年
4 延皓;基于流量监测的网络用户行为分析[D];北京邮电大学;2011年
5 窦伊男;根据多维特征的网络用户分类研究[D];北京邮电大学;2010年
6 岑荣伟;基于用户行为分析的搜索引擎评价研究[D];清华大学;2010年
中国硕士学位论文全文数据库 前10条
1 江惠彬;基于Web日志的用户行为分析系统的研究与实现[D];华南理工大学;2015年
2 胡晓祥;基于飞天云平台的海量网络用户行为分析技术研究[D];南京大学;2014年
3 汪传章;基于博弈论的云用户行为分析预测模型研究与分析[D];东华理工大学;2016年
4 王电轻;基于hadoop的网站用户行为分析系统设计与实现[D];中国科学院大学(工程管理与信息技术学院);2016年
5 严春景;基于Hadoop平台和查询日志的用户行为分析系统设计与实现[D];广东工业大学;2016年
6 王鲁飞;基于新浪微博数据的处理与用户行为分析[D];北京交通大学;2016年
7 李慧芬;基于日志挖掘的移动应用用户行为分析系统的构建[D];北京交通大学;2016年
8 陈鹏;基于用户移动数据的可视化用户行为分析[D];华南理工大学;2016年
9 徐辉;基于数据挖掘的网络用户行为分析的应用与研究[D];伊犁师范学院;2016年
10 廖一鸣;Web存储与用户行为分析研究[D];华北电力大学(北京);2016年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026