收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark和Hive的网易移动大数据支持平台的设计与实现

庞超  
【摘要】:对于互联网产品来讲,精准的决策和运营决定着产品的兴盛与衰亡。目前,互联网产品的决策和运营主要依靠于产品团队和运营团队人员的经验,但是真正可以做到精准决策的人才有如凤毛麟角。传统的运营手段,不仅烧钱而且存在着用户粘性低等问题。网易作为互联网的先行者,各个业务线都拥有丰富的数据,但是各业务线的数据分析工作零散,适用范围狭窄,缺乏通用性。因此公司迫切需要一个平台整合内部的数据资源,为相关部门统一提供精准的数据分析支持服务。在这一背景下,移动大数据支持平台应运而生,为克服传统决策和运营手段的局限性、提高公司资源复用提供了良好的解决方案。本平台基于分布式开发组件开发,所运用到的组件有Kafka、HDFS、Spark、Hive、HDFS Connector 等,同时结合 Spring、MyBatis 等 Java Web 框架技术进行系统后台服务的支持。平台由基础架构子系统、数据分析子系统和数据挖掘子系统组成。实习过程中,本人主要负责数据分析子系统的设计与开发工作,主要包括用户行为分析、交易行为分析、页面热力图、路径分析和辅助服务5个模块。其中,前4个模块的功能实现由数据分析部分和后台服务部分协作完成,辅助服务模块的功能实现由后台服务部分独立完成。数据分析部分使用大数据分析技术,后台服务部分使用Java Web技术。本论文中首先介绍平台开发过程中所用到的关键性技术,其次从整体上对平台的功能进行介绍,着重分析了本人负责模块的功能需求,并对系统的非功能性需求进行了阐述。然后介绍了系统的技术架构设计、功能架构设计和数据库设计。接着重点介绍了平台的详细设计与实现过程,并展示了平台各模块的实现效果图。最后对平台使用的测试与验证方法进行了说明。移动大数据支持平台为网易旗下的众多产品提供了简洁方便的产品接入点和精准的数据分析支持服务,提高了公司内部数据资源的复用性,提升了产品、运营等相关部门的工作效率。同时,为数据挖掘团队提供数据源,帮助他们进一步挖掘数据价值,提高部门和公司的收益。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 王丽莎;;教师专业发展数字化支持平台标准研究[J];软件导刊;2007年16期
2 杨卉;王陆;韩雪涛;;基于网络的家校互动支持平台的设计与应用[J];电化教育研究;2007年10期
3 刘小溪;;家校互动支持平台在家校合作中的应用[J];中国电化教育;2007年02期
4 陈红叶;;基于开源软件的教学支持平台的设计与应用[J];计算机时代;2008年12期
5 陈静,程建钢,韩锡斌,翟焱;探究性学习支持平台的设计与实践[J];中国远程教育;2004年19期
6 傅骞;代永兴;李娜;;教育资源区域共建策略及支持平台研究[J];中国远程教育;2007年01期
7 王凤蕊;王文宏;程桂芳;;网上研究性学习支持平台的设计与实现[J];中国教育信息化;2007年03期
8 程杰;王善利;;网络教学支持平台的设计与实现[J];天津工业大学学报;2007年01期
9 耿杏;耿红梅;孔惠洁;;用户为本的学科研究性学习网络支持平台的设计[J];中国教育技术装备;2011年33期
10 ;管理信息和决策支持平台展望[J];农业发展与金融;2009年10期
11 陆丹梅;;构建广西远程教育公共服务体系 学习支持平台的实践探索[J];广西广播电视大学学报;2006年02期
12 韩威威;曾志康;郑业鲁;雷光英;;基于知识服务的公共后台式农村信息化数据支持平台研究[J];农业图书情报学刊;2010年12期
13 吴伟强;李从东;;制造业国际化信息支持平台绩效评价体系研究[J];计算机集成制造系统;2007年02期
14 曾平华;朱云龙;尹朝万;袁凌云;;基于仪表盘的税收决策支持平台的研究与实现[J];计算机应用与软件;2008年08期
15 杨朝晖;宋晓亮;;教师网络信息资源使用意向与情况调查——基于一项大学网络支持平台建设的实证研究[J];广播电视大学学报(哲学社会科学版);2011年01期
16 戴晓华;;一种面向群决策支持平台的服务建模方法研究[J];现代商贸工业;2012年01期
17 孙传庆;张智;李国芳;;高校远程教育中教师教学活动网络支持平台的建立[J];甘肃科技;2007年08期
18 王琳;刁永锋;刘丹;;基于Web协作学习支持平台的设计与开发[J];中国医学教育技术;2007年03期
19 刘金河;金彦红;贺相春;;基于协作的区域教师专业能力均衡发展网络支持平台设计[J];电化教育研究;2012年12期
20 胥杏丽;宋豫川;刘飞;吕仙镜;;装配定制型制造企业集群物流模式及其信息化支持平台研究[J];现代制造工程;2007年05期
中国重要会议论文全文数据库 前3条
1 牛敬莹;;关于构建我国训练工作信息支持平台的研究[A];第七届全国体育科学大会论文摘要汇编(二)[C];2004年
2 张雄;;信息技术与研究性学习课程整合支持平台的设计与开发[A];中国教育技术协会2004年年会论文集[C];2004年
3 王勇;汪娟娟;王皓;;地下管线辅助决策支持平台研究[A];江苏省测绘学会2011年学术年会论文集[C];2011年
中国硕士学位论文全文数据库 前10条
1 刘致良;天津某工程管理咨询公司信息支持平台设计与开发[D];天津工业大学;2016年
2 蒋汝斌;半潜式钻井服务支持平台风载荷数值模拟计算[D];江苏科技大学;2016年
3 冯廷钰;设计与技术课程教学支持平台的研究与实现[D];天津师范大学;2017年
4 庞超;基于Spark和Hive的网易移动大数据支持平台的设计与实现[D];北京交通大学;2017年
5 律原;“协作研究性学习网络支持平台”的开发与实践[D];首都师范大学;2003年
6 胡桂芳;网络教学支持平台的设计与实现[D];华中师范大学;2005年
7 张方于;开放环境下企业决策支持平台的分析与设计[D];华中科技大学;2005年
8 谢文桐;面向群体交互过程的协同决策支持平台研究[D];东北大学;2009年
9 邵宇;远程教育学习支持平台的设计与实现[D];华东师范大学;2008年
10 韩旭;基于网络的教师专业发展支持平台研究[D];首都师范大学;2005年
中国重要报纸全文数据库 前8条
1 特约记者 罗加福;厦船重工深化数字化决策支持平台建设[N];中国船舶报;2010年
2 王春生 ;构建五大支持平台促进动漫网游发展[N];北京日报;2006年
3 北京 朱福生;信息技术:北京奥运会的强大支持平台[N];电子报;2008年
4 黄昕;信息不对等怎能成为就业坎[N];中国电脑教育报;2007年
5 南京师范大学教育科学学院 张永英;给新教师成长搭建支持平台[N];中国教育报;2012年
6 中国软件行业协会理事长 杨天行教授;加强渠道力量 把握营销方向[N];中国计算机报;2001年
7 本报记者 张生河;创新政府服务模式 搭建企业市场平台[N];中国信息报;2006年
8 证券时报记者 张宇凡;金证股份未来5年重点打造“三朵云”[N];证券时报;2012年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978