收藏本站
收藏 | 手机打开
二维码
手机客户端打开本文

基于Spark的数据管理平台的设计与实现

刘鹏  
【摘要】:随着Android操作系统的快速发展,以Android智能手机为阵营的手机APP呈现出爆发式的增长,用户的娱乐时间也从PC端转移到了移动端。用户每天运行APP产生大量的日志文件数据成为挖掘用户兴趣爱好的重要数据来源,通过用户的兴趣爱好来准确把握用户群体,圈定高质量的用户群体,定向投放广告与内容分发,可以提高营销效益。本文首先介绍了相关的背景,然后深入介绍数据处理领域的相关技术,包括分布式计算框架Spark、分布式文件系统HDFS等,同时介绍了用户画像系统和推荐系统的相关算法。最后,基于Spark构建了大数据管理平台DMP,使用Spark生态圈的数据处理技术构建高可用的数据管理平台,在此基础之上进行APP的推荐,取得了良好的效果。本论文的主要研究成果包括:(1)针对企业内部运营部门的实际需求,并结合当前大数据领域的相关技术,设计了基于Spark集群的数据管理平台总体架构,以满足运营部门APP内容分发的需求。(2)设计数据仓库,使用Spark编程模型实现数据仓库ETL自动化操作。(3)设计用户画像系统,给每一个用户都打上详细的属性维度标签和兴趣维度标签,并且使用NoSQL数据库存储标签,构建完整的可扩展的用户画像系统。(4)设计推荐系统的引擎。针对用户的历史数据,设计使用推荐系统的相关算法。


知网文化
【相似文献】
中国期刊全文数据库 前20条
1 黄行;;构筑历史数据管理平台[J];金融电子化;2005年05期
2 付强;萧蕴诗;;油田数据管理平台的研究与开发[J];佳木斯大学学报(自然科学版);2006年04期
3 吴燕;;统一数据管理平台[J];信息系统工程;2008年02期
4 牟彬;;推进银行数据管理平台系统建设 为银行应用系统提供基础支持[J];金融电子化;2005年09期
5 陈德旺;魏天磊;侯赞;;嵌入式数字轨道地图数据管理平台的研究与设计[J];铁路计算机应用;2010年07期
6 孔维生;沈春山;吴仲城;申飞;;稳态强磁场数据管理平台的设计与实现[J];计算机工程与设计;2011年04期
7 董冬;朱成亮;胡瑛;刘晓;李恒;;试验数据管理平台设计研究[J];火箭推进;2014年04期
8 关颖;陈云鹏;;分析网络化环境监测数据管理平台设计与开发[J];计算机光盘软件与应用;2013年13期
9 冯宇;;非结构化数据管理平台研究与建设[J];电力信息化;2012年02期
10 万俊;;试验数据管理平台建设的研究----以飞机研制单位为例[J];数字技术与应用;2014年04期
11 王钢;许强;王文斌;张凯;谷然;靳少康;;基层供电公司基础数据管理平台研究及应用[J];电力信息化;2011年12期
12 林曾;;基于三层架构的人口数据管理平台设计[J];中小企业管理与科技(上旬刊);2012年08期
13 罗学礼;徐树振;王森;杨莉;;企业非结构化数据管理平台研究[J];云南电力技术;2013年05期
14 洪正义;孙树林;周立国;;水利工程养护维修数据管理平台的研建[J];水利水电技术;2012年09期
15 胡宇;周德云;汪凌霄;;航空武器系统通用数据管理平台的设计与实现[J];火力与指挥控制;2011年06期
16 庄晓丹;陈建;蒋锦霞;;浙电电网设备基础数据管理平台的设计[J];电力信息化;2012年01期
17 唐飞;熊运余;杨璇;;基于SOA的空管数据管理平台研究与实现[J];微计算机应用;2009年05期
18 程志华;倪时龙;黄文思;龚贺;;企业级非结构化数据管理平台研究及实践[J];电力信息化;2012年03期
19 钟敏;王海霞;石进;仝兆岐;;地震资料分布数据管理平台研究与实现[J];计算机应用与软件;2013年02期
20 陈欲勐;郑祥赛;;高校院系学生工作数据管理平台的设计与实现[J];福建电脑;2013年03期
中国硕士学位论文全文数据库 前10条
1 朱颖;电力系统海量实时数据管理平台设计与实现[D];华北电力大学;2015年
2 武元平;A大学主数据管理平台解决方案设计[D];内蒙古大学;2015年
3 杨楚骅;基于SOA的水利地理信息数据管理平台的设计与实现[D];中山大学;2015年
4 刘鹏;基于Spark的数据管理平台的设计与实现[D];浙江大学;2016年
5 谢家旺;基于云计算的寻畅网数据管理平台开发[D];复旦大学;2010年
6 奈存剑;虚拟化数据管理平台研究[D];华中科技大学;2013年
7 张宇波;上海空气质量自动监测数据管理平台设计与开发[D];复旦大学;2012年
8 石路遥;广告投放数据管理平台的设计与实现[D];北京交通大学;2015年
9 李勇;主数据管理平台在国药集团系统整合中应用研究[D];电子科技大学;2012年
10 王凯;面向SLA的网络运行监测系统[D];电子科技大学;2008年
中国重要报纸全文数据库 前6条
1 李群立 王忠贤;费县地税局 依托数据管理平台 加强数据检查考核[N];联合日报;2009年
2 记者 李建国;内蒙古建成统一水资源数据管理平台[N];中国水利报;2014年
3 ;客户数据管理平台DataMatch发布[N];计算机世界;2008年
4 郭涛;H3C UDM统一数据管理平台[N];中国计算机报;2008年
5 本报记者 邹大斌;VMware中国研发进入核心领域[N];计算机世界;2011年
6 记者 桂雪琴;联通信息“孤岛” 为精益造船夯实基础[N];中国船舶报;2012年
中国知网广告投放
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978