收藏本站
《北京交通大学》 2018年
收藏 | 手机打开
二维码
手机客户端打开本文

基于HDFS的百度多酷移动游戏数据平台的设计与实现

许仕霖  
【摘要】:多酷游戏是百度游戏事业部独立出来的公司,由于先前的业务已经不满足于日益增长的需求,公司领导决定重新梳理公司的业务,并且重建更清晰简洁的数据调度平台与数据展示平台。这次任务主要实现先前百度游戏事业部各种渠道游戏的基础数据的ETL 以及数据展示功能。先前百度游戏事业部的业务不断扩张,现有的集群以及技术不足以处理越来越多的T级数据,尤其独立公司以后,业务更要与之前相比独立、解耦。随着公司各种渠道的游戏不断增加、业务不断改进、与外部的合作不断增加、数据量越来越大、数据的维度不断扩展,对于数据的获取和处理速度,以及对于数据的利用包括分析和预测等的需求,尤其是对于数据存储的需求不断增加。因此,我们决定用新的数据处理技术来创建新的数据平台。项目希望此平台能够满足各渠道游戏的运营人员的各种数据分析需求。在数据处理和存储、展示部分,项目采用主流的Hadoop和Spark来做数据的处理和存储,最终的报表采用轻便的MySQL数据库来存储,采用PHP语言和CI框架来快速实现前期的数据展示功能,在这一部分,本文通过比较有代表性的数据表:今日概况和今日实时概况来阐述。在数据的实时查询和HDFS以及Hive的可视化操作部分,我们考虑到以后的需求和技术的提升会改动前端与后台,所以在设计这一功能时,需要将前端,即查询平台Web端,和后台,即查询平台的访问后台,与实时查询提供者SparkSQL的耦合性达到最低,因此项目采用Thrift来实现这一需求,在Thrift Server中定义查询平台以及可视化操作的所有服务,再由平台后端来调用这些服务,在平台的搭建上,项目采用Tomcat容器。同时由于集群的计算资源有限,我们需要将ETL流程进行一个优化步骤,使得ETL的整体计算量平均分布到凌晨一点到上午九点的所有时间段,避免集群拥堵的情况,节省计算资源,在这一部分项目采用了调度问题常用的算法:遗传算法,并且在需要实现每天定时启动算法检查ETL流程是否更新,再决定是否重新计算新的流程。目前系统已上线并且正常运行,为每日的运营人员分析、公司领导决策提供了所有游戏的概况以及更细维度的分析,得到了同事的广泛好评。实时查询功能极大提高数据开发效率,ETL优化显著提高集群的利用率。
【学位授予单位】:北京交通大学
【学位级别】:硕士
【学位授予年份】:2018
【分类号】:TP317

【参考文献】
中国期刊全文数据库 前7条
1 朱朝阳;王继业;邓春宇;;电力大数据平台研究与设计[J];电力信息与通信技术;2015年06期
2 尤海浪;钱锋;黄祥为;胡亮亮;;基于大数据挖掘构建游戏平台个性化推荐系统的研究与实践[J];电信科学;2014年10期
3 郑玲;郑晓天;;基于WebSocket的电力系统实时数据更新研究[J];计算机与现代化;2013年01期
4 马永杰;云文霞;;遗传算法研究进展[J];计算机应用研究;2012年04期
5 尹元韬;王焱;;遗传算法改进策略研究进展[J];信息技术与信息化;2010年03期
6 樊唯钦;;地区电力调度综合数据平台建设实践[J];电力系统自动化;2010年02期
7 洪焕坪;徐莹莹;;中国网络游戏产业现状与发展趋势分析[J];商场现代化;2006年13期
中国博士学位论文全文数据库 前5条
1 李险峰;基于改进遗传算法的汽车装配生产线平衡问题研究[D];北京科技大学;2017年
2 仁庆道尔吉;车间作业调度问题的多目标模型建立及其算法[D];西安电子科技大学;2013年
3 汤可宗;遗传算法与粒子群优化算法的改进及应用研究[D];南京理工大学;2011年
4 马永杰;大型仓储系统的调度算法研究[D];兰州交通大学;2011年
5 王志国;面向车间管理的离散生产系统精益运行驾驶舱研究[D];浙江大学;2009年
中国硕士学位论文全文数据库 前10条
1 江鹤;面向CDN日志业务的数据处理系统的设计与实现[D];中国科学院大学(中国科学院工程管理与信息技术学院);2017年
2 段胜泽;基于Hadoop的线缆生产的大数据服务平台的设计与实现[D];电子科技大学;2017年
3 王贝;云计算环境下任务调度优化算法的研究[D];中国科学技术大学;2017年
4 李晓璐;基于模拟退火遗传算法的云计算任务调度的研究[D];华中师范大学;2016年
5 廖虹光;支撑大数据的实时数据集成系统的研究与实现[D];电子科技大学;2016年
6 伊毅;综合数据平台研究及在地市级供电公司的应用[D];华北电力大学(北京);2016年
7 张书豪;基于IOS的移动游戏数据统计分析平台的设计与实现[D];吉林大学;2015年
8 黄煜;先进控制系统中数据监控平台的研究与开发[D];北京邮电大学;2015年
9 杜冬艳;电网调度综合数据平台管理研究[D];中国石油大学(华东);2013年
10 付威;面向实时数据仓库的达梦数据交换平台改进[D];华中科技大学;2012年
【共引文献】
中国期刊全文数据库 前10条
1 余万;李春;杨阳;张杨;;基于遗传算法的定速定桨距HATT叶片优化设计[J];能源工程;2015年06期
2 马啸;陈飞翔;彭俊杰;;复杂地形三角网格局部渐进传输方法[J];测绘学报;2015年S1期
3 王培崇;钱旭;;改进的双种群竞争教与学优化算法[J];计算机工程与应用;2015年24期
4 黄雪松;卢雪;;地区供电系统中的调度控制技术研究[J];电子技术与软件工程;2015年22期
5 杨旭娟;李宇龙;李兆军;颜瑞;张振;;上悬式离心机主轴系统的优化设计[J];装备制造技术;2015年11期
6 廖洪一;王欣;;极限学习机在机场旅客吞吐量预测中的应用[J];计算机系统应用;2015年11期
7 王泽;张宏军;张睿;贺邓超;;基于遗传算法与密度及距离计算的聚类方法[J];计算机应用;2015年11期
8 张酌远;张志忠;王炼红;;改进蝙蝠算法及其在商旅问题的应用[J];电脑与信息技术;2015年05期
9 马道远;庄方方;徐振亮;;基于遗传算法的冲击响应谱时域合成方法[J];强度与环境;2015年05期
10 邵改革;卢小平;杜耀刚;李国清;;基于优化模糊遗传算法的地理信息个性化推送方法[J];测绘工程;2015年07期
中国博士学位论文全文数据库 前10条
1 刘敏;CT高速数据传输技术及应用研究[D];中国科学院大学(中国科学院长春光学精密机械与物理研究所);2018年
2 牛晓晓;基于机器学习及智能算法的柴油机性能预测及优化研究[D];哈尔滨工程大学;2017年
3 谭君位;作物模型参数敏感性和不确定性分析方法研究[D];武汉大学;2017年
4 龚昌妹;随机散射光学系统的聚焦与图像恢复算法研究[D];西安电子科技大学;2017年
5 关宏艳;水利工程建设期工期-成本-质量均衡优化及决策研究[D];郑州大学;2016年
6 王沉;薄煤层自动化长壁综采关键技术及决策支持系统研究[D];中国矿业大学;2016年
7 李永;基于覆盖网的分布式交互应用及其关键技术研究[D];中国矿业大学(北京);2016年
8 唐猛;自动小车存取系统建模及调度优化研究[D];武汉大学;2015年
9 李玉林;大田作物机械化收运系统精益运作及关键问题研究[D];重庆大学;2015年
10 陈一巍;子孔径拼接检测方法的研究[D];中国科学院研究生院(长春光学精密机械与物理研究所);2015年
中国硕士学位论文全文数据库 前10条
1 许仕霖;基于HDFS的百度多酷移动游戏数据平台的设计与实现[D];北京交通大学;2018年
2 姜楠;基于语义的实时数据集成技术研究[D];东北石油大学;2018年
3 达呼;基于HBase的工业云系统架构研究[D];北方工业大学;2018年
4 卓宝毓;制造物联网汽配产品质量预测研究[D];广东工业大学;2018年
5 郝晓培;基于大数据的铁路客运用户画像系统研究及应用[D];中国铁道科学研究院;2018年
6 巴阳;基于HDFS的云存储动态副本管理策略研究[D];郑州大学;2018年
7 张慷;在公有云上最小化MXNet资源租赁开销的调度技术研究[D];电子科技大学;2018年
8 苗泽鹏;基于HADOOP的APP用户活跃度提升的研究与实现[D];天津工业大学;2018年
9 刘祥;基于Kafka的大数据流式处理分析系统[D];浙江工业大学;2017年
10 郝学智;基于iOS平台的组件化即时通信系统的设计与实现[D];北京邮电大学;2017年
【二级参考文献】
中国期刊全文数据库 前10条
1 姬倩倩;温浩宇;;公共交通大数据平台架构研究[J];电子科技;2015年02期
2 张东霞;苗新;刘丽平;张焰;刘科研;;智能电网大数据技术发展研究[J];中国电机工程学报;2015年01期
3 郑志来;;大数据背景下互联网金融对中小企业融资影响研究[J];西南金融;2014年11期
4 宫夏屹;李伯虎;柴旭东;谷牧;;大数据平台技术综述[J];系统仿真学报;2014年03期
5 周江;王伟平;孟丹;马灿;古晓艳;蒋杰;;面向大数据分析的分布式文件系统关键技术[J];计算机研究与发展;2014年02期
6 邓晓懿;金淳;韩庆平;樋口良之;;基于情境聚类和用户评级的协同过滤推荐模型[J];系统工程理论与实践;2013年11期
7 李慧;胡云;施珺;;社会网络环境下的协同推荐方法[J];计算机应用;2013年11期
8 周吉寅;陈媛;姚晨;冯翱;;使用Hadoop实现应用商店中的相关推荐模型[J];现代计算机;2013年25期
9 黄勇军;冯明;丁圣勇;樊勇兵;;电信运营商大数据发展策略探讨[J];电信科学;2013年03期
10 官建文;刘振兴;刘扬;;国内外主要互联网公司大数据布局与应用比较研究[J];中国传媒科技;2012年17期
中国博士学位论文全文数据库 前2条
1 李佐勇;基于统计和谱图的图像阈值分割方法研究[D];南京理工大学;2010年
2 李梅娟;自动化仓储系统优化方法的研究[D];大连理工大学;2008年
中国硕士学位论文全文数据库 前10条
1 张彬;基于Spark大数据平台日志审计系统的设计与实现[D];山东大学;2015年
2 卢昌斌;煤矿监控系统实时数据与文件数据集成方法研究[D];安徽理工大学;2015年
3 胡辉;基于Hadoop的动车组故障数据关联规则挖掘研究与实现[D];北京交通大学;2015年
4 卜晓宁;基于大数据中查询日志的用户行为分析系统的设计与实现[D];北京交通大学;2015年
5 宁永恒;基于Spark的若干数据挖掘技术研究[D];中国计量学院;2015年
6 崔雪源;基于遗传模拟退火算法的航班着陆调度问题[D];华中师范大学;2015年
7 李文栋;基于Spark的大数据挖掘技术的研究与实现[D];山东大学;2015年
8 穆化鑫;基于Storm引擎的物联网异构数据融合系统的设计与实现[D];北京邮电大学;2015年
9 李淼;电量综合数据平台系统方案研究[D];华北电力大学;2014年
10 刘飞;基于多目标优化的云计算任务调度研究[D];南京信息工程大学;2014年
【相似文献】
中国期刊全文数据库 前10条
1 ;重庆:2020年建成健康医疗大数据平台体系[J];吉林医学信息;2016年12期
2 何庆;李冠道;周乐坤;严敏;;大数据平台的集中访问控制[J];网络安全和信息化;2018年01期
3 王智慧;任杰;;高校智慧校园建设中数据平台的设计研究[J];电脑知识与技术;2018年14期
4 杨荣杰;段广河;梁刚;;大数据平台在廊坊高职院校改革中的应用研究[J];中国多媒体与网络教学学报(中旬刊);2018年05期
5 夏刚;王立忠;刘亚恒;;一种节能大数据平台方案[J];大数据;2018年04期
6 邱立新;李筱翔;;大数据思维对构建能源-经济-环境(3E)大数据平台的启示[J];科技管理研究;2018年16期
7 闫宣辰;路杰;姚进文;胡晓斌;;甘肃省健康扶贫大数据平台的建设与应用[J];医学与社会;2018年09期
8 王长缨;;互联网+高职科研服务数据平台建设研究[J];科技风;2017年24期
9 罗方坤;;关于搭建智慧道路数据平台的探讨[J];智能城市;2018年16期
10 狄宏林;吴瑕;周勇;;智慧校园共享数据平台建设的方案研究[J];科技展望;2016年35期
中国重要会议论文全文数据库 前10条
1 杨云峰;简毅滨;范艳艳;李健;;陕西电信大数据平台国产化应用与实践[A];陕西省通信学会2016年学术年会论文集[C];2016年
2 李明;;多系统共享大数据平台的研究与设计[A];2014全国无线及移动通信学术大会论文集[C];2014年
3 徐清超;;在线监测的现状及统一数据平台的搭建[A];2009年全国输变电设备状态检修技术交流研讨会论文集[C];2009年
4 涂钧;刘波;杨林;;支撑精确管理的有线电视综合数据平台的开发和应用[A];广西计算机学会2016年学术年会论文集[C];2016年
5 许玥姮;刘光宇;王冠宇;丛琳;;英美城市开放政府数据平台调查与分析[A];2018年北京科学技术情报学会学术年会—智慧科技发展情报服务先行”论坛论文集[C];2018年
6 李铭泽;肖俊杰;潘书芹;刘聪;钟娜;;钢铁企业大数据平台的开发及应用[A];中国计量协会冶金分会2016年会论文集[C];2016年
7 李会艳;;建设能源计量数据平台,为节能减排保驾护航[A];第十二届沈阳科学学术年会论文集(理工农医)[C];2015年
8 ;普光气田安全评价数据平台研究(英文)[A];2011中国材料研讨会论文摘要集[C];2011年
9 李育芳;彭丰林;杨京凤;薛国强;王源;李敏;;地球物理信息数据平台设计与实现[A];中国地球物理2013——第十八专题论文集[C];2013年
10 张滔;凌萍;;智慧交通大数据平台设计开发及应用[A];2014第九届中国智能交通年会大会论文集[C];2014年
中国重要报纸全文数据库 前10条
1 郝悍勇;公司大数据平台一期项目通过验收[N];国家电网报;2016年
2 实习记者 黄琼 本报记者 袁晓澜;宿宸:搭建数据平台促房企转型[N];华夏时报;2018年
3 杨洪亮 记者 潘宏宇 白云峰;方正 搭建大数据平台扶贫更精准[N];黑龙江日报;2018年
4 记者 陶凤 于新怡;创新大数据平台 西城街道治理精细化[N];北京商报;2018年
5 记者 张利波;小镇上的“大数据平台”[N];东营日报;2018年
6 记者 阳桦 通讯员 邹永榆;建大数据平台 提升教育质量[N];佛山日报;2018年
7 徐绍峰;建立数据平台可有效减少信息“梗阻”[N];金融时报;2018年
8 本报记者 曹昱;鼓励引导民间数据平台建设[N];江淮时报;2018年
9 记者 童芬芬;亿利生态大数据平台正式上线[N];中华工商时报;2017年
10 记者 王冬梅;企业构建大数据平台助力生态文明建设[N];工人日报;2018年
中国博士学位论文全文数据库 前3条
1 王华伟;铁路运输设备技术状态大数据平台研究[D];中国铁道科学研究院;2017年
2 姚竞争;数字化造船一体化数据平台关键技术研究[D];哈尔滨工程大学;2011年
3 张伟;基于油田多源数据分析的油藏管理研究[D];长安大学;2013年
中国硕士学位论文全文数据库 前10条
1 王林川;开放政府数据平台绩效评估指标体系研究[D];合肥工业大学;2018年
2 孙梦楠;城市能源、经济、环境(“3E”)大数据平台功能构建及其应用研究[D];青岛科技大学;2018年
3 许仕霖;基于HDFS的百度多酷移动游戏数据平台的设计与实现[D];北京交通大学;2018年
4 邰耀鹏;多酷数据平台的设计与实现[D];北京交通大学;2018年
5 揭杰;互联网金融数据平台的设计与实现[D];北京交通大学;2018年
6 张波;差分隐私数据发布在精准扶贫大数据平台的应用研究[D];陕西师范大学;2018年
7 汤湛;辽宁省邮政储蓄银行大数据平台建设项目进度计划与控制研究[D];吉林大学;2018年
8 尚宗宝;M软件企业大数据营销体系构建的研究[D];首都经济贸易大学;2016年
9 王一凡;我国开放政府数据平台建设策略研究[D];长春工业大学;2018年
10 宋子明;基于HTML5与Node.js的移动Web健康大数据平台设计与实现[D];北京邮电大学;2018年
中国知网广告投放
相关机构
>中国铁道科学研究院
相关作者
>王华伟
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62791813
  • 010-62985026